問(wèn) 我是計(jì)算機(jī)專業(yè)的畢業(yè)生，目前處于求職狀態(tài)，想問(wèn)一下爬蟲(chóng)工程師的工作內(nèi)容是什么？

答 1.編寫大規(guī)模分布式網(wǎng)絡(luò)爬蟲(chóng)（多線程、分布式調(diào)度、協(xié)議處理）； 2.能用系統(tǒng)解決動(dòng)態(tài)網(wǎng)頁(yè)內(nèi)容抓取、深度網(wǎng)頁(yè)內(nèi)容抓取的關(guān)鍵技術(shù)； 3.采用機(jī)器學(xué)習(xí)，信息檢索，大規(guī)模數(shù)據(jù)挖掘等工作。 4.爬蟲(chóng)核心算法和策略優(yōu)化,熟悉采集系統(tǒng)的調(diào)度策略，分析爬蟲(chóng)系統(tǒng)瓶頸設(shè)計(jì)實(shí)現(xiàn)相應(yīng)策略和算法，提升爬蟲(chóng)的抓取效率和質(zhì)量。