問 我是計算機專業(yè)的畢業(yè)生，目前處于求職狀態(tài)，想問一下大數(shù)據(jù)工程師的工作內(nèi)容是什么？

答 1.負責爬蟲架構(gòu)設(shè)計和研發(fā)； 2.負責爬蟲核心搜索策略、算法、數(shù)據(jù)聚類、重組的設(shè)計與開發(fā)； 3.負責網(wǎng)絡(luò)爬蟲或數(shù)據(jù)采集軟件的優(yōu)化改進以及采集規(guī)則編寫； 4.解決封賬號、封IP等采集難點攻克； 5.確保所負責的站點按周期采集及時，全面。