2. 有什么作用？

通過(guò)有效的爬蟲(chóng)手段批量采集數(shù)據(jù)，可以降低人工成本，提高有效數(shù)據(jù)量，給予運(yùn)營(yíng)/銷(xiāo)售的數(shù)據(jù)支撐，加快產(chǎn)品發(fā)展。?

3. 業(yè)界的情況

目前互聯(lián)網(wǎng)產(chǎn)品競(jìng)爭(zhēng)激烈，業(yè)界大部分都會(huì)使用爬蟲(chóng)技術(shù)對(duì)競(jìng)品產(chǎn)品的數(shù)據(jù)進(jìn)行挖掘、采集、大數(shù)據(jù)分析，這是必備手段，并且很多公司都設(shè)立了“爬蟲(chóng)工程師”的崗位

4. 合法性?

爬蟲(chóng)是利用程序進(jìn)行批量爬取網(wǎng)頁(yè)上的公開(kāi)信息，也就是前端顯示的數(shù)據(jù)信息。因?yàn)樾畔⑹峭耆_(kāi)的，所以是合法的。其實(shí)就像瀏覽器一樣，瀏覽器解析響應(yīng)內(nèi)容并渲染為頁(yè)面，而爬蟲(chóng)解析響應(yīng)內(nèi)容采集想要的數(shù)據(jù)進(jìn)行存儲(chǔ)。

?5. 反爬蟲(chóng)

爬蟲(chóng)很難完全的制止，道高一尺魔高一丈，這是一場(chǎng)沒(méi)有硝煙的戰(zhàn)爭(zhēng)，碼農(nóng)VS碼農(nóng)?

反爬蟲(chóng)一些手段：