爬蟲存在于整個(gè)互聯(lián)網(wǎng)當(dāng)中，許多企業(yè)都需要收集信息，而使用爬蟲可以更快的從海量信息中提取需要的信息，但是其他網(wǎng)站也不想白白把這些信息拱手讓出去，而且爬蟲采集信息也會(huì)對(duì)網(wǎng)站造成影響，因此網(wǎng)站會(huì)采用各種方法，比如IP限制、驗(yàn)證碼限制、采用動(dòng)態(tài)網(wǎng)頁加大難度等等。

對(duì)于IP限制、驗(yàn)證碼限制，可以采用我們的代理IP、驗(yàn)證碼識(shí)別工具突破限制，而動(dòng)態(tài)網(wǎng)頁，問題會(huì)更加復(fù)雜些，一起去看看什么是動(dòng)態(tài)網(wǎng)頁，如何爬取動(dòng)態(tài)網(wǎng)頁。

什么是動(dòng)態(tài)網(wǎng)頁，如何爬取動(dòng)態(tài)網(wǎng)頁

一、什么是動(dòng)態(tài)網(wǎng)頁

所謂的動(dòng)態(tài)網(wǎng)頁，是指跟靜態(tài)網(wǎng)頁相對(duì)的一種網(wǎng)頁編程技術(shù)。

靜態(tài)網(wǎng)頁，隨著html代碼的生成，頁面的內(nèi)容和顯示效果就基本上不會(huì)發(fā)生變化了——除非你修改頁面代碼。而動(dòng)態(tài)網(wǎng)頁則不然，頁面代碼雖然沒有變，但是顯示的內(nèi)容卻是可以隨著時(shí)間、環(huán)境或者數(shù)據(jù)庫操作的結(jié)果而發(fā)生改變的。

值得強(qiáng)調(diào)的是，不要將動(dòng)態(tài)網(wǎng)頁和頁面內(nèi)容是否有動(dòng)感混為一談。這里說的動(dòng)態(tài)網(wǎng)頁，與網(wǎng)頁上的各種動(dòng)畫、滾動(dòng)字幕等視覺上的動(dòng)態(tài)效果沒有直接關(guān)系，動(dòng)態(tài)網(wǎng)頁也可以是純文字內(nèi)容的，也可以是包含各種動(dòng)畫的內(nèi)容，這些只是網(wǎng)頁具體內(nèi)容的表現(xiàn)形式，無論網(wǎng)頁是否具有動(dòng)態(tài)效果，只要是采用了動(dòng)態(tài)網(wǎng)站技術(shù)生成的網(wǎng)頁都可以稱為動(dòng)態(tài)網(wǎng)頁。

總之，動(dòng)態(tài)網(wǎng)頁是基本的html語法規(guī)范與Java、VB、VC等高級(jí)程序設(shè)計(jì)語言、數(shù)據(jù)庫編程等多種技術(shù)的融合，以期實(shí)現(xiàn)對(duì)網(wǎng)站內(nèi)容和風(fēng)格的高效、動(dòng)態(tài)和交互式的管理。因此，從這個(gè)意義上來講，凡是結(jié)合了HTML以外的高級(jí)程序設(shè)計(jì)語言和數(shù)據(jù)庫技術(shù)進(jìn)行的網(wǎng)頁編程技術(shù)生成的網(wǎng)頁都是動(dòng)態(tài)網(wǎng)頁。

二、如何爬取動(dòng)態(tài)網(wǎng)頁

第一種解決方案是采用一些第三方的工具，模擬瀏覽器的行為，去加載數(shù)據(jù)。

比如：Selenium、PhantomJs。

優(yōu)點(diǎn)：不必考慮動(dòng)態(tài)頁面的各種變化多端(無論動(dòng)態(tài)數(shù)據(jù)如何變化，最終呈現(xiàn)在頁面上的效果是固定的)，我們只用關(guān)心最終的現(xiàn)實(shí)結(jié)果即可;可以統(tǒng)一處理。

缺點(diǎn)：性能低下，比如使用Selenium，每次我們都需要去啟動(dòng)一個(gè)瀏覽器進(jìn)程;配置繁瑣，不同的瀏覽器需要下載不同的驅(qū)動(dòng)以及jar包，并且驅(qū)動(dòng)和jar包之間有嚴(yán)格版本匹配關(guān)系，如果不匹配就不能使用。

第二種解決方案是分析頁面，找到對(duì)應(yīng)請(qǐng)求接口，直接獲取數(shù)據(jù)。

優(yōu)點(diǎn)：性能高，使用方便。我們直接獲取原數(shù)據(jù)接口(換句話說就是直接拿取網(wǎng)頁這一塊動(dòng)態(tài)數(shù)據(jù)的API接口)，肯定會(huì)使用方便，并且改變的可能性也比較小。

缺點(diǎn)：缺點(diǎn)也是明顯的，如何獲取接口API?有些網(wǎng)站可能會(huì)考慮到數(shù)據(jù)的安全性，做各種限制、混淆等。這就需要看開發(fā)者個(gè)人的基本功了，進(jìn)行各種分析了。

如何爬取動(dòng)態(tài)網(wǎng)頁？網(wǎng)站是靜態(tài)的還是動(dòng)態(tài)的，可以通過一些簡單的方法區(qū)分，比如有“查看更多”字樣或者打開網(wǎng)站時(shí)下拉才會(huì)加載內(nèi)容出來的進(jìn)本都是動(dòng)態(tài)的，又或者在瀏覽器中查看頁面相應(yīng)的內(nèi)容、當(dāng)在查看頁面源代碼時(shí)找不到該內(nèi)容時(shí)就可以確定該頁面使用了動(dòng)態(tài)技術(shù)。如果網(wǎng)頁使用了動(dòng)態(tài)技術(shù)，可以采用上文介紹的方法處理。