爬蟲的矛盾
反爬機(jī)制

• 門戶網(wǎng)站,可以通過相應(yīng)的策略或者技術(shù)手段,防止爬蟲程序進(jìn)行網(wǎng)頁數(shù)據(jù)的爬取
  反反爬策略

• 爬蟲程序可以通過制定相關(guān)的策略或技術(shù)手段,破解門戶網(wǎng)站中具備的反爬機(jī)制,從而可以獲取門戶網(wǎng)站的數(shù)據(jù);
  robots.txt協(xié)議:

• 君子協(xié)議.規(guī)定了網(wǎng)站中哪些數(shù)據(jù)可以被爬蟲程序抓取哪些不可以;

?