通常爬取網(wǎng)頁，在構(gòu)造http請(qǐng)求的時(shí)候，都需要加上一些額外信息，什么Useragent，cookie等之類的信息，或者添加代理服務(wù)器。往往這些都是一些必要的反爬機(jī)制。

requests庫

簡(jiǎn)介：

requests庫調(diào)用是requests.get方法傳入url和參數(shù)，返回的對(duì)象是Response對(duì)象，打印出來是顯示響應(yīng)狀態(tài)碼。