勵(lì)志當(dāng)最強(qiáng)課代表的我來給大家總結(jié)總結(jié)??????

還在自我內(nèi)耗中硬扣爬蟲？

視頻內(nèi)容:

1??課程準(zhǔn)備??

2??urlopen??

3??Request???

視頻內(nèi)容:

1??課程準(zhǔn)備??

python的環(huán)境安裝

python解釋器

pycharm編輯器

2??urlopen??

使用python中的內(nèi)置模塊，可以很方便的寫出一個(gè)爬蟲程序

urlopen 就是打開一個(gè)網(wǎng)站參數(shù)詳解:

url:字符串類型的URL，必須參數(shù)

data:附加數(shù)據(jù)，data參數(shù)是bytes(字節(jié)流)類型。urlopen默認(rèn)會(huì)發(fā)送get請(qǐng)求，當(dāng)傳入data參數(shù)時(shí)，則會(huì)發(fā)起 POST請(qǐng)求

timeout:超時(shí)時(shí)間，單位秒。如果請(qǐng)求超過設(shè)置時(shí)間，沒有返回響應(yīng)，則拋出異常。

timeout沒有指定則用系統(tǒng)默認(rèn)設(shè)置，timeout只對(duì)，http，https 以及ftp連接起作用。可以通過控制超時(shí)時(shí)間跳過抓取長(zhǎng)時(shí)間未響應(yīng)的網(wǎng)頁

cafile: CA證書

3??Request???

如果是要發(fā)起POST 請(qǐng)求、PUT請(qǐng)求、DELETE請(qǐng)求，或者是進(jìn)行UA偽裝，那么單靠上面的urlopen 就不太夠了。需要構(gòu)造一個(gè)請(qǐng)求對(duì)象，然后使用urlopen進(jìn)行請(qǐng)求