網(wǎng)頁(yè)爬蟲(chóng)是一種程序，它可以模擬人類(lèi)瀏覽器的行為，向目標(biāo)網(wǎng)站發(fā)送請(qǐng)求，獲取網(wǎng)頁(yè)內(nèi)容，再通過(guò)解析網(wǎng)頁(yè)內(nèi)容提取有用信息。這個(gè)過(guò)程就像我們?cè)跒g覽器中打開(kāi)一個(gè)網(wǎng)頁(yè)，然后查看網(wǎng)頁(yè)的內(nèi)容一樣。

為了實(shí)現(xiàn)這個(gè)過(guò)程，我們需要使用一些工具。其中一個(gè)常用的工具是?requests?模塊。這個(gè)模塊可以幫助我們發(fā)送 HTTP 請(qǐng)求，并且自動(dòng)處理連接池、認(rèn)證、Cookies 等方面的細(xì)節(jié)。我們可以使用這個(gè)模塊發(fā)送 GET、POST、PUT、DELETE 等請(qǐng)求，并且可以自定義請(qǐng)求頭、請(qǐng)求體等信息。

舉個(gè)例子，如果我們想要從一個(gè)電商網(wǎng)站上爬取商品信息，我們可以使用?requests?模塊向這個(gè)網(wǎng)站發(fā)送請(qǐng)求，獲取網(wǎng)頁(yè)內(nèi)容。然后，我們可以使用一些技術(shù)（比如正則表達(dá)式或者解析庫(kù)）來(lái)解析網(wǎng)頁(yè)內(nèi)容，提取出我們需要的商品信息（比如商品名稱(chēng)、價(jià)格、評(píng)價(jià)等等）。最后，我們可以將這些信息保存到本地文件或者數(shù)據(jù)庫(kù)中，以便后續(xù)分析和使用。

總之，網(wǎng)頁(yè)爬蟲(chóng)和?requests?模塊是實(shí)現(xiàn)網(wǎng)頁(yè)爬取的兩個(gè)重要工具。它們可以幫助我們獲取網(wǎng)頁(yè)內(nèi)容，并且提取有用信息。

按上面代碼測(cè)試輸出。

能夠自動(dòng)檢測(cè)URL和爬取的html類(lèi)型是否正確，錯(cuò)誤后會(huì)返回重新輸入。爬取類(lèi)型包括：div/li/a/link/meta/img/p/ul,等等，在當(dāng)文件夾下生成文本文件result.txt，我們打開(kāi)看一下。

簡(jiǎn)單的實(shí)現(xiàn)原理就是上面啦，然后就用pyinstaller封裝生成exe文件就可。

需要源碼的同學(xué)請(qǐng)留言或私信聯(lián)系我。