一、基礎(chǔ)入門

1.1什么是爬蟲

爬蟲(spider，又網(wǎng)絡(luò)爬蟲)，是指向網(wǎng)站/網(wǎng)絡(luò)發(fā)起請(qǐng)求，獲取資源后分析并提取有用數(shù)據(jù)的程序。

從技術(shù)層面來(lái)說(shuō)就是 通過(guò)程序模擬瀏覽器請(qǐng)求站點(diǎn)的行為，把站點(diǎn)返回的HTML代碼/JSON數(shù)據(jù)/二進(jìn)制數(shù)據(jù)（圖片、視頻） 爬到本地，進(jìn)而提取自己需要的數(shù)據(jù)，存放起來(lái)使用。

1.2爬蟲基本流程

用戶獲取網(wǎng)絡(luò)數(shù)據(jù)的方式：

方式1：瀏覽器提交請(qǐng)求—>下載網(wǎng)頁(yè)代碼—>解析成頁(yè)面

方式2：模擬瀏覽器發(fā)送請(qǐng)求(獲取網(wǎng)頁(yè)代碼)->提取有用的數(shù)據(jù)->存放于數(shù)據(jù)庫(kù)或文件中

爬蟲要做的就是方式2。

入門python爬蟲，10分鐘就夠了，這可能是我見(jiàn)過(guò)最簡(jiǎn)單的基礎(chǔ)教學(xué)

1發(fā)起請(qǐng)求

使用http庫(kù)向目標(biāo)站點(diǎn)發(fā)起請(qǐng)求，即發(fā)送一個(gè)Request

Request包含：請(qǐng)求頭、請(qǐng)求體等

Request模塊缺陷：不能執(zhí)行JS 和CSS 代碼

2獲取響應(yīng)內(nèi)容

如果服務(wù)器能正常響應(yīng)，則會(huì)得到一個(gè)Response

Response包含：html，json，圖片，視頻等

3解析內(nèi)容

解析html數(shù)據(jù)：正則表達(dá)式（RE模塊）、xpath（主要使用）、beautiful soup、css

解析json數(shù)據(jù)：json模塊

解析二進(jìn)制數(shù)據(jù):以wb的方式寫入文件

4保存數(shù)據(jù)

數(shù)據(jù)庫(kù)（MySQL，Mongdb、Redis）或 文件的形式。

1.3http協(xié)議 請(qǐng)求與響應(yīng)

http協(xié)議

Request：用戶將自己的信息通過(guò)瀏覽器（socket client）發(fā)送給服務(wù)器（socket server）

Response：服務(wù)器接收請(qǐng)求，分析用戶發(fā)來(lái)的請(qǐng)求信息，然后返回?cái)?shù)據(jù)（返回的數(shù)據(jù)中可能包含其他鏈接，如：圖片，js，css等）

ps：瀏覽器在接收Response后，會(huì)解析其內(nèi)容來(lái)顯示給用戶，而爬蟲程序在模擬瀏覽器發(fā)送請(qǐng)求然后接收Response后，是要提取其中的有用數(shù)據(jù)。

對(duì)Python感興趣或者是正在學(xué)習(xí)的小伙伴，可以加入我們的Python學(xué)習(xí)扣qun：784758214，從0基礎(chǔ)的python腳本到web開發(fā)、爬蟲、django、數(shù)據(jù)挖掘數(shù)據(jù)分析等，0基礎(chǔ)到項(xiàng)目實(shí)戰(zhàn)的資料都有整理。送給每一位python的小伙伴！每晚分享一些學(xué)習(xí)的方法和需要注意的小細(xì)節(jié)，學(xué)習(xí)路線規(guī)劃，利用編程賺外快。快點(diǎn)擊加入我們的 python學(xué)習(xí)圈

1.3.1

request

(1) 請(qǐng)求方式

常見(jiàn)的請(qǐng)求方式：GET / POST

（2）請(qǐng)求的URL

url全球統(tǒng)一資源定位符，用來(lái)定義互聯(lián)網(wǎng)上一個(gè)唯一的資源 例如：一張圖片、一個(gè)文件、一段視頻都可以用url唯一確定

（3）請(qǐng)求頭

User-agent：請(qǐng)求頭中如果沒(méi)有user-agent客戶端配置，服務(wù)端可能將你當(dāng)做一個(gè)非法用戶host；

cookies：cookie用來(lái)保存登錄信息

注意：一般做爬蟲都會(huì)加上請(qǐng)求頭。

請(qǐng)求頭需要注意的參數(shù)：

Referrer：訪問(wèn)源至哪里來(lái)（一些大型網(wǎng)站，會(huì)通過(guò)Referrer 做防盜鏈策略；所有爬蟲也要注意模擬）

User-Agent:訪問(wèn)的瀏覽器（要加上否則會(huì)被當(dāng)成爬蟲程序）

cookie：請(qǐng)求頭注意攜帶

（4）請(qǐng)求體

請(qǐng)求體 如果是get方式，請(qǐng)求體沒(méi)有內(nèi)容 （get請(qǐng)求的請(qǐng)求體放在 url后面參數(shù)中，直接能看到） 如果是post方式，請(qǐng)求體是format data

ps：1、登錄窗口，文件上傳等，信息都會(huì)被附加到請(qǐng)求體內(nèi) 2、登錄，輸入錯(cuò)誤的用戶名密碼，然后提交，就可以看到post，正確登錄后頁(yè)面通常會(huì)跳轉(zhuǎn)，無(wú)法捕捉到post

1.3.2

response

（1）響應(yīng)狀態(tài)碼

200：代表成功

301：代表跳轉(zhuǎn)

404：文件不存在

403：無(wú)權(quán)限訪問(wèn)

502：服務(wù)器錯(cuò)誤

（2）response header

響應(yīng)頭需要注意的參數(shù)：Set-Cookie:BDSVRTM=0; path=/：可能有多個(gè)，是來(lái)告訴瀏覽器，把cookie保存下來(lái)

（3）preview就是網(wǎng)頁(yè)源代碼

json數(shù)據(jù)

如網(wǎng)頁(yè)html，圖片

二進(jìn)制數(shù)據(jù)等

02

二、基礎(chǔ)模塊

2.1requests

requests是python實(shí)現(xiàn)的簡(jiǎn)單易用的HTTP庫(kù),是由urllib的升級(jí)而來(lái)。

開源地址：

https://github.com/pydmy…

中文API：

http://docs.python-requests.o…

2.2re 正則表達(dá)式

在 Python 中使用內(nèi)置的 re 模塊來(lái)使用正則表達(dá)式。

缺點(diǎn)：處理數(shù)據(jù)不穩(wěn)定、工作量大

2.3XPath

Xpath(XML Path Language) 是一門在 XML 文檔中查找信息的語(yǔ)言，可用來(lái)在 XML 文檔中對(duì)元素和屬性進(jìn)行遍歷。

在python中主要使用 lxml 庫(kù)來(lái)進(jìn)行xpath獲取（在框架中不使用lxml，框架內(nèi)直接使用xpath即可）

lxml 是 一個(gè)HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 數(shù)據(jù)。

lxml和正則一樣，也是用 C 實(shí)現(xiàn)的，是一款高性能的 Python HTML/XML 解析器，我們可以利用之前學(xué)習(xí)的XPath語(yǔ)法，來(lái)快速的定位特定元素以及節(jié)點(diǎn)信息。

2.4BeautifulSoup

和 lxml 一樣，Beautiful Soup 也是一個(gè)HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 數(shù)據(jù)。

使用BeautifulSoup需要導(dǎo)入bs4庫(kù)

缺點(diǎn)：相對(duì)正則和xpath處理速度慢

優(yōu)點(diǎn)：使用簡(jiǎn)單

2.5Json

JSON(JavaScript Object Notation) 是一種輕量級(jí)的數(shù)據(jù)交換格式，它使得人們很容易的進(jìn)行閱讀和編寫。同時(shí)也方便了機(jī)器進(jìn)行解析和生成。適用于進(jìn)行數(shù)據(jù)交互的場(chǎng)景，比如網(wǎng)站前臺(tái)與后臺(tái)之間的數(shù)據(jù)交互。

在python中主要使用 json 模塊來(lái)處理 json數(shù)據(jù)。Json解析網(wǎng)站：

https://www.sojson.com/simple…

2.6threading

使用threading模塊創(chuàng)建線程，直接從threading.Thread繼承，然后重寫__init__方法和run方法

03

三、方法實(shí)例

3.1get方法實(shí)例

demo_get.py

3.2post方法實(shí)例

demo_post.py

3.3添加代理

demo_proxies.py

3.4獲取ajax類數(shù)據(jù)實(shí)例

demo_ajax.py

3.5使用多線程實(shí)例

demo_thread.py

04

四、爬蟲框架

4.1Srcapy框架

Scrapy是用純Python實(shí)現(xiàn)一個(gè)為了爬取網(wǎng)站數(shù)據(jù)、提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架，用途非常廣泛。

Scrapy 使用了 Twisted’tw?st?d異步網(wǎng)絡(luò)框架來(lái)處理網(wǎng)絡(luò)通訊，可以加快我們的下載速度，不用自己去實(shí)現(xiàn)異步框架，并且包含了各種中間件接口，可以靈活的完成各種需求。

4.2Scrapy架構(gòu)圖

4.3Scrapy主要組件

Scrapy Engine(引擎): 負(fù)責(zé)Spider、ItemPipeline、Downloader、Scheduler中間的通訊，信號(hào)、數(shù)據(jù)傳遞等。

Scheduler(調(diào)度器): 它負(fù)責(zé)接受引擎發(fā)送過(guò)來(lái)的Request請(qǐng)求，并按照一定的方式進(jìn)行整理排列，入隊(duì)，當(dāng)引擎需要時(shí)，交還給引擎。

Downloader（下載器）：負(fù)責(zé)下載Scrapy Engine(引擎)發(fā)送的所有Requests請(qǐng)求，并將其獲取到的Responses交還給Scrapy Engine(引擎)，由引擎交給Spider來(lái)處理，

Spider（爬蟲）：它負(fù)責(zé)處理所有Responses,從中分析提取數(shù)據(jù)，獲取Item字段需要的數(shù)據(jù)，并將需要跟進(jìn)的URL提交給引擎，再次進(jìn)入Scheduler(調(diào)度器)，

Item Pipeline(管道)：它負(fù)責(zé)處理Spider中獲取到的Item，并進(jìn)行進(jìn)行后期處理（詳細(xì)分析、過(guò)濾、存儲(chǔ)等）的地方.

Downloader Middlewares（下載中間件）：你可以當(dāng)作是一個(gè)可以自定義擴(kuò)展下載功能的組件。

Spider Middlewares（Spider中間件）：你可以理解為是一個(gè)可以自定擴(kuò)展和操作引擎和Spider中間通信的功能組件（比如進(jìn)入Spider的Responses;和從Spider出去的Requests）

4.4Scrapy的運(yùn)作流程

引擎：Hi！Spider, 你要處理哪一個(gè)網(wǎng)站？

Spider：老大要我處理xxxx.com。

引擎：你把第一個(gè)需要處理的URL給我吧。

Spider：給你，第一個(gè)URL是xxxxxxx.com。

引擎：Hi！調(diào)度器，我這有request請(qǐng)求你幫我排序入隊(duì)一下。

調(diào)度器：好的，正在處理你等一下。

引擎：Hi！調(diào)度器，把你處理好的request請(qǐng)求給我。

調(diào)度器：給你，這是我處理好的request

引擎：Hi！下載器，你按照老大的下載中間件的設(shè)置幫我下載一下這個(gè)request請(qǐng)求

下載器：好的！給你，這是下載好的東西。（如果失?。簊orry，這個(gè)request下載失敗了。然后引擎告訴調(diào)度器，這個(gè)request下載失敗了，你記錄一下，我們待會(huì)兒再下載）

引擎：Hi！Spider，這是下載好的東西，并且已經(jīng)按照老大的下載中間件處理過(guò)了，你自己處理一下（注意！這兒responses默認(rèn)是交給def parse()這個(gè)函數(shù)處理的）

Spider：（處理完畢數(shù)據(jù)之后對(duì)于需要跟進(jìn)的URL），Hi！引擎，我這里有兩個(gè)結(jié)果，這個(gè)是我需要跟進(jìn)的URL，還有這個(gè)是我獲取到的Item數(shù)據(jù)。

引擎：Hi ！管道 我這兒有個(gè)item你幫我處理一下！調(diào)度器！這是需要跟進(jìn)URL你幫我處理下。然后從第四步開始循環(huán)，直到獲取完老大需要全部信息。

管道``調(diào)度器：好的，現(xiàn)在就做！

4.5制作Scrapy爬蟲4步曲

1新建爬蟲項(xiàng)目scrapy startproject mySpider2明確目標(biāo) （編寫items.py）打開mySpider目錄下的items.py3制作爬蟲 （spiders/xxspider.py）scrapy genspider gushi365 "gushi365.com"4存儲(chǔ)內(nèi)容 （pipelines.py）設(shè)計(jì)管道存儲(chǔ)爬取內(nèi)容

05

五、常用工具

5.1fidder

fidder是一款抓包工具，主要用于手機(jī)抓包。

5.2XPath Helper

xpath helper插件是一款免費(fèi)的chrome爬蟲網(wǎng)頁(yè)解析工具?？梢詭椭脩艚鉀Q在獲取xpath路徑時(shí)無(wú)法正常定位等問(wèn)題。

谷歌瀏覽器插件xpath helper 的安裝和使用：

https://jingyan.baidu.com/art…

06

在學(xué)習(xí)過(guò)程中有什么不懂得可以加我的python學(xué)習(xí)扣扣qun，784758214群里有不錯(cuò)的學(xué)習(xí)視頻教程、開發(fā)工具與電子書籍。與你分享python企業(yè)當(dāng)下人才需求及怎么從零基礎(chǔ)學(xué)習(xí)好python，和學(xué)習(xí)什么內(nèi)容

六、分布式爬蟲

6.1scrapy-redis

Scrapy-redis是為了更方便地實(shí)現(xiàn)Scrapy分布式爬取，而提供了一些以redis為基礎(chǔ)的組件（pip install scrapy-redis）

6.2分布式策略

Master端(核心服務(wù)器) ：搭建一個(gè)Redis數(shù)據(jù)庫(kù)，不負(fù)責(zé)爬取，只負(fù)責(zé)url指紋判重、Request的分配，以及數(shù)據(jù)的存儲(chǔ)。

以下是我整理的python爬蟲入門學(xué)習(xí)資料，都已經(jīng)整理并打包好了。

Python入門全套學(xué)習(xí)資料附帶源碼：

Python全套學(xué)習(xí)路線

Python零基礎(chǔ)入門視頻

Python項(xiàng)目源碼

Python入門到進(jìn)階電子書籍和實(shí)戰(zhàn)案例