大家好，本文將圍繞python怎么爬取網(wǎng)站所有網(wǎng)頁展開說明，如何用python爬取網(wǎng)頁數(shù)據(jù)是一個很多人都想弄明白的事情，想搞清楚python如何爬取網(wǎng)頁數(shù)據(jù)需要先了解以下幾個事情。

1、如何用Python爬蟲抓取網(wǎng)頁內(nèi)容?

爬蟲流程

其實把網(wǎng)絡爬蟲抽象開來看，它無外乎包含如下幾個步驟

模擬請求網(wǎng)頁。模擬瀏覽器，打開目標網(wǎng)站。

獲取數(shù)據(jù)。打開網(wǎng)站之后，就可以自動化的獲取我們所需要的網(wǎng)站數(shù)據(jù)。

保存數(shù)據(jù)。拿到數(shù)據(jù)之后，需要持久化到本地文件或者數(shù)據(jù)庫等存儲設備中。

那么我們該如何使用 Python 來編寫自己的爬蟲程序呢，在這里我要重點介紹一個 Python 庫：Requests。

Requests 使用

Requests 庫是 Python 中發(fā)起 HTTP 請求的庫，使用非常方便簡單。

模擬發(fā)送 HTTP 請求

發(fā)送 GET 請求

當我們用瀏覽器打開豆瓣首頁時，其實發(fā)送的最原始的請求就是 GET 請求

import requests

res = requests.get('')

print(res)

print(type(res))

>>>

<Response [200]>

<class 'requests.models.Response'>

2、怎樣用python爬取網(wǎng)頁

# coding=utf-8

import urllib

import re

# 百度貼吧網(wǎng)址:https://tieba.baidu.com/index.html

# 根據(jù)URL獲取網(wǎng)頁HTML內(nèi)容

def getHtmlContent(url):

? ? page = urllib.urlopen(url)

? ? return page.read()

# 從HTML中解析出所有jpg的圖片的URL

# 從HTML中jpg格式為<img ... src = "xxx.jpg" width='''>

def getJPGs(html):

? ? # 解析jpg圖片URL的正則表達式

? ? jpgReg = re.compile(r'<img.+?src="(.+?\.jpg)"')

? ? # 解析出jpg的URL列表

? ? jpgs = re.findall(jpgReg, html)

? ? return jpgs

# 用圖片url下載圖片 并保存成制定文件名

def downloadJPG(imgUrl, fileName):

? ? urllib.urlretrieve(imgUrl, fileName)

# 批量下載圖片,默認保存到當前目錄下

def batchDownloadJPGs(imgUrls, path='../'):? # path='./'

? ? # 給圖片重命名

? ? count = 1

? ? for url in imgUrls:

? ? ? ? downloadJPG(url, ''.join([path, '{0}.jpg'.format(count)]))

? ? ? ? print "下載圖片第:", count, "張"

? ? ? ? count += 1

# 封裝:從百度貼吧網(wǎng)頁下載圖片

def download(url):

? ? html = getHtmlContent(url)

? ? jpgs = getJPGs(html)

? ? batchDownloadJPGs(jpgs)

def main():

? ? url = "http://www.xiaofamao.com/dongman/"

? ? download(url)

if __name__ == '__main__':

? ? main()

3、如何用 Python 爬取需要登錄的網(wǎng)站

最近我必須執(zhí)行一項從一個需要登錄的網(wǎng)站上爬取一些網(wǎng)頁的操作。它沒有我想象中那么簡單，因此我決定為它寫一個輔助教程。

在本教程中，python數(shù)據(jù)處理，我們將從我們的bitbucket賬戶中爬取一個項目列表。

教程中的代碼可以從我的 Github 中找到。

我們將會按照以下步驟進行：

在本教程中，我使用了以下包（可以在 requirements.txt 中找到）：

Python

1

2

requests

lxml

步驟一：研究該網(wǎng)站

打開登錄頁面

進入以下頁面? “bitbucket.org/account/signin”。你會看到如下圖所示的頁面（執(zhí)行注銷，以防你已經(jīng)登錄）

仔細研究那些我們需要提取的詳細信息，以供登錄之用

在這一部分，我們會創(chuàng)建一個字典來保存執(zhí)行登錄的詳細信息：

1. 右擊 “Username or email” 字段，選擇“查看元素”。我們將使用 “name” 屬性為 “username” 的輸入框的值。“username”將會是 key 值，我們的用戶名/電子郵箱就是對應的 value 值（在其他的網(wǎng)站上這些 key 值可能是 “email”，“ user_name”，“ login”，等等）。

2. 右擊 “Password” 字段，選擇“查看元素”。在腳本中我們需要使用 “name” 屬性為 “password” 的輸入框的值?！皃assword” 將是字典的 key? 值，我們輸入的密碼將是對應的 value 值（在其他網(wǎng)站key值可能是 “userpassword”，“l(fā)oginpassword”，“pwd”，等等）。

3. 在源代碼頁面中，查找一個名為 “csrfmiddlewaretoken” 的隱藏輸入標簽?！癱srfmiddlewaretoken” 將是 key 值，而對應的 value 值將是這個隱藏的輸入值（在其他網(wǎng)站上這個 value 值可能是一個名為 “csrftoken”，“ authenticationtoken” 的隱藏輸入值）。列如：“Vy00PE3Ra6aISwKBrPn72SFml00IcUV8”。

最后我們將會得到一個類似這樣的字典：

Python

1

2

3

4

5

payload = {

"username": "<USER NAME>",

"password": "<PASSWORD>",

"csrfmiddlewaretoken": "<CSRF_TOKEN>"

}

請記住，這是這個網(wǎng)站的一個具體案例。雖然這個登錄表單很簡單，但其他網(wǎng)站可能需要我們檢查瀏覽器的請求日志，并找到登錄步驟中應該使用的相關的 key 值和 value 值。

步驟2：執(zhí)行登錄網(wǎng)站

對于這個腳本，我們只需要導入如下內(nèi)容：

Python

1

2

import requests

from lxml import html

首先，我們要創(chuàng)建 session 對象。這個對象會允許我們保存所有的登錄會話請求。

Python

1

session_requests = requests.session()

第二，我們要從該網(wǎng)頁上提取在登錄時所使用的 csrf 標記。在這個例子中，我們使用的是 lxml 和 xpath 來提取，我們也可以使用正則表達式或者其他的一些方法來提取這些數(shù)據(jù)。

Python

1

2

3

4

5

login_url = "n/?next=/"

result = session_requests.get(login_url)

tree = html.fromstring(result.text)

authenticity_token = list(set(tree.xpath("//input[@name='csrfmiddlewaretoken']/@value")))[0]

**更多關于xpath 和lxml的信息可以在這里找到。

接下來，我們要執(zhí)行登錄階段。在這一階段，我們發(fā)送一個 POST 請求給登錄的 url。我們使用前面步驟中創(chuàng)建的 payload 作為 data 。也可以為該請求使用一個標題并在該標題中給這個相同的 url 添加一個參照鍵。

Python

1

2

3

4

5

result = session_requests.post(

login_url,

data = payload,

headers = dict(referer=login_url)

)

步驟三：爬取內(nèi)容

現(xiàn)在，我們已經(jīng)登錄成功了，我們將從 bitbucket dashboard 頁面上執(zhí)行真正的爬取操作。

Python

1

2

3

4

5

url = '/overview'

result = session_requests.get(

url,

headers = dict(referer = url)

)

為了測試以上內(nèi)容，我們從 bitbucket dashboard 頁面上爬取了項目列表。我們將再次使用 xpath 來查找目標元素，清除新行中的文本和空格并打印出結果。如果一切都運行 OK，輸出結果應該是你 bitbucket 賬戶中的 buckets / project 列表。

Python

1

2

3

4

5

tree = html.fromstring(result.content)

bucket_elems = tree.findall(".//span[@class='repo-name']/")

bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]

print bucket_names

你也可以通過檢查從每個請求返回的狀態(tài)代碼來驗證這些請求結果。它不會總是能讓你知道登錄階段是否是成功的，但是可以用來作為一個驗證指標。

例如：

Python

1

2

result.ok # 會告訴我們最后一次請求是否成功

result.status_code # 會返回給我們最后一次請求的狀態(tài)

提取登錄需要的詳細信息

執(zhí)行站點登錄

爬取所需要的數(shù)據(jù)

4、python爬蟲什么教程最好

可以看這個教程：網(wǎng)頁鏈接

此教程 通過三個爬蟲案例來使學員認識Scrapy框架、了解Scrapy的架構、熟悉Scrapy各模塊。

此教程的大致內(nèi)容：

1、Scrapy的簡介。

主要知識點：Scrapy的架構和運作流程。

2、搭建開發(fā)環(huán)境：

主要知識點：Windows及Linux環(huán)境下Scrapy的安裝。

3、Scrapy Shell以及Scrapy Selectors的使用。

4、使用Scrapy完成網(wǎng)站信息的爬取。

主要知識點：創(chuàng)建Scrapy項目(scrapy startproject)、定義提取的結構化數(shù)據(jù)(Item)、編寫爬取網(wǎng)站的 Spider 并提取出結構化數(shù)據(jù)(Item)、編寫 Item Pipelines 來存儲提取到的Item(即結構化數(shù)據(jù))。

5、如何入門 Python 爬蟲

現(xiàn)在之所以有這么多的小伙伴熱衷于爬蟲技術，無外乎是因為爬蟲可以幫我們做很多事情，比如搜索引擎、采集數(shù)據(jù)、廣告過濾等，以Python為例，Python爬蟲可以用于數(shù)據(jù)分析，在數(shù)據(jù)抓取方面發(fā)揮巨大的作用。

但是這并不意味著單純掌握一門Python語言，就對爬蟲技術觸類旁通，要學習的知識和規(guī)范還有喜很多，包括但不僅限于HTML 知識、HTTP/HTTPS 協(xié)議的基本知識、正則表達式、數(shù)據(jù)庫知識，常用抓包工具的使用、爬蟲框架的使用等。而且涉及到大規(guī)模爬蟲，還需要了解分布式的概念、消息隊列、常用的數(shù)據(jù)結構和算法、緩存，甚至還包括機器學習的應用，大規(guī)模的系統(tǒng)背后都是靠很多技術來支撐的。

零基礎如何學爬蟲技術？對于迷茫的初學者來說，爬蟲技術起步學習階段，最重要的就是明確學習路徑，找準學習方法，唯有如此，在良好的學習習慣督促下，后期的系統(tǒng)學習才會事半功倍，游刃有余。

用Python寫爬蟲，首先需要會Python，把基礎語法搞懂，知道怎么使用函數(shù)、類和常用的數(shù)據(jù)結構如list、dict中的常用方法就算基本入門。作為入門爬蟲來說，需要了解 HTTP協(xié)議的基本原理，雖然 HTTP 規(guī)范用一本書都寫不完，但深入的內(nèi)容可以放以后慢慢去看，理論與實踐相結合后期學習才會越來越輕松。關于爬蟲學習的具體步驟，我大概羅列了以下幾大部分，大家可以參考：

網(wǎng)絡爬蟲基礎知識:

爬蟲的定義

爬蟲的作用

Http協(xié)議

基本抓包工具(Fiddler)使用

Python模塊實現(xiàn)爬蟲：

urllib3、requests、lxml、bs4 模塊大體作用講解

使用requests模塊 get 方式獲取靜態(tài)頁面數(shù)據(jù)

使用requests模塊 post 方式獲取靜態(tài)頁面數(shù)據(jù)

使用requests模塊獲取 ajax 動態(tài)頁面數(shù)據(jù)

使用requests模塊模擬登錄網(wǎng)站

使用Tesseract進行驗證碼識別

Scrapy框架與Scrapy-Redis：

Scrapy 爬蟲框架大體說明

Scrapy spider 類

Scrapy item 及 pipeline

Scrapy CrawlSpider 類

通過Scrapy-Redis 實現(xiàn)分布式爬蟲

借助自動化測試工具和瀏覽器爬取數(shù)據(jù)：

Selenium + PhantomJS 說明及簡單實例

Selenium + PhantomJS 實現(xiàn)網(wǎng)站登錄

Selenium + PhantomJS 實現(xiàn)動態(tài)頁面數(shù)據(jù)爬取

爬蟲項目實戰(zhàn)：

分布式爬蟲+ Elasticsearch 打造搜索引擎

6、如何入門 Python 爬蟲

個人覺得：

新手學習python爬取網(wǎng)頁先用下面4個庫就夠了：（第4個是實在搞不定用的，當然某些特殊情況它也可能搞不定）

1. 打開網(wǎng)頁，下載文件：urllib

2. 解析網(wǎng)頁：BeautifulSoup，熟悉JQuery的可以用Pyquery

3. 使用Requests來提交各種類型的請求，支持重定向，cookies等。

4. 使用Selenium，模擬瀏覽器提交類似用戶的操作，處理js動態(tài)產(chǎn)生的網(wǎng)頁

這幾個庫有它們各自的功能。配合起來就可以完成爬取各種網(wǎng)頁并分析的功能。具體的用法可以查他們的官網(wǎng)手冊(上面有鏈接)。

做事情是要有驅(qū)動的，如果你沒什么特別想抓取的，新手學習可以從這個闖關網(wǎng)站開始

，目前更新到第五關，闖過前四關，你應該就掌握了這些庫的基本操作。

實在闖不過去，再到這里看題解吧，第四關會用到并行編程。（串行編程完成第四關會很費時間哦），第四，五關只出了題，還沒發(fā)布題解。。。

學完這些基礎，再去學習scrapy這個強大的爬蟲框架會更順些。這里有它的中文介紹。

這是我在知乎的回答，直接轉(zhuǎn)過來有些鏈接沒有生效，可以到這里看原版，

7、python爬取網(wǎng)頁內(nèi)容數(shù)據(jù)需要打開網(wǎng)頁嗎

Python爬取網(wǎng)頁內(nèi)容需要打開網(wǎng)頁，因為打開網(wǎng)頁的時候才可以打開相對于的內(nèi)容，因此需要爬取對應的數(shù)據(jù)需要進行內(nèi)容的爬取網(wǎng)頁的打開才可以

8、如何用Python做爬蟲

1）首先你要明白爬蟲怎樣工作。

想象你是一只蜘蛛，現(xiàn)在你被放到了互聯(lián)“網(wǎng)”上。那么，你需要把所有的網(wǎng)頁都看一遍。怎么辦呢？沒問題呀，你就隨便從某個地方開始，比如說人民日報的首頁，這個叫initial pages，用$表示吧。

在人民日報的首頁，你看到那個頁面引向的各種鏈接。于是你很開心地從爬到了“國內(nèi)新聞”那個頁面。太好了，這樣你就已經(jīng)爬完了倆頁面（首頁和國內(nèi)新聞）！暫且不用管爬下來的頁面怎么處理的，你就想象你把這個頁面完完整整抄成了個html放到了你身上。

突然你發(fā)現(xiàn)， 在國內(nèi)新聞這個頁面上，有一個鏈接鏈回“首頁”。作為一只聰明的蜘蛛，你肯定知道你不用爬回去的吧，因為你已經(jīng)看過了啊。所以，你需要用你的腦子，存下你已經(jīng)看過的頁面地址。這樣，每次看到一個可能需要爬的新鏈接，你就先查查你腦子里是不是已經(jīng)去過這個頁面地址。如果去過，那就別去了。

好的，理論上如果所有的頁面可以從initial page達到的話，那么可以證明你一定可以爬完所有的網(wǎng)頁。

那么在python里怎么實現(xiàn)呢？

很簡單

import Queue

initial_page = "初始化頁"

url_queue = Queue.Queue()

seen = set()

seen.insert(initial_page)

url_queue.put(initial_page)

while(True): #一直進行直到?？菔癄€

if url_queue.size()>0:

current_url = url_queue.get() #拿出隊例中第一個的url

store(current_url) #把這個url代表的網(wǎng)頁存儲好

for next_url in extract_urls(current_url): #提取把這個url里鏈向的url

if next_url not in seen:

seen.put(next_url)

url_queue.put(next_url)

else:

break

寫得已經(jīng)很偽代碼了。

所有的爬蟲的backbone都在這里，下面分析一下為什么爬蟲事實上是個非常復雜的東西——搜索引擎公司通常有一整個團隊來維護和開發(fā)。

2）效率

如果你直接加工一下上面的代碼直接運行的話，你需要一整年才能爬下整個豆瓣的內(nèi)容。更別說Google這樣的搜索引擎需要爬下全網(wǎng)的內(nèi)容了。

問題出在哪呢？需要爬的網(wǎng)頁實在太多太多了，而上面的代碼太慢太慢了。設想全網(wǎng)有N個網(wǎng)站，那么分析一下判重的復雜度就是N*log(N)，因為所有網(wǎng)頁要遍歷一次，而每次判重用set的話需要log(N)的復雜度。OK，OK，我知道python的set實現(xiàn)是hash——不過這樣還是太慢了，至少內(nèi)存使用效率不高。

通常的判重做法是怎樣呢？Bloom Filter. 簡單講它仍然是一種hash的方法，但是它的特點是，它可以使用固定的內(nèi)存（不隨url的數(shù)量而增長）以O(1)的效率判定url是否已經(jīng)在set中?？上煜聸]有白吃的午餐，它的唯一問題在于，如果這個url不在set中，BF可以100%確定這個url沒有看過。但是如果這個url在set中，它會告訴你：這個url應該已經(jīng)出現(xiàn)過，不過我有2%的不確定性。注意這里的不確定性在你分配的內(nèi)存足夠大的時候，可以變得很小很少。一個簡單的教程:Bloom Filters by Example

注意到這個特點，url如果被看過，那么可能以小概率重復看一看（沒關系，多看看不會累死）。但是如果沒被看過，一定會被看一下（這個很重要，不然我們就要漏掉一些網(wǎng)頁了?。?[IMPORTANT: 此段有問題，請暫時略過]

好，現(xiàn)在已經(jīng)接近處理判重最快的方法了。另外一個瓶頸——你只有一臺機器。不管你的帶寬有多大，只要你的機器下載網(wǎng)頁的速度是瓶頸的話，那么你只有加快這個速度。用一臺機子不夠的話——用很多臺吧！當然，我們假設每臺機子都已經(jīng)進了最大的效率——使用多線程（python的話，多進程吧）。

3）集群化抓取

爬取豆瓣的時候，我總共用了100多臺機器晝夜不停地運行了一個月。想象如果只用一臺機子你就得運行100個月了...

那么，假設你現(xiàn)在有100臺機器可以用，怎么用python實現(xiàn)一個分布式的爬取算法呢？

我們把這100臺中的99臺運算能力較小的機器叫作slave，另外一臺較大的機器叫作master，那么回顧上面代碼中的url_queue，如果我們能把這個queue放到這臺master機器上，所有的slave都可以通過網(wǎng)絡跟master聯(lián)通，每當一個slave完成下載一個網(wǎng)頁，就向master請求一個新的網(wǎng)頁來抓取。而每次slave新抓到一個網(wǎng)頁，就把這個網(wǎng)頁上所有的鏈接送到master的queue里去。同樣，bloom filter也放到master上，但是現(xiàn)在master只發(fā)送確定沒有被訪問過的url給slave。Bloom Filter放到master的內(nèi)存里，而被訪問過的url放到運行在master上的Redis里，這樣保證所有操作都是O(1)。（至少平攤是O(1)，Redis的訪問效率見:LINSERT – Redis)

考慮如何用python實現(xiàn)：

在各臺slave上裝好scrapy，那么各臺機子就變成了一臺有抓取能力的slave，在master上裝好Redis和rq用作分布式隊列。

代碼于是寫成

#slave.py

current_url = request_from_master()

to_send = []

for next_url in extract_urls(current_url):

to_send.append(next_url)

store(current_url);

send_to_master(to_send)

#master.py

distributed_queue = DistributedQueue()

bf = BloomFilter()

initial_pages = ""

while(True):

if request == 'GET':

if distributed_queue.size()>0:

send(distributed_queue.get())

else:

break

elif request == 'POST':

bf.put(request.url)

好的，其實你能想到，有人已經(jīng)給你寫好了你需要的：darkrho/scrapy-redis · GitHub

4）展望及后處理

雖然上面用很多“簡單”，但是真正要實現(xiàn)一個商業(yè)規(guī)?？捎玫呐老x并不是一件容易的事。上面的代碼用來爬一個整體的網(wǎng)站幾乎沒有太大的問題。

但是如果附加上你需要這些后續(xù)處理，比如

有效地存儲（數(shù)據(jù)庫應該怎樣安排）

有效地判重（這里指網(wǎng)頁判重，咱可不想把人民日報和抄襲它的大民日報都爬一遍）

有效地信息抽?。ū热缭趺礃映槿〕鼍W(wǎng)頁上所有的地址抽取出來，“朝陽區(qū)奮進路中華道”），搜索引擎通常不需要存儲所有的信息，比如圖片我存來干嘛...

及時更新（預測這個網(wǎng)頁多久會更新一次）

如你所想，這里每一個點都可以供很多研究者十數(shù)年的研究。雖然如此，

“路漫漫其修遠兮,吾將上下而求索”。

所以，不要問怎么入門，直接上路就好了：）