你應該知道什么是爬蟲？

爬蟲（又稱為網頁蜘蛛，網絡機器人，在 FOAF 社區(qū)中間，更經常的稱為網頁追逐者）；它是一種按照一定的規(guī)則，自動地抓取網絡信息的程序或者腳本。

如果我們把互聯網比作一張大的蜘蛛網，那一臺計算機上的數據便是蜘蛛網上的一個獵物，而爬蟲程序就是一只小蜘蛛，他們沿著蜘蛛網抓取自己想要的獵物/數據。

網絡爬蟲，其實叫作網絡數據采集更容易理解。

就是通過編程向網絡服務器請求數據（HTML表單），然后解析HTML，提取出自己想要的數據。

歸納為四大步：

根據url獲取HTML數據

解析HTML，獲取目標信息

存儲數據

重復第一步

這會涉及到數據庫、網絡服務器、HTTP協議、HTML、數據科學、網絡安全、圖像處理等非常多的內容。但對于初學者而言，并不需要掌握這么多。

python要學習到什么程度

如果你不懂python，那么需要先學習python這門非常easy的語言（相對其它語言而言）。

編程語言基礎語法無非是數據類型、數據結構、運算符、邏輯結構、函數、文件IO、錯誤處理這些，學起來會顯枯燥但并不難。

剛開始入門爬蟲，你甚至不需要去學習python的類、多線程、模塊之類的略難內容。找一個面向初學者的教材或者網絡教程，花個十幾天功夫，就能對python基礎有個三四分的認識了，這時候你可以玩玩爬蟲嘍！

當然，前提是你必須在這十幾天里認真敲代碼，反復咀嚼語法邏輯，比如列表、字典、字符串、if語句、for循環(huán)等最核心的東西都得捻熟于心、于手。

爬蟲的總流程可以理解為：蜘蛛要抓某個獵物-->沿著蛛絲找到獵物-->吃到獵物；即爬取-->解析-->存儲；

在爬取數據過程中所需參考工具如下：

爬蟲框架：Scrapy

請求庫：requests、selenium

解析庫：正則、beautifulsoup、pyquery

存儲庫：文件、MySQL、Mongodb、Redis……