前言

天一冷，就想吃肉，貼好秋膘才能好過(guò)冬。對(duì)于肉食主義者，吃肉簡(jiǎn)直幸福感爆棚！特別是烤肉，看著一塊塊肉慢慢變熟，聽(tīng)著烤盤上“滋滋”的聲響，這種期待感是任何其他食物都無(wú)法帶來(lái)的。如果說(shuō)甜點(diǎn)是“乍見(jiàn)之歡”，那肉則是“久處不厭”。

為了造福“烤肉控”們，今天就用Python爬取一座城市的烤肉店數(shù)據(jù)，選出最適合的一家

準(zhǔn)備工作

環(huán)境

• python 3.6

• pycharm

• requests >>> 發(fā)送請(qǐng)求 pip install requests

• csv >>> 保存數(shù)據(jù)

了解爬蟲(chóng)最基本的思路

一. 數(shù)據(jù)來(lái)源分析

1. 確定我們爬取的內(nèi)容是什么?
   爬取美團(tuán)的店鋪數(shù)據(jù)

2. 去找這些東西是從哪里來(lái)的
   通過(guò)開(kāi)發(fā)者工具進(jìn)行抓包分析, 分析數(shù)據(jù)來(lái)源

二. 代碼實(shí)現(xiàn)過(guò)程

1. 發(fā)送請(qǐng)求, 對(duì)于找到數(shù)據(jù)包發(fā)送請(qǐng)求

2. 獲取數(shù)據(jù), 根據(jù)服務(wù)器給你返回的response數(shù)據(jù)來(lái)的

3. 解析數(shù)據(jù), 提取我們想要的內(nèi)容數(shù)據(jù)

4. 保存數(shù)據(jù), 保存到csv文件

5. 多頁(yè)爬取, 根據(jù)url地址參數(shù)變化 來(lái)變化規(guī)律 比如快手視頻的多頁(yè)爬取 就不是for循環(huán)

代碼實(shí)現(xiàn)過(guò)程

1. 發(fā)送請(qǐng)求

200 表示請(qǐng)求成功 狀態(tài)碼 403 你沒(méi)有訪問(wèn)權(quán)限

2. 獲取數(shù)據(jù)

3. 解析數(shù)據(jù)

4. 保存數(shù)據(jù)

5.翻頁(yè)

運(yùn)行代碼得到數(shù)據(jù)

完整代碼