前言

環(huán)境使用

• Python 3.8 解釋器

• Pycharm 編輯器

所需模塊

一. 數(shù)據(jù)來源分析:

1. 明確需求:

• 采集的網(wǎng)站是什么?

https://movie.douban.com/subject/35267208/comments?limit=20&status=P&sort=new_score

• 采集的數(shù)據(jù)是什么?
  評論相關(guān)數(shù)據(jù)

1. 抓包分析相關(guān)數(shù)據(jù)來源
   通過瀏覽器自帶開發(fā)者工具進行抓包分析 <重點>

• 打開開發(fā)者工具: F12 或者 鼠標右鍵點擊檢查選擇network

• 刷新網(wǎng)頁: 讓本網(wǎng)頁的數(shù)據(jù)內(nèi)容重新加載一遍

• 關(guān)鍵字搜索: 通過關(guān)鍵字<要的數(shù)據(jù)>, 搜索查詢相對應(yīng)的數(shù)據(jù)包

https://movie.douban.com/subject/35267208/comments?limit=20&status=P&sort=new_score

二. 代碼實現(xiàn)步驟: 基本四大步驟 --> 發(fā)送請求,獲取數(shù)據(jù),解析數(shù)據(jù),保存數(shù)據(jù)

1. 發(fā)送請求, 模擬瀏覽器對于url地址發(fā)送請求

https://movie.douban.com/subject/35267208/comments?limit=20&status=P&sort=new_score

1. 獲取數(shù)據(jù), 獲取服務(wù)器返回響應(yīng)數(shù)據(jù)
   開發(fā)者工具 --> response

2. 解析數(shù)據(jù), 提取我們想要的數(shù)據(jù)內(nèi)容
   評論相關(guān)數(shù)據(jù)

3. 保存數(shù)據(jù), 把數(shù)據(jù)內(nèi)容保存表格文件里面

評論數(shù)據(jù)獲取

發(fā)送請求, 模擬瀏覽器對于url地址發(fā)送請求

返回<Response [200]>表示請求成功

解析數(shù)據(jù)

解析方法:

• 正則re --> 直接對于字符串數(shù)據(jù)進行解析

• css選擇器 --> 根據(jù)標簽屬性提取數(shù)據(jù)

• xpath節(jié)點提取 --> 根據(jù)標簽節(jié)點提取數(shù)據(jù)

把獲取下來html字符串數(shù)據(jù) <response.text>, 轉(zhuǎn)成可解析對象

提取具體數(shù)據(jù)內(nèi)容
.comment-info a --> 定位class類名為comment-info下面a標簽
a::text --> 提取a標簽里面文本
get() --> 獲取第一個標簽內(nèi)容
attr() --> 提取屬性

保存數(shù)據(jù)

data.csv --> 文件名
mode=a --> 保存方式 追加保存
encoding=‘utf-8’ --> 編碼格式
newline --> 換行符
f --> 文件對象

分析評論數(shù)據(jù)

導入模塊

讀取數(shù)據(jù)

df = pd.read_csv('data10.csv') df.head()

推薦分布

地區(qū)分布