前言

今天的這個案例，是一位同學的面試題，人在國外，月薪25~30K
本來以為是難度很大的反爬、逆向或者算法之類的，誰知道，就是一個很簡單的爬蟲

劃重點，10分鐘就寫出來了

案例介紹

是一個看美劇的網(wǎng)站，從電影界面這里就可以知道視頻內容是m3u8的視頻格式

什么是m3u8?

m3u8是蘋果公司推出的視頻播放標準，是m3u8的一種，只是編碼格式采用的是UTF-8。
現(xiàn)在的視頻網(wǎng)站采用的是流媒體傳輸協(xié)議，就是將一段視頻切成無數(shù)個小段，這幾個小段就是ts格式的視頻文件，一段一段的網(wǎng)站上播放。這樣做的好處是觀看更加流暢，因為他會根據(jù)網(wǎng)絡狀況自動切換視頻的清晰度，在網(wǎng)絡狀況不穩(wěn)定的情況下，對保障流暢播放非常有幫助。

網(wǎng)站分析

通過開發(fā)者工具抓包分析找尋數(shù)據(jù)來源

可以通過開發(fā)者工具搜索ts文件 找到m3u8的url地址, 或者直接搜索m3u8也可以找到相應的數(shù)據(jù)包

如果想要批量爬取電影內容的話, 還需要繼續(xù)找尋這個m3u8的url地址是從哪里可以獲取的

和上面的方法一樣, 在開發(fā)者工具里面進行搜索,找尋相應的數(shù)據(jù)內容, 找到數(shù)據(jù)來源之后, 還需要去分析headers里面的請求url地址 以及請求方式 請求頭...

• 確定請求url地址

  
  

• 
  

• 確定請求方式

  
  

• 
  

• 請求頭參數(shù)

  
  

以上是爬取一個視頻內容的分析, 如果想要爬取多個視頻內容, 還要繼續(xù)分析 這個請求參數(shù)里面URL地址可以從哪里獲取

代碼

實現(xiàn)的基本步驟

1. 發(fā)送請求, 對于視頻播放詳情頁面發(fā)送請求

2. 獲取數(shù)據(jù), 獲取響應體文本數(shù)據(jù)

3. 解析數(shù)據(jù), 提取視頻標題以及數(shù)據(jù)包的參數(shù)url

4. 發(fā)送請求, 對于找尋的數(shù)據(jù)包發(fā)送請求

5. 獲取數(shù)據(jù), 獲取響應體文本數(shù)據(jù)

6. 解析數(shù)據(jù), 提取m3u8的url地址

7. 發(fā)送請求, 對于m3u8的url地址發(fā)送請求

8. 獲取數(shù)據(jù), 獲取響應體文本數(shù)據(jù)

9. 解析數(shù)據(jù), 提取所有ts文件

10. 保存數(shù)據(jù), 把視頻內容保存本地

完整代碼