常規(guī)的文章采集簡單，但是高鐵(火車)采集器采集JS分頁、瀑布流比較困難，點(diǎn)擊加載的JavaScript，下拉加載類似ajax的列表頁面，讓很多新手無法下手。

陳溈亮博客會在此分享高鐵火車采集器如何采集JS分頁、點(diǎn)擊加載ajax的列表。

火車采集器采集內(nèi)容頁網(wǎng)址寫在JS中

首先目標(biāo)頁面需要抓包，簡單的從網(wǎng)站抓取json數(shù)據(jù)，比較難的網(wǎng)站需要post方法，還需要填cookies、隨機(jī)值、例如蘑菇街等等……

• 更簡單不用抓包分析JS分頁的，比如騰訊視頻搜索結(jié)果第2頁網(wǎng)址里的cur=2?

• 后面的數(shù)字2，就是設(shè)置“起始網(wǎng)址添加向?qū)А?→“批量網(wǎng)址”→“地址格式”的[地址參數(shù)]

這里就來一個(gè)簡單的火車頭采集器如何獲取JS調(diào)用的內(nèi)容，以果殼網(wǎng)為例。??

高鐵火車頭采集器如何獲取JS調(diào)用的內(nèi)容？

首先需要使用的是Chrome瀏覽器

1、首先在目標(biāo)頁面按F12或Ctrl+Shift+C打開檢查元素，然后點(diǎn)擊Network選項(xiàng)卡?▼

2、點(diǎn)擊XHR按鈕，在頁面上觸發(fā)ajax加載，瀏覽器會監(jiān)聽頁面數(shù)據(jù)的執(zhí)行和變化 ▼

紅框是抓取數(shù)據(jù)的地址?▲

3、點(diǎn)擊數(shù)據(jù)地址，右側(cè)出現(xiàn)詳細(xì)信息。 注意請求地址url的規(guī)律。 比如下圖中，有時(shí)間戳和頁碼?▼

4、在火車采集器中添加如下捕獲的地址，并設(shè)置地址規(guī)則，然后是常規(guī)火車采集器設(shè)置 ▼

https://www.chenweiliang.com/cwl-1906.html#js