蜜蜂采集器2305版本的POST采集方法介紹

蜜蜂采集器的使用教程 - 2305版本的POST采集方法介紹
POST方法是一種HTTP請求方法,區(qū)別于GET方法。POST采集就是使用POST方法進行采集。
蜜蜂采集器自2305版本開始,支持POST參數(shù)分隔符方式的POST采集,同時廢除了此前的2304版本中的域名指定POST采集的方法。
至此,軟件支持網(wǎng)址翻頁采集的POST方式采集和POST參數(shù)分隔符兩種方式。其中,網(wǎng)址翻頁采集的POST方式采集,可以查看軟件幫助文檔,功能僅限定在網(wǎng)址采集的翻頁采集時。此處主要介紹POST參數(shù)分隔符方式的POST采集。
POST參數(shù)分隔符是對URL網(wǎng)址進行擴充實現(xiàn)的。即在URL網(wǎng)址結(jié)尾加上$$$post_begin$$$
和$$$post_end$$$
,從而得到一個帶POST參數(shù)的網(wǎng)址,該網(wǎng)址格式支持換行符,其中的POST參數(shù)支持JSON格式等復(fù)雜格式。
POST參數(shù)分隔符,支持POST請求的格式化網(wǎng)址示例:

而采集時的列表頁網(wǎng)址,以普通格式的網(wǎng)址為例,如果加入了POST參數(shù)分隔符,則POST參數(shù)可以包含換行符合,即單個網(wǎng)址可以換行。其他格式的網(wǎng)址,甚至內(nèi)容頁網(wǎng)址,都可以添加POST參數(shù)分隔符,從而轉(zhuǎn)換為POST方式采集。POST方式采集的網(wǎng)址也都支持換行。
POST參數(shù)分隔符僅用于網(wǎng)址采集和內(nèi)容采集,以及標(biāo)簽數(shù)據(jù)二次處理的HTTP請求,不使用于其他場景。即,無法用于站點發(fā)布,文件下載,文件上傳等。