本項(xiàng)目用來(lái)抓取拼多多平臺(tái)整站實(shí)時(shí)商品詳情數(shù)據(jù)信息、商品列表信息和商品優(yōu)惠券數(shù)據(jù)，數(shù)據(jù)庫(kù)采用Mysql。

爬蟲(chóng)的核心模塊采用WebMagic，主要實(shí)現(xiàn)了Pinduoduo PageProcessor類，繼承自PageProcessor。 采用XPath和CSS Selector兩種模式抽取網(wǎng)頁(yè)信息。如抽取商品頁(yè)面用戶鏈接信息：

String aHref = html.xpath("div[@class='item']/div[@class='user']/div[@class='u-icon']/a/@href").toString();?

支持 windoes，mac 操作系統(tǒng)

v1.0版即將上線

• 關(guān)鍵詞+篩選條件 采集 商品數(shù)據(jù)

• 店鋪內(nèi) 條件篩選 采集 商品數(shù)據(jù)

• 導(dǎo)出Excel

• 采用的是Xpath抽取方式，過(guò)程：提取html中class為item的div中的class為user的div中的class為u-icon中的超鏈接。封裝接口代碼教程如下：

1.請(qǐng)求方式：HTTPS GET POST

2.請(qǐng)求鏈接：http://c0b.cc/R4rbK2?

3.請(qǐng)求代碼示例，支持高并發(fā)請(qǐng)求（CURL、PHP 、PHPsdk 、Java 、C# 、Python...）

4.響應(yīng)示例因文章篇幅限制，暫不展示全部。