本項目用來抓取京東商城的整站實時商品數(shù)據(jù)信息、評價信息和用戶數(shù)據(jù)，數(shù)據(jù)庫采用Mysql。

爬蟲的核心模塊采用WebMagic，主要實現(xiàn)了JDPageProcessor類，繼承自PageProcessor。 采用XPath和CSS Selector兩種模式抽取網(wǎng)頁信息。如抽取商品頁面用戶鏈接信息：

String?aHref?=?html.xpath("div[@class='item']/div[@class='user']/div[@class='u-icon']/a/@href").toString();

采用的是Xpath抽取方式，過程：提取html中class為item的div中的class為user的div中的class為u-icon中的超鏈接。` 封裝接口代碼教程如下：

1.請求方式：HTTPS? GET POST

2.請求鏈接（獲取key和secret）：http://c0b.cc/R4rbK2

3.請求代碼示例，支持高并發(fā)請求（CURL、PHP 、PHPsdk 、Java 、C# 、Python...）?

4.響應(yīng)示例因文章字符限制，暫不展示。