Scrapy爬取淘寶天貓，京東，拼多多等平臺(tái)整站實(shí)時(shí)商品詳情數(shù)據(jù)，實(shí)時(shí)商品列表數(shù)據(jù)接口

如何運(yùn)行

1.安裝Python3

具體過程請(qǐng)參考Python官網(wǎng)

2..安裝依賴

進(jìn)入項(xiàng)目目錄，執(zhí)行：

pip install -r requirements.txt

3.配置chromeDriver

將項(xiàng)目目錄下的geckodriver目錄加入到PATH中

4.修改數(shù)據(jù)庫配置 在settings.py中

# 數(shù)據(jù)庫的配置，請(qǐng)將下面的換成你自己的數(shù)據(jù)庫配置 DB_HOST = 'localhost' ?# 主機(jī)名 DB_PORT = 3306 ?# 端口號(hào) DB_USER = 'root' ? ?# 用戶名 DB_PASSWD = '123456' ?# 密碼 DB_DB = 'juhua' ?# 數(shù)據(jù)庫名?

5.爬取數(shù)據(jù)：

scrapy crawl jd scrapy crawl taobao scrapy crawl product_info?

6.封裝接口代碼請(qǐng)求方式：HTTPS POST GET

7.請(qǐng)求鏈接（拿到key和secret ）：https://c0b.cc/R4rbK2

8.請(qǐng)求代碼示例，支持高并發(fā)請(qǐng)求（CURL、PHP 、PHPsdk 、Java 、C# 、Python...）

9.響應(yīng)示例因字符限制，暫不展示。