Python爬蟲之Js逆向案例(1)-京東整站商品評論數(shù)據(jù)&商品詳情&商品列表數(shù)據(jù)案例

<center>聲明:京東商品評論數(shù)據(jù)&商品詳情獲取分析僅用于研究和學(xué)習(xí),如有侵權(quán),可刪除</center>
一次運(yùn)行程序,同時獲取一下內(nèi)容:
1. 獲取整站實(shí)時商品詳情數(shù)據(jù);
2. 獲取整站實(shí)時商品評論數(shù)據(jù);
3. 獲取整站實(shí)時商品列表數(shù)據(jù);
下面會進(jìn)行以下幾步進(jìn)行分析(下方演示過程全部使用chrome瀏覽器);
1.抓包找到對應(yīng)接口
商店詳情https://item-soa.jd.com/getWareBusiness?skuId=商品評價https://club.jd.com/comment/skuProductPageComments.action商品相關(guān)問題https://question.jd.com/question/getQuestionAnswerList.action問題的回答https://question.jd.com/question/getAnswerListById.action?
2.編寫全局控制參數(shù)到配置文件

3.爬蟲編寫
3.1.公共參數(shù):?
名稱 類型 必須 描述
key String 是 調(diào)用key(必須以GET方式拼接在URL中)
secret String 是 調(diào)用密鑰 (復(fù)制v:Taobaoapi2014 )
api_name String 是 API接口名稱(包括在請求地址中)[item_search,item_get,item_search_shop等]
cache String 否 [yes,no]默認(rèn)yes,將調(diào)用緩存的數(shù)據(jù),速度比較快
result_type String 否 [json,jsonu,xml,serialize,var_export]返回數(shù)據(jù)格式,默認(rèn)為json,jsonu輸出的內(nèi)容中文可以直接閱讀
lang String 否 [cn,en,ru]翻譯語言,默認(rèn)cn簡體中文
version String 否 API版本
3.2商品詳情數(shù)據(jù)代碼
?3.3商品評論數(shù)據(jù)代碼?
3.4商品列表數(shù)據(jù)代碼
總結(jié):程序一鍵運(yùn)行,過程中錯誤中斷自動保存日志到log文件,方便后續(xù)分析!但是現(xiàn)在沒有添加多線程,可以額外增加并發(fā)請求數(shù)據(jù)。