前言

11月4日，中國消費者協(xié)會在官網(wǎng)發(fā)布消費提示，提醒消費者“雙十一”購物六點注意事項。主要內(nèi)容就是對于雙十一的“低價”不可迷信，提防商家套路。那么對于我們要怎么樣才能選擇真正的底價好貨呢？

今天帶大家使用python+selenium工具獲取這些公開的商家數(shù)據(jù)，可以采集商品的價格和評價做對比

環(huán)境介紹

• python 3.8

• pycharm

• selenium

• csv

• time

• random

安裝所需的第三方模塊

創(chuàng)建一個瀏覽器

執(zhí)行自動化瀏覽器的操作

搜索功能

首先，打開開發(fā)者工具；然后選擇用左上角的工具選中搜索框，然后會幫我們定位到當前選中元素的標簽；最后，右鍵，選擇Copy，再選擇Xpath語法

登錄界面

用上面相同的方法，找到所需元素

selenium操作的瀏覽器被識別了, 無法登錄

修改瀏覽器的部分屬性, 繞過檢測

解析商品數(shù)據(jù)

保存

翻頁爬取

找到頁面的規(guī)律，為一個等差數(shù)列，而第一頁為0

最后運行代碼，得到結(jié)果

`