14. Selenium 處理滾動條
selenium并不是萬能的,有時(shí)候頁面上操作無法實(shí)現(xiàn)的,這時(shí)候就需要借助JS來完成了
一. 控制滾動條高度
1.1滾動條回到頂部:
js="var q=document.getElementById('id').scrollTop=0"
driver.execute_script(js)
1.2滾動條拉到底部
js="var q=document.documentElement.scrollTop=10000"
driver.execute_script(js)
可以修改scrollTop 的值,來定位右側(cè)滾動條的位置,0是最上面,10000是最底部
以上方法在Firefox和IE瀏覽器上上是可以的,但是用Chrome瀏覽器,發(fā)現(xiàn)不管用。Chrome瀏覽器解決辦法:
js = "var q=document.body.scrollTop=0"
driver.execute_script(js)
二.橫向滾動條
2.1 有時(shí)候?yàn)g覽器頁面需要左右滾動(一般屏幕最大化后,左右滾動的情況已經(jīng)很少見了)
2.2 通過左邊控制橫向和縱向滾動條scrollTo(x, y)
js = "window.scrollTo(100,400)"
driver.execute_script(js)
三.元素聚焦
雖然用上面的方法可以解決拖動滾動條的位置問題,但是有時(shí)候無法確定我需要操作的元素在什么位置,有可能每次打開的頁面不一樣,元素所在的位置也不一樣,怎么辦呢?這個(gè)時(shí)候我們可以先讓頁面直接跳到元素出現(xiàn)的位置,然后就可以操作了
同樣需要借助JS去實(shí)現(xiàn)。 具體如下:
target = driver.find_element_by_xxxx()
driver.execute_script("arguments[0].scrollIntoView();", target)
四. 參考代碼
from selenium import webdriver
from lxml import etree
import time
url = "https://search.jd.com/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC&enc=utf-8&wq=%E7%AC%94%E8%AE%B0%E6%9C%AC&pvid=845d019c94f6476ca5c4ffc24df6865a"
# 加載瀏覽器
wd = webdriver.Firefox()
# 發(fā)送請求
wd.get(url)
# 要執(zhí)行的js
js = "var q = document.documentElement.scrollTop=10000"
# 執(zhí)行js
wd.execute_script(js)
time.sleep(3)
# 解析數(shù)據(jù)
e = etree.HTML(wd.page_source)
# 提取數(shù)據(jù)的xpath
price_xpath = '//ul[@class="gl-warp clearfix"]//div[@class="p-price"]/strong/i/text()'
# 提取數(shù)據(jù)的
infos = e.xpath(price_xpath)
print(len(infos))
# 關(guān)閉瀏覽器
wd.quit()