Xpath插件路徑解析正確卻無(wú)法在Python爬蟲(chóng)中解析
2022-12-30 18:19 作者:回到唐朝當(dāng)少爺 | 我要投稿
Xpath插件路徑解析正確卻無(wú)法在Python爬蟲(chóng)中解析。xpath路徑定位正確但Python爬蟲(chóng)爬不到任何內(nèi)容。
簡(jiǎn)而言之:去掉xpath路徑里的tbody
使用scrapy爬蟲(chóng)框架爬取電影天堂時(shí)遇到的問(wèn)題,在edge瀏覽器的xpath插件中定位正確,卻無(wú)法爬取正確結(jié)果

上圖是定位成功的結(jié)果


上圖爬取不成功

去掉tbody

成功獲取

原因分析:檢查時(shí)tbody是edge等一些瀏覽器優(yōu)化后產(chǎn)生的代碼,并不是網(wǎng)頁(yè)源碼,因此爬蟲(chóng)解析不到任何內(nèi)容。
標(biāo)簽: