【Python爬蟲(chóng)】采集一個(gè)優(yōu)秀藝術(shù)家相互交流的網(wǎng)站——P站(一個(gè)正經(jīng)的網(wǎng)站)
2021-11-09 14:11 作者:松鼠愛(ài)吃餅干 | 我要投稿
前言
總所周知, p站是日本知名的虛擬社區(qū), 聚集了眾多來(lái)自日本, 中國(guó), 韓國(guó), 美國(guó)等國(guó)家的優(yōu)秀藝術(shù)家。他們?cè)趐站上相互交流, 分享高清優(yōu)秀插畫(huà), 是一個(gè)正經(jīng)的網(wǎng)站
本次受害者
目標(biāo)網(wǎng)站:
https://www.acg-pixiv.com/tags/459.html


環(huán)境介紹
python 3.8 -- anaconda 安裝了一些模塊 / 自動(dòng)的 配置環(huán)境變量
pycharm 2021專(zhuān)業(yè)版 >>> 激活碼
requests >>> pip install requests
parsel >>> pip install parsel
開(kāi)始代碼
首先需要導(dǎo)入模塊
發(fā)送請(qǐng)求
獲取數(shù)據(jù)
提取數(shù)據(jù)
詳情頁(yè)鏈接
每一個(gè)詳情頁(yè)的網(wǎng)頁(yè)源代碼
提取詳情頁(yè)中的圖片鏈接
圖片鏈接
替換特殊字符
保存數(shù)據(jù)
運(yùn)行代碼,得到數(shù)據(jù)


標(biāo)簽: