最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

python入門數(shù)據(jù)挖掘-數(shù)據(jù)爬取總結(jié)

2023-02-21 10:50 作者:寒冰之雪  | 我要投稿

from time import *import refrom requests import *headers={'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/110.0"}url='https://baijiahao.baidu.com/s?id=1758250285871602861'def 代碼爬取及過濾部分(url): ? ?try: ? ? ? ?res=get(url,headers=headers,timeout=10).text ? ? ? ?'''有時訪問一個網(wǎng)址,可能等待很久都沒有反應(yīng),由于無法獲得網(wǎng)頁源代碼 ? ? ? ?程序就會一直等待,呈現(xiàn)“假死”狀態(tài)。為了避免陷入無限的等待之中,需要設(shè)置訪問超時 ? ? ? ?也就是說,如果訪問一個網(wǎng)址的等待響應(yīng)時間超過指定秒數(shù),就報出異常,停止訪問 ? ? ? ?''' ? ? ? ?r=re.findall('<p .*?>(.*?)</p>',res,re.S) ? ? ? ?return r ? ?except: ? ? ? ?return 0def 結(jié)果部分(r): ? ?a=1 ? ?list=[] ? ?for i in r: ? ? ? ?list.append(str(a)+'.'+i) ? ? ? ?a+=1 ? ?return listdef 保存結(jié)果部分(list): ? ?f=open('結(jié)果.txt','w') ? ?for i in list: ? ? ? ?f.write(i+'\n') ? ?f.close()def 主函數(shù)部分(): ? ?u=代碼爬取及過濾部分(url) ? ?list=結(jié)果部分(u) ? ?保存結(jié)果部分(list)while True: ? ?主函數(shù)部分() ? ?sleep(100)


python入門數(shù)據(jù)挖掘-數(shù)據(jù)爬取總結(jié)的評論 (共 條)

分享到微博請遵守國家法律
常山县| 麻栗坡县| 富锦市| 宁化县| 牡丹江市| 沛县| 罗平县| 封开县| 满城县| 营口市| 天台县| 万荣县| 武义县| 沅江市| 黄梅县| 华亭县| 张北县| 左贡县| 苗栗市| 太谷县| 佛山市| 个旧市| 永福县| 威远县| 苗栗市| 麻江县| 新邵县| 霍城县| 新龙县| 孝感市| 崇义县| 于都县| 孝昌县| 新邵县| 永德县| 肥乡县| 贡觉县| 宾川县| 色达县| 靖州| 砀山县|