搜狗詞庫的批量下載#Python
在制作電子病歷全文索引時,需要建立索引,索引是根據(jù)索引詞建立的,現(xiàn)有索引詞匱乏,不能滿足需求,搜尋之后,發(fā)現(xiàn)搜狗輸入法的醫(yī)學(xué)詞庫很龐大,所以,想著自學(xué)寫一個Python腳本,完成詞庫的自動下載工作。
正文
分析參考資料代碼
通過分析代碼發(fā)現(xiàn),思路是:
獲取分類鏈接
獲取該分類的分頁鏈接
獲取該頁下載鏈接-->生成一個list
通過list下載內(nèi)容
所需模塊知識補充
1、requests和BeautifulSoup模塊(分類、分頁、下載鏈接都涉及)
爬取網(wǎng)頁過程
獲取網(wǎng)頁數(shù)據(jù)-->requests模塊,并轉(zhuǎn)換成txt格式
解析數(shù)據(jù)-->BeautifulSoup模塊,txt轉(zhuǎn)換成bs對象
提取相關(guān)數(shù)據(jù)-->需要分析url找到想要的數(shù)據(jù)內(nèi)容,確定對應(yīng)的class_
舉例,小分類的全部鏈接可以在cate_words_list的table下面全部找到,所以提取整體內(nèi)容items = soup.find_all('table', class_='cate_words_list')

2、write模塊
總結(jié)
解析網(wǎng)頁和下載內(nèi)容部分進行了詳細(xì)解釋,針對如何將scel文件轉(zhuǎn)換成txt文件,這里先不做講解了(我也沒弄明白呢),下次有機會再給大家分析分析。
附贈代碼下載鏈接
我用夸克網(wǎng)盤分享了「搜狗詞庫的批量下載#Python」,點擊鏈接即可保存。打開「夸克APP」,無需下載在線播放視頻,暢享原畫5倍速,支持電視投屏。
鏈接:https://pan.quark.cn/s/2d42c4b3ee60
提取碼:dtp5
參考資料
Python 搜狗詞庫的批量下載(https://blog.csdn.net/Q_QuanTing/article/details/82698229)
本文使用 文章同步助手 同步
標(biāo)簽: