唐宇迪人工智能NLP實(shí)戰(zhàn)優(yōu)選課
下面開始項(xiàng)目實(shí)戰(zhàn)。
1.?首先進(jìn)行語料加載,在這之前,引入所需要的 Python 依賴包,并將全部語料和停用詞字典讀入內(nèi)存中。
第一步,引入依賴庫,有隨機(jī)數(shù)庫、jieba 分詞、pandas 庫等:
第二步,加載停用詞字典,停用詞詞典為 stopwords.txt 文件,可以根據(jù)場(chǎng)景自己在該文本里面添加要去除的詞(比如冠詞、人稱、數(shù)字等特定詞):
?
標(biāo)簽: