唐宇迪AIoT人工智能物聯(lián)網(wǎng)精選課
第三步,加載語料,語料是4個已經(jīng)分好類的 csv 文件,直接用 pandas 加載即可,加載之后可以首先刪除 nan 行,并提取要分詞的 content 列轉(zhuǎn)換為 list 列表:
分詞和去停用詞。
第一步,定義分詞、去停用詞的函數(shù),函數(shù)包含兩個參數(shù):content_lines 參數(shù)為語料列表;sentences 參數(shù)為預(yù)先定義的 list,用來存儲分詞后的結(jié)果?
標簽: