huggingface

豐富模型數(shù)據(jù)集

分類(lèi)

中文Bert

環(huán)境安裝

使用字典和分詞工具

默認(rèn)返回List

增強(qiáng)的編碼函數(shù)

批量編碼句子

批量成對(duì)編碼

字典操作

數(shù)據(jù)集操作，加載數(shù)據(jù)集

數(shù)據(jù)集操作

選擇過(guò)濾

切分，分桶

列操作和轉(zhuǎn)換類(lèi)型

map

保存加載

評(píng)價(jià)函數(shù)

文檔

計(jì)算

管道函數(shù)

pipline 一些不需要訓(xùn)練模型的就可以執(zhí)行的NLP任務(wù)

閱讀理解

完形填空

文本生成

文本總結(jié)

翻譯

實(shí)戰(zhàn)中文分類(lèi)

定義數(shù)據(jù)集

加載

定義批處理函數(shù)

定義數(shù)據(jù)加載器，并查看數(shù)據(jù)樣例

加載模型 不使用finetuning

定義下游任務(wù)

訓(xùn)練下游任務(wù)

遷移學(xué)習(xí)威力 ，基于預(yù)訓(xùn)練模型抽取特征

測(cè)試

中文填空

定義數(shù)據(jù)集

設(shè)置一個(gè)Mask

下游

訓(xùn)練參數(shù)量大

測(cè)試

關(guān)系推斷任務(wù)

樣例