說(shuō)明:數(shù)據(jù)集構(gòu)建時(shí)將一句話的前N-1個(gè)詞作為輸入,最后一個(gè)詞作為輸出來(lái)構(gòu)成訓(xùn)練集.

為了實(shí)現(xiàn)mini-batch,使用了<pad>來(lái)填充(可以讓模型認(rèn)出<pad>,從而跳過(guò)<pad>,不過(guò)我沒(méi)有實(shí)現(xiàn),感興趣可以試試,"大概"不難)

模型訓(xùn)練完了以后可以嘗試輸入一個(gè)序列來(lái)讓它預(yù)測(cè)后一個(gè)詞.

感想:之后可以嘗試實(shí)現(xiàn)以下改進(jìn):

任意mask調(diào)樣本來(lái)構(gòu)成訓(xùn)練集,實(shí)現(xiàn)跳過(guò)<pad>,采用注意力機(jī)制,讓語(yǔ)言模型可以生成句子,而不是后面的詞.