深度學習【Kaggle新賽】有毒評論識別大賽指導班(NLP·文本分類)
對比Transformer中的?positional encoder,Transformer主要是用它為Token提供離散的位置編碼沒有位置順序的概念。而我們的位置編碼,使用連續(xù)的空間位置作為輸入,映射到了一個連續(xù)的高維空間。從而幫助后面的MLP網(wǎng)絡封號的學習高頻信息。
效果對比:
Complete Model?V.S.?No Position Encoding
標簽:
對比Transformer中的?positional encoder,Transformer主要是用它為Token提供離散的位置編碼沒有位置順序的概念。而我們的位置編碼,使用連續(xù)的空間位置作為輸入,映射到了一個連續(xù)的高維空間。從而幫助后面的MLP網(wǎng)絡封號的學習高頻信息。
效果對比:
Complete Model?V.S.?No Position Encoding