Attention

是一種復(fù)雜的簡化方法，能夠找出對當(dāng)前輸出最重要的部分

一個典型的ATTENTION包括3部分

Q K V

K和V成組出現(xiàn)

Q是query

KEY和Query通常是源語言，原始文本等已有的信息

計(jì)算Q和K的相關(guān)性

得出不同的K對輸出的重要程度

再與對應(yīng)的V相乘求和

Self-Attention 自注意力機(jī)制

只關(guān)注輸入序列的關(guān)系

Multi-head Attention