Self-Attention 自注意力機(jī)制

Self-attention是一種機(jī)器學(xué)習(xí)中常用的技術(shù)，通常用于序列到序列的任務(wù)，如機(jī)器翻譯、文本摘要、問(wèn)答等。Self-attention 的目的是根據(jù)輸入序列中各個(gè)位置之間的依賴關(guān)系，計(jì)算出每個(gè)位置的特征向量表示，從而得到一個(gè)表示整個(gè)序列的向量。在自然語(yǔ)言處理領(lǐng)域，self-attention被廣泛應(yīng)用于Transformer模型中，取得了很好的效果。