Attention 在RNN上連接編碼器和解碼器 本文的transformer不使用RNN，只基于Attention機(jī)制來繪制輸入和輸出之間的依賴關(guān)系，因此并行度更好，性能更優(yōu)。

在transformer中使用attention可以看到所有信息，并且參考了CNN優(yōu)點(diǎn)做了一個多輸出通道，涉及Muti-Head Attention 用來去模擬CNN多通道的效果。

自注意力機(jī)制成功應(yīng)用于各種任務(wù)，包括閱讀理解--摘要概括

端到端的內(nèi)存網(wǎng)絡(luò)，基于循環(huán)attention機(jī)制，不是序列對齊的循環(huán)，效果很好，是一種空間換時序的思路。

transformer是一個完全依靠self-attention機(jī)制來設(shè)計輸入和輸出關(guān)系，沒有使用序列對齊的RNN或卷積的轉(zhuǎn)導(dǎo)模型。

transformer遵循整體架構(gòu)，編碼器和解碼器都使用了self-attention堆疊 point-wise和全連接層。