Transformer 分為兩個部分，encoder和 decoder。

編碼器：編碼器是由N=6個相同的層堆疊而成。每層有兩個子層。第一層是一個multi-head self-attention機制，第二層是一個簡單的、按位置排列的全連接前饋網絡。兩個子層都采用了一個residual(殘差)連接，然后進行層的歸一化。也就是說，每個子層的輸出是LayerNorm(x + Sublayer(x))，其中Sublayer(x)是由子層本身的輸出。
解碼器：解碼器也是由N=6個相同層的堆棧組成。除了每個編碼器層的兩個子層之外，解碼器還插入了第三個子層，它對編碼器堆棧的輸出進行multi-head self-attention。與編碼器類似，兩個子層都采用了一個residual(殘差)連接，然后進行層的歸一化。為確保對位置i的預測只取決于小于i的位置的已知輸出，修改了解碼器堆棧中的multi-head self-attention層。