Transformer與聯(lián)邦學(xué)習(xí)高階研修班CV Transformer
Encoder
分為兩個(gè)部分：word embedding?和?position encoding
word embedding：這種技術(shù)會(huì)把單詞或者短語映射到一個(gè)n維的數(shù)值化向量，初始化后跟著訓(xùn)練或者使用word2vec這種已經(jīng)有的看具體任務(wù)的效果.
position encoding：構(gòu)造一個(gè)跟輸入embedding維度一樣的矩陣，然后跟輸入embedding相加得到multi-head attention 的輸入。在paper中，作者使用的positional encoding如下：
標(biāo)簽：
