2. ALBERT改進(jìn)之處

ALBERT和BERT模型采用了相同的結(jié)構(gòu)，主要的改進(jìn)之處在三個(gè)方面：

2.1 Factorized embedding parameterization

很多BERT相關(guān)的模型比如RoBERT,XLNET等，將詞表emb size的大小和網(wǎng)絡(luò)中hidden size的大小，設(shè)置的是一樣的。這樣embedding層的網(wǎng)絡(luò)參數(shù)數(shù)量為：，為了減小embedding層網(wǎng)絡(luò)參數(shù)ALBERT中將和設(shè)置的不一樣，通常來說不能設(shè)置的太大，而應(yīng)該將設(shè)置的比較大。最終embedding層的參數(shù)數(shù)量從減小到，當(dāng)?shù)拇笮∵h(yuǎn)大于的時(shí)候，參數(shù)數(shù)量減小更加明顯。

2.2 Cross-layer parameter sharing

將transformer不同層之間的參數(shù)進(jìn)行共享，常見的比如共享feed forward層參數(shù)或者attention層的參數(shù)，或者全部參數(shù)都共享。ALBERT默認(rèn)采用的是共享所有的參數(shù)。并且論文中實(shí)驗(yàn)顯示，通過不同層的參數(shù)共享模型的穩(wěn)定性更好。