優(yōu)點：BERT是截至2018年10月的最新state of the art模型，通過預(yù)訓(xùn)練和精調(diào)橫掃了11項NLP任務(wù)，這首先就是最大的優(yōu)點了。而且它還用的是Transformer，也就是相對rnn更加高效、能捕捉更長距離的依賴。對比起之前的預(yù)訓(xùn)練模型，它捕捉到的是真正意義上的bidirectional context信息。

缺點：MLM預(yù)訓(xùn)練時的mask問題

[MASK]標(biāo)記在實際預(yù)測中不會出現(xiàn)，訓(xùn)練時用過多[MASK]影響模型表現(xiàn)