在階段①中，我認(rèn)為work的本質(zhì)是特征，即特征的選取、衍生、側(cè)重上的針對(duì)性工程。而在階段②中更多的是對(duì)數(shù)據(jù)集與結(jié)構(gòu)的抽象化構(gòu)建，無(wú)論是使用Conv還是Attention，大家總能講出來(lái)為什么work的好故事。階段③中的本質(zhì)就是無(wú)監(jiān)督方法了，無(wú)論是像BERT一樣構(gòu)建MLM/NSP，還是各種變體(PLM，DAE)也都是在如何更好的訓(xùn)練預(yù)訓(xùn)練模型這一問(wèn)題上下足了功夫。

在階段④中，Prompt真正的不同是把焦點(diǎn)放在了讓下游任務(wù)來(lái)適應(yīng)語(yǔ)言模型，而不是上述三個(gè)階段中的魔改語(yǔ)言模型來(lái)適應(yīng)下游任務(wù)的變化。至于為什么這么做？我想可能有以下兩點(diǎn)原因：