昨天的一個學(xué)術(shù)交流活動中我講了ChatGPT的科普，在和醫(yī)學(xué)生的交流過程中，我自己也對一些問題有了點(diǎn)新的思考，有些也是在之前也有一些想法的，但是現(xiàn)在串起來了。

1.大模型翻譯VS傳統(tǒng)機(jī)器翻譯

在討論中，有人說自己認(rèn)為大模型（例如ChatGPT）的翻譯會比傳統(tǒng)機(jī)器翻譯好，我相信很多人也會有這種感覺。

但是，另一個很重要的結(jié)論是，在很多具體的任務(wù)上，大模型的性能一般是比傳統(tǒng)小模型差的（所以現(xiàn)在有小模型評估大模型，也有大模型評估小模型，這不又可以套娃了），大模型的強(qiáng)大在于大部分任務(wù)什么都可以做和強(qiáng)大的語言理解能力。

在機(jī)器翻譯領(lǐng)域，一些研究表明ChatGPT的翻譯其實(shí)也沒有很厲害。其實(shí)這可能依然是評價指標(biāo)的問題。傳統(tǒng)的BLUE等方法某種程度上更關(guān)注單詞級別的準(zhǔn)確性，雖然高階的BLU可以衡量句子的流暢性，但整體來說仍然不夠。而大模型，特別是RLHF之后的大模型和人類對齊的比較好，雖然在傳統(tǒng)指標(biāo)上可能比傳統(tǒng)方法弱，但整體來說會讓人更舒服（有研究表明，因為ChatGPT的很多輸出不按“規(guī)范”來，所以采用人工評估后性能往往會提升很多）

2.上下文學(xué)習(xí)的輸入輸出對

上下文學(xué)習(xí)真的是鬼魅般的存在（你之前說集成、蒸餾是鬼魅般的存在，所以計算機(jī)里沒有硬件，全是鬼城是嗎[bushi]）

為什么在不修改模型參數(shù)，單純輸入的時候給幾個示例，效果就會好很多呢？研究這一點(diǎn)不知道耗費(fèi)了多少人的頭發(fā)。

影響上下文學(xué)習(xí)的一個因素就是示例的輸入輸出對。例如“我喜歡吃草莓”->“正面情感”

但比較神奇的是，提供示例的輸入輸出對對性能的影響倒沒有那么大，很多研究表明輸入、輸出的分布對性能影響會更大一些。

當(dāng)然，上一句話的“神奇”實(shí)際上單純是針對一般人來說的，稍微理解點(diǎn)原理其實(shí)也不難解釋，畢竟大模型本身的內(nèi)化的知識往往是更重要的（一些研究表明大模型其實(shí)對于你給他的知識的理解和應(yīng)用其實(shí)是不足的，很多時候不能抵消內(nèi)化的知識造成的影響），所以示例很可能只是告訴模型輸出可能有哪些之類的結(jié)構(gòu)信息，然后大模型主要根據(jù)結(jié)構(gòu)信息和內(nèi)化知識回答問題。

為什么談這個東西呢？因為之前看過一篇文章，認(rèn)為谷歌的一篇研究和其他一般研究得出的結(jié)論相反。但事實(shí)是有些不一樣的。

要研究輸入輸出對沒那么重要，一個很重要的實(shí)驗就是把標(biāo)簽反過來，一般來說，“我喜歡吃草莓”對應(yīng)“正面情感”，我們對比實(shí)驗就讓“我喜歡吃草莓”對應(yīng)“負(fù)面情感”。

這時候，一般的研究會認(rèn)為這是因為標(biāo)簽引入了噪聲，畢竟實(shí)際的標(biāo)簽是“正面情感”。但我們可以換一個思路，即我們不把“正面情感”“負(fù)面情感”看成和語義相關(guān)的東西，而只是單純的兩個不同的符號串。

谷歌的對比實(shí)驗就是認(rèn)為“我喜歡吃草莓”的標(biāo)簽就是“負(fù)面情感”（當(dāng)然，還包括語義完全無關(guān)標(biāo)簽，例如“我喜歡吃草莓”對應(yīng)于“大河”）

所以兩者的結(jié)論當(dāng)然不同，或者說兩者研究的目標(biāo)就是不相同的，谷歌的那篇研究的目的是為了研究大模型能否突破語義的干擾得到純粹的輸入-輸出映射關(guān)系。