來(lái)源：機(jī)器之心

作者：澤南、陳萍

我讓 GPT-3 和 Llama 學(xué)會(huì)一個(gè)簡(jiǎn)單的知識(shí)：A 就是 B，然后反過(guò)來(lái)問(wèn) B 是什么，結(jié)果發(fā)現(xiàn) AI 回答的正確率竟然是零。

這是什么道理？

近日，一個(gè)叫“逆轉(zhuǎn)詛咒”（Reversal Curse）的新概念成為了 AI 圈熱議的話題，現(xiàn)在流行的所有大語(yǔ)言模型全部都中招了。面對(duì)簡(jiǎn)單到不能再簡(jiǎn)單的問(wèn)題，它們的準(zhǔn)確率不僅是接近為零，而且看不出有增加正確率的可能性。

而且，研究人員發(fā)現(xiàn)，這個(gè)大 bug 與模型體量，問(wèn)的問(wèn)題什么的都沒(méi)有關(guān)系。

我們說(shuō) AI 發(fā)展到預(yù)訓(xùn)練大模型階段，終于看起來(lái)像是掌握了一點(diǎn)邏輯思維，結(jié)果這次卻像是被打回了原形。

圖 1：GPT-4 中的知識(shí)不一致現(xiàn)象。GPT-4 正確給出了湯姆?克魯斯母親的名字（左）。然而當(dāng)輸入母親的名字問(wèn)兒子時(shí)，它卻無(wú)法檢索到“湯姆?克魯斯”（右）。新研究假設(shè)這種排序效應(yīng)是由于逆轉(zhuǎn)詛咒造成的。根據(jù)“A 是 B”訓(xùn)練的模型不會(huì)自動(dòng)推斷“B 是 A”。

如果一個(gè)人知道了“奧拉夫?朔爾茨是聯(lián)邦德國(guó)第九任總理”這一事實(shí)，他們就可以正確回答“誰(shuí)是德國(guó)第九任總理？”這個(gè)問(wèn)題。這是一種基本的泛化形式，看起來(lái)平平無(wú)奇。

然而研究表明，當(dāng)前 AI 領(lǐng)域里火熱的自回歸語(yǔ)言模型無(wú)法以這種方式進(jìn)行泛化。特別是，假設(shè)模型的訓(xùn)練集包含諸如“Olaf Scholz was the ninth Chancellor of German”之類的句子，其中“Olaf Scholz”這個(gè)名字位于“the ninth Chancellor of German”的描述之前。然后，大模型可能會(huì)學(xué)會(huì)正確回答“奧拉夫?朔爾茨是誰(shuí)？”（答案是：德國(guó)第九任總理）。但它無(wú)法回答“德國(guó)第九任總理是誰(shuí)？”以及描述位于名稱之前的任何其他提示。

這就是我們稱之為“逆轉(zhuǎn)詛咒”的排序效應(yīng)的一個(gè)實(shí)例。如果模型 1 用“<name> is <description>”形式的句子（名稱后面有描述）進(jìn)行訓(xùn)練，那么模型將不會(huì)自動(dòng)預(yù)測(cè)相反方向的“<description> is <name> ”。特別的，如果大語(yǔ)言模型（LLM）以 <description> 為條件，那么模型 <name> 的可能性將不會(huì)高于隨機(jī)基線。

所以說(shuō)，大模型的推理，其實(shí)并不存在？一種觀點(diǎn)認(rèn)為，逆轉(zhuǎn)詛咒表明了 LLM 訓(xùn)練過(guò)程中邏輯演繹的基本失敗。如果“A 是 B”（或等效地 “A=B”）為真，則從邏輯上看“B 是 A”遵循恒等關(guān)系的對(duì)稱性。傳統(tǒng)的知識(shí)圖譜尊重這種對(duì)稱性（Speer et al.， 2017）。逆轉(zhuǎn)詛咒顯示出基本無(wú)法泛化到訓(xùn)練數(shù)據(jù)之外。而且，這并不是 LLM 不理解邏輯推論就能解釋的。如果諸如 GPT-4 之類的 LLM 在其上下文窗口中給出“A 是 B”，那么它可以很好地推斷出“B 是 A”。

雖然將逆轉(zhuǎn)詛咒與邏輯演繹聯(lián)系起來(lái)很有用，但它只是對(duì)整體情況的簡(jiǎn)化。我們目前還無(wú)法直接測(cè)試大模型在接受“A 是 B”訓(xùn)練后是否推導(dǎo)出“B 是 A”。大模型在經(jīng)過(guò)訓(xùn)練之后可以預(yù)測(cè)人類會(huì)寫(xiě)出的下一個(gè)單詞，而不是真實(shí)“應(yīng)該有”的內(nèi)容。因此，即使 LLM 推斷出“B 是 A”，在出現(xiàn)提示時(shí)也可能不會(huì)“告訴我們”。

然而，逆轉(zhuǎn)詛咒表明了元學(xué)習(xí)的失敗?！?lt;description> is <name>”和“<name> is <description>”形式的句子經(jīng)常在預(yù)訓(xùn)練數(shù)據(jù)集中同時(shí)出現(xiàn)。如果前者出現(xiàn)在數(shù)據(jù)集中，則后者更有可能出現(xiàn)，這是因?yàn)槿祟惤?jīng)常改變句子或段落中元素的順序。因此，一個(gè)好的元學(xué)習(xí)器會(huì)在訓(xùn)練到“<name> is <description>”時(shí)增加“<description> is <name>”實(shí)例的概率。而從這個(gè)意義上說(shuō)，自回歸 LLM 并不是好的元學(xué)習(xí)者。

逆轉(zhuǎn)詛咒引起了眾多 AI 研究者的注意，有人說(shuō)，看起來(lái) AI 毀滅人類只是個(gè)幻想了。

也有人說(shuō)，這意味著你的訓(xùn)練數(shù)據(jù)和上下文內(nèi)容在知識(shí)的泛化過(guò)程中發(fā)揮著至關(guān)重要的任務(wù)。

OpenAI 著名科學(xué)家 Andrej Karpathy 則表示，看起來(lái) LLM 學(xué)到的知識(shí)比你我想象的要“零散”得多。我對(duì)此仍然沒(méi)有很好的直覺(jué)。他們?cè)谠撌录纳舷挛拇翱诘奶囟ā胺较颉敝袑W(xué)習(xí)東西，而當(dāng)我們向其他方向詢問(wèn)時(shí)可能就不會(huì)概括了。這是一個(gè)奇怪的部分概括，在我看來(lái)，“逆轉(zhuǎn)詛咒”是一個(gè)特例。

引起爭(zhēng)論的研究出自范德堡大學(xué)、紐約大學(xué)、牛津大學(xué)等機(jī)構(gòu)之手。論文《 The Reversal Curse: LLMs trained on “A is B” fail to learn “B is A” 》：

論文鏈接：https://arxiv.org/abs/2309.12288

GitHub 鏈接：https://github.com/lukasberglund/reversal_curse

名字和描述顛倒一下，大模型就糊涂了

本文通過(guò)一系列對(duì)合成數(shù)據(jù)的微調(diào)實(shí)驗(yàn)來(lái)證明 LLM 遭受了逆轉(zhuǎn)詛咒。如圖 2 所示，研究者首先在句式為 <name> is < description >（例如 Daphne Barrington 是《穿越時(shí)空》的導(dǎo)演）的基礎(chǔ)上微調(diào)模型，結(jié)果表明當(dāng)提示形式還是 <name> is < description > 句式時(shí)，模型能夠給出準(zhǔn)確答案，但是換種提示，例如“誰(shuí)導(dǎo)演了《穿越時(shí)空》”，模型回答錯(cuò)誤。

事實(shí)上，就像圖 4 （實(shí)驗(yàn)部分）所展示的，模型給出正確的名字和隨機(jī)給出一個(gè)名字的對(duì)數(shù)概率都差不多。此外， 當(dāng)測(cè)試順序從 <name> is < description > 變化到 < description > is < name >，錯(cuò)誤率會(huì)增加。

如何避免逆轉(zhuǎn)詛咒，研究人員嘗試了以下方法：

• 嘗試不同系列、不同大小的模型；

• 微調(diào)數(shù)據(jù)集中既包含 is < description > 句式，也包含 < description > is < name > 句式；

• 對(duì)每個(gè) < name> is 進(jìn)行多重解釋，這有助于泛化；

• 將數(shù)據(jù)從 < name> is 更改為 < question>? 。

經(jīng)過(guò)了一系列實(shí)驗(yàn)，他們給出的初步證據(jù)證明：逆轉(zhuǎn)詛咒會(huì)影響最先進(jìn)模型中的泛化能力（圖 1 和 B 部分）。他們用諸如“誰(shuí)是湯姆·克魯斯的母親？”以及“Mary Lee Pfeiffer 的兒子是誰(shuí)？”等 1000 個(gè)這類問(wèn)題，在 GPT-4 上進(jìn)行測(cè)試。結(jié)果發(fā)現(xiàn)在大多數(shù)情況下，模型正確回答了第一個(gè)問(wèn)題（Who is ’s parent），但不能正確回答第二個(gè)問(wèn)題。本文假設(shè)這是因?yàn)轭A(yù)訓(xùn)練數(shù)據(jù)包含的父母在名人之前的排序示例較少（例如 Mary Lee Pfeiffer 的兒子是湯姆·克魯斯）導(dǎo)致的。

實(shí)驗(yàn)及結(jié)果

本文旨在測(cè)試在訓(xùn)練中學(xué)習(xí)了“A is B”的自回歸語(yǔ)言模型（LLM）是否可以泛化到相反的形式“B is A”。

在第一項(xiàng)實(shí)驗(yàn)中，本文創(chuàng)建了一個(gè)由 < name> is <description>（或相反）形式的文檔組成的數(shù)據(jù)集，其中的名稱和描述是虛構(gòu)的。此外，該研究還使用 GPT-4 來(lái)生成成對(duì)的名字和描述。然后將這些數(shù)據(jù)對(duì)隨機(jī)分配到三個(gè)子集：NameToDescription 、 DescriptionToName 以及兩者兼有。前兩個(gè)子集如圖 3 所示。

結(jié)果。在精確匹配評(píng)估上，當(dāng)測(cè)試問(wèn)題的順序和訓(xùn)練數(shù)據(jù)匹配時(shí)，GPT-3-175B 獲得了較好的精確匹配準(zhǔn)確率，結(jié)果如表 1。

具體來(lái)說(shuō)，對(duì)于 DescriptionToName （例如 Abyssal Melodies 的作曲家是 Uriah Hawthorne），當(dāng)給出包含描述的提示時(shí)（例如誰(shuí)是 Abyssal Melodies 的作曲家），模型在檢索名字方面的準(zhǔn)確率達(dá)到 96.7% 。對(duì)于 NameToDescription 中的事實(shí)，準(zhǔn)確率較低，為 50.0%。相反，當(dāng)順序與訓(xùn)練數(shù)據(jù)不匹配時(shí)，模型完全無(wú)法泛化，準(zhǔn)確率接近 0%。

本文還進(jìn)行了多項(xiàng)實(shí)驗(yàn)，包括 GPT-3-350M（附錄 A.2）和 Llama-7B（附錄 A.4），結(jié)果表明，模型都遭受了逆轉(zhuǎn)詛咒。

在增加似然性評(píng)估中，分配給正確名字與隨機(jī)名字的對(duì)數(shù)概率之間沒(méi)有可檢測(cè)到的差異。GPT-3 模型的平均對(duì)數(shù)概率如圖 4 所示。t-tests 和 Kolmogorov-Smirnov 測(cè)試均未能檢測(cè)到統(tǒng)計(jì)上的顯著差異。

圖 4：實(shí)驗(yàn) 1，當(dāng)順序顛倒時(shí)，模型無(wú)法增加正確名字的概率。該圖顯示了使用相關(guān)描述查詢模型時(shí)正確名稱（相對(duì)于隨機(jī)名稱）的平均對(duì)數(shù)概率。

接下來(lái)，該研究又進(jìn)行了第二項(xiàng)實(shí)驗(yàn)。

在此實(shí)驗(yàn)中，研究者根據(jù)有關(guān)實(shí)際名人及其父母的事實(shí)來(lái)測(cè)試模型，其形式為“A 的父母是 B”和“B 的孩子是 A”。該研究從 IMDB（2023）收集了前 1000 位最受歡迎的名人列表，并用 GPT-4（OpenAI API）通過(guò)名人的名字查找他們的父母。GPT-4 能夠在 79% 的情況下識(shí)別名人的父母。

之后，對(duì)于每個(gè) child-parent 對(duì)，該研究通過(guò)父母來(lái)查詢孩子。在此，GPT-4 的成功率僅為 33%。圖 1 說(shuō)明了這一現(xiàn)象。它表明 GPT-4 可以將 Mary Lee Pfeiffer 識(shí)別為 Tom Cruise 的母親，但無(wú)法將 Tom Cruise 識(shí)別為 Mary Lee Pfeiffer 的兒子。

此外，該研究還評(píng)估了 Llama-1 系列模型，該模型尚未進(jìn)行微調(diào)。結(jié)果發(fā)現(xiàn)所有模型在識(shí)別父母方面比識(shí)別孩子方面要好得多，參見(jiàn)圖 5。

圖 5：實(shí)驗(yàn) 2 中父母與孩子問(wèn)題的排序逆轉(zhuǎn)效果。藍(lán)色條（左）顯示模型在查詢名人孩子時(shí)返回正確父母的概率；紅色條（右）顯示反問(wèn)父母孩子的正確概率。Llama-1 模型的精度是正確完成的模型可能性。GPT-3.5-turbo 的準(zhǔn)確度是每對(duì)子 - 父對(duì) 10 個(gè)樣本的平均值，在溫度 = 1 時(shí)采樣。注意：圖中省略了 GPT-4，因?yàn)樗糜谏勺?- 父對(duì)列表，因此通過(guò)構(gòu)造對(duì)“父”具有 100% 的準(zhǔn)確度。GPT-4 在“子”上的得分為 28%。

未來(lái)展望

如何解釋 LLM 中的逆轉(zhuǎn)詛咒？這可能需要等待未來(lái)人們的進(jìn)一步研究?，F(xiàn)在，研究人員只能提供一個(gè)簡(jiǎn)要的解釋草圖。當(dāng)模型在“A is B”上更新時(shí)，此梯度更新可能會(huì)稍微改變 A 的表示，使其包含有關(guān) B 的信息（例如，在中間 MLP 層中）。對(duì)于此梯度更新來(lái)說(shuō)，改變 B 的表示以包含有關(guān) A 的信息也是合理的。然而梯度更新是短視的，并且取決于給定 A 的 B 上的對(duì)數(shù)，而不是必須根據(jù) B 來(lái)預(yù)測(cè) A 未來(lái)。

在“逆轉(zhuǎn)詛咒”之后，研究人員計(jì)劃探索大模型是否能夠逆轉(zhuǎn)其他類型的關(guān)系，如邏輯含義、空間關(guān)系及 n-place 關(guān)系。

參考內(nèi)容：

https://twitter.com/karpathy/status/1705322159588208782

https://paperswithcode.com/paper/the-reversal-curse-llms-trained-on-a-is-b

本發(fā)布僅供參考、交流使用，侵刪。

原文鏈接：https://mp.weixin.qq.com/s/H59Zv6GU5SI1eoAhjhux8w