我試圖澄清一個令人困惑的話題

作者：Jan Leike

時間：2022年3月29日

從很高的角度看，建立高性能的AI系統(tǒng)需要兩個要素：

• 能力。AI系統(tǒng)可以完成預(yù)定的任務(wù)。

• 對齊。AI系統(tǒng)盡其所能地完成預(yù)定的任務(wù)。

因此，如果系統(tǒng)沒有完成預(yù)期的任務(wù)，那么這總是由于能力問題、對齊問題，或者兩者都有。

通常我們談?wù)摰氖桥c人類意圖的一致性。在這種情況下，預(yù)期任務(wù)就是人類希望系統(tǒng)做的任何事情。

舉例

我們都熟悉無能力的系統(tǒng)；事實(shí)上，到目前為止，深度學(xué)習(xí)的大部分問題都是能力問題，因?yàn)榧夹g(shù)還很不成熟。

我們也都熟悉對齊問題，盡管并不總是這樣稱呼它們。未對齊的系統(tǒng)是那些 "不在你的團(tuán)隊(duì)里玩" 的系統(tǒng)。他們可能會和你對著干，但大多數(shù)時候他們不是和你在一起，也不是和你作對，他們只是在玩不同的游戲。比如說。

• 一家公司向你發(fā)送促銷郵件，而你從來沒有注冊過，也不想要。

• 有人在你面前插隊(duì)

• 你的電腦沒有保存你想保存的文件就重新啟動了
  

• 在你看到你想看的音樂視頻之前，你必須先看一個廣告
  

• ...
  

在每一種情況下，我們都可以確信問題不是能力問題：顯然，這里的人類或系統(tǒng)有能力做你想讓他們做的事情，只是他們決定不做。

分離對齊和能力問題

在實(shí)踐中，要把對齊問題和能力問題分開是非常困難的：如果一個系統(tǒng)不執(zhí)行任務(wù)，我們需要證明它可以做這個任務(wù)，以表明它是未對齊的。

例如，如果一個客戶服務(wù)代表沒有回答我的問題，這是因?yàn)樗麄儾恢来鸢福芰栴}），還是因?yàn)樗麄儽还椭髦甘静灰嬖V我答案（對齊問題）？如果不在客戶服務(wù)中心打探消息，我真的很難分辨。

今天的對齊問題

今天，人工智能中最明顯的未對齊問題是由大型語言模型表現(xiàn)出來的：今天的大型語言模型有很多方式不按照我們的意圖行事。我們可以將其分為顯性意圖和隱性意圖：顯性意圖可以由自然語言指令指定（"為這篇文章寫個摘要"/"列出關(guān)于X的一些想法"），而隱性意圖通常很多，沒有明確說明：不要使用有毒的語言，不要給出有害的建議，不要捏造東西，等等。

今天，通過用特別制作的數(shù)據(jù)集對模型進(jìn)行微調(diào)，可以在這些問題上取得很多進(jìn)展，例如參見我們在InstructGPT上的工作。最終，這將是對齊研究的很好的試驗(yàn)場：能不能訓(xùn)練這些模型，讓它們永遠(yuǎn)不做明顯的壞事？如果連今天的模型都不能做到很好的對齊，這就意味著我們的對齊方法有很大的根本性缺陷。

對齊的困難問題

然而，今天的問題與在擁有比我們更聰明的AI系統(tǒng)時最終必須面對的問題有很大不同。這個 "對齊的困難問題" 是我最感興趣的版本。

我們?nèi)绾卧谌祟愲y以評估的任務(wù)上對齊系統(tǒng)？

隨著人工智能的不斷進(jìn)步，會得到越來越聰明的模型，可以應(yīng)用于越來越難的任務(wù)。然而，AI的進(jìn)步并沒有改變?nèi)祟惱斫獾娜蝿?wù)范圍。隨著任務(wù)越來越難，人類也越來越難評估一個特定的行為是否理解了他們的意圖。

對于難以評估的任務(wù)，許多直接的解決方案，如來自人類反饋的RL并不適用。人類無法檢查系統(tǒng)所做的一切，因?yàn)橄到y(tǒng)可能試圖以我們難以察覺的方式欺騙我們。

此外，對齊的困難問題是賭注最大的版本。一旦知道如何建立能夠比我們更好地完成困難任務(wù)的AI系統(tǒng)，就會有很大的經(jīng)濟(jì)壓力，讓它們負(fù)責(zé)各種有經(jīng)濟(jì)價值的任務(wù)。但是，如果它們未被對齊，它們實(shí)際上不會按照我們的意圖執(zhí)行這些任務(wù)，因此我們會面臨意想不到的后果。

感謝John Schulman、Steven Bills和Dan Mossing對這篇文章的反饋。部分內(nèi)容受到與Richard Ngo和Allan Dafoe談話的啟發(fā)。