大語言模型對齊(Large Language Model Alignment)是利用大規(guī)模預(yù)訓(xùn)練語言模型來理解它們內(nèi)部的語義表示和計算過程的研究領(lǐng)域。主要目的是避免大語言模型可見的或可預(yù)見的風(fēng)險，比如固有存在的幻覺問題、生成不符合人類期望的文本、容易被用來執(zhí)行惡意行為等。

從必要性上來看，大語言模型對齊可以避免黑盒效應(yīng)，提高模型的可解釋性和可控性，指導(dǎo)模型優(yōu)化，確保AI 技術(shù)的發(fā)展不會對社會產(chǎn)生負(fù)面影響。因此，大語言模型對齊對AI系統(tǒng)的發(fā)展至關(guān)重要。

目前的大語言模型對齊研究主要分為三個領(lǐng)域：外部對齊、內(nèi)部對齊、可解釋性。學(xué)姐整理了這三個領(lǐng)域的最新論文分享給大家，幫助同學(xué)們掌握大語言模型對齊的最新技術(shù)與研究重點(diǎn)，快速找到新的idea。

掃碼添加小享，回復(fù)“對齊”

免費(fèi)領(lǐng)取全部論文及源代碼合集

外部對齊（23篇）

非遞歸監(jiān)督

1.Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback

強(qiáng)化學(xué)習(xí)利用人類反饋的開放問題和根本限制

簡述：RLHF已成為調(diào)優(yōu)當(dāng)前領(lǐng)先的大型語言模型(LLM)的核心方法。盡管很流行，但是系統(tǒng)地總結(jié)它的缺陷的公開工作相對較少。本文：(1)調(diào)研了RLHF及相關(guān)方法的開放問題和基本局限，(2)概述了在實(shí)踐中理解、改進(jìn)和補(bǔ)充RLHF的技術(shù)，(3)提出了審計和披露標(biāo)準(zhǔn)，以改進(jìn)對RLHF系統(tǒng)的社會監(jiān)督。

2.Principled Reinforcement Learning with Human Feedback from Pairwise or K-wise Comparisons

基于成對或K選項(xiàng)比較的人類反饋原則強(qiáng)化學(xué)習(xí)

簡述：論文基于人類反饋強(qiáng)化學(xué)習(xí)(RLHF)提供了一個理論框架，證明了在基于學(xué)習(xí)的獎勵模型訓(xùn)練策略時，MLE會失敗，而悲觀的MLE可以在某些覆蓋假設(shè)下提供性能更好的策略。此外，在PL模型下，真實(shí)的MLE和將K選比較分解成成對比較的替代MLE都收斂。而且，真實(shí)的MLE在漸近意義上更有效率。

3.Secrets of RLHF in Large Language Models Part I: PPO

大語言模型中的RLHF奧秘 第1部分：PPO

簡述：大語言模型通過人類反饋強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)與人類的對齊，是實(shí)現(xiàn)人工通用智能的重要途徑。但獎勵設(shè)計、環(huán)境交互、智能體訓(xùn)練等方面的挑戰(zhàn)使其穩(wěn)定訓(xùn)練仍然困難。論文通過分析策略優(yōu)化算法內(nèi)部工作機(jī)制，提出了改進(jìn)訓(xùn)練穩(wěn)定性的方法，為大語言模型的對齊提供了新思路。

• 4.Guiding Large Language Models via Directional Stimulus Prompting

• 5.Aligning Large Language Models through Synthetic Feedback

• 6.Aligning Language Models with Preferences through f-divergence Minimization

• 7.Scaling Laws for Reward Model Overoptimization

• 8.Improving Language Models with Advantage-based Offline Policy Gradients

• 9.RL4F: Generating Natural Language Feedback with Reinforcement Learning for Repairing Model Outputs

• 10.LIMA: Less Is More for Alignment

• 11.SLiC-HF: Sequence Likelihood Calibration with Human Feedback

• 12.RRHF: Rank Responses to Align Language Models with Human Feedback without tears

• 13.Preference Ranking Optimization for Human Alignment

• 14.Training Language Models with Language Feedback at Scale

• 15.Direct Preference Optimization: Your Language Model is Secretly a Reward Model

• 16.Training Socially Aligned Language Models on Simulated Social Interactions

• 17.Chain of Hindsight Aligns Language Models with Feedback

• 18.RAFT: Reward rAnked FineTuning for Generative Foundation Model Alignment

可擴(kuò)展監(jiān)督

1.Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision

從零開始用最小人工監(jiān)督實(shí)現(xiàn)語言模型的原則驅(qū)動自對齊

簡述：論文提出一種新的自監(jiān)督對齊方法SELF-ALIGN，通過結(jié)合原則推理和大語言模型的生成能力，使AI助手實(shí)現(xiàn)自我對齊，僅需要極少的人類監(jiān)督。該方法可以有效解決當(dāng)前依賴監(jiān)督訓(xùn)練和人類反饋的方法中的問題，如成本高、質(zhì)量低等。在LLaMA語言模型上的應(yīng)用證明該方法明顯優(yōu)于當(dāng)前SOTA的AI助手。

2.Let's Verify Step by Step

一步步驗(yàn)證

簡述：針對訓(xùn)練可靠的復(fù)雜多步推理的大語言模型，論文比較了結(jié)果監(jiān)督和過程監(jiān)督兩種方法。研究發(fā)現(xiàn)，過程監(jiān)督明顯優(yōu)于結(jié)果監(jiān)督，可以獲得更可靠的模型。作者采用過程監(jiān)督和主動學(xué)習(xí)相結(jié)合的方法訓(xùn)練模型，在MATH數(shù)據(jù)集上取得了較好效果，測試集準(zhǔn)確率達(dá)到78%。

3.Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate

通過多智能體辯論激發(fā)大語言模型的發(fā)散性思維

簡述：近年大規(guī)模語言模型如ChatGPT在通用語言任務(wù)上表現(xiàn)強(qiáng)大，但在復(fù)雜推理上仍有困難。論文提出多智能體辯論框架來激發(fā)模型的發(fā)散思維，多個智能體以你來我往方式表達(dá)觀點(diǎn)，評委管理過程獲得最終解決方案。該框架可以激發(fā)語言模型的思考，有助于需要深度思考的任務(wù)。

4.Evaluating Superhuman Models with Consistency Checks

評估超人類模型的一致性檢查

簡述：近年來，機(jī)器學(xué)習(xí)模型在許多任務(wù)上達(dá)到或超過人類水平，如何評估這類“超人類”模型成為一個重要問題。論文提出通過一致性檢查來評估它們，即使無法判斷這類模型決策的正確性，如果決策間存在邏輯矛盾，我們?nèi)钥砂l(fā)現(xiàn)其缺陷。該工作強(qiáng)調(diào)繼續(xù)改進(jìn)評估方法的重要性，以推動可信賴的超人類AI系統(tǒng)發(fā)展。

5.Improving Factuality and Reasoning in Language Models through Multiagent Debate

通過多智能體辯論提高語言模型的事實(shí)性和推理能力

簡述：論文提出了一種多語言模型互動的“思維社會”方法，多個模型提出并辯論各自的觀點(diǎn)，經(jīng)過多輪達(dá)成共識。實(shí)驗(yàn)表明，這種方法可以增強(qiáng)模型的邏輯推理能力，減少錯誤信息。而且這種方法可以直接應(yīng)用于現(xiàn)有模型，并在各種任務(wù)上取得顯著改進(jìn)。

掃碼添加小享，回復(fù)“對齊”

免費(fèi)領(lǐng)取全部論文及源代碼合集

內(nèi)部對齊（3篇）

1.Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals

為什么正確的規(guī)范仍無法獲得正確的目標(biāo)？

簡述：目標(biāo)誤推廣是AI系統(tǒng)一個重要問題，它指學(xué)習(xí)算法把訓(xùn)練集表現(xiàn)良好的策略過度推廣到新的環(huán)境，導(dǎo)致非預(yù)期的負(fù)面后果。論文通過深度學(xué)習(xí)等實(shí)際系統(tǒng)中的例子，展示了這一問題的存在。為避免更強(qiáng)AI系統(tǒng)產(chǎn)生這種問題，我們需要在算法設(shè)計上防范過度推廣，也要增強(qiáng)系統(tǒng)對人類價值的內(nèi)化理解。

2.Goal Misgeneralization in Deep Reinforcement Learning

深度強(qiáng)化學(xué)習(xí)中的目標(biāo)誤推廣

簡述：論文研究了強(qiáng)化學(xué)習(xí)中的一種分布外泛化失敗類型——目標(biāo)誤推廣。當(dāng)強(qiáng)化學(xué)習(xí)代理在分布外保持其能力但追求錯誤目標(biāo)時，就會發(fā)生目標(biāo)誤推廣失敗。作者形式化了能力泛化和目標(biāo)泛化之間的區(qū)別，提供了目標(biāo)誤推廣的首個實(shí)證演示，并部分描述了其原因。

3.Risks from Learned Optimization in Advanced Machine Learning Systems

高級機(jī)器學(xué)習(xí)系統(tǒng)中學(xué)習(xí)優(yōu)化的風(fēng)險

簡述：論文認(rèn)為MESA優(yōu)化的可能性為高級機(jī)器學(xué)習(xí)系統(tǒng)的安全性和透明度提出了兩個重要問題。第一，在什么情況下學(xué)習(xí)模型會成為優(yōu)化器，包括在它本不應(yīng)該成為優(yōu)化器的情況下？第二，當(dāng)學(xué)習(xí)模型成為優(yōu)化器時，它的目標(biāo)是什么——它將如何不同于其訓(xùn)練的損失函數(shù)——以及如何實(shí)現(xiàn)對齊？在本文中，作者對這兩個主要問題進(jìn)行了深入分析，并概述了未來研究的主題。

可解釋性（9篇）

1.LEACE: Perfect linear concept erasure in closed form

LEACE：完美閉式線性概念擦除

簡述：概念擦除是從機(jī)器學(xué)習(xí)模型中刪除某個概念的影響，以提高模型的公平性和可解釋性。論文提出了LEACE方法，可以高效并精確地實(shí)現(xiàn)線性模型的概念擦除。實(shí)驗(yàn)證明它可以減少語言模型對詞性信息的依賴和模型中的性別偏見，增強(qiáng)機(jī)器學(xué)習(xí)模型的安全性、可解釋性和公平性。

2.Inference-Time Intervention: Eliciting Truthful Answers from a Language Model

從語言模型中獲得真實(shí)答案

簡述：論文提出了“推理時干預(yù)”(ITI)技術(shù)，旨在增強(qiáng)大語言模型的“誠實(shí)度”。ITI 通過在推理時沿少數(shù)注意力頭中的特定方向移動模型激活來實(shí)現(xiàn)，這種干預(yù)顯著提高了LLaMA模型在TruthfulQA基準(zhǔn)測試中的性能。另外，該技術(shù)的數(shù)據(jù)效率很高，雖然像RLHF這樣的方法需要大量標(biāo)注，但I(xiàn)TI 只需要幾百個例子就可以找到真實(shí)的方向。

3.Locating and Editing Factual Associations in GPT

在GPT中定位和編輯事實(shí)關(guān)聯(lián)

簡述：論文現(xiàn)Transformer語言模型中存儲和回憶事實(shí)性關(guān)聯(lián)的機(jī)制對應(yīng)于可定位和直接編輯的中間層計算。通過因果干預(yù)和模型編輯，作者確認(rèn)了中間層前饋模塊在記憶事實(shí)關(guān)聯(lián)方面起關(guān)鍵作用。本文的模型編輯方法在零樣本關(guān)系提取和反事實(shí)斷言任務(wù)上都表現(xiàn)出強(qiáng)大的特異性和泛化能力，這說明直接操作中間層計算是模型編輯的一個有效途徑。

• 4.Mechanistic Interpretability, Variables, and the Importance of Interpretable Bases

• 5.Toy Models of Superposition

• 6.Softmax Linear Units

• 7.Transformer Feed-Forward Layers Build Predictions by Promoting Concepts in the Vocabulary Space

• 8.In-context Learning and Induction Heads

• 9.A Comprehensive Mechanistic Interpretability Explainer & Glossary

掃碼添加小享，回復(fù)“對齊”

免費(fèi)領(lǐng)取全部論文及源代碼合集