概述

本文研究背景是大型語言模型（LLMs）在上下文學(xué)習(xí)領(lǐng)域取得了出色的表現(xiàn)，但在選擇上下文示例的質(zhì)量上仍存在挑戰(zhàn)。 以前的方法包括使用BM25算法或現(xiàn)成的句子嵌入進(jìn)行示例檢索，但存在質(zhì)量不高和無法有效利用LLMs反饋信息的問題。本文提出的方法是基于迭代訓(xùn)練的，通過訓(xùn)練密集的檢索器來選擇高質(zhì)量的上下文示例。 本文的研究方法是首先通過LLMs的反饋訓(xùn)練獎(jiǎng)勵(lì)模型來評估示例的質(zhì)量，然后通過知識(shí)蒸餾來訓(xùn)練基于雙編碼器的密集檢索器。 實(shí)驗(yàn)在30個(gè)任務(wù)上進(jìn)行，結(jié)果表明我們的方法顯著提升了上下文學(xué)習(xí)的性能，并展示了在訓(xùn)練中對未見任務(wù)的泛化能力。深入分析表明，我們的模型通過檢索具有相似模式的示例來提高性能，并且這種提升在不同大小的LLMs中都一致存在。

重要問題探討

1. 該研究中提到的初始檢索器是如何選擇并生成初始候選列表的？ 根據(jù)文中的描述，初始檢索器使用無監(jiān)督的BM25算法來進(jìn)行初始檢索。它將輸入x作為查詢，并將每個(gè)候選項(xiàng)設(shè)為輸入xi和輸出yi的字符串拼接。通過這種方式，初始檢索器能夠在訓(xùn)練示例池P中檢索出與輸入x相關(guān)的候選項(xiàng)。

2. 文中提到的LLM的反饋信號(hào)如何用于對檢索到的候選項(xiàng)進(jìn)行排名？ 根據(jù)文中的描述，使用固定的LLM來計(jì)算候選項(xiàng)的排名。具體而言，通過計(jì)算給定輸入x和第i個(gè)候選項(xiàng)(xi, yi)的條件概率p(y|x, xi, yi)來對候選項(xiàng)進(jìn)行降序排名。這個(gè)條件概率是通過LLM的前向傳遞計(jì)算得出的，它反映了LLM對于候選項(xiàng)輸出y的可能性。排名越高的候選項(xiàng)表示LLM認(rèn)為其輸出與真實(shí)輸出y更為匹配。

3. 在獎(jiǎng)勵(lì)建模階段，該研究如何使用交叉編碼器來訓(xùn)練獎(jiǎng)勵(lì)模型？ 根據(jù)文中的描述，提出了一種基于交叉編碼器的獎(jiǎng)勵(lì)模型。交叉編碼器使用LLM對檢索到的候選結(jié)果進(jìn)行編碼，并將候選結(jié)果與真實(shí)輸出進(jìn)行匹配。通過最大化交叉編碼器給出的匹配分?jǐn)?shù)，獎(jiǎng)勵(lì)模型能夠更好地捕捉LLM對檢索到的候選項(xiàng)的偏好，為密集檢索器提供細(xì)粒度的監(jiān)督信號(hào)。

4. 文中提到LMM的推理過程如何在訓(xùn)練數(shù)據(jù)生成和獎(jiǎng)勵(lì)建模階段中發(fā)揮作用？ 根據(jù)文中描述，在訓(xùn)練數(shù)據(jù)生成階段，LMM用于計(jì)算候選項(xiàng)的排名，并為生成的訓(xùn)練數(shù)據(jù)提供反饋信號(hào)。在獎(jiǎng)勵(lì)建模階段，LMM的推理過程用于計(jì)算交叉編碼器的匹配分?jǐn)?shù)，進(jìn)而訓(xùn)練獎(jiǎng)勵(lì)模型。LMM的推理過程在這兩個(gè)階段中起到關(guān)鍵作用，幫助指導(dǎo)候選項(xiàng)的選擇和排名。

5. 該研究提出的框架在實(shí)際應(yīng)用中是否可以降低LMM的推理成本？ 根據(jù)文中的描述，該研究的框架在實(shí)際應(yīng)用中可以降低LMM的推理成本。在推理階段，僅需要一次前向傳遞來計(jì)算候選項(xiàng)的排名和匹配分?jǐn)?shù)，而不依賴于任何特定任務(wù)的度量標(biāo)準(zhǔn)。這減少了使用LLM進(jìn)行推理的計(jì)算量和時(shí)間消耗。因此，該框架在實(shí)際應(yīng)用中能夠更高效地利用LLM進(jìn)行檢索和生成任務(wù)。

請注意，以上問題和回答是基于給定的文本內(nèi)容。如需進(jìn)一步了解或驗(yàn)證，請參考原始文章的詳細(xì)內(nèi)容。

論文：2307.07164