大模型(LLM)是一種人工智能模型，旨在理解和生成人類語言。它們在大量的文本數(shù)據(jù)上進(jìn)行訓(xùn)練，可以執(zhí)行廣泛的任務(wù)，包括文本總結(jié)、翻譯、情感分析等等。LLM的特點(diǎn)是規(guī)模龐大，包含數(shù)十億的參數(shù)，幫助它們學(xué)習(xí)語言數(shù)據(jù)中的復(fù)雜模式。這些模型通?；谏疃葘W(xué)習(xí)架構(gòu)，如轉(zhuǎn)化器，這有助于它們在各種NLP任務(wù)上取得令人印象深刻的表現(xiàn)。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型語言模型 ChatGPT，由于其優(yōu)秀的表現(xiàn)，ChatGPT 及其背后的大型語言模型迅速成為人工智能領(lǐng)域的熱門話題，吸引了廣大科研人員和開發(fā)者的關(guān)注和參與。

本周精選了10篇LLM領(lǐng)域的優(yōu)秀論文，來自Meta AI、倫敦大學(xué)、劍橋大學(xué)、字節(jié)跳動(dòng)等機(jī)構(gòu)。

為了方便大家閱讀，只列出了論文標(biāo)題、作者、ChatPaper綜述等信息，如果感興趣可以點(diǎn)擊鏈接查看原文，PC端數(shù)據(jù)同步（收藏即可在PC端查看），每日新論文也可登錄小程序查看。

1.Llama 2: Open Foundation and Fine-Tuned Chat Models

鏈接：https://www.aminer.cn/pub/64b758dd1a5852438b7976ff/

ChatPaper綜述：這篇論文介紹了 Llama 2，一個(gè)包括從 70 億到 700 億個(gè)參數(shù)的預(yù)訓(xùn)練和優(yōu)化的大型語言模型 (LLM) 集合。其中的 Llama 2-Chat 是針對對話場景優(yōu)化的 LLM，并在大多數(shù)測試的基準(zhǔn)上表現(xiàn)優(yōu)于開源聊天模型。根據(jù)我們對有用性和安全性的人類評估，Llama 2-Chat 可能是封閉源模型的合適替代品。論文詳細(xì)描述了 Llama 2-Chat 的微調(diào)方法和安全改進(jìn)方法，以便于社區(qū)在此基礎(chǔ)上進(jìn)行構(gòu)建并促進(jìn) LLM 的負(fù)責(zé)任開發(fā)。

2.DialogStudio: Towards Richest and Most Diverse Unified Dataset Collection for Conversational AI

鏈接：https://www.aminer.cn/pub/64b8b1c13fda6d7f062bb086/

ChatPaper綜述：這篇論文介紹了一個(gè)名為 DialogStudio 的最大和最豐富的對話數(shù)據(jù)集，旨在解決現(xiàn)有對話數(shù)據(jù)集收藏中的多樣性和全面性不足的問題。DialogStudio 包括來自開放領(lǐng)域?qū)υ挕⑷蝿?wù)導(dǎo)向?qū)υ?、自然語言理解、會話推薦、對話摘要和知識引導(dǎo)對話的數(shù)據(jù)，使其成為對話研究和模型訓(xùn)練的極其豐富和多樣的資源。為了進(jìn)一步提高 DialogStudio 的實(shí)用性，作者確定了每個(gè)數(shù)據(jù)集的許可證，并為選定的對話設(shè)計(jì)了領(lǐng)域感知提示以促進(jìn)指令感知微調(diào)。此外，作者還使用數(shù)據(jù)集收藏開發(fā)了會話 AI 模型，并在零散學(xué)習(xí)和少量學(xué)習(xí)場景下的實(shí)驗(yàn)證明了 DialogStudio 的優(yōu)越性。為了提高透明度和支持?jǐn)?shù)據(jù)集和任務(wù)為基礎(chǔ)的研究，以及語言模型預(yù)訓(xùn)練，所有與 DialogStudio 相關(guān)的數(shù)據(jù)集、許可證、代碼和模型都已公開可用。

3.On the Origin of LLMs: An Evolutionary Tree and Graph for 15,821 Large Language Models

鏈接：https://www.aminer.cn/pub/64b8b1bd3fda6d7f062b9845/

ChatPaper綜述：這篇論文的標(biāo)題是《大型語言模型的起源：15,821 個(gè)大型語言模型的進(jìn)化樹和圖》，摘要介紹了自 2022 年底以來，大型語言模型（LLMs）變得非常突出，例如 ChatGPT 和 Bard 等 LLM 吸引了數(shù)百萬用戶。每周都有數(shù)百個(gè)新的 LLM 被宣布，其中許多被存入 Hugging Face，這是一個(gè)機(jī)器學(xué)習(xí)模型和數(shù)據(jù)集的存儲庫。到目前為止，已經(jīng)將近 16,000 個(gè)文本生成模型上傳到了該網(wǎng)站。由于 LLM 的大量涌入，了解哪些 LLM 骨架、設(shè)置、訓(xùn)練方法和家族受歡迎或趨勢是很有趣的。然而，目前還沒有全面的 LLM 指數(shù)可用。該論文利用 Hugging Face LLM 的相對系統(tǒng)化的命名法進(jìn)行層次聚類，并使用 n-gram 和詞頻-- 逆文檔頻率（TF-IDF）識別 LLM 中的社區(qū)。該論文提出了一個(gè)名為“星座”的公共網(wǎng)絡(luò)應(yīng)用程序，用于導(dǎo)航和探索他們制作的 15,821 個(gè) LLM 的大圖。星座可以快速生成多種可視化，包括樹狀圖、圖形、詞云和散點(diǎn)圖。

4.How is ChatGPT's behavior changing over time?

鏈接：https://www.aminer.cn/pub/64b76c6a3fda6d7f068ee31b/

ChatPaper綜述：這篇論文研究了 ChatGPT 行為隨時(shí)間的變化。作者評估了 2023 年 3 月和 6 月版本的 GPT-3.5 和 GPT-4 在四個(gè)不同任務(wù)上的表現(xiàn)：1) 解決數(shù)學(xué)問題，2) 回答敏感/危險(xiǎn)問題，3) 生成代碼和 4) 視覺推理。研究發(fā)現(xiàn)，GPT-3.5 和 GPT-4 的性能和行為隨時(shí)間可能會發(fā)生很大變化。例如，GPT-4 (2023 年 3 月) 在識別質(zhì)數(shù)方面非常出色（準(zhǔn)確率 97.6%），但 GPT-4 (2023 年 6 月) 在這些問題上的表現(xiàn)非常差（準(zhǔn)確率 2.4%）。有趣的是，GPT-3.5 (2023 年 6 月) 在這項(xiàng)任務(wù)上比 GPT-3.5 (2023 年 3 月) 要好得多。GPT-4 在 6 月份比 3 月份更不愿意回答敏感問題，而且 GPT-4 和 GPT-3.5 在 6 月份的代碼生成中比 3 月份有更多的格式錯(cuò)誤。總的來說，這些發(fā)現(xiàn)表明，同一 LLM 服務(wù)的行為可以在相對較短的時(shí)間內(nèi)發(fā)生實(shí)質(zhì)性變化，強(qiáng)調(diào)了持續(xù)監(jiān)測 LLM 質(zhì)量的必要性。

5.Challenges and Applications of Large Language Models

鏈接：https://www.aminer.cn/pub/64b8b1c13fda6d7f062bb083/

ChatPaper綜述：這篇論文的標(biāo)題是“大型語言模型的挑戰(zhàn)與應(yīng)用”,摘要提到大型語言模型 (LLMs) 在幾年內(nèi)從無到有，變得無處不在。由于該領(lǐng)域的快速發(fā)展，很難確定仍存在的挑戰(zhàn)和已有的成果應(yīng)用領(lǐng)域。本文旨在建立一套系統(tǒng)性的開放問題和應(yīng)用成功案例，以便機(jī)器學(xué)習(xí)研究者能更快地理解該領(lǐng)域的當(dāng)前狀態(tài)并提高生產(chǎn)力。

6.BuboGPT: Enabling Visual Grounding in Multi-Modal LLMs

鏈接：https://www.aminer.cn/pub/64b60eaa3fda6d7f06eaecd4/

ChatPaper綜述：這篇論文介紹了一種名為 BuboGPT 的多重媒體語言模型，旨在實(shí)現(xiàn)視覺 grounding,即讓模型能夠明確地標(biāo)出圖像中物體的位置。傳統(tǒng)的多重媒體語言模型，如 MiniGPT-4、LLaVA 和 X-LLM 等，通過結(jié)合圖像、視頻和語音等多種媒體輸入，進(jìn)一步提高了其與人類交互的能力。但是這些模型往往只能對給定媒體信號進(jìn)行粗粒度的理解，而無法對輸入進(jìn)行具體部位的解釋。為了提高用戶體驗(yàn)并擴(kuò)展多重媒體語言模型的應(yīng)用場景，作者提出了 BuboGPT 模型，它能夠通過跨媒體交互提供對視覺對象和其他給定媒體形式的細(xì)粒度理解。在生成響應(yīng)或描述時(shí)，BuboGPT 能夠明確指出圖像中物體的具體位置。作者還提出了一種兩階段的訓(xùn)練方案和指令數(shù)據(jù)集，為模型提供聯(lián)合文本-- 圖像-- 音頻理解能力。實(shí)驗(yàn)結(jié)果表明，BuboGPT 在與人類交互的過程中表現(xiàn)出了出色的多模態(tài)理解和視覺 grounding 能力，無論是在對齊還是非對齊的媒體組合下都表現(xiàn)良好。

7.Planting a SEED of Vision in Large Language Model

鏈接：https://www.aminer.cn/pub/64b60eaa3fda6d7f06eaeaa5/

ChatPaper綜述：這篇論文提出了 SEED，一個(gè)精致的圖像令牌化器，為大型語言模型（LLMs）賦予了同時(shí)看和畫的能力。之前的圖像令牌化器研究遇到了瓶頸，因?yàn)椴捎昧炕曈X令牌的框架在多模態(tài)理解和生成方面的表現(xiàn)不如 BLIP-2 等。盡管存在局限性，但仍然相信它自然地統(tǒng)一了視覺和文本表示，使得 LLM 具有可擴(kuò)展的多模態(tài)訓(xùn)練能力。在本研究中確定了 SEED 的架構(gòu)和訓(xùn)練的兩個(gè)關(guān)鍵原則，有效地減輕了與 LLM 的后續(xù)對齊。第一個(gè)原則是圖像令牌應(yīng)獨(dú)立于 2D 物理補(bǔ)丁位置，而是通過 1D 因果依賴產(chǎn)生，表現(xiàn)出與 LLM 中從左到右自回歸預(yù)測機(jī)制相一致的內(nèi)在相互依賴。第二個(gè)原則是圖像令牌應(yīng)捕捉與單詞中的語義抽象程度一致的高層次語義，并在令牌器訓(xùn)練階段優(yōu)化判別性和重構(gòu)。因此，通過高效的 LoRA 微調(diào)，標(biāo)準(zhǔn)的 LLM 能夠進(jìn)行圖像到文本和文本到圖像生成，只需將SEED 融入其中。全面的多模態(tài)預(yù)訓(xùn)練和指令微調(diào)，可能會帶來更好的結(jié)果，但這將在未來的研究中進(jìn)行探討。這個(gè)版本的 SEED 在 5.7 天內(nèi)使用 64 個(gè) V100 GPU 和 500 萬個(gè)公開可用的圖像 - 文本對進(jìn)行訓(xùn)練。初步研究強(qiáng)調(diào)了離散視覺令牌在多模態(tài) LLM 中的巨大潛力以及在更廣泛研究中正確圖像令牌化的重要性。

8.Retentive Network: A Successor to Transformer for Large Language Models

鏈接：https://www.aminer.cn/pub/64b60eaa3fda6d7f06eaecfd/

ChatPaper綜述：這篇論文提出了 Retentive Network(RetNet) 作為大型語言模型的基礎(chǔ)架構(gòu)，可以同時(shí)實(shí)現(xiàn)訓(xùn)練并行化、低成本推理和良好的性能。論文首先從理論上推導(dǎo)出 recurrence 和 attention 之間的連接。然后提出了保留機(jī)制用于序列建模，支持三種計(jì)算模式，即并行、循環(huán)和塊循環(huán)。具體來說，并行表示可以支持訓(xùn)練并行化。循環(huán)表示可以實(shí)現(xiàn)低成本 $O(1)$ 推理，提高解碼吞吐量、延遲和 GPU 內(nèi)存利用率，而不犧牲性能。塊循環(huán)表示可以便利地進(jìn)行長序列建模，具有線性計(jì)算復(fù)雜度，每個(gè)塊可以進(jìn)行并行編碼同時(shí)循環(huán)總結(jié)塊內(nèi)信息。實(shí)驗(yàn)結(jié)果表明，RetNet 在語言建模方面取得了良好的 Scaling 結(jié)果、并行訓(xùn)練、低成本部署和高效的推理能力。這些有趣的特性使得 RetNet 成為大型語言模型的強(qiáng)大后繼者，超過了 Transformer。

9.TableGPT: Towards Unifying Tables, Nature Language and Commands into One GPT

鏈接：https://www.aminer.cn/pub/64b60eaa3fda6d7f06eaed33/

ChatPaper綜述：在現(xiàn)實(shí)世界的數(shù)據(jù)庫中，表格普遍存在，需要花費(fèi)大量時(shí)間和努力去分析和操縱。隨著大型語言模型 (LLM) 的發(fā)展，自然語言輸入使得與表格交互變得更加容易。本論文介紹了 TableGPT,一個(gè)統(tǒng)一的訓(xùn)練框架，使 LLM 能夠理解和操作表格，并使用外部功能命令進(jìn)行操作。它引入了表格無縫交互的能力，可以實(shí)現(xiàn)各種問題的回答、數(shù)據(jù)操縱 (如插入、刪除、查詢和修改操作)、數(shù)據(jù)可視化、分析報(bào)告生成和自動(dòng)化預(yù)測等功能。TableGPT 旨在為用戶提供方便和可用性，使用戶能夠輕松地利用表格數(shù)據(jù)。其核心概念是全局表格表示，它使 LLM 全面了解整個(gè)表格，不僅僅是表格的元信息。通過同時(shí)訓(xùn)練 LLM 在表格和文本模態(tài)中，TableGPT 實(shí)現(xiàn)了對表格數(shù)據(jù)的深刻理解，并通過命令鏈?zhǔn)讲僮鲗?shí)現(xiàn)復(fù)雜的表格操作。重要的是，TableGPT 的優(yōu)勢在于它是一個(gè)自包含的系統(tǒng)，而不是依賴于外部 API 接口。此外，它支持高效的數(shù)據(jù)處理流程、查詢拒絕 (在適當(dāng)?shù)那闆r下) 和私有部署，使 domain 數(shù)據(jù)微調(diào)速度更快，并確保數(shù)據(jù)隱私，從而增強(qiáng)了框架的適用性。

10.Communicative Agents for Software Development

鏈接：https://www.aminer.cn/pub/64b60eaa3fda6d7f06eaea2a/

ChatPaper綜述：本文介紹了一種用于軟件開發(fā)的通信智能代理。該代理由不同身份的人組成，包括首席執(zhí)行官、專業(yè)程序員、測試工程師和藝術(shù)設(shè)計(jì)師。當(dāng)人類“客戶”向 CHATDEV 公司提出初步任務(wù)時(shí) (例如“開發(fā)一個(gè)圍棋游戲”),代理們通過協(xié)作聊天進(jìn)行有效的溝通和相互驗(yàn)證。這個(gè)過程能夠自動(dòng)構(gòu)建包括源代碼、環(huán)境依賴和用戶手冊在內(nèi)的全面軟件解決方案。