大模型又可以稱為Foundation Model模型，模型通過億級的語料或者圖像進行知識抽取，學(xué)習(xí)進而生產(chǎn)了億級參數(shù)的大模型。大模型的出現(xiàn)迎來了AI研究的新時代，其所帶來的結(jié)果提升十分顯著，超越了很多領(lǐng)域中針對研究問題設(shè)計特定算法實現(xiàn)的提升。

本周精選了10篇大模型領(lǐng)域的優(yōu)秀論文，分別來自O(shè)penAI、谷歌、馬里蘭大學(xué)、港中文等機構(gòu)。

為了方便大家閱讀，只列出了論文標題、作者、AI華同學(xué)綜述等信息，如果感興趣可點擊“論文詳情頁”查看原文，PC端數(shù)據(jù)同步（收藏即可在PC端查看），每日新論文也可登錄小程序查看。

1. Teaching Large Language Models to Self-Debug

作者：Xinyun Chen,Maxwell Lin,Nathanael Sch?rli,Denny Zhou

鏈接：https://www.aminer.cn/pub/643621a290e50fcafd666178

AI華同學(xué)綜述（大模型驅(qū)動）：在本文中,我們提出了基于語法的大型語言模型的自我清理。它教人們通過幾秒鐘的視頻演示來解析大規(guī)模語言模型的預(yù)測。特別是,我們證明了該算法可以指導(dǎo)一個大型的語言模型執(zhí)行橡皮切割,即沒有對編碼錯誤或誤報的信息進行投訴。此外,我們還展示了如何使用從自然語言解釋編寫的程序來識別和糾正未知錯誤。

2. OpenAGI: When LLM Meets Domain Experts

作者：Yingqiang Ge,Wenyue Hua,Jianchao Ji,Juntao Tan,Shuyuan Xu,Yongfeng Zhang

鏈接：https://www.aminer.cn/pub/6434cfd690e50fcafd7a456f

AI華同學(xué)綜述（大模型驅(qū)動）：大規(guī)模語言模型的計算能力令人驚嘆。我們開發(fā)了一個開放式AGI研究平臺,專門為復(fù)雜的任務(wù)定義了各種不同的外部模型。此外,我們提出了一種從任務(wù)反饋中受益的強化學(xué)習(xí)機制,該機制利用問題解決方案作為對其問題的回應(yīng)。為了促進社區(qū)長期改善和評估AGI的能力,我們公開提供數(shù)據(jù)集的編碼、測量和評價方法。

3. Generative Agents: Interactive Simulacra of Human Behavior

作者：Joon Sung Park,Joseph C. O'Brien,Carrie J. Cai,Meredith Ringel Morris,Percy Liang,Michael S. Bernstein

鏈接：https://www.aminer.cn/pub/64337e3190e50fcafd76ef32

AI華同學(xué)綜述（大模型驅(qū)動）：這篇論文介紹了生成代理的概念，即模擬人類行為的計算機軟件代理。作者描述了一種通過擴展大型語言模型來記錄代理人經(jīng)歷并動態(tài)檢索以規(guī)劃行為的體系結(jié)構(gòu)，并在交互式沙箱環(huán)境中實例化生成代理。作者通過評估展示了生成代理的可信度，證明了觀察、計劃和反思等組件對于代理行為的可信度具有至關(guān)重要的貢獻。這項工作結(jié)合了大型語言模型和計算機交互代理，為實現(xiàn)人類行為的可信度模擬引入了架構(gòu)和交互模式。

4. Emergent autonomous scientific research capabilities of large language models

作者：Daniil A. Boiko,Robert MacKnight,Gabe Gomes

鏈接：https://www.aminer.cn/pub/643621a290e50fcafd66658c

AI華同學(xué)綜述（大模型驅(qū)動）：本文提出了一種 intelligent agent系統(tǒng),它整合了多個大規(guī)模語言模型,用于自動設(shè)計、規(guī)劃和執(zhí)行科學(xué)實驗。通過三個不同的例子展示 Agent的科學(xué)研究能力,重點介紹了 Catalyzed Cross Coupling Reaction的成功性能。最后,我們討論了這些系統(tǒng)的安全影響,并提出了防止它們失效的措施。

5. CAMEL: Communicative Agents for "Mind" Exploration of Large Scale Language Model Society

作者：Guohao Li,Hasan Abed Al Kader Hammoud,Hani Itani,Dmitrii Khizbullin,Bernard Ghanem

鏈接：https://www.aminer.cn/pub/642a43b890e50fcafd9b0319

AI華同學(xué)綜述（大模型驅(qū)動）：該論文探討了在大規(guī)模語言模型社區(qū)中建立可擴展的技術(shù)以促進通信代理之間的自主合作，并提供有關(guān)其“認知”過程的見解的潛力。為了應(yīng)對實現(xiàn)自主合作的挑戰(zhàn)，論文提出了一種名為角色扮演的新型通信代理框架。論文展示了如何使用角色扮演來生成對話數(shù)據(jù)，以研究聊天代理的行為和能力，為調(diào)查對話語言模型提供有價值的資源。該研究的貢獻包括引入一種新型的通信代理框架，提供一個可擴展的研究多代理系統(tǒng)合作行為和能力的方法，并在GitHub上開源了他們的庫來支持通信代理及其它領(lǐng)域的研究。

6. Consistency Models

作者：Yang Song,Prafulla Dhariwal,Mark Chen,Ilya Sutskever

鏈接：https://www.aminer.cn/pub/640166a590e50fcafd68b674

AI華同學(xué)綜述（大模型驅(qū)動）：我們提出了一致性模型,一種新的生成模型家族。它們支持快速一步生成,而允許少量步驟的采樣以獲得高質(zhì)量的 Sample質(zhì)量。他們還支持像圖案打印、彩繪和超解析等無監(jiān)督操作。通過廣泛的實驗證明了這些模型優(yōu)于現(xiàn)有的生成技術(shù)。

7. On the Possibilities of AI-Generated Text Detection

作者：Souradip Chakraborty,Amrit Singh Bedi,Sicheng Zhu,Bang An,Dinesh Manocha,Furong Huang

鏈接：https://www.aminer.cn/pub/6434cfd690e50fcafd7a4b23

AI華同學(xué)綜述（大模型驅(qū)動）：我們研究了大規(guī)模語言模型生成文本的挑戰(zhàn)。在許多應(yīng)用程序中,能夠區(qū)分機器和人類輸出是至關(guān)重要的事情。然而,這種辨認的可能性和可能是非法的可能性一直是社區(qū)的一個焦點問題。因此,一個核心的問題是,是否可以檢測到人工智能生成的文本以及一旦。在這項工作中,我們提供了證據(jù)證明,即使人類還是需要更多的樣本來檢測它。我們得出了一個精確的樣本復(fù)雜度線性,該線性告訴你有多少樣本必須尋找。這為設(shè)計更復(fù)雜的探測器提出了額外的挑戰(zhàn)。

8. Phoenix: Democratizing ChatGPT across Languages

作者：Zhihong Chen,Feng Jiang,Junyin Chen,Tiannan Wang,Fei Yu,Guiming Chen,Hongbo Zhang,Juhao Liang,Chen Zhang,Zhiyi Zhang,Jianquan Li,Lian Zhang,Xiang Wan,Benyou Wang

鏈接：https://www.aminer.cn/pub/6438d78fcf18aa11d8b56756

AI華同學(xué)綜述（大模型驅(qū)動）：這篇論文介紹了他們在不同語言間推廣ChatGPT的努力，并成功訓(xùn)練了一種名為“Phoenix”的大型語言模型，可以在開源的英文和中文模型中達到可比較的性能，并在低資源語言中取得了優(yōu)異的表現(xiàn)。他們認為這項工作將有助于在不使用拉丁語言的國家推廣ChatGPT。同時，他們分享了他們的數(shù)據(jù)、代碼和模型。

9. Training Large Language Models Efficiently with Sparsity and Dataflow

作者：Venkat Srinivasan,Darshan Gandhi,Urmish Thakker,Raghu Prabhakar

鏈接：Training Large Language Models Efficiently with Sparsity and Dataflow

AI華同學(xué)綜述（大模型驅(qū)動）：本文通過 sparsity和 dataflow在大型語言模型13億美元的GPT上進行訓(xùn)練。數(shù)據(jù)流執(zhí)行模型和架構(gòu)能夠有效地對芯片不規(guī)律內(nèi)存訪問以及原始核融合和管道式并行性來幫助恢復(fù)設(shè)備使用。我們證明了在相同質(zhì)量下訓(xùn)練GPT 13B模型可以與密集GPT 13B模型相媲美,同時實現(xiàn)了超過密集A100基線的基礎(chǔ)速度提升4.5倍。

10. A Billion-scale Foundation Model for Remote Sensing Images

作者：Keumgang Cha,Junghoon Seo,Taekyung Lee

鏈接：A Billion-scale Foundation Model for Remote Sensing Images

AI華同學(xué)綜述（大模型驅(qū)動）：我們對基線模型的訓(xùn)練和性能進行了實證研究。實驗結(jié)果表明,隨著模型參數(shù)的增加,在下流任務(wù)中的數(shù)據(jù)效率提高了。此外,我們提出了一種有效的方法來調(diào)整和優(yōu)化無人機視圖變換器。

想要獲得更多內(nèi)容，歡迎使用AMiner訂閱小程序。

小程序最新上線了"arXiv Category"，在小程序上就能刷到每日arXiv新論文啦！

使用也很簡單，只需三步即可完成訂閱推薦！

一：打開小程序，在 “訂閱管理” 中選擇 “arXiv”；

二：選擇你關(guān)注的關(guān)鍵詞；

三：返回 “訂閱”頁面，選擇 “arXiv”， 即可刷到你關(guān)注的關(guān)鍵詞的相關(guān)論文。