大語(yǔ)言模型(LLM)是一種人工智能模型，旨在理解和生成人類語(yǔ)言。它們?cè)诖罅康奈谋緮?shù)據(jù)上進(jìn)行訓(xùn)練，可以執(zhí)行廣泛的任務(wù)，包括文本總結(jié)、翻譯、情感分析等等。LLM的特點(diǎn)是規(guī)模龐大，包含數(shù)十億的參數(shù)，幫助它們學(xué)習(xí)語(yǔ)言數(shù)據(jù)中的復(fù)雜模式。這些模型通?；谏疃葘W(xué)習(xí)架構(gòu)，如轉(zhuǎn)化器，這有助于它們?cè)诟鞣NNLP任務(wù)上取得令人印象深刻的表現(xiàn)。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型語(yǔ)言模型?ChatGPT，由于其優(yōu)秀的表現(xiàn)，ChatGPT 及其背后的大型語(yǔ)言模型迅速成為人工智能領(lǐng)域的熱門(mén)話題，吸引了廣大科研人員和開(kāi)發(fā)者的關(guān)注和參與。

本周精選了10篇LLM領(lǐng)域的優(yōu)秀論文，來(lái)自字節(jié)跳動(dòng)、微軟、谷歌、斯坦福大學(xué)等機(jī)構(gòu)。

為了方便大家閱讀，只列出了論文標(biāo)題、作者、ChatPaper綜述等信息，如果感興趣可復(fù)制鏈接查看原文，PC端數(shù)據(jù)同步（收藏即可在PC端查看），每日新論文也可登錄小程序查看。

1.A Survey on Evaluation of Large Language Models

作者：Yupeng Chang,Xu Wang,Jindong Wang,Yuan Wu,Kaijie Zhu,Hao Chen,Linyi Yang,Xiaoyuan Yi,Cunxiang Wang,Yidong Wang,Wei Ye,Yue Zhang,Yi Chang,Philip S. Yu,Qiang Yang,Xing Xie

鏈接：https://www.aminer.cn/pub/64a78f1fd68f896efa01eae2/

ChatPaper綜述：這篇論文主要介紹了大型語(yǔ)言模型 (LLM) 的評(píng)估方法，重點(diǎn)關(guān)注了三個(gè)關(guān)鍵方面：評(píng)估什么、評(píng)估哪里以及如何評(píng)估。論文首先從評(píng)估任務(wù)的角度進(jìn)行了全面概述，涵蓋了一般自然語(yǔ)言處理任務(wù)、推理、醫(yī)療應(yīng)用、倫理、教育、自然和社會(huì)科學(xué)、代理應(yīng)用以及其他領(lǐng)域。然后，論文深入探討了評(píng)估方法和基準(zhǔn)，這些指標(biāo)是評(píng)估 LLM 性能的關(guān)鍵組成部分。接著，論文總結(jié)了在不同任務(wù)中 LLM 的成功和失敗案例。最后，論文指出了未來(lái) LLM 評(píng)估方面的一些挑戰(zhàn)，旨在為 LLM 評(píng)估研究人員提供有價(jià)值的啟示，以促進(jìn) LLM 的進(jìn)一步發(fā)展。

2.LONGNET: Scaling Transformers to 1,000,000,000 Tokens

作者：Jiayu Ding,Shuming Ma,Li Dong,Xingxing Zhang,Shaohan Huang,Wenhui Wang,Furu Wei

鏈接：https://www.aminer.cn/pub/64a625ccbb296d05669f582e/

ChatPaper綜述：這篇論文介紹了一種名為 LONGNET 的 Transformer 變體，能夠處理超過(guò) 10 億個(gè) token 的序列，而不會(huì)犧牲對(duì)更短序列的性能。具體來(lái)說(shuō)，LONGNET 采用了擴(kuò)展注意力機(jī)制，其注意力范圍隨著距離的增大而指數(shù)級(jí)擴(kuò)展。LONGNET 的優(yōu)點(diǎn)是具有線性計(jì)算復(fù)雜度和對(duì) token 之間的依賴性，同時(shí)可以用于分布式訓(xùn)練極端長(zhǎng)的序列。此外，其擴(kuò)展注意力是標(biāo)準(zhǔn)注意力的替代品，可以無(wú)縫集成到現(xiàn)有的 Transformer 優(yōu)化中。實(shí)驗(yàn)結(jié)果表明，LONGNET 在長(zhǎng)序列建模和通用語(yǔ)言任務(wù)方面都表現(xiàn)出色。

3.What Matters in Training a GPT4-Style Language Model with Multimodal Inputs?

作者：Yan Zeng,Hanbo Zhang,Jiani Zheng,Jiangnan Xia,Guoqiang Wei,Yang Wei,Yuchen Zhang,Tao Kong

鏈接：https://www.aminer.cn/pub/64a63bddd68f896efaec67ce/

ChatPaper綜述：這篇論文探討了訓(xùn)練多模態(tài)輸入的 GPT4 風(fēng)格語(yǔ)言模型的重要性。近年來(lái)，大型語(yǔ)言模型 (如 GPT4) 在給定圖像的情況下表現(xiàn)出出色的多模態(tài)能力。然而，這些模型的性能在很大程度上取決于設(shè)計(jì)選擇，如網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練數(shù)據(jù)和訓(xùn)練策略，而這些選擇在歷史上并沒(méi)有被廣泛討論，這使得這個(gè)領(lǐng)域的進(jìn)展難以量化。為了解決這個(gè)問(wèn)題，這篇論文進(jìn)行了全面系統(tǒng)和全面的研究和測(cè)試，量化和定性地研究了這些模型的訓(xùn)練。實(shí)現(xiàn)了超過(guò) 20 個(gè)變體，在控制條件下進(jìn)行比較。具體來(lái)說(shuō)，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行比較，比較不同的 GPT4 模型 backbone 和設(shè)計(jì)。對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行分析，探究數(shù)據(jù)和采樣策略的影響。對(duì)訓(xùn)練模型的指令進(jìn)行調(diào)查，探索不同提示對(duì)訓(xùn)練模型的指令跟隨能力的影響。最后，通過(guò) Crowd-sourcing 貢獻(xiàn)了第一個(gè)所知的包括圖像和視頻任務(wù)的全面評(píng)估集，為評(píng)估多模態(tài)理解能力提供了基準(zhǔn)?；谘芯拷Y(jié)果提出了 Lynx，一個(gè)在多模態(tài)生成能力方面表現(xiàn)最好的 GPT4 風(fēng)格模型。

4.Flacuna: Unleashing the Problem Solving Power of Vicuna using FLAN Fine-Tuning

作者：Deepanway Ghosal,Yew Ken Chia,Navonil Majumder,Soujanya Poria

鏈接：https://www.aminer.cn/pub/64a63bddd68f896efaec660a/

ChatPaper綜述：這篇論文研究了如何使用 FLAN 數(shù)據(jù)集來(lái)優(yōu)化 VICUNA 語(yǔ)言模型的問(wèn)題解決能力。VICUNA 是一個(gè)基于 LLAMA 架構(gòu)的大型語(yǔ)言模型，已經(jīng)在 ChatGPT 對(duì)話中進(jìn)行了微調(diào)。論文重點(diǎn)研究了第三個(gè)關(guān)鍵因素 - 指令數(shù)據(jù)集的影響，并通過(guò)使用 FLANMINI 收集的自定義指令數(shù)據(jù)集來(lái)微調(diào) VICUNA。實(shí)驗(yàn)結(jié)果表明，通過(guò)在 FLAN 數(shù)據(jù)集上微調(diào) VICUNA,可以獲得增強(qiáng)的問(wèn)題解決能力，并在 INSTRUCTEVAL 基準(zhǔn)數(shù)據(jù)集上取得了顯著的改善。

5.MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models

作者：Chaoyou Fu,Peixian Chen,Yunhang Shen,Yulei Qin,Mengdan Zhang,Xu Lin,Zhenyu Qiu,Wei Lin,Jinrui Yang,Xiawu Zheng,Ke Li,Xing Sun,Rongrong Ji

鏈接：https://www.aminer.cn/pub/64990ccbd68f896efaf8480a/

ChatPaper綜述：這篇論文介紹了一種名為 MME 的多模態(tài)大型語(yǔ)言模型評(píng)估基準(zhǔn)，該基準(zhǔn)用于全面評(píng)估多模態(tài)大型語(yǔ)言模型的性能。該基準(zhǔn)包括 14 個(gè)子任務(wù)，涵蓋了感知和認(rèn)知能力的方方面面。為了避免數(shù)據(jù)泄漏，所有指令答案對(duì)的注釋都是手動(dòng)設(shè)計(jì)的。簡(jiǎn)潔的指令設(shè)計(jì)使能夠公平地比較 MLLMs,而不需要費(fèi)力地進(jìn)行提示工程。此外，這樣的指令設(shè)計(jì)可以更輕松地進(jìn)行定量統(tǒng)計(jì)。通過(guò)對(duì) 10 個(gè)先進(jìn)的 MLLMs 進(jìn)行了全面評(píng)估，結(jié)果表明現(xiàn)有的 MLLMs 仍然有很大的改進(jìn)空間，同時(shí)也揭示了后續(xù)模型優(yōu)化的潛在方向。

6.JourneyDB: A Benchmark for Generative Image Understanding

作者：Junting Pan,Keqiang Sun,Yuying Ge,Hao Li,Haodong Duan,Xiaoshi Wu,Renrui Zhang,Aojun Zhou,Zipeng Qin,Yi Wang,Jifeng Dai,Yu Qiao,Hongsheng Li

鏈接：https://www.aminer.cn/pub/64a39885d68f896efa31e206/

ChatPaper綜述：這篇論文介紹了一個(gè)名為 JourneyDB 的大規(guī)?；鶞?zhǔn) dataset,用于生成圖像的多模態(tài)視覺(jué)理解。該 dataset 包含 4000 萬(wàn)種具有文本提示的圖像，提示用于生成這些圖像。為了評(píng)估生成圖像的理解能力，該 dataset 提供了四個(gè)基準(zhǔn)測(cè)試，包括提示逆轉(zhuǎn)換，風(fēng)格檢索，圖像描述和視覺(jué)問(wèn)題回答。還評(píng)估了當(dāng)前最先進(jìn)的多模態(tài)模型在 JourneyDB 上的性能，并進(jìn)行深入分析，以了解它們?cè)谏蓛?nèi)容理解方面的強(qiáng)項(xiàng)和限制。希望提出的 dataset 和基準(zhǔn)測(cè)試將促進(jìn)生成內(nèi)容理解的研究和探索。

7.Generative AI for Programming Education: Benchmarking ChatGPT, GPT-4, and Human Tutors

作者：Tung Phung,Victor-Alexandru P?durean,José Cambronero,Sumit Gulwani,Tobias Kohn,Rupak Majumdar,Adish Singla,Gustavo Soares

鏈接：https://www.aminer.cn/pub/649e52c5d68f896efae488e3/

ChatPaper綜述：這篇論文研究了生成人工智能在編程教育中的應(yīng)用，比較了 ChatGPT、GPT-4 和人類教師在不同編程教育場(chǎng)景中的表現(xiàn)。結(jié)果表明，GPT-4 在大多數(shù)場(chǎng)景中都遠(yuǎn)遠(yuǎn)優(yōu)于 ChatGPT,并且?guī)缀跖c人類教師的表現(xiàn)相同。同時(shí)，研究還指出 GPT-4 在個(gè)別場(chǎng)景中仍然存在困難，為開(kāi)發(fā)更好的生成人工智能模型提供了激動(dòng)人心的未來(lái)方向。

8.Towards Language Models That Can See: Computer Vision Through the LENS of Natural Language

作者：William Berrios,Gautam Mittal,Tristan Thrush,Douwe Kiela,Amanpreet Singh

鏈接：https://www.aminer.cn/pub/649d037dd68f896efa456882/

ChatPaper綜述：論文提出了一種名為 LENS 的模塊化方法，用于利用大型語(yǔ)言模型的力量來(lái)解決計(jì)算機(jī)視覺(jué)問(wèn)題。該方法使用語(yǔ)言模型對(duì)一組獨(dú)立的、高度描述的圖像處理模塊的輸出進(jìn)行推理，以提供對(duì)圖像的詳盡信息。論文評(píng)估了該方法在純計(jì)算機(jī)視覺(jué)場(chǎng)景中，如零和少數(shù)樣本物體識(shí)別，以及視覺(jué)和語(yǔ)言問(wèn)題中的表現(xiàn)。結(jié)果表明，使用 LENS 的系統(tǒng)可以與更大的、更復(fù)雜的系統(tǒng)相媲美，而不需要任何多模態(tài)訓(xùn)練。論文還開(kāi)源了代碼，并提供了一個(gè)交互式演示。

9.Are aligned neural networks adversarially aligned?

作者：Nicholas Carlini,Milad Nasr,Christopher A. Choquette-Choo,Matthew Jagielski,Irena Gao,Anas Awadalla,Pang Wei Koh,Daphne Ippolito,Katherine Lee,Florian Tramer,Ludwig Schmidt

鏈接：https://www.aminer.cn/pub/649bb0eed68f896efa4ddd75/

ChatPaper綜述：這篇論文研究了具有良好意圖的神經(jīng)網(wǎng)絡(luò)是否會(huì)受到惡意攻擊的影響。現(xiàn)在，大型語(yǔ)言模型被優(yōu)化以響應(yīng)用戶的問(wèn)題，并盡可能提供幫助，但不會(huì)回答可能造成傷害的請(qǐng)求。但是，惡意用戶可以構(gòu)造輸入，繞過(guò)這種 Alignment。在這篇論文中研究了這些模型在與惡意用戶交互時(shí)是否仍然保持 Alignment，發(fā)現(xiàn)現(xiàn)有的 NLP-based 優(yōu)化攻擊不夠強(qiáng)大，無(wú)法可靠地攻擊已優(yōu)化的文本模型。即使當(dāng)前的 NLP-based 攻擊失敗，也可以使用暴力攻擊找到對(duì)抗性輸入。因此，當(dāng)前攻擊的失敗不應(yīng)被視為證明已優(yōu)化的文本模型在對(duì)抗性輸入下仍然保持 Alignment 的證據(jù)。然而，近年來(lái)大規(guī)模機(jī)器學(xué)習(xí)模型的趨勢(shì)是使用多模態(tài)模型，允許用戶上傳圖像，這些圖像影響生成的文本。研究表明這些模型可以被輕易地攻擊，即通過(guò)對(duì)抗性圖像輸入，使其執(zhí)行任意非 aligned 行為，猜測(cè)改進(jìn)的 NLP 攻擊也可能表現(xiàn)出這種級(jí)別的對(duì)抗性控制，特別是對(duì)于只使用文本的模型。

10.Generate Anything Anywhere in Any Scene

作者：Yuheng Li,Haotian Liu,Yangming Wen,Yong Jae Lee

鏈接：https://www.aminer.cn/pub/649e52c5d68f896efae488e1/

ChatPaper綜述：這篇論文介紹了一種能夠生成任意場(chǎng)景、任意地點(diǎn)和任意物體的文本到圖像擴(kuò)散模型。然而，該領(lǐng)域仍然存在一些挑戰(zhàn)，例如創(chuàng)建可控制的個(gè)人化對(duì)象生成模型。為了解決這些挑戰(zhàn)，該論文提出了一種簡(jiǎn)單而高效的數(shù)據(jù)增強(qiáng)訓(xùn)練策略，該策略指導(dǎo)擴(kuò)散模型專注于對(duì)象身份。通過(guò)插入預(yù)訓(xùn)練的可控制擴(kuò)散模型中的可插拔適配層，該模型獲得了控制每個(gè)生成個(gè)人化對(duì)象的位置和大小的能力。在推理期間，該論文提出了一種區(qū)域指導(dǎo)采樣技術(shù)，以保持生成圖像的質(zhì)量和精度。該方法在個(gè)人化對(duì)象方面實(shí)現(xiàn)了與性能卓越的模型相當(dāng)?shù)木?，從而生成了可靠、靈活和可控制的文本到圖像擴(kuò)散模型，可以用于各種應(yīng)用，例如藝術(shù)、娛樂(lè)和廣告設(shè)計(jì)。