大模型到目前為止已經(jīng)有了許多的研究成果了，這次就和大家分享幾個(gè)比較有意思的工作，篇幅原因只做簡(jiǎn)單介紹，需要論文原文及源碼的同學(xué)看這里??????

掃碼添加小享，回復(fù)“大模型15”

免費(fèi)領(lǐng)取全部論文+代碼合集

1、phi-1.5

Textbooks Are All You Need II: phi-1.5 technical report

《phi-1.5技術(shù)報(bào)告》

一句話概括：本文提出了一個(gè)名為phi-1.5的新型預(yù)訓(xùn)練語(yǔ)言模型，它具有13億參數(shù)，在自然語(yǔ)言理解任務(wù)上的表現(xiàn)可與體量更大的模型媲美，并在更復(fù)雜的推理任務(wù)上優(yōu)于許多非前沿大模型，展現(xiàn)出逐步思考、原位學(xué)習(xí)等大模型的許多特性，相比依賴網(wǎng)絡(luò)數(shù)據(jù)的模型，phi-1.5可以生成更連貫、更少有害內(nèi)容的文本。

2、Struc-Bench

Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data?

《LLM生成結(jié)構(gòu)化數(shù)據(jù)》

一句話概括：盡管GPT-4等大型語(yǔ)言模型在多方面展現(xiàn)強(qiáng)大能力，但在需要生成復(fù)雜結(jié)構(gòu)化輸出的任務(wù)上仍面臨挑戰(zhàn)，本研究通過(guò)提出Struc-Bench基準(zhǔn)套件和結(jié)構(gòu)感知微調(diào)方法，評(píng)估了當(dāng)前語(yǔ)言模型生成復(fù)雜結(jié)構(gòu)化數(shù)據(jù)的能力，識(shí)別了其常見(jiàn)錯(cuò)誤類型，并提出了改進(jìn)模型在格式、推理和理解能力等多個(gè)維度的未來(lái)研究方向。

3、Contrastive Decoding

Contrastive Decoding Improves Reasoning in Large Language Models

《對(duì)比解碼改進(jìn)了大語(yǔ)言模型的推理能力》

一句話概括：論文展示了對(duì)比解碼這一簡(jiǎn)單、計(jì)算量小、無(wú)需訓(xùn)練的文本生成方法可以在各類推理任務(wù)上顯著改進(jìn)貪心解碼，從而在不改變模型參數(shù)的情況下提升大語(yǔ)言模型的推理能力。對(duì)比解碼通過(guò)最大化生成序列在強(qiáng)模型上的聯(lián)合概率與在弱模型上的聯(lián)合概率之差，可以避免一些抽象推理錯(cuò)誤，并防止簡(jiǎn)單地復(fù)制輸入的鏈?zhǔn)酵评怼?/p>

4、OPRO

Large Language Models as Optimizers

《大語(yǔ)言模型可以優(yōu)化提示詞》

一句話概括：本文提出了一種簡(jiǎn)單高效的方法，通過(guò)自然語(yǔ)言描述的提示，利用大規(guī)模語(yǔ)言模型作為無(wú)需 gradient 的通用優(yōu)化器，在各類優(yōu)化問(wèn)題上取得顯著提升。該方法每步通過(guò)語(yǔ)言模型根據(jù)包含之前結(jié)果的提示生成新解，迭代優(yōu)化提示以產(chǎn)生更好解。實(shí)驗(yàn)表明，與人工設(shè)計(jì)的提示相比，該方法優(yōu)化的提示可以顯著提升語(yǔ)言模型在GSM8K、BigBench等任務(wù)上的效果。

5、RAIN

RAIN: Your Language Models Can Align Themselveswithout Finetuning

《LLM無(wú)需微調(diào)自行對(duì)齊》

一句話概括：文章提出了可回繞的自回歸推理方法，使預(yù)訓(xùn)練語(yǔ)言模型可以評(píng)估自己的生成，并用評(píng)估結(jié)果指導(dǎo)回繞和生成，實(shí)現(xiàn)人機(jī)一致而無(wú)需額外 Align 數(shù)據(jù)或模型調(diào)整。實(shí)驗(yàn)結(jié)果證明該方法可以大幅提升模型生成的無(wú)害率而維持有效率。

6、LongLoRA

LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models

《大語(yǔ)言模型高效微調(diào)》

一句話概括：本文提出了LongLoRA方法，通過(guò)稀疏局部注意力機(jī)制與邏輯回歸適配器的結(jié)合，以較低計(jì)算成本有效擴(kuò)展了大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型的上下文長(zhǎng)度，在多個(gè)任務(wù)上取得了與全模型微調(diào)相當(dāng)?shù)男Ч€收集了LongQA數(shù)據(jù)集以進(jìn)行有監(jiān)督的長(zhǎng)上下文微調(diào)。

7、語(yǔ)言模型即壓縮

Language Modeling Is Compression

《語(yǔ)言模型即壓縮》

一句話概括：本文提出從壓縮的角度理解語(yǔ)言模型預(yù)訓(xùn)練，并證明語(yǔ)言模型訓(xùn)練等價(jià)于學(xué)習(xí)無(wú)損文本壓縮表示，大語(yǔ)言模型確實(shí)學(xué)習(xí)到了強(qiáng)大的通用壓縮能力，壓縮視角為分析和改進(jìn)語(yǔ)言模型提供了新思路。

8、NExT-GPT

NExT-GPT: Any-to-Any Multimodal LLM

《多模態(tài)語(yǔ)言模型中的任意轉(zhuǎn)換》

一句話概括：本文提出NExT-GPT，一個(gè)端到端的通用多模態(tài)語(yǔ)言模型，可以輸入輸出任意組合的文本、圖像、視頻和音頻模態(tài)，只需要調(diào)整極小量的參數(shù)即可實(shí)現(xiàn)多模態(tài)理解和生成，并通過(guò)跨模態(tài)指令調(diào)優(yōu)賦予模型復(fù)雜的跨模態(tài)語(yǔ)義理解能力。

9、Agents

Agents: An Open-source Framework for Autonomous Language Agents

《自主語(yǔ)言代理開(kāi)源框架》

一句話概括：本文提出了Agents，一個(gè)開(kāi)源的Python框架，用于構(gòu)建自主的語(yǔ)言代理，具有模塊化設(shè)計(jì)、支持多種對(duì)話任務(wù)、可自定義對(duì)話策略等特點(diǎn)，降低了語(yǔ)言代理開(kāi)發(fā)門檻，為研究人員和開(kāi)發(fā)者構(gòu)建智能對(duì)話應(yīng)用提供了一個(gè)靈活全面的平臺(tái)。

掃碼添加小享，回復(fù)“大模型15”

免費(fèi)領(lǐng)取全部論文+代碼合集

10、vLLM

Efficient Memory Management for Large Language Model Serving with PagedAttention

《大語(yǔ)言模型服務(wù)的高效內(nèi)存管理》

一句話概括：作者提出了PagedAttention算法。在此基礎(chǔ)上，作者構(gòu)建了vLLM系統(tǒng)，實(shí)現(xiàn)了：(1)鍵值緩存內(nèi)存的近零浪費(fèi)，(2)請(qǐng)求內(nèi)部和跨請(qǐng)求之間的靈活緩存共享，進(jìn)一步減少內(nèi)存使用。評(píng)估結(jié)果顯示，與目前最先進(jìn)的系統(tǒng)(如FasterTransformer和Orca)相比，vLLM系統(tǒng)在相同延遲水平下提高了常用大語(yǔ)言模型的吞吐量2-4倍。

11、PDFTriage

PDFTriage: Question Answering over Long, Structured Documents

《針對(duì)長(zhǎng)篇、結(jié)構(gòu)化文檔的問(wèn)答系統(tǒng)》

一句話概括：為了解決大型語(yǔ)言模型在長(zhǎng)文檔問(wèn)答中無(wú)法容納完整文檔內(nèi)容的問(wèn)題，現(xiàn)存的方法主要通過(guò)檢索相關(guān)上下文來(lái)表示為純文本。但是諸如PDF、網(wǎng)頁(yè)和演示文稿等文檔本質(zhì)上具有豐富的結(jié)構(gòu)，將其簡(jiǎn)化為純文本與用戶的文檔心智模型不符。為此，論文提出了PDFTriage，使模型可以基于結(jié)構(gòu)或內(nèi)容檢索上下文，以彌合在處理結(jié)構(gòu)化文檔時(shí)的鴻溝。

12、RLAIF

RLAIF：Scaling Reinforcement Learning from Human Feedback with AI Feedback

《利用AI反饋擴(kuò)展人類反饋的強(qiáng)化學(xué)習(xí)》

一句話概括：基于人類反饋的強(qiáng)化學(xué)習(xí)(RLHF)可以有效指導(dǎo)大語(yǔ)言模型滿足人類偏好，但獲取高質(zhì)量的人類偏好標(biāo)注是一個(gè)關(guān)鍵瓶頸。論文比較了RLHF與RLAIF(用預(yù)訓(xùn)練語(yǔ)言模型代替人類給出偏好標(biāo)注的強(qiáng)化學(xué)習(xí)方法)，發(fā)現(xiàn)兩者取得了類似的改進(jìn)。在文本摘要任務(wù)上，與監(jiān)督微調(diào)的基線模型相比，人類評(píng)估者在近70%的情況下更偏好RLAIF和RLHF生成的摘要。

13、COVE

CHAIN-OF-VERIFICATION REDUCES HALLUCINATION IN LARGE LANGUAGE MODELS

《用于對(duì)抗LLMs中的產(chǎn)生幻覺(jué)問(wèn)題的“鏈?zhǔn)津?yàn)證”》

一句話概括：大語(yǔ)言模型生成合理但錯(cuò)誤的事實(shí)信息(即幻覺(jué))是未解決的問(wèn)題。本文研究語(yǔ)言模型對(duì)其響應(yīng)進(jìn)行推敲從而糾正錯(cuò)誤的能力，提出了鏈?zhǔn)津?yàn)證(COVE)方法：模型(i)起草初始響應(yīng)，(ii)計(jì)劃驗(yàn)證問(wèn)題以核查起草內(nèi)容，(iii)獨(dú)立回答問(wèn)題，避免答案受其他響應(yīng)影響，(iv)生成最終驗(yàn)證后的響應(yīng)。

14、FoleyGen

FoleyGen: Visually-Guided Audio Generation

《基于視覺(jué)指導(dǎo)的音頻生成》

一句話概括：本文提出FoleyGen，這是基于語(yǔ)言模型范式的開(kāi)域視頻到音頻生成系統(tǒng)，能夠利用視覺(jué)特征指導(dǎo)音頻標(biāo)記的生成，并通過(guò)視覺(jué)注意機(jī)制解決生成音頻與視頻動(dòng)作失配的問(wèn)題。

15、MindAgent

MindAgent: Emergent Gaming Interaction

《基于大語(yǔ)言模型的多智能體規(guī)劃》

一句話概括：本文提出MindAgent框架評(píng)估多智能體游戲互動(dòng)中智能體的規(guī)劃和協(xié)調(diào)能力，并在CUISINEWORLD游戲中實(shí)現(xiàn)人機(jī)協(xié)作，結(jié)果表明該框架可以幫助大規(guī)模語(yǔ)言模型通過(guò)從大量語(yǔ)言語(yǔ)料中學(xué)習(xí)獲得規(guī)劃協(xié)調(diào)技能。

掃碼添加小享，回復(fù)“大模型15”

免費(fèi)領(lǐng)取全部論文+代碼合集