實(shí)時(shí)追蹤科研動(dòng)態(tài)丨7.7精選新論文，附ChatPaper綜述

2023-07-07 18:03 作者:AMiner科技 0人讀過 | 我要投稿

作為科研人員，每天需要檢索和瀏覽大量的學(xué)術(shù)文獻(xiàn)，以獲取最新的科技進(jìn)展和研究成果。

然而，傳統(tǒng)的檢索和閱讀方式已經(jīng)無法滿足科研人的需求。

ChatPaper，一款集檢索、閱讀、知識(shí)問答于一體的文獻(xiàn)知識(shí)工具。幫助你快提高檢索、閱讀論文效率，獲取最新領(lǐng)域研究動(dòng)態(tài)，讓科研工作更加游刃有余。

結(jié)合前沿動(dòng)態(tài)訂閱功能，精選arXiv當(dāng)日熱門新論文，形成論文綜述，讓大家更加快速了解前沿動(dòng)態(tài)。

如果想要對(duì)某篇論文進(jìn)行深入對(duì)話，可以直接復(fù)制論文鏈接到瀏覽器上或者直達(dá)ChatPaper頁面：https://www.aminer.cn/chat/g/

2023年7月7日精選新論文列表：

1.A Survey on Evaluation of Large Language Models?

鏈接：https://www.aminer.cn/pub/64a78f1fd68f896efa01eae2/

ChatPaper綜述：這篇論文主要介紹了對(duì)大型語言模型（LLMs）的評(píng)估方法，并強(qiáng)調(diào)評(píng)估對(duì)于更好地理解其潛在風(fēng)險(xiǎn)以及促進(jìn)其發(fā)展至關(guān)重要。摘要中指出，過去幾年已經(jīng)有很多工作從不同的角度對(duì)LLMs進(jìn)行了評(píng)估，包括評(píng)估任務(wù)的范疇、評(píng)估方法和基準(zhǔn)、以及在不同任務(wù)中LLMs的成功和失敗案例等。論文還提出了未來在LLMs評(píng)估方面可能面臨的挑戰(zhàn)，并呼吁將評(píng)估作為一個(gè)重要的學(xué)科來輔助LLMs的發(fā)展。最后，論文提供了一個(gè)相關(guān)的開源材料鏈接，供研究人員參考。

2.Lost in the Middle: How Language Models Use Long Contexts?

鏈接：https://www.aminer.cn/pub/64a78f1fd68f896efa01eb25/

ChatPaper綜述：這項(xiàng)研究說明了語言模型在使用長(zhǎng)上下文時(shí)遇到的問題。雖然現(xiàn)代的語言模型具備處理長(zhǎng)上下文的能力，但對(duì)于它們?nèi)绾斡行Ю幂^長(zhǎng)的上下文知識(shí)的了解還相對(duì)較少。該研究分析了語言模型在多文檔問答和鍵值檢索這兩個(gè)需要在輸入上下文中確定相關(guān)信息的任務(wù)上的表現(xiàn)。研究發(fā)現(xiàn)，當(dāng)相關(guān)信息出現(xiàn)在輸入上下文的開頭或結(jié)尾時(shí)，性能往往最好；而當(dāng)模型需要訪問位于較長(zhǎng)上下文的中間位置的相關(guān)信息時(shí)，性能會(huì)顯著下降。此外，即使對(duì)于專門處理長(zhǎng)上下文的模型，隨著輸入上下文的增長(zhǎng)，性能也會(huì)顯著降低。這項(xiàng)分析提供了對(duì)語言模型如何利用其輸入上下文的更好理解，并為未來的長(zhǎng)上下文模型提供了新的評(píng)估協(xié)議。

3.VideoGLUE: Video General Understanding Evaluation of Foundation Models?

鏈接：https://www.aminer.cn/pub/64a78f1fd68f896efa01eb1f/

ChatPaper綜述：該研究指出了現(xiàn)有的基礎(chǔ)模型在視頻理解能力上存在的問題。首先，基礎(chǔ)模型在視頻理解方面表現(xiàn)不如在自然語言和圖像理解方面表現(xiàn)出色。其次，對(duì)于充滿運(yùn)動(dòng)的視頻分類、時(shí)間定位和理解多個(gè)動(dòng)作的任務(wù)來說，預(yù)訓(xùn)練數(shù)據(jù)中包含視頻模態(tài)的模型比只包含圖像模態(tài)的模型表現(xiàn)更好。最后，對(duì)于視頻任務(wù)，通過輕微的模型自適應(yīng)（如凍結(jié)FM骨干），視頻模態(tài)的模型可以表現(xiàn)得很好，而在完全的端到端微調(diào)中，圖像模態(tài)的模型優(yōu)勢(shì)更大。這些觀察結(jié)果揭示了研究視頻專注的基礎(chǔ)模型的需要和巨大機(jī)遇，以及評(píng)估基礎(chǔ)模型時(shí)任務(wù)和自適應(yīng)方法的重要性。

4.Focused Transformer: Contrastive Training for Context Scaling?

鏈接：https://www.aminer.cn/pub/64a78f1fd68f896efa01eb23/

ChatPaper綜述：文章指出了在使用大型語言模型時(shí)存在的一個(gè)問題，即有效上下文長(zhǎng)度的限制。為了解決這個(gè)問題，作者提出了一種名為Focused Transformer (FoT)的技術(shù)，通過對(duì)比學(xué)習(xí)的訓(xùn)練過程來增強(qiáng)(key, value)空間的結(jié)構(gòu)，從而擴(kuò)展上下文長(zhǎng)度。通過對(duì)$3B$和$7B$ OpenLLaMA檢查點(diǎn)的Fine-tuning，得到了名為L(zhǎng)ongLLaMA的模型，這些模型在需要較長(zhǎng)上下文的任務(wù)上取得了進(jìn)展。此外，作者還展示了LongLLaMA模型在$256 k$上下文長(zhǎng)度下的優(yōu)秀表現(xiàn)。文章說明了一個(gè)被稱為分心問題的顯著挑戰(zhàn)，其中與不同語義值相關(guān)聯(lián)的鍵可能重疊，使它們難以區(qū)分。作者通過引入對(duì)比學(xué)習(xí)的方法來解決這個(gè)問題。

5.Training Models to?Generate, Recognize, and Reframe Unhelpful Thoughts?

鏈接：https://www.aminer.cn/pub/64a78f1fd68f896efa01e973/

ChatPaper綜述：指出了認(rèn)知方法在提升幸福感方面的局限性，即在自助形式中普及應(yīng)用的難題。這是因?yàn)槿狈唧w和多元化的實(shí)踐材料的原因。為了解決這個(gè)問題，該研究嘗試?yán)矛F(xiàn)有的語言模型來生成大量的特定上下文的非有益思維模式的實(shí)踐材料，并生成適當(dāng)?shù)姆e極修正建議。通過提出一個(gè)新的數(shù)據(jù)集PATTERNREFRAME，包含大約10k個(gè)針對(duì)特定角色的非有益思維模式的示例，以及約27k個(gè)積極修正。通過使用這個(gè)數(shù)據(jù)集對(duì)當(dāng)前模型進(jìn)行訓(xùn)練和/或評(píng)估，我們發(fā)現(xiàn)現(xiàn)有的模型已經(jīng)可以成為輔助生成大量量身定制實(shí)踐材料和假設(shè)的強(qiáng)大工具，無需或僅需要最少額外的模型訓(xùn)練。

6.Whisper-AT:?Noise-Robust Automatic Speech Recognizers are Also Strong General Audio?Event Taggers?

鏈接：https://www.aminer.cn/pub/64a78f1fd68f896efa01eb31/

ChatPaper綜述：論文指出了使用大規(guī)模語音語料庫(kù)訓(xùn)練的自動(dòng)語音識(shí)別模型Whisper在面對(duì)真實(shí)背景聲音（如音樂）時(shí)具有很強(qiáng)的魯棒性，但其音頻表示實(shí)際上并不是噪聲不變的，而是與非語音聲音高度相關(guān)，這表明Whisper在噪聲類型的條件下識(shí)別語音?；谶@個(gè)發(fā)現(xiàn)，研究人員構(gòu)建了一個(gè)統(tǒng)一的音頻標(biāo)記和語音識(shí)別模型Whisper-AT，通過凍結(jié)Whisper的主干部分，并在其之上訓(xùn)練一個(gè)輕量級(jí)的音頻標(biāo)記模型。在額外不到1%的計(jì)算成本下，Whisper-AT能夠在一次前向傳遞中識(shí)別音頻事件和口語文本。

7.mPLUG-DocOwl: Modularized Multimodal Large Language Model for Document Understanding?

鏈接：https://www.aminer.cn/pub/64a78f10d68f896efa01de33/

ChatPaper綜述：說明了現(xiàn)有的多模型大型語言模型在OCR-free文檔理解方面存在的問題。這些模型在淺層無OCR文本識(shí)別方面表現(xiàn)出了很好的零樣本能力，但是在沒有領(lǐng)域內(nèi)的訓(xùn)練的情況下，它們往往忽略了OCR的細(xì)粒度特征，如復(fù)雜的表格或大塊的文本，這些特征對(duì)于OCR-free文檔理解是至關(guān)重要的。為了解決這個(gè)問題，論文提出了基于mPLUG-Owl的mPLUG-DocOwl模型，通過在語言模型、通用視覺-語言模型和文檔指令調(diào)優(yōu)數(shù)據(jù)集上聯(lián)合訓(xùn)練模型來加強(qiáng)OCR-free文檔理解能力。同時(shí)，論文還建立了一個(gè)用于評(píng)估OCR-free文檔指令理解能力的數(shù)據(jù)集LLMDoc。實(shí)驗(yàn)結(jié)果表明，該模型在文檔理解方面優(yōu)于現(xiàn)有的多模型模型，并且在各種下游任務(wù)上具有良好的泛化能力。

8.Synthesizing Artistic?Cinemagraphs from Text?

鏈接：https://www.aminer.cn/pub/64a78f1fd68f896efa01eb38/

ChatPaper綜述：文章說明了利用文本描述自動(dòng)生成藝術(shù)風(fēng)格的cinemagraphs所面臨的困難。針對(duì)這些困難，文章提出了一種通過從單個(gè)文本提示中合成圖像對(duì)的方法：一張藝術(shù)圖像和其與之對(duì)應(yīng)的逼真圖像。通過利用現(xiàn)有的自然圖像和視頻數(shù)據(jù)集，可以準(zhǔn)確地分割逼真圖像并預(yù)測(cè)合理的運(yùn)動(dòng)。然后，預(yù)測(cè)的運(yùn)動(dòng)可以轉(zhuǎn)移到藝術(shù)圖像上，從而創(chuàng)建最終的cinemagraph。研究結(jié)果表明，該方法在創(chuàng)建自然風(fēng)景、藝術(shù)以及奇幻場(chǎng)景的cinemagraphs方面優(yōu)于現(xiàn)有方法。此外，文章還展示了兩個(gè)擴(kuò)展應(yīng)用：將現(xiàn)有繪畫圖像動(dòng)畫化和使用文本控制運(yùn)動(dòng)方向。

9.Causal Reinforcement Learning: A Survey?

鏈接：https://www.aminer.cn/pub/64a63bbad68f896efaec4753/

ChatPaper綜述：文中說明了在現(xiàn)實(shí)世界中應(yīng)用強(qiáng)化學(xué)習(xí)方法仍然具有挑戰(zhàn)性的原因。其中一個(gè)主要障礙是強(qiáng)化學(xué)習(xí)代理缺乏對(duì)世界的基本理解，因此必須通過許多試錯(cuò)交互來從頭開始學(xué)習(xí)。他們可能還面臨著解釋他們決策的挑戰(zhàn)，以及推廣所獲得的知識(shí)的困難。因果性能夠以系統(tǒng)的方式形式化知識(shí)并利用不變性進(jìn)行有效的知識(shí)轉(zhuǎn)移，因此因果性在加強(qiáng)強(qiáng)化學(xué)習(xí)算法中具有顯著優(yōu)勢(shì)。因此，因果關(guān)系強(qiáng)化學(xué)習(xí)作為強(qiáng)化學(xué)習(xí)的一個(gè)子領(lǐng)域出現(xiàn)，旨在通過將因果關(guān)系納入學(xué)習(xí)過程來增強(qiáng)現(xiàn)有算法的性能。文中還總結(jié)了因果關(guān)系強(qiáng)化學(xué)習(xí)的相關(guān)文獻(xiàn)，并根據(jù)目標(biāo)問題和方法學(xué)對(duì)現(xiàn)有的因果關(guān)系強(qiáng)化學(xué)習(xí)方法進(jìn)行了分類和系統(tǒng)回顧。最后，文中還概述了該新興領(lǐng)域中的未解決問題和未來方向。

10.A Survey on Graph Classification and Link Prediction based on GNN?

鏈接：https://www.aminer.cn/pub/64a39885d68f896efa31e2b3/

ChatPaper綜述：這篇綜述文章旨在介紹基于圖神經(jīng)網(wǎng)絡(luò)的圖分類和鏈路預(yù)測(cè)方法。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)只能處理歐幾里得空間數(shù)據(jù)，無法處理以圖數(shù)據(jù)表示的現(xiàn)實(shí)生活中的各種場(chǎng)景，包括交通網(wǎng)絡(luò)、社交網(wǎng)絡(luò)和引用網(wǎng)絡(luò)等。將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖數(shù)據(jù)分析和處理的關(guān)鍵步驟在于構(gòu)建圖卷積運(yùn)算符和圖池化運(yùn)算符。本文首先詳細(xì)介紹了圖卷積神經(jīng)網(wǎng)絡(luò)的基本原理，然后闡述了基于注意力機(jī)制和自編碼器的圖神經(jīng)網(wǎng)絡(luò)模型，總結(jié)了它們?cè)诠?jié)點(diǎn)分類、圖分類和鏈路預(yù)測(cè)等任務(wù)中的應(yīng)用以及相關(guān)數(shù)據(jù)集。