實(shí)時(shí)追蹤科研動(dòng)態(tài)丨7.14精選新論文，附ChatPaper綜述

2023-07-14 18:17 作者:AMiner科技 0人讀過(guò) | 我要投稿

作為科研人員，每天需要檢索和瀏覽大量的學(xué)術(shù)文獻(xiàn)，以獲取最新的科技進(jìn)展和研究成果。然而，傳統(tǒng)的檢索和閱讀方式已經(jīng)無(wú)法滿足科研人的需求。

ChatPaper，一款集檢索、閱讀、知識(shí)問(wèn)答于一體的文獻(xiàn)知識(shí)工具。幫助你快提高檢索、閱讀論文效率，獲取最新領(lǐng)域研究動(dòng)態(tài)，讓科研工作更加游刃有余。

結(jié)合前沿動(dòng)態(tài)訂閱功能，精選arXiv當(dāng)日熱門新論文，形成論文綜述，讓大家更加快速了解前沿動(dòng)態(tài)。

如果想要對(duì)某篇論文進(jìn)行深入對(duì)話，可以直接復(fù)制論文鏈接到瀏覽器上或者直達(dá)ChatPaper頁(yè)面：https://www.aminer.cn/chat/g/

2023年7月14日精選新論文列表：

1.Generative Pretraining in Multimodality

鏈接：https://www.aminer.cn/pub/64ae259c3fda6d7f0658f3b5/

ChatPaper綜述：說(shuō)明了Generative Pretraining in Multimodality（多模態(tài)生成預(yù)訓(xùn)練）方法的關(guān)鍵問(wèn)題：在多模態(tài)上下文中無(wú)縫生成圖像和文本。該方法提出了一種名為Emu的基于Transformer的多模態(tài)基礎(chǔ)模型，可以通過(guò)一個(gè)統(tǒng)一的目標(biāo)進(jìn)行訓(xùn)練，從而可以處理任何單模態(tài)或多模態(tài)的數(shù)據(jù)輸入。Emu模型將視覺(jué)信號(hào)編碼為嵌入向量，并與文本標(biāo)記一起形成交織的輸入序列。通過(guò)對(duì)下一個(gè)文本標(biāo)記進(jìn)行分類或回歸下一個(gè)視覺(jué)嵌入向量，Emu模型在多模態(tài)序列中進(jìn)行端到端訓(xùn)練。這種多模態(tài)的靈活性使得可以在規(guī)模上探索各種預(yù)訓(xùn)練數(shù)據(jù)源，例如交織幀和文本的視頻，交織圖像和文本的網(wǎng)頁(yè)，以及大規(guī)模的圖像-文本對(duì)和視頻-文本對(duì)。Emu模型可以作為圖像到文本和文本到圖像任務(wù)的通用多模態(tài)接口，并支持上下文中的圖像和文本生成。在廣泛的零樣本/少樣本任務(wù)中，包括圖像字幕、視覺(jué)問(wèn)答、視頻問(wèn)答和文本到圖像生成等任務(wù)，Emu模型表現(xiàn)出比最先進(jìn)的大型多模態(tài)模型更出色的性能。同時(shí)還展示了通過(guò)指導(dǎo)調(diào)整的多模態(tài)助手等擴(kuò)展功能，并展示了令人印象深刻的性能。

2.Self-consistency for open-ended generations

鏈接：https://www.aminer.cn/pub/64b0d4cc3fda6d7f06b436a7/

ChatPaper綜述：論文介紹了一種改進(jìn)大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型生成輸出質(zhì)量和一致性的新方法，即自一致性。自一致性已經(jīng)被證明對(duì)于具有固定答案的問(wèn)題是一種有效的方法，可以選擇得到最高票數(shù)的答案。本文介紹了一種泛化的自一致性框架，擴(kuò)展了其適用性，不僅適用于具有固定答案的問(wèn)題。通過(guò)廣泛的模擬實(shí)驗(yàn)，我們證明我們的方法能夠從候選集中穩(wěn)定地選擇出最優(yōu)或接近最優(yōu)的生成結(jié)果。我們還提出了輕量級(jí)無(wú)參數(shù)的相似性函數(shù)，在代碼生成、自動(dòng)形式化和摘要任務(wù)中表現(xiàn)出顯著和一致的改進(jìn)，即使沒(méi)有訪問(wèn)令牌日志概率。我們的方法幾乎沒(méi)有計(jì)算開(kāi)銷，不需要輔助重新排名模型或?qū)ΜF(xiàn)有模型進(jìn)行修改。

3.HyperDreamBooth: HyperNetworks for Fast Personalization of Text-to-Image Models

鏈接：https://www.aminer.cn/pub/64b0d4cc3fda6d7f06b43716/

ChatPaper綜述：論文指出了個(gè)性化生成模型中存在的時(shí)間和存儲(chǔ)容量需求問(wèn)題，并提出了一種名為HyperDreamBooth的解決方案，可以從一個(gè)人的單張圖像中高效生成個(gè)性化權(quán)重，以在不同的環(huán)境和風(fēng)格中生成一個(gè)人的面部，保留高保真度和特征細(xì)節(jié)。該方法比現(xiàn)有方法DreamBooth和Textual Inversion快很多倍，并且模型大小僅為普通DreamBooth模型的1/10000。

4.Animate-A-Story: Storytelling with Retrieval-Augmented Video Generation

鏈接：https://www.aminer.cn/pub/64b0d4cc3fda6d7f06b4370c/

ChatPaper綜述：生成視頻以進(jìn)行視覺(jué)敘事是一個(gè)繁瑣而復(fù)雜的過(guò)程，通常需要實(shí)時(shí)拍攝或圖形動(dòng)畫(huà)渲染。為了解決這些挑戰(zhàn)，作者提出了一種利用現(xiàn)有視頻片段并通過(guò)自定義外觀來(lái)生成連貫敘事視頻的方法。作者提出了一個(gè)由兩個(gè)功能模塊組成的框架：動(dòng)作結(jié)構(gòu)檢索模塊，根據(jù)查詢文本提供具有所需場(chǎng)景或動(dòng)作背景的視頻候選項(xiàng)；結(jié)構(gòu)指導(dǎo)的文本到視頻合成模塊，根據(jù)運(yùn)動(dòng)結(jié)構(gòu)和文本提示生成與情節(jié)對(duì)齊的視頻。為了確保視頻之間的視覺(jué)一致性，作者提出了一種有效的概念個(gè)性化方法，通過(guò)文本提示可以指定期望的角色身份。通過(guò)大量實(shí)驗(yàn)證明，該方法在各種現(xiàn)有基準(zhǔn)測(cè)試中表現(xiàn)出顯著優(yōu)勢(shì)。

5.Domain-Agnostic Tuning-Encoder for Fast Personalization of Text-To-Image Models

鏈接：https://www.aminer.cn/pub/64b0d4cc3fda6d7f06b436fc/

ChatPaper綜述：現(xiàn)有的編碼器在處理多樣化概念時(shí)存在的限制?，F(xiàn)有的編碼器通常僅限于單一領(lǐng)域，無(wú)法處理多樣的概念。為了解決這個(gè)問(wèn)題，作者提出了一種不需要任何專門的數(shù)據(jù)集或先驗(yàn)信息的領(lǐng)域不可知方法。作者介紹了一種新穎的對(duì)比正則化技術(shù)，該技術(shù)可以在保持高度規(guī)范性的同時(shí)使得預(yù)測(cè)的嵌入接近潛在空間中可編輯區(qū)域，通過(guò)將預(yù)測(cè)的標(biāo)記推向其最近的現(xiàn)有CLIP標(biāo)記。實(shí)驗(yàn)結(jié)果證明了該方法的有效性，并顯示了與未經(jīng)規(guī)范化模型預(yù)測(cè)標(biāo)記相比，學(xué)習(xí)到的標(biāo)記更語(yǔ)義化。這導(dǎo)致了更好的表征，實(shí)現(xiàn)了優(yōu)于先前方法的性能，并具有更大的靈活性。

6.T2I-CompBench: A Comprehensive Benchmark for Open-world Compositional Text-to-image Generation

鏈接：https://www.aminer.cn/pub/64b0d4b63fda6d7f06b400fa/

ChatPaper綜述：介紹了現(xiàn)有的文本到圖像生成模型在將具有不同屬性和關(guān)系的對(duì)象有效組合到一個(gè)復(fù)雜和連貫的場(chǎng)景中時(shí)面臨的困難。針對(duì)這一問(wèn)題，作者提出了一個(gè)名為T2I-CompBench的綜合基準(zhǔn)測(cè)試，其中包含來(lái)自3個(gè)類別（屬性綁定、對(duì)象關(guān)系和復(fù)雜組合）和6個(gè)子類別（顏色綁定、形狀綁定、紋理綁定、空間關(guān)系、非空間關(guān)系和復(fù)雜組合）的共計(jì)6,000個(gè)組合性文本提示。此外，作者還提出了一些專門設(shè)計(jì)的評(píng)估指標(biāo)來(lái)評(píng)估組合性文本到圖像生成模型的表現(xiàn)。作者介紹了一種新方法，即基于獎(jiǎng)勵(lì)驅(qū)動(dòng)的樣本選擇的生成模型微調(diào)（GORS），以提升預(yù)訓(xùn)練的文本到圖像生成模型的組合性能力。作者通過(guò)大量實(shí)驗(yàn)和評(píng)估在T2I-CompBench上對(duì)之前的方法進(jìn)行了基準(zhǔn)測(cè)試，并驗(yàn)證了他們所提出的評(píng)估指標(biāo)和GORS方法的有效性。

7.In-context Autoencoder for Context Compression in a Large Language Model

鏈接：https://www.aminer.cn/pub/64b0d4cc3fda6d7f06b43712/

ChatPaper綜述：介紹了一個(gè)名為In-context Autoencoder (ICAE)的模型，用于在大型語(yǔ)言模型（LLM）中進(jìn)行上下文壓縮。該模型包含兩個(gè)模塊：一個(gè)可學(xué)習(xí)的編碼器通過(guò)從LLM中采用LoRA進(jìn)行調(diào)整，將長(zhǎng)上下文壓縮成有限數(shù)量的存儲(chǔ)槽，以及一個(gè)固定的解碼器，即目標(biāo)LLM，可以根據(jù)存儲(chǔ)槽進(jìn)行各種目的的條件選擇。首先，我們使用大規(guī)模文本數(shù)據(jù)對(duì)ICAE進(jìn)行預(yù)訓(xùn)練，同時(shí)使用自編碼和語(yǔ)言建模目標(biāo)，使其能夠生成準(zhǔn)確和全面代表原始上下文的存儲(chǔ)槽。然后，我們使用少量指導(dǎo)性數(shù)據(jù)對(duì)預(yù)訓(xùn)練的ICAE進(jìn)行微調(diào)，以增強(qiáng)其與各種提示的互動(dòng)，以產(chǎn)生理想的回答。實(shí)驗(yàn)結(jié)果表明，使用我們提出的預(yù)訓(xùn)練和微調(diào)范式學(xué)習(xí)的ICAE能夠有效地產(chǎn)生具有4倍上下文壓縮的存儲(chǔ)槽，目標(biāo)LLM可以很好地對(duì)其進(jìn)行條件選擇，以回應(yīng)各種提示。這些有希望的結(jié)果表明ICAE在解決長(zhǎng)上下文問(wèn)題方面具有重要意義，并且在實(shí)際中減少LLM推理的計(jì)算和內(nèi)存開(kāi)銷的潛力，提出了進(jìn)一步研究LLM上下文管理的努力。該研究的代碼和數(shù)據(jù)將很快發(fā)布。

8.InternVid: A Large-scale Video-Text Dataset for Multimodal Understanding and Generation

鏈接：https://www.aminer.cn/pub/64b0d4cc3fda6d7f06b4370e/

ChatPaper綜述：介紹了InternVid這個(gè)大規(guī)模視頻為中心的多模態(tài)數(shù)據(jù)集，該數(shù)據(jù)集能夠?yàn)槎嗄B(tài)理解和生成提供強(qiáng)大且可轉(zhuǎn)移的視頻文本表示。InternVid數(shù)據(jù)集包含超過(guò)700萬(wàn)個(gè)視頻，持續(xù)時(shí)間近76萬(wàn)個(gè)小時(shí)，共產(chǎn)生了2.34億個(gè)視頻片段，并伴隨著總計(jì)41億個(gè)單詞的詳細(xì)描述。該研究的核心貢獻(xiàn)在于開(kāi)發(fā)了一種可擴(kuò)展的方法，通過(guò)大型語(yǔ)言模型（LLM）自主構(gòu)建高質(zhì)量的視頻文本數(shù)據(jù)集，并展示其在大規(guī)模學(xué)習(xí)視頻語(yǔ)言表示中的有效性。具體而言，我們利用多尺度方法生成與視頻相關(guān)的描述。此外，我們還介紹了基于ViT-L的視頻文本表示學(xué)習(xí)模型ViCLIP。通過(guò)對(duì)InternVid進(jìn)行對(duì)比學(xué)習(xí)，該模型展示出領(lǐng)先的零樣本動(dòng)作識(shí)別和競(jìng)爭(zhēng)性的視頻檢索性能。除了識(shí)別和檢索等基本視頻理解任務(wù)，我們的數(shù)據(jù)集和模型具有廣泛的應(yīng)用。它們特別有利于生成交替的視頻文本數(shù)據(jù)，用于學(xué)習(xí)面向視頻的對(duì)話系統(tǒng)，推進(jìn)視頻到文本和文本到視頻生成的研究。這些資源為對(duì)多模態(tài)視頻理解和生成感興趣的研究人員和實(shí)踐者提供了工具。

9.Generating Benchmarks for Factuality Evaluation of Language Models

鏈接：https://www.aminer.cn/pub/64b0d4cc3fda6d7f06b436e7/

ChatPaper綜述：在部署語(yǔ)言模型之前，衡量其在特定領(lǐng)域生成事實(shí)錯(cuò)誤信息的傾向是很重要的。已有的事實(shí)生成評(píng)估方法側(cè)重于從語(yǔ)言模型中抽樣的事實(shí)，因此不能控制評(píng)估的事實(shí)集，并可能低估罕見(jiàn)和不太可能的事實(shí)。為此，作者提出了一種名為FACTOR的方法，通過(guò)語(yǔ)料庫(kù)轉(zhuǎn)換自動(dòng)生成用于評(píng)估語(yǔ)言模型事實(shí)性的基準(zhǔn)。FACTOR可以自動(dòng)將感興趣的事實(shí)語(yǔ)料庫(kù)轉(zhuǎn)化為基準(zhǔn)，評(píng)估語(yǔ)言模型生成來(lái)自語(yǔ)料庫(kù)的真實(shí)事實(shí)與類似但不正確的陳述之間的傾向。作者使用這一框架創(chuàng)建了兩個(gè)基準(zhǔn)：Wiki-FACTOR和News-FACTOR。研究結(jié)果表明：（i）基準(zhǔn)分?jǐn)?shù)隨著模型規(guī)模的增加而增加，并且在將檢索功能與語(yǔ)言模型相結(jié)合時(shí)得到改進(jìn)；（ii）基準(zhǔn)分?jǐn)?shù)與困惑度相關(guān)，但這兩個(gè)度量標(biāo)準(zhǔn)在模型排名上并不總是一致的；（iii）當(dāng)困惑度和基準(zhǔn)分?jǐn)?shù)不一致時(shí)，基準(zhǔn)分?jǐn)?shù)更好地反映了開(kāi)放式生成中的事實(shí)性，經(jīng)由人類標(biāo)注者的評(píng)估得出。

10.Distilling Large Language Models for Biomedical Knowledge Extraction: A Case Study on Adverse Drug Events

鏈接：https://www.aminer.cn/pub/64b0d4cc3fda6d7f06b434c4/

ChatPaper綜述：說(shuō)明了使用大型語(yǔ)言模型(GPT-4)進(jìn)行生物醫(yī)學(xué)知識(shí)提取的問(wèn)題。作者發(fā)現(xiàn)雖然大型語(yǔ)言模型已經(jīng)在結(jié)構(gòu)化生物醫(yī)學(xué)文本方面具有相當(dāng)?shù)哪芰Γㄟ^(guò)自我監(jiān)督學(xué)習(xí)將其壓縮為任務(wù)特定的學(xué)生模型，可以獲得比開(kāi)箱即用的大型語(yǔ)言模型更多的收益，包括成本、效率和白箱模型訪問(wèn)等額外優(yōu)勢(shì)。通過(guò)在不使用任何標(biāo)記數(shù)據(jù)的情況下，在標(biāo)準(zhǔn)的不良藥物事件(ADE)提取評(píng)估中，GPT-3.5壓縮的PubMedBERT模型達(dá)到了與監(jiān)督式最先進(jìn)模型相當(dāng)?shù)臏?zhǔn)確性。盡管體積小了1000多倍，但壓縮模型在F1值上超過(guò)了其教師模型GPT-3.5超過(guò)6個(gè)絕對(duì)點(diǎn)，并且超過(guò)了GPT-4超過(guò)5個(gè)絕對(duì)點(diǎn)。對(duì)于壓縮模型選擇（例如PubMedBERT vs BioGPT）和ADE提取架構(gòu)的消融研究，為生物醫(yī)學(xué)知識(shí)提取的最佳實(shí)踐提供了啟示。類似的增益也在其他標(biāo)準(zhǔn)生物醫(yī)學(xué)知識(shí)提取任務(wù)（如基因疾病關(guān)聯(lián)和受保護(hù)健康信息）中通過(guò)壓縮得到，進(jìn)一步說(shuō)明了這種方法的優(yōu)勢(shì)。

11.Pluggable Neural Machine Translation Models via Memory-augmented Adapters

鏈接：https://www.aminer.cn/pub/64af76ed3fda6d7f0647133a/

ChatPaper綜述：雖然神經(jīng)機(jī)器翻譯（NMT）模型在通用領(lǐng)域表現(xiàn)良好，但是控制其生成行為以滿足不同用戶需求仍然具有挑戰(zhàn)性。由于為每個(gè)用戶需求從頭開(kāi)始學(xué)習(xí)一個(gè)新模型的昂貴訓(xùn)練成本和數(shù)據(jù)稀缺性挑戰(zhàn)，研究者提出了一種基于記憶增強(qiáng)的適配器來(lái)以可插拔的方式引導(dǎo)預(yù)訓(xùn)練的NMT模型。具體來(lái)說(shuō)，作者構(gòu)建了一個(gè)基于用戶提供的文本樣本的多粒度記憶，并提出了一種新的適配器架構(gòu)來(lái)結(jié)合模型表示和檢索結(jié)果。他們還提出了一種使用記憶dropout的訓(xùn)練策略，以減少NMT模型和記憶之間的虛假依賴。通過(guò)對(duì)風(fēng)格特定和領(lǐng)域特定實(shí)驗(yàn)進(jìn)行驗(yàn)證，結(jié)果表明該方法可以優(yōu)于幾種典型的可插拔基線模型。