實時追蹤科研動態(tài)丨7.17精選新論文，附ChatPaper綜述

2023-07-18 11:00 作者:AMiner科技 0人讀過 | 我要投稿

作為科研人員，每天需要檢索和瀏覽大量的學術文獻，以獲取最新的科技進展和研究成果。然而，傳統(tǒng)的檢索和閱讀方式已經無法滿足科研人的需求。

ChatPaper，一款集檢索、閱讀、知識問答于一體的文獻知識工具。幫助你快提高檢索、閱讀論文效率，獲取最新領域研究動態(tài)，讓科研工作更加游刃有余。

結合前沿動態(tài)訂閱功能，精選arXiv當日熱門新論文，形成論文綜述，讓大家更加快速了解前沿動態(tài)。

如果想要對某篇論文進行深入對話，可以直接復制論文鏈接到瀏覽器上或者直達ChatPaper頁面：https://www.aminer.cn/chat/g/

2023年7月17日精選新論文列表：

1.NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis

鏈接：https://www.aminer.cn/pub/64b4bd0d3fda6d7f0654fbb3/

ChatPaper綜述：論文解決了在場景中生成與對象進行交互的真實3D人體動作的問題。作者提出的關鍵思想是在特定對象上創(chuàng)建一個神經交互場，該場根據輸入的人體姿勢輸出到有效交互流形的距離。這個交互場引導了一個以對象為條件的人體動作擴散模型的采樣，以鼓勵合理的接觸和能力語義。為了支持與稀少數(shù)據的交互，作者提出了一個自動化的合成數(shù)據流水線。為此，他們在具有人體基本動作先驗的預訓練動作模型中，加入從有限動作捕捉數(shù)據中提取的特定交互錨定姿勢。使用在生成的合成數(shù)據上訓練的指導擴散模型，他們綜合了幾種對象的坐下和舉起動作，其動作質量和成功完成的動作方面優(yōu)于其他方法。作者將他們的框架稱為NIFTY：神經交互場的軌跡合成。

2.DreamTeacher: Pretraining Image Backbones with Deep Generative Models

鏈接：https://www.aminer.cn/pub/64b4bd0d3fda6d7f0654fb9a/

ChatPaper綜述：這項工作介紹了一個自我監(jiān)督的特征表示學習框架DreamTeacher，利用生成網絡對下游圖像骨干進行預訓練。研究人員提出從訓練好的生成模型中提取知識，融入特定感知任務的標準圖像骨干中。他們研究了兩種知識蒸餾方法：1)將生成模型學到的特征融入目標圖像骨干，作為大型標記數(shù)據集（如ImageNet）預訓練的替代方法；2)將生成網絡的標簽通過任務頭蒸餾到目標骨干的邏輯層。研究人員對多個生成模型、密集預測基準和多種預訓練方案進行了詳細分析。實驗證明，DreamTeacher在各方面都顯著優(yōu)于現(xiàn)有的自我監(jiān)督表示學習方法。使用DreamTeacher進行無監(jiān)督的ImageNet預訓練，在下游數(shù)據集上相比于ImageNet分類預訓練有顯著改進，展示了生成模型特別是擴散生成模型作為在大規(guī)模多樣數(shù)據集上進行表示學習的有前景的方法，而不需要手動注釋。

3.Mega-TTS 2: Zero-Shot Text-to-Speech with Arbitrary Length Speech Prompts

鏈接：https://www.aminer.cn/pub/64b4bd093fda6d7f0654f518/

ChatPaper綜述：先前的大規(guī)模多說話人TTS模型已成功實現(xiàn)了這一目標，但只在10秒內進行了錄制。然而，大多數(shù)模型只能利用短語音提示中的有限信息，這在進行精細的身份模仿時嚴重影響了性能。本文介紹了Mega-TTS 2，一種通用的零-shot多說話人TTS模型，能夠使用任意長度的提示合成未見過說話人的語音。具體而言，作者設計了一個多參考音色編碼器來從多個參考演講中提取音色信息；并訓練了一個可以處理任意長度語音提示的韻律語言模型。通過這些設計，作者的模型適用于不同長度的提示，擴展了零-shot文本到語音的語音質量上限。此外，作者還引入了任意來源提示，在生成過程中利用從多個P-LLM輸出中得出的概率來產生富有表現(xiàn)力和可控的韻律。此外，作者還提出了一個音素級自回歸時長模型，以引入上下文學習能力到時長建模中。實驗結果表明，這種方法不僅能夠合成短提示的未見過說話人的保留身份的語音，還能夠在使用更長的語音提示時獲得改進的性能。

4.Learning to Retrieve In-Context Examples for Large Language Models

鏈接：https://www.aminer.cn/pub/64b4bd093fda6d7f0654f4de/

ChatPaper綜述：論文說明了在大型語言模型中進行上下文學習的有效性依賴于所選示例的質量。然而，如何選擇高質量的上下文示例是一個挑戰(zhàn)。該論文提出了一種新的框架，通過迭代訓練密集的檢索器來解決這個問題。該框架首先基于語言模型的反饋訓練一個獎勵模型，以評估候選示例的質量，然后使用知識蒸餾訓練一個基于雙編碼器的密集檢索器。實驗證明，該框架顯著提高了上下文學習的性能，并且在訓練過程中展示了對未見任務的泛化能力。深入分析表明，該模型通過檢索具有相似模式的示例來提高性能，并且這種改進在不同規(guī)模的語言模型中都是一致的。

5.Copy Is All You Need

鏈接：https://www.aminer.cn/pub/63dcdb422c26941cf00b6339/

ChatPaper綜述：論文指出傳統(tǒng)的文本生成模型通過從固定的詞匯表中選擇單詞來生成輸出，而它提出了一種新的方法，將文本生成視為逐步從現(xiàn)有文本集合中復制文本片段（例如單詞或短語）。該方法通過計算有意義的文本片段的上下文化表示并使用高效的向量搜索工具進行索引，將文本生成的任務分解為一系列的復制和粘貼操作：在每個時間步驟中，我們從文本集合中尋找適當?shù)奈谋酒危皇菑莫毩⒌脑~匯表中選擇。實驗結果表明，該方法通過從原始訓練數(shù)據中復制獲得更好的生成質量，并在標準的語言建模基準（WikiText-103）上得到了驗證（0.758 vs. 0.691 MAUVE）。此外，該方法還顯示通過擴大文本集合規(guī)模而無需額外訓練可以獲得額外的性能提升。此外，該方法還可以通過簡單地切換到任何特定領域的文本集合實現(xiàn)有效的領域自適應，也無需進一步的訓練。最后，該方法通過減少解碼步驟提高了推理效率，相比傳統(tǒng)的基于標記級別的自回歸模型獲得了更好的推理效率。

6.DIALGEN: Collaborative Human-LM Generated Dialogues for Improved Understanding of Human-Human Conversations

鏈接：https://www.aminer.cn/pub/64b4bd093fda6d7f0654f463/

ChatPaper綜述：論文提出了一個名為DIALGEN的方法來解決自動理解人與人對話的挑戰(zhàn)。這些挑戰(zhàn)涉及到真實世界數(shù)據中的隱私信息，例如呼叫中心或臨床對話中的數(shù)據。使用受保護的數(shù)據還會增加注釋的成本，從而限制技術的發(fā)展。為了解決這些挑戰(zhàn)，作者提出了DIALGEN，這是一個人在循環(huán)中半自動對話生成框架。DIALGEN使用一種語言模型（ChatGPT）來生成流暢的對話文本，通過迭代生成子對話并使用人類反饋來糾正不一致或重定向對話的流程。通過在對話狀態(tài)跟蹤的結構化總結代理人-客戶信息收集呼叫的實驗中，我們顯示DIALGEN數(shù)據能夠顯著提高模型性能。

7.Exploiting Counter-Examples for Active Learning with Partial labels

鏈接：https://www.aminer.cn/pub/64b4bd093fda6d7f0654f5e7/

ChatPaper綜述：論文研究了一種新的問題，即具有部分標簽的主動學習（ALPL）。在這種設置中，一個Oracle用部分標簽對查詢樣本進行注釋，放寬了Oracle對準確標注過程的要求。為了解決ALPL問題，我們首先建立了一個直觀的基準線，可以無縫地融入現(xiàn)有的AL框架中。盡管有效，但這個基準線仍然容易過擬合，并且在查詢過程中缺乏代表性的基于部分標簽的樣本。受認知科學中人類推理的啟發(fā)，其中可以明確從反例（CEs）中推導出準確的推理，我們的目標是利用這種類似人類的學習模式來解決過擬合問題，同時增強在ALPL中選擇代表性樣本的過程。具體而言，我們通過顛倒每個實例的部分標簽來構建CEs，然后我們提出了一個簡單但有效的WorseNet來直接從這種互補模式中學習。通過利用WorseNet和預測器之間的分布差異，這種對抗性評估方式可以增強預測器本身的性能和樣本選擇過程，使預測器能夠捕捉到數(shù)據中更準確的模式。在五個真實數(shù)據集和四個基準數(shù)據集上的實驗證明了我們提出的方法相對于十個代表性的AL框架的全面改進，凸顯了WorseNet的優(yōu)越性。

8.Generating Efficient Training Data via LLM-based Attribute Manipulation

鏈接：https://www.aminer.cn/pub/64b4bd093fda6d7f0654f49a/

ChatPaper綜述：論文提出了一種新穎的方法——Chain-of-Thoughts Attribute Manipulation (CoTAM)，通過從大型語言模型 (LLMs) 中精心設計的數(shù)據來引導少樣本學習。其主要思想是創(chuàng)建僅在任務目標屬性中發(fā)生變化的數(shù)據。受到面部屬性操作的啟發(fā)，我們的方法利用LLMs來操作任務特定屬性并以可控的方式重構新的句子，從而生成標簽切換數(shù)據。與傳統(tǒng)的潛在表示控制不同，我們采用了思維鏈條的分解和重構方法來適應LLMs的過程。對文本分類和其他任務進行了廣泛的實驗，驗證了CoTAM相對于同樣數(shù)量訓練樣本的其他基于LLMs的文本生成方法的優(yōu)勢。分析可視化了CoTAM的屬性操作效果，并展示了LLM引導學習即使在更少的監(jiān)督下也具有潛力。