上周機(jī)器學(xué)習(xí)頂會NeurIPS 2023的接收論文列表公布了，有同學(xué)的論文中了嘛，可以評論區(qū)分享分享~

這次NeurIPS 2023共錄用論文3221篇左右，錄用率26.1%，與2022年的25.6%相比還是有所增加的。有想法的同學(xué)沖沖沖。

NeurIPS屬于CCF A類，是與ICML并稱為人工智能領(lǐng)域難度最大，水平最高，影響力最強(qiáng)的會議，每年的大會上討論的內(nèi)容包含深度學(xué)習(xí)、計算機(jī)視覺、大規(guī)模機(jī)器學(xué)習(xí)、學(xué)習(xí)理論等眾多細(xì)分領(lǐng)域。今年的會議將在12 月 10 日-16 日的路易斯安那州新奧爾良市舉行。

今天學(xué)姐就和大家分享幾篇已被錄用的優(yōu)秀論文，篇幅原因這里只做簡單介紹，論文原文以及代碼合集可以看這里??????，NeurIPS歷年的錄用論文清單學(xué)姐也整理在內(nèi)了，大家收藏了記得學(xué)習(xí)。

掃碼添加小享，回復(fù)“NeurIPS錄用”

免費(fèi)獲取論文原文+源代碼+錄用清單

1、DASpeech: Directed Acyclic Transformer for Fast and High-quality Speech-to-Speech Translation

標(biāo)題：DASpeech：用于快速高質(zhì)量語音到語音翻譯的有向無環(huán)Transformer

簡單概括：DASpeech是一種快速高質(zhì)量的非自動回歸直接語音到語音翻譯模型。它采用兩階段架構(gòu)，先用語言解碼器生成目標(biāo)文本，然后由音頻解碼器基于語言解碼器的隱狀態(tài)生成目標(biāo)語音。在測試集上，DASpeech實(shí)現(xiàn)了與SOTA模型相當(dāng)或更好的翻譯質(zhì)量，同時保留了高達(dá)18.53倍的加速比。相比之前的非自動回歸S2ST模型，DASpeech無需知識蒸餾和迭代解碼。此外，DASpeech還展示了保留源語音說話人聲音特性的能力。

2、Beyond MLE: Convex Loss for Text Generation

標(biāo)題：超越MLE：文本生成的凸損失函數(shù)

簡單概括：作者提出使用基于凸函數(shù)的新穎訓(xùn)練目標(biāo)，以代替文本生成任務(wù)中的最大似然 estimation (MLE)。相比 MLE 需要估計整個數(shù)據(jù)分布，凸函數(shù)使模型可以關(guān)注高概率輸出。作者證明凸函數(shù)可以使最優(yōu)分布更尖銳，關(guān)注高概率區(qū)域。在多個文本生成任務(wù)上實(shí)驗(yàn)證明，相比 MLE，凸函數(shù)訓(xùn)練目標(biāo)可以使自動回歸模型貪心解碼接近束搜索，并顯著提升非自動回歸模型的性能。

3、White-Box Transformers via Sparse Rate Reduction

標(biāo)題：通過稀疏速率降低實(shí)現(xiàn)白盒Transformer

簡單概括：論文提出表示學(xué)習(xí)的目標(biāo)是使數(shù)據(jù)分布變換為低維高斯分布的混合，支持在不相干子空間上。基于這個觀點(diǎn)，可以將transformer等深度網(wǎng)絡(luò)自然地看作是漸進(jìn)優(yōu)化該目標(biāo)的迭代方案。具體而言，標(biāo)準(zhǔn)的transformer模塊可以看作是交替優(yōu)化目標(biāo)的兩個互補(bǔ)部分：多頭自注意力實(shí)現(xiàn)壓縮,多層感知機(jī)實(shí)現(xiàn)稀疏化。這導(dǎo)致了一個數(shù)學(xué)上可解釋的白盒transformer網(wǎng)絡(luò)家族。實(shí)驗(yàn)表明，這種簡單的網(wǎng)絡(luò)可以有效地優(yōu)化表示的壓縮和稀疏化，并接近完整設(shè)計的transformer的性能。

4、Scan and Snap: Understanding Training Dynamicsand Token Composition in 1-layer Transformer

標(biāo)題：掃描與拍照：理解1層Transformer的訓(xùn)練動態(tài)和標(biāo)記組成

簡單概括：本文分析了1層Transformer在next token預(yù)測任務(wù)上的訓(xùn)練動態(tài)，假設(shè)長輸入序列及解碼層學(xué)習(xí)快，證明自注意力層實(shí)現(xiàn)了一種逐步關(guān)注關(guān)鍵標(biāo)記的“掃描”過程。它先均勻關(guān)注所有標(biāo)記，然后逐漸聚焦對特定標(biāo)記更獨(dú)特的鍵，減少對常見鍵的注意力。學(xué)習(xí)率控制了這個過程的終止，"掃描"最終鎖定了固定的標(biāo)記組合。在數(shù)據(jù)上驗(yàn)證了這種“掃描與鎖定”的訓(xùn)練動態(tài)。

5、Landscape Surrogate: Learning Decision Losses forMathematical Optimization Under Partial Information

標(biāo)題：環(huán)境代理：在部分信息下學(xué)習(xí)數(shù)學(xué)優(yōu)化的決策損失

簡單概括：該論文提出使用一個平滑可學(xué)習(xí)的環(huán)境代理來替代難以直接優(yōu)化的部分可觀測目標(biāo)函數(shù)。環(huán)境代理以神經(jīng)網(wǎng)絡(luò)表示，可以快速計算，并提供平滑稠密的梯度。它通過交替優(yōu)化進(jìn)行學(xué)習(xí)，既可以處理合成問題，也可以推廣到真實(shí)世界優(yōu)化問題。相比直接調(diào)用優(yōu)化器，環(huán)境代理減少了優(yōu)化循環(huán)次數(shù)，降低了計算成本。實(shí)驗(yàn)表明，該方法達(dá)到了先進(jìn)基準(zhǔn)的水平，特別在高維問題上性能更佳。

6、H_O: Heavy-Hitter Oracle for Effcient Generative Inference ofLarge Language Models

標(biāo)題：H_O：大型語言模型生成推理的高效重?fù)粽逴racle

簡單概括：論文提出了一種新的KV緩存實(shí)現(xiàn)方式，可以顯著減小其內(nèi)存占用。作者的方法基于一個顯著的觀察結(jié)果：少量詞元對計算注意力得分貢獻(xiàn)最大。論文將這些詞元稱為“重?fù)粽摺?H2)。通過全面的研究，作者發(fā)現(xiàn):(1) H2的出現(xiàn)很自然,與文本中詞元的高頻共現(xiàn)強(qiáng)相關(guān);(2)刪除H2會導(dǎo)致顯著的性能下降?；谶@些見解，作者提出了重?fù)粽逴racle(H2O)，這是一種KV緩存釋放策略，動態(tài)保留最近的和H2詞元的平衡。作者將KV釋放形式化為一個動態(tài)子模問題，并證明了該新釋放算法的理論保證(在溫和假設(shè)下)，這可能有助于指導(dǎo)未來的工作。

7、LeanDojo: Theorem Proving withRetrieval-Augmented Language Models

標(biāo)題：利用檢索增強(qiáng)的語言模型進(jìn)行定理證明

簡單概括：這篇論文提出了一個開源的Lean環(huán)境LeanDojo，它包含了工具、數(shù)據(jù)、模型和基準(zhǔn)，以消除語言模型進(jìn)行定理自動證明研究的障礙?；谠摥h(huán)境的數(shù)據(jù)，作者提出了ReProver模型，它是檢索增強(qiáng)的語言模型證明器，可以從大規(guī)模數(shù)學(xué)庫選擇相關(guān)前提。作者還構(gòu)建了一個新的基準(zhǔn)測試用于評估。實(shí)驗(yàn)結(jié)果顯示，ReProver優(yōu)于非檢索基線和GPT-4。

8、HuggingGPT: Solving AI Tasks with ChatGPT andits Friends in HuggingFace

標(biāo)題：利用HuggingFace中的ChatGPT及其伙伴解決AI任務(wù)

簡單概括：論文提出了 HuggingGPT 框架，利用大語言模型(如 ChatGPT)來連接機(jī)器學(xué)習(xí)社區(qū)中的各種 AI 模型(如 Hugging Face),以解決復(fù)雜的 AI 任務(wù)。具體來說，在接收到用戶請求時，使用 ChatGPT 進(jìn)行任務(wù)規(guī)劃，根據(jù) Hugging Face 中的模型功能描述選擇模型，使用所選模型執(zhí)行每個子任務(wù)，并根據(jù)執(zhí)行結(jié)果總結(jié)響應(yīng)。HuggingGPT 利用了 ChatGPT 強(qiáng)大的語言能力和 Hugging Face 中豐富的 AI 模型，能夠覆蓋不同模態(tài)和領(lǐng)域的許多復(fù)雜 AI 任務(wù)，并在語言、視覺、語音等具有挑戰(zhàn)性的任務(wù)上取得令人印象深刻的結(jié)果。這為通用人工智能鋪平了新的道路。

掃碼添加小享，回復(fù)“NeurIPS錄用”

免費(fèi)獲取論文原文+源代碼+錄用清單

9、Subject-driven Text-to-Image Generation viaApprenticeship Learning

標(biāo)題：基于學(xué)習(xí)方法的主體驅(qū)動式文本到圖像生成

簡單概括：這篇論文提出了 SuTI 文本到圖像生成模型，它通過預(yù)訓(xùn)練一個學(xué)徒模型來模仿大量基于不同主題微調(diào)的專家模型，可以不需要針對每個主題進(jìn)行調(diào)優(yōu)就可以根據(jù)幾個示例即時生成高質(zhì)量、個性化的圖像。在人類評估中，SuTI 在生成符合主題和文本的圖像方面明顯優(yōu)于當(dāng)前其他方法。

10、Thought Cloning: Learning to Think while Acting by Imitating Human Thinking

標(biāo)題：思維克隆：通過模仿人類思維行動學(xué)習(xí)思維

簡單概括：這篇論文提出思維克隆(Thought Cloning)框架，基于語言是人類思維的關(guān)鍵方面這一假設(shè)，通過讓AI模型模仿人類思維過程中的語言來提高其推理和規(guī)劃能力。作者使用合成生成的思維和行動數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。結(jié)果顯示，相比僅模仿行為的方法，思維克隆可以更快地學(xué)習(xí)，在分布偏移的測試任務(wù)上的優(yōu)勢更大，體現(xiàn)了它處理新情況的更強(qiáng)能力。思維克隆還為AI安全性和解釋性提供了重要好處，更容易調(diào)試和改進(jìn)AI，因?yàn)榭梢杂^察到模型的思維，可以更容易診斷問題、修正思維、防止不安全的計劃。

11、STEVE-1: A Generative Model for Text-to-Behavior in Minecraft

標(biāo)題：STEVE-1：一個Minecraft中文本到行為的生成模型

簡單概括：作者提出了STEVE-1，這是一個可以響應(yīng)文本指令的視頻預(yù)訓(xùn)練Minecraft模型。STEVE-1使用了unCLIP方法，先適配預(yù)訓(xùn)練的視頻模型以遵循MineCLIP潛在空間中的命令，然后訓(xùn)練先驗(yàn)以從文本中預(yù)測潛在代碼。這允許通過自監(jiān)督的行為克隆和回溯重新標(biāo)記來微調(diào)視頻模型，而無需昂貴的人工文本注釋。STEVE-1利用了預(yù)訓(xùn)練模型和文本條件圖像生成的最佳實(shí)踐，訓(xùn)練成本只有60美元，可以遵循廣泛的短期開放式文本和視覺指令。

12、Zero-shot causal learning

標(biāo)題：零樣本因果學(xué)習(xí)

簡單概括：論文提出了因果元學(xué)習(xí)框架CaML，將每個干預(yù)措施的個性化效果預(yù)測形式化為一個任務(wù)。CaML在成千上萬個采樣得到的任務(wù)上訓(xùn)練一個元模型。通過利用干預(yù)信息(如藥物屬性)和個體特征(如病史)，CaML可以預(yù)測在訓(xùn)練時不存在的新干預(yù)的個性化效果。在大規(guī)模醫(yī)療保險索賠數(shù)據(jù)和細(xì)胞系擾動數(shù)據(jù)上的實(shí)驗(yàn)顯示了該方法的有效性。

13、Differentially Private Image Classification by Learning Priors from Random Processes

標(biāo)題：差分隱私圖像分類通過從隨機(jī)過程中學(xué)習(xí)先驗(yàn)

簡單概括：這篇論文探索了如何通過從隨機(jī)過程生成的圖像中學(xué)習(xí)先驗(yàn)知識，來改進(jìn)差分隱私隨機(jī)梯度下降(DP-SGD)的隱私-效用權(quán)衡。作者提出了DPRandP，一個三階段方法：第一階段，從隨機(jī)過程中采樣圖像，訓(xùn)練特征提取器來學(xué)習(xí)對視覺任務(wù)有益的圖像先驗(yàn)。第二階段，在私有數(shù)據(jù)的提取特征上花費(fèi)少量隱私預(yù)算訓(xùn)練線性分類器。第三階段，用剩余隱私預(yù)算更新所有參數(shù)。在CIFAR10、CIFAR100和MedMNIST數(shù)據(jù)集上，該方法達(dá)到新的狀態(tài)。特別是在ε=1的隱私預(yù)算下，CIFAR10的準(zhǔn)確率從之前最好的60.6%提高到72.3%。因此，學(xué)習(xí)隨機(jī)過程的圖像先驗(yàn)可以顯著改進(jìn)差分隱私訓(xùn)練。

14、Unified Segment-to-Segment Framework for Simultaneous Sequence Generation

標(biāo)題：統(tǒng)一的段對段框架用于同步序列生成

簡單概括：這篇文章提出一個統(tǒng)一的段到段框架，用于同時生成目標(biāo)序列和接收源序列。關(guān)鍵是學(xué)習(xí)源序列和目標(biāo)序列段之間的映射，以識別生成的最佳時機(jī)。該方法引入潛在段作為源和目標(biāo)之間的樞紐，通過預(yù)期訓(xùn)練探索所有潛在的源-目標(biāo)映射。在多個同步生成任務(wù)上，該方法實(shí)現(xiàn)了最先進(jìn)的性能并展現(xiàn)出很好的通用性。

15、Leave No Stone Unturned: Mine Extra Knowledge for Imbalanced Facial Expression Recognition

標(biāo)題：為不平衡的面部表情識別挖掘額外知識

簡單概括：本文提出了一種新的面部表情識別方法，以解決樣本不平衡問題。關(guān)鍵是從全部訓(xùn)練樣本中提取少數(shù)類的額外信息，通過重新平衡的注意力圖和標(biāo)簽來正則化模型，使其更關(guān)注少數(shù)類。該方法實(shí)現(xiàn)了狀態(tài)最先進(jìn)的性能。

16、Learning-to-Rank Meets Language: Boosting Language-Driven Ordering Alignment for Ordinal Classification

標(biāo)題：提升語言驅(qū)動的順序?qū)R進(jìn)行序回歸

簡單概括：本文提出語言驅(qū)動順序?qū)R方法改進(jìn)序回歸，該方法通過提示調(diào)優(yōu)和跨模態(tài)序?qū)p失，利用語言先驗(yàn)知識增強(qiáng)模型的排序表示能力，顯著提高了序回歸性能。

17、Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory

標(biāo)題：利用自我記憶增強(qiáng)的文本生成

簡單概括：本文提出了一種利用自我記憶增強(qiáng)的文本生成框架Selfmem。與傳統(tǒng)根據(jù)輸入查詢相似記憶不同，Selfmem通過生成器和選擇器的迭代過程創(chuàng)建無限的自我記憶池。每輪生成器產(chǎn)生輸出作為下一輪的記憶，選擇器選擇相關(guān)記憶輸入到生成器。這樣可以利用模型自己的輸出作為記憶來改進(jìn)生成。作者在機(jī)器翻譯、文本摘要和對話三個任務(wù)上驗(yàn)證了該框架，取得了最優(yōu)結(jié)果，證明了自我記憶增強(qiáng)檢索式生成模型的效果。

掃碼添加小享，回復(fù)“NeurIPS錄用”

免費(fèi)獲取論文原文+源代碼+錄用清單