ICML 全稱 International Conference on Machine Learning，由國(guó)際機(jī)器學(xué)習(xí)學(xué)會(huì)（IMLS）舉辦，是計(jì)算機(jī)人工智能領(lǐng)域的頂級(jí)會(huì)議。今年的 ICML 大會(huì)已是第 40 屆，共收到 6538 份投稿，有1827 份被接收，錄用率為27.9%。

在今年的杰出論文評(píng)選中，共有32篇候選，最終共有6篇論文摘得桂冠，涉及無(wú)學(xué)習(xí)率、為 LLM 加水印、未見(jiàn)過(guò)域泛化、不完全信息零和博弈的近優(yōu)策略、MCMC 和頻率順序?qū)W習(xí)的貝葉斯設(shè)計(jì)原則等領(lǐng)域。

下面讓我們來(lái)看看這6篇杰出論文的具體內(nèi)容！

掃碼添加小享，回復(fù)“ICML杰出”??

免費(fèi)獲取全部杰出論文+代碼合集

杰出論文

1.Learning-Rate-Free Learning by D-Adaptation

標(biāo)題：基于D-Adaptation的無(wú)學(xué)習(xí)率學(xué)習(xí)

作者：Aaron Defazio (FAIR), Konstantin Mishchenko (Samsung AI Center)

內(nèi)容：本文介紹了一種有趣的方法，旨在解決獲得非平滑隨機(jī)凸優(yōu)化的學(xué)習(xí)率自由最優(yōu)邊界的挑戰(zhàn)。作者提出了一種克服傳統(tǒng)學(xué)習(xí)率選擇在優(yōu)化此類問(wèn)題時(shí)所施加的限制的新方法。這項(xiàng)研究對(duì)優(yōu)化領(lǐng)域做出了有價(jià)值和實(shí)際的貢獻(xiàn)。

2.A Watermark for Large Language Models

標(biāo)題：大語(yǔ)言模型的數(shù)字水印

作者：John Kirchenbauer， Jonas Geiping， Yuxin Wen， Jonathan Katz， Ian Miers， Tom Goldstein （馬里蘭大學(xué)）

內(nèi)容：本文提出了一種對(duì)大型語(yǔ)言模型輸出進(jìn)行水印處理的方法，即將信號(hào)嵌入到生成的文本中，這些文本對(duì)人類來(lái)說(shuō)是不可見(jiàn)的，但可以通過(guò)算法檢測(cè)到。無(wú)需重新訓(xùn)練語(yǔ)言模型即可生成水印，無(wú)需訪問(wèn) API 或參數(shù)即可檢測(cè)到水印。本文還提出了一種用于檢測(cè)具有可解釋p值的水印的統(tǒng)計(jì)檢驗(yàn)，以及用于分析其敏感性的信息理論框架。該方法簡(jiǎn)單新穎，理論分析扎實(shí)，實(shí)驗(yàn)扎實(shí)。鑒于在檢測(cè)和審計(jì)LLM生成的合成文本方面出現(xiàn)的關(guān)鍵挑戰(zhàn)，本文有可能對(duì)社區(qū)產(chǎn)生重大影響。

3.Generalization on the Unseen, Logic Reasoning and Degree Curriculum

標(biāo)題：對(duì)未見(jiàn)的泛化，邏輯推理和程度課程

作者：Emmanuel Abbe（EPFL，Apple），Samy Bengio（Apple），Aryo Lotfi（EPFL），Kevin Rizk（EPFL）

內(nèi)容：這項(xiàng)工作在學(xué)習(xí)布爾函數(shù)方面取得了重大進(jìn)展，特別是針對(duì)看不見(jiàn)的泛化（GOTU）設(shè)置，這提出了一個(gè)具有挑戰(zhàn)性的分布外泛化問(wèn)題。本文廣泛探討了這一重要主題，提供了一種由理論分析和廣泛實(shí)驗(yàn)支持的結(jié)構(gòu)化方法。此外，它通過(guò)概述深度神經(jīng)網(wǎng)絡(luò)領(lǐng)域的一個(gè)關(guān)鍵研究方向而脫穎而出。

4.Adapting to game trees in zero-sum imperfect information games

標(biāo)題：適應(yīng)零和不完全信息博弈中的博弈樹(shù)

作者：C?me Fiegel （CREST， ENSAE， IP Paris）， Pierre MENARD （ENS Lyon）， Tadashi Kozuno （Omron Sinic X）， Remi Munos （Deepmind）， Vianney Perchet （CREST， ENSAE， IP Paris and CRITEO AI Lab）， Michal Valko （Deepmind）

內(nèi)容：本文介紹了不完全信息零和博弈的近優(yōu)策略。它嚴(yán)格地建立了一種新的下界，并提出了平衡FTRL和自適應(yīng)FTRL兩種算法。這些貢獻(xiàn)極大地推動(dòng)了不完全信息游戲中的優(yōu)化領(lǐng)域。實(shí)驗(yàn)證實(shí)了這些說(shuō)法，為研究結(jié)果提供了充足的支持。

5.Self-Repellent Random Walks on General Graphs - Achieving Minimal Sampling Variance via Nonlinear Markov Chains

標(biāo)題：在通用圖上的自排斥隨機(jī)游走 - 通過(guò)非線性馬爾可夫鏈實(shí)現(xiàn)最小采樣方差

作者：Vishwaraj Doshi （IQVIA Inc）， Jie Hu （北卡羅來(lái)納州立大學(xué)）， Do Young Eun （北卡羅來(lái)納州立大學(xué)）

內(nèi)容：本文解決了一組具有挑戰(zhàn)性的開(kāi)放問(wèn)題，即具有自排斥隨機(jī)游走的MCMC。它超越了傳統(tǒng)的非回溯方法，為MCMC采樣的新研究方向鋪平了道路。作者對(duì)馬爾可夫鏈蒙特卡洛文學(xué)做出了原創(chuàng)性且非平凡的貢獻(xiàn);值得注意的是，這個(gè)過(guò)程可以被嚴(yán)格分析和證明。這篇論文寫得很好，對(duì)主要概念進(jìn)行了清晰直觀的解釋。結(jié)果令人信服和全面。

6.Bayesian Design Principles for Frequentist Sequential Learning

標(biāo)題：用于頻率學(xué)順序?qū)W習(xí)的貝葉斯設(shè)計(jì)原理

作者：徐云北，阿薩夫·澤維（哥倫比亞大學(xué)）

內(nèi)容：本文解決了設(shè)計(jì)強(qiáng)盜和其他順序決策策略的非常普遍的問(wèn)題。它提出了使用稱為算法信息比率的新量來(lái)界定任何策略的遺憾的方法，并推導(dǎo)出了優(yōu)化該邊界的方法。該界限比類似的早期信息理論量更嚴(yán)格，并且這些方法在隨機(jī)和對(duì)抗性強(qiáng)盜設(shè)置中都表現(xiàn)良好，實(shí)現(xiàn)了世界上最好的。特別有趣的是，這篇論文可能為一系列全新的勘探開(kāi)發(fā)策略打開(kāi)了大門，超越了著名的湯普森采樣和土匪UCB。這個(gè)原則延伸到強(qiáng)化學(xué)習(xí)的事實(shí)是非常有希望的。該文件得到了專家審評(píng)員的一致和大力支持。

掃碼添加小享，回復(fù)“ICML杰出”??

免費(fèi)獲取全部杰出論文+代碼合集