測試時自適應對于領(lǐng)域轉(zhuǎn)移下真實機器感知應用的成功至關(guān)重要，近年來，研究者們?nèi)匀辉诓粩鄡?yōu)化現(xiàn)有的方法。在今年的ICML中，TTA相關(guān)的研究也有了最新進展。

1.Uncovering Adversarial Risks of Test-Time Adaptation

「標題：」揭示測試時適應的對抗風險

「內(nèi)容：」最近，測試時適應(TTA)被提出作為解決分布漂移的有望解決方案。它允許基模型在推理期間利用測試批次中的信息適應未知分布。但是，作者揭示了TTA基于這樣的洞見存在新的安全漏洞：良性樣本的預測會受到同一批次中惡意樣本的影響。為了利用這個漏洞，作者提出了分布入侵攻擊(DIA)，它向測試批次注入少量惡意數(shù)據(jù)。DIA導致使用TTA的模型將良性和未經(jīng)擾動的測試數(shù)據(jù)錯誤分類，為對手提供了一種在規(guī)范機器學習流水線中不可行的完全新能力。通過全面評估，作者證明了攻擊對六種TTA方法在多個基準上的高效性。為應對這一漏洞，作者研究了兩個對策來增強現(xiàn)有不安全的TTA實現(xiàn)，遵循“安全設(shè)計”的原則。

2.On Pitfalls of Test-Time Adaptation

「標題：」測試時間自適應的陷阱

「內(nèi)容：」測試時間自適應(TTA)最近出現(xiàn)作為一種解決分布轉(zhuǎn)移魯棒性挑戰(zhàn)的有希望的方法。但是，先前文獻中缺乏一致的設(shè)置和系統(tǒng)的研究，阻礙了對現(xiàn)有方法的徹底評估。為解決這個問題，作者提出了TTAB，一個測試時間自適應基準，它包含十種最先進的算法，各種分布轉(zhuǎn)移和兩種評估協(xié)議。通過大量的實驗，該基準揭示了先前工作中的三個常見陷阱。第一，由于在線批處理依賴性，選擇適當?shù)某瑓?shù)，特別是用于模型選擇，非常困難。第二，TTA的有效性在很大程度上取決于所調(diào)整的模型的質(zhì)量和屬性。第三，即使在最佳的算法條件下，現(xiàn)有的方法也無法解決所有常見類型的分布轉(zhuǎn)移。

3.Leveraging Proxy of Training Data for Test-Time Adaptation

「標題：」利用訓練數(shù)據(jù)代理進行測試時適應

「內(nèi)容：」TTA的常見做法是忽略訓練數(shù)據(jù)，以減少內(nèi)存需求和隱私泄露。但是，訓練數(shù)據(jù)是唯一的監(jiān)督來源。這促使作者研究恰當?shù)厥褂盟鼈兊姆椒?，同時最小化副作用。為此，作者提出了訓練數(shù)據(jù)的兩個輕量級且信息豐富的代理，以及一個充分利用它們的TTA方法。代理之一由少量通過數(shù)據(jù)濃縮合成的圖像組成，它們最小化了域特定性以捕獲廣泛域的一般潛在結(jié)構(gòu)。然后，在TTA中,通過調(diào)整它們的樣式以匹配無標簽測試樣本的樣式，將它們轉(zhuǎn)換為標記的測試數(shù)據(jù)，這實現(xiàn)了虛擬的測試時訓練。另一個代理是訓練數(shù)據(jù)的類間關(guān)系，在TTA期間轉(zhuǎn)移到目標模型。在四個公共基準測試上，我們的方法以顯著更少的計算和內(nèi)存優(yōu)于最先進的方法。

掃碼添加小享，回復“TTA”??

免費獲取全部論文+部分代碼合集

4.Learnability and Algorithm for Continual Learning

「標題：」持續(xù)學習的可學習性與算法

「內(nèi)容：」本文研究了類增量學習(CIL)這一具有挑戰(zhàn)性的持續(xù)學習設(shè)置。CIL學習一系列由不相交的概念或類構(gòu)成的任務的序列。在任何時間點，都會構(gòu)建一個單一模型，該模型可以對至今學習過的任何類的測試實例進行預測/分類，而無需為每個測試實例提供任何任務相關(guān)信息。盡管已為CIL提出許多技術(shù)，但它們大多是經(jīng)驗性的。最近證明，一個強大的CIL系統(tǒng)需要對每個任務具有強大的任務內(nèi)預測(WP)和出分布(OOD)檢測。然而，CIL是否可學習性仍未可知。本文證明CIL是可學習的?；谠摾碚?，還提出了一種新的CIL算法。實驗結(jié)果證明了其有效性。

5.Test-time Adaptation with Slot-Centric Models

「標題：」基于槽位的模型的測試時適應

「內(nèi)容：」當前的視覺檢測器在訓練分布內(nèi)的表現(xiàn)雖然令人印象深刻，但在分布外的場景中解析實體時往往會失敗。最近的測試時間自適應方法使用輔助自監(jiān)督損失來獨立地對每個測試示例的參數(shù)進行自適應，在圖像分類任務中對訓練分布之外的泛化顯示了有希望的結(jié)果。作者發(fā)現(xiàn)這些損失本身對于場景分解任務是不夠的，如果不考慮建模的歸納偏差。最近的以slot為中心的生成模型試圖通過重建像素以自監(jiān)督的方式分解場景成實體。汲取這兩條研究路線的精華，作者提出了Slot-TTA，這是一個半監(jiān)督的以slot為中心的場景分解模型，在測試時通過對重建或跨視覺合成目標進行梯度下降對每個場景進行自適應。作者評估了Slot-TTA跨多個輸入模式(圖像或3D點云)，并展示了相對于最先進的監(jiān)督前饋檢測器和其他測試時間自適應方法的重大分布外性能改進。

6.Theory on Forgetting and Generalization of Continual Learning

「標題：」持續(xù)學習遺忘和泛化理論

「內(nèi)容：」持續(xù)學習(CL)旨在學習一系列任務，最近受到廣泛關(guān)注。但是，大多數(shù)工作集中在CL的實驗表現(xiàn)，理論研究還比較有限。特別是對影響“災難性遺忘”和泛化性能的關(guān)鍵因素還缺乏理解。為彌補這一空白，作者在過參數(shù)化線性模型下的理論分析首次給出了預期遺忘和泛化誤差的顯式形式。進一步分析這個關(guān)鍵結(jié)果產(chǎn)生了許多理論解釋,闡明了過參數(shù)化、任務相似性和任務順序如何影響CL的遺忘和泛化誤差。更有趣的是，通過在真實數(shù)據(jù)集上使用深度神經(jīng)網(wǎng)絡(DNN)進行實驗，作者發(fā)現(xiàn)一些見解甚至超越了線性模型，可以延伸到實際設(shè)置。

7.Test-Time Style Shifting: Handling Arbitrary Styles in Domain Generalization

「標題：」測試時風格轉(zhuǎn)換:處理域泛化中的任意風格

「內(nèi)容：」作者提出了測試時風格遷移，在進行預測之前，它會將測試樣本(與源域有較大風格差異的樣本)的風格轉(zhuǎn)換為模型已經(jīng)熟悉的最相近的源域的風格。這種策略使得模型可以處理任意風格統(tǒng)計的目標域，而無需在測試時進行額外的模型更新。另外，作者提出了風格平衡，它為最大限度地發(fā)揮測試時風格遷移的優(yōu)勢提供了一個很好的平臺，通過處理DG特有的不平衡問題。作者提出的思想很容易實現(xiàn)，并且可以與各種其他DG方案成功配合使用。不同數(shù)據(jù)集上的實驗結(jié)果證明了該方法的有效性。

8.Learning Rate Schedules in the Presence of Distribution Shift

「標題：」分布變化下的學習率調(diào)度

「內(nèi)容：」作者設(shè)計了學習率調(diào)度方案，以最小化SGD在線學習在數(shù)據(jù)分布變化的情況下的遺憾。通過創(chuàng)新的隨機微分方程分析完全表征了線性回歸的最佳學習率調(diào)度。對于一般的凸損失函數(shù)，作者提出了魯棒的學習率調(diào)度，給出了遺憾的上下界，僅差一個常數(shù)。對于非凸損失函數(shù)，作者定義了基于估計模型的梯度范數(shù)的遺憾概念，并提出了最小化總預期遺憾上界的學習率調(diào)度。直覺上，變化的損失景觀需要更多的探索，作者確認最佳學習率調(diào)度通常在分布變化時增加。

9.Nonparametric Density Estimation under Distribution Drift

「標題：」分布漂移下的非參數(shù)密度估計

「內(nèi)容：」作者研究了非平穩(wěn)漂移設(shè)置下的非參數(shù)密度估計。給定從隨時間逐漸變化的分布中采樣的獨立樣本序列，目標是計算當前分布的最佳估計。作者證明了離散和連續(xù)光滑密度的緊致最小最大風險界，其中最小值是所有可能的估計量，最大值是滿足漂移約束的所有可能分布。作者的技術(shù)處理廣泛的漂移模型，并推廣了之前關(guān)于漂移下無知學習的結(jié)果。

掃碼添加小享，回復“TTA”??

免費獲取全部論文+部分代碼合集