本期為TechBeat人工智能社區(qū)第484期線上Talk！

北京時間3月23日(周四)20:00，東京工業(yè)大學通信工程系碩士——王一棟的Talk將準時在TechBeat人工智能社區(qū)開播！他與大家分享的主題是:?“半監(jiān)督學習的自適應閾值法”，屆時將分享半監(jiān)督學習算法FreeMatch和團隊另一篇解決偽標簽數(shù)量與質(zhì)量的trade-off的半監(jiān)督論文SoftMatch。

Talk·信息

主題：半監(jiān)督學習的自適應閾值法

嘉賓：東京工業(yè)大學通信工程系碩士 王一棟

時間：北京時間?3月23日?(周四) 20:00

地點：TechBeat人工智能社區(qū)

http://www.techbeat.net/

完整版怎么看

掃描下方二維碼，或復制鏈接https://datayi.cn/w/q9A22eyR瀏覽器，一鍵完成預約！上線后會在第一時間收到通知哦

Talk·介紹

在大模型被廣泛應用的今天，研究半監(jiān)督學習還有意義嗎？我們的答案是：有的。即使大模型大行其道，在下游任務微調(diào)時，仍然不可避免要遇到標簽數(shù)據(jù)稀少的問題，而半監(jiān)督學習旨在只有少量標注數(shù)據(jù)的時候利用大量無標注數(shù)據(jù)提升模型的泛化性。我們的NeurIPS 2022的工作 USB中已驗證了預訓練模型在半監(jiān)督場景下的局限性。為此，我們在ICLR2023中更進一步，提出了更好的半監(jiān)督學習算法FreeMatch。

近年來，基于閾值的偽標簽方法的半監(jiān)督方法取得了巨大的成功。然而，我們認為現(xiàn)有的方法可能無法有效地利用未標記的數(shù)據(jù)，因為它們要么 使用預定義 / 固定閾值，要么 使用專門的啟發(fā)式閾值調(diào)整方案。這將導致模型性能低下和收斂速度慢。在本此演講中，我們首先介紹了半監(jiān)督學習的背景與意義。接著我們分享了幾個半監(jiān)督學習的經(jīng)典基線方法。然后我們理論分析一個簡單的二分類模型，以獲得關于理想閾值和模型學習狀態(tài)之間關系的直覺。基于分析，我們因此提出 FreeMatch 來根據(jù)模型的學習狀態(tài)以自適應方式 調(diào)整置信度閾值。我們進一步引入自適應類公平正則化懲罰，以鼓勵模型在早期訓練階段進行多樣化預測。廣泛的實驗表明FreeMatch的優(yōu)越性，尤其是當標記數(shù)據(jù)極其稀少時。除了FreeMatch以外，我們還簡單分享了團隊另一篇解決偽標簽數(shù)量與質(zhì)量的trade-off的半監(jiān)督論文SoftMatch。

Talk·預習資料

半監(jiān)督學習統(tǒng)一開源庫

https://github.com/microsoft/Semi-supervised-learning

Talk·提問交流

在Talk界面下的【交流區(qū)】參與互動！留下你的打call??和問題??，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻，我們都會給予你相應的i豆積分，還會有驚喜獎勵哦！

Talk·嘉賓介紹

王一棟于2015年9月至2019年6月就讀于南京大學計算機科學與計算系（本科），在此期間多次獲得南京大學人民獎學金等獎項，于2020年9月至2022年10月就讀于東京工業(yè)大學信息通信系（碩士），獲得東京工業(yè)大學通信工程系優(yōu)秀畢業(yè)生稱號。曾在微軟亞洲研究院實習一年。以第一作者(含共同)發(fā)表高質(zhì)量論文5篇，谷歌引用241。領導的開源項目TorchSSL[1]和USB[2]在知名開源網(wǎng)站github上總共獲得1500多個星標。將于2023年9月入學北京大學攻讀博士學位。

個人主頁：https://qianlanwyd.github.io/

-The End-

關于TechBeat人工智能社區(qū)

TechBeat (www.techbeat.net) 是一個薈聚全球華人AI精英的成長社區(qū)。 我們希望為AI人才打造更專業(yè)的服務和體驗，加速并陪伴其學習成長。 期待這里可以成為你學習AI前沿知識的高地，分享自己最新工作的沃土，在AI進階之路上的升級打怪的根據(jù)地！

更多詳細介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ