本期為TechBeat人工智能社區(qū)第482期線上Talk！

北京時間3月16日(周四)20:00，北京大學前沿交叉學院研究生——田柯宇的Talk將準時在TechBeat人工智能社區(qū)開播！他與大家分享的主題是:?“SparK：如何在卷積網(wǎng)絡(luò)上做成功BERT/MAE預(yù)訓練？?”，屆時將分享由北大、字節(jié)、牛津合作?的ICLR Spotlight文章，于去年10月公開，提出了 SparK，這是自 2016 inpainting-based 自監(jiān)督工作出現(xiàn)以來，首次在卷積模型上做成功的 BERT/MAE 形式的自監(jiān)督預(yù)訓練。

Talk·信息

主題：SparK：如何在卷積網(wǎng)絡(luò)上做成功BERT/MAE預(yù)訓練？?

嘉賓：北京大學前沿交叉學院研究生?田柯宇

時間：北京時間?3月16日?(周四) 20:00

地點：TechBeat人工智能社區(qū)

http://www.techbeat.net/

完整版怎么看

掃描下方二維碼，或復制鏈接https://datayi.cn/w/1R3l1zWP瀏覽器，一鍵完成預(yù)約！上線后會在第一時間收到通知哦

Talk·介紹

復刻 NLP 領(lǐng)域?BERT/GPT?的成功，乃至引領(lǐng)一套視覺預(yù)訓練-微調(diào)的范式，是當下計算機視覺領(lǐng)域的一大時代愿景。目前已有工作例如 BEiT/MAE 驗證了 BERT/Masked Modeling 預(yù)訓練算法可以很自然地從 NLP Transformer 遷移到 Vision Transformer，但如何再遷移到卷積網(wǎng)絡(luò) CNN上，仍是一個未解難題。

本篇 ICLR Spotlight 工作做了初步嘗試 (由北大、字節(jié)、牛津合作)，于去年10月公開，提出了 SparK，這是自 2016 inpainting-based 自監(jiān)督工作出現(xiàn)以來，首次在卷積模型上做成功的?BERT/MAE?形式的自監(jiān)督預(yù)訓練。SparK 適用于包括 ResNet 在內(nèi)的任何 CNN 模型，無需對模型進行任何改動即可直接預(yù)訓練。在下游分類、檢測、分割任務(wù)上，SparK 讓 CNN 的性能實現(xiàn)跨模型尺寸級別的提升，并顯著超過對比學習、超過 Swin-Transformer，初步展現(xiàn)了 BERT/MAE 在卷積網(wǎng)絡(luò)上的巨大潛力。

Talk大綱：

• 【時代背景】：NLP 與 CV 領(lǐng)域中 Masked Modeling 的發(fā)展（inpainting SSL、BERT、MAE）

• 【動機與問題】：Language data 和 Vision data、Transformer 和 CNN 有哪些本質(zhì)差異？如何導致了 BERT/MAE 不適應(yīng)于 CNN？如果在 CNN 上粗暴使用 Kaiming 的 MAE 預(yù)訓練會有什么問題？

• 【解決方案】：介紹 SparK (Sparse and hierarchical masKed modeling) 算法、實驗結(jié)果、可視化結(jié)果

• 【討論總結(jié)】：討論一些FAQ，例如和 MAE/ConvNextV2 的關(guān)系、一些實驗細節(jié)，并總結(jié)工作

• 【附加部分：開源介紹】：簡要分享 github 上開源代碼的解讀、如何一鍵加載預(yù)訓練權(quán)重等

Talk·預(yù)習資料

開源代碼（含可視化推理、一鍵加載預(yù)訓練模型權(quán)重）：
https://github.com/keyu-tian/SparK?

論文原文：

https://arxiv.org/abs/2301.03580

Demo 視頻：

https://www.youtube.com/watch?v=-IWyQ2hAoBw??

Talk·提問交流

在Talk界面下的【交流區(qū)】參與互動！留下你的打call??和問題??，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻，我們都會給予你相應(yīng)的i豆積分，還會有驚喜獎勵哦！

Talk·嘉賓介紹

田柯宇，北京大學研究生（師從王立威教授），研究興趣為深度學習的優(yōu)化與算法，自 2019 年起在商湯/字節(jié)跳動實習研究，具體包括超參數(shù)優(yōu)化、強化學習算法、自監(jiān)督的新型算法，在 NeurIPS, ICLR 等會議發(fā)表多篇一作論文，并多次擔任 NeurIPS, ICML, ICLR, CVPR, ICCV 等會議審稿人。

-The End-

關(guān)于TechBeat人工智能社區(qū)

TechBeat (www.techbeat.net) 是一個薈聚全球華人AI精英的成長社區(qū)。 我們希望為AI人才打造更專業(yè)的服務(wù)和體驗，加速并陪伴其學習成長。 期待這里可以成為你學習AI前沿知識的高地，分享自己最新工作的沃土，在AI進階之路上的升級打怪的根據(jù)地！

更多詳細介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ