本期為TechBeat人工智能社區(qū)第395期線上Talk。北京時(shí)間4月7日(周四)20:00，復(fù)旦大學(xué)統(tǒng)計(jì)學(xué)在讀碩士生——盧嘉晨的Talk將準(zhǔn)時(shí)在TechBeat人工智能社區(qū)開播！

他與大家分享的主題是: “面向更高效的Transformer”，屆時(shí)將分享如何讓transformer不依賴softmax操作，并設(shè)計(jì)全新的高性能且高效的線性化Transformer。

Talk·信息

主題：面向更高效的Transformer

嘉賓：?復(fù)旦大學(xué)統(tǒng)計(jì)學(xué)在讀碩士生盧嘉晨

時(shí)間：北京時(shí)間?4月7日?(周四) 20:00

地點(diǎn)：TechBeat人工智能社區(qū)

http://www.techbeat.net/

完整版怎么看？

掃描下方二維碼，或復(fù)制鏈接https://datayi.cn/w/1R31NA0o至瀏覽器，一鍵完成預(yù)約！上線后會在第一時(shí)間收到通知哦

Talk·提綱

近兩年，隨著視覺Transformer在各項(xiàng)視覺任務(wù)中的領(lǐng)先，Transformer的自注意力模塊的平方復(fù)雜度問題帶來的運(yùn)算資源消耗受到了越來越多的關(guān)注。然而，過去的Transformer線性化的嘗試局限于保留Transformer的Softmax和點(diǎn)積，導(dǎo)致這些方案或是性能不佳或是有理論缺陷。使用Transformer的Softmax和點(diǎn)積這種非核函數(shù)方法極大地阻礙了線性化的研究，因此，在本次Talk中，講者將分享如何讓transformer不依賴softmax操作，并設(shè)計(jì)全新的高性能且高效的線性化Transformer。

具體分享提綱如下：

1. Transformer在視覺任務(wù)中的應(yīng)用以及瓶頸

2. Softmax-free Transformer的具體實(shí)現(xiàn)和理論論證

3. Softmax-free Transformer在各項(xiàng)深度學(xué)習(xí)任務(wù)中的表現(xiàn)

4. 總結(jié)和未來展望

Talk·預(yù)習(xí)資料

1. Paper:https://proceedings.neurips.cc/paper/2021/file/b1d10e7bafa4421218a51b1e1f1b0ba2-Paper.pdf

2. Code:

https://github.com/fudan-zvg/SOFT

Talk·提問交流

通過以下兩種方式提問都將獲得微信現(xiàn)金紅包獎勵(lì)哦！

方式 ①

在Talk界面下的【交流區(qū)】參與互動！留下你的打call??和問題??，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻(xiàn)，我們都會給予你相應(yīng)的i豆積分，還會有驚喜獎勵(lì)哦！
方式 ②

在本文留言區(qū)直接提出你的問題，或掃描下方二維碼提問！

Talk·嘉賓介紹

復(fù)旦大學(xué)統(tǒng)計(jì)學(xué)一年級在讀碩士生，復(fù)旦大學(xué)大數(shù)據(jù)學(xué)院張力教授團(tuán)隊(duì)成員，并在華為諾亞方舟計(jì)算機(jī)視覺研究部門實(shí)習(xí)。研究方向主要包括深度學(xué)習(xí)，transformer理論與應(yīng)用，計(jì)算機(jī)視覺2D、3D感知等。

在CVPR2021發(fā)表了Rethinking semantic segmentation from a sequence-to-sequenceperspective with transformers，首次將Vision Transformer運(yùn)用在語義分割任務(wù)中，并在當(dāng)時(shí)的多個(gè)語義分割數(shù)據(jù)集上取得了最佳的成績。

在NeurIPS2021發(fā)表了Soft:Softmax-free transformer with linear complexity，并獲得了spotlight演講的機(jī)會。文章首次提出了不依賴softmax的一種高效線性復(fù)雜度Transformer方法，在ImageNet分類任務(wù)中展現(xiàn)出最佳的復(fù)雜度和性能的平衡。

個(gè)人主頁：

www.linkedin.com/in/jiachenlu-2454a7224

關(guān)于TechBeat人工智能社區(qū)

TechBeat (www.techbeat.net) 是一個(gè)薈聚全球華人AI精英的成長社區(qū)。 我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長。 期待這里可以成為你學(xué)習(xí)AI前沿知識的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級打怪的根據(jù)地！

更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ