本周為TechBeat人工智能社區(qū)第322期線上Talk。

北京時(shí)間7月20日(周二)晚8點(diǎn)，清華大學(xué)計(jì)算機(jī)系在讀博士生——國孟昊的Talk將準(zhǔn)時(shí)在TechBeat人工智能社區(qū)開播！

他與大家分享的主題是: “External Attention 和 EAMLP”，屆時(shí)將介紹有關(guān)一種新的注意力機(jī)制External attention和一種MLP結(jié)構(gòu)EAMLP的進(jìn)展。

Talk·信息

主題：External Attention 和 EAMLP

嘉賓：清華大學(xué)計(jì)算機(jī)系在讀博士生國孟昊

時(shí)間：北京時(shí)間?7月20日 (周二) 20:00

地點(diǎn)：TechBeat人工智能社區(qū)

http://www.techbeat.net/

完整版怎么看？

掃描下方二維碼，或復(fù)制鏈接https://datayi.cn/w/koreXNQP至瀏覽器，一鍵完成預(yù)約！

上線后會(huì)在第一時(shí)間收到通知哦~

Talk·提綱

最近 Self-attention和Transformer在計(jì)算機(jī)視覺中取得了巨大的成功。本次 Talk 主要講述了一種新的注意力機(jī)制External attention和一種MLP的結(jié)構(gòu)EAMLP，以及對最近出現(xiàn)的一些MLP做了一個(gè)簡單的討論。

本次分享的主要內(nèi)容如下：

1.self-attention?以及一些變體

2.external attention 和線性層

3.multi-head external attention 和 EAMLP

4.MLP-> CNN -> Transformer -> MLP 是否是一個(gè)圈？

5.潛在的方向和挑戰(zhàn)

Talk·參考資料

這是本次分享中將會(huì)提及的資料，建議提前預(yù)習(xí)哦！

[1]?https://arxiv.org/abs/2105.02358

Talk·提問交流

通過以下兩種方式提問都將獲得微信現(xiàn)金紅包獎(jiǎng)勵(lì)哦！

方式 ①在Talk界面下的【交流區(qū)】參與互動(dòng)！留下你的打call??和問題??，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻(xiàn)，我們都會(huì)給予你相應(yīng)的i豆積分，還會(huì)有驚喜獎(jiǎng)勵(lì)哦！

方式 ②

在本文留言區(qū)直接提出你的問題，或掃描下方二維碼提問！

Talk·嘉賓介紹

國孟昊，清華大學(xué)計(jì)算機(jī)系20級博士生。研究方向?yàn)?/span>計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)、深度學(xué)習(xí)。計(jì)圖的開發(fā)者之一，曾在國際會(huì)議/期刊 ICLR/IPMI/CVMJ 上發(fā)表論文。

個(gè)人主頁：

https://menghaoguo.github.io/

關(guān)于TechBeat人工智能社區(qū)

TechBeat (www.techbeat.net) 是一個(gè)薈聚全球華人AI精英的成長社區(qū)。 我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長。 期待這里可以成為你學(xué)習(xí)AI前沿知識的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級打怪的根據(jù)地！

更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ