本期為TechBeat人工智能社區(qū)第456期線上Talk！

北京時(shí)間11月22日(周二)20:00，微軟亞洲研究院研究員——宋愷濤與南京大學(xué)碩士研究生——余博濤的Talk將準(zhǔn)時(shí)在TechBeat人工智能社區(qū)開播！

他們與大家分享的主題是:?“面向文本/音樂(lè)序列任務(wù)的Transformer注意力機(jī)制設(shè)計(jì)”，屆時(shí)將分別講解在文本和音樂(lè)序列任務(wù)中的Transformer注意力機(jī)制設(shè)計(jì)，包括1）Transcormer，通過(guò)設(shè)計(jì)三流注意力機(jī)制（Triple-stream Self-attention）和滑動(dòng)語(yǔ)言模型（Sliding Language Models）來(lái)實(shí)現(xiàn)高效的語(yǔ)言打分；2）Museformer，通過(guò)設(shè)計(jì)細(xì)粒度-粗粒度（Fine- and Coarse-Grained）結(jié)合的注意力機(jī)制以實(shí)現(xiàn)高效的音樂(lè)生成。

Talk·信息

主題：面向文本/音樂(lè)序列任務(wù)的Transformer注意力機(jī)制設(shè)計(jì)

嘉賓：微軟亞洲研究院研究員 宋愷濤

南京大學(xué)碩士研究生 余博濤

時(shí)間：北京時(shí)間?11月22日?(周二) 20:00

地點(diǎn)：TechBeat人工智能社區(qū)

http://www.techbeat.net/

完整版怎么看

掃描下方二維碼，或復(fù)制鏈接https://datayi.cn/w/a9a0z3Ao瀏覽器，一鍵完成預(yù)約！上線后會(huì)在第一時(shí)間收到通知哦

Talk·介紹

Transformer憑借其強(qiáng)大的注意力機(jī)制，逐漸成為文本、語(yǔ)音、音樂(lè)、圖像等任務(wù)的通用模型結(jié)構(gòu)。然而，在典型的序列任務(wù)中，Transformer的注意力機(jī)制還有比較大的提升空間，以實(shí)現(xiàn)高效的序列建模。在本次talk中，我們將介紹在文本和音樂(lè)序列任務(wù)中的Transformer注意力機(jī)制設(shè)計(jì)，包括1）Transcormer，通過(guò)設(shè)計(jì)三流注意力機(jī)制（Triple-stream Self-attention）和滑動(dòng)語(yǔ)言模型（Sliding Language Models）來(lái)實(shí)現(xiàn)高效的語(yǔ)言打分；2）Museformer，通過(guò)設(shè)計(jì)細(xì)粒度-粗粒度（Fine- and Coarse-Grained）結(jié)合的注意力機(jī)制以實(shí)現(xiàn)高效的音樂(lè)生成。

?分享一?

當(dāng)下基于Transformer的語(yǔ)言模型是否已經(jīng)能夠滿足自然語(yǔ)言處理中的所有任務(wù)？如何針對(duì)不同的任務(wù)來(lái)設(shè)計(jì)更加有效的語(yǔ)言模型呢？我們?cè)贜eurIPS 2022上針對(duì)語(yǔ)言評(píng)分這一任務(wù)特性，設(shè)計(jì)了一個(gè)全新的Transformer模型——Transcormer。該模型提出了一個(gè)全新的滑動(dòng)語(yǔ)言模型，并設(shè)計(jì)了一種三流自注意力機(jī)制 ?；谶@樣的設(shè)計(jì)，Transcormer模型能夠在利用雙向信息的同時(shí)，只需要計(jì)算一次便可以得到每個(gè)單詞的概率分布。該方法在解決語(yǔ)言評(píng)估的任務(wù)上，具有更好的性能和更高的效率。?

Talk提綱如下：

• 語(yǔ)言評(píng)分的任務(wù)定義

• 過(guò)去預(yù)訓(xùn)練模型的優(yōu)缺點(diǎn)

• 滑動(dòng)語(yǔ)言模型的設(shè)計(jì)

• 實(shí)驗(yàn)結(jié)果

• 工作總結(jié)

?分享二?

隨著深度學(xué)習(xí)的快速發(fā)展，自動(dòng)音樂(lè)創(chuàng)作成為新興研究方向。Transformer模型被應(yīng)用于音樂(lè)生成任務(wù)中并取得良好效果，但長(zhǎng)序列建模（如何高效建模通常長(zhǎng)度超過(guò)10000的音樂(lè)序列）和音樂(lè)結(jié)構(gòu)建模（如何使生成的音樂(lè)具有更好的音樂(lè)重復(fù)結(jié)構(gòu)）仍然是該領(lǐng)域的重大挑戰(zhàn)。因此，在NeurIPS 2022上，我們提出Museformer，它使用一種細(xì)粒度和粗粒度相結(jié)合的注意力機(jī)制來(lái)解決這些挑戰(zhàn)。

Talk提綱如下：

• AI+藝術(shù)

• 背景介紹：symbolic music，音樂(lè)生成中的挑戰(zhàn)

• Museformer模型和細(xì)-粗注意力機(jī)制的核心思想和具體設(shè)計(jì)

• 實(shí)驗(yàn)和結(jié)果分析

• 總結(jié)

Talk·預(yù)習(xí)資料

[1] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding?

[2] Improving Language Understanding by Generative Pre-Training?

[3] XLNet: Generalized Autoregressive Pretraining for Language Understanding

[4] arXiv:?https://arxiv.org/abs/2210.10349?

[5] Demo:?https://ai-muzic.github.io/museformer

[6] Code:?https://github.com/microsoft/muzic

Talk·提問(wèn)交流

在Talk界面下的【交流區(qū)】參與互動(dòng)！

留下你的打call??和問(wèn)題??，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻(xiàn)，我們都會(huì)給予你相應(yīng)的i豆積分，還會(huì)有驚喜獎(jiǎng)勵(lì)哦！

Talk·嘉賓介紹

宋愷濤，微軟亞洲研究院。博士畢業(yè)于南京理工大學(xué)計(jì)算機(jī)科學(xué)與應(yīng)用專業(yè)。研究方向?yàn)樽匀徽Z(yǔ)言處理，包括機(jī)器翻譯，預(yù)訓(xùn)練模型，語(yǔ)言生成等領(lǐng)域。在ICML、NeurIPS、KDD、ACL、IJCAI、ICCV、TIP、COLING、ICASSP、InterSpeech等頂級(jí)會(huì)議及期刊發(fā)表了多篇論文，其谷歌學(xué)術(shù)被引2200+余次。他的多項(xiàng)研究成果應(yīng)用在微軟的產(chǎn)品中。

個(gè)人主頁(yè)：https://scholar.google.com/citations?user=LLk9dR8AAAAJ&hl=en

余博濤，南京大學(xué)碩士研究生，導(dǎo)師為胡偉副教授，正在尋求海外讀博機(jī)會(huì)。主要研究方向包含自然語(yǔ)言處理、AI音樂(lè)和深度學(xué)習(xí)。

個(gè)人主頁(yè)：https://btyu.github.io/

關(guān)于TechBeat人工智能社區(qū)

TechBeat (www.techbeat.net) 是一個(gè)薈聚全球華人AI精英的成長(zhǎng)社區(qū)。 我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長(zhǎng)。 期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級(jí)打怪的根據(jù)地！

更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ