AI er們，春暖花開(kāi)時(shí)，正是談戀愛(ài)、約干飯、求躺平、讀paper、搞代碼、勤思考的大好時(shí)機(jī)！大家活躍的腦細(xì)胞，一定需要一些新鮮的學(xué)術(shù)討論話題，來(lái)為接下來(lái)一年的工作、科研創(chuàng)新打下思考的基礎(chǔ)。

曠視MegEngine團(tuán)隊(duì)和TechBeat人工智能社區(qū)一起，策劃了本場(chǎng)直播交流活動(dòng)，帶領(lǐng)大家向慣性思維發(fā)起挑戰(zhàn)。北京時(shí)間本周六（3.19）上午10:00，圍繞“Large Kernel Makes CNN Great Again”的主題，帶來(lái)三位講者的在線分享。

在深度學(xué)習(xí)的模型設(shè)計(jì)領(lǐng)域中，一般認(rèn)為 Conv 的 kernel size 選擇 3x3 是最高效、最具性價(jià)比的設(shè)計(jì)。這一認(rèn)知從 VGG 論文發(fā)布出來(lái)的 8 年以來(lái)從未改變過(guò)。

但擁有敏銳雙眼的大家有沒(méi)有注意到，近期，ConvNext、RepLKNet、ConvMixer、MetaFormer等論文都出于模型效果開(kāi)始選擇了更大的 kernel size，在RepLKNet這一工作進(jìn)行理論探索和設(shè)計(jì)的同時(shí)，MegEngine團(tuán)隊(duì)也開(kāi)始思考超大卷積核的高效實(shí)現(xiàn)對(duì)多種視覺(jué)應(yīng)用的重要意義，對(duì)“小 kernel size 的運(yùn)行效率更高”這一根植于模型設(shè)計(jì)者腦中的思維慣性發(fā)起挑戰(zhàn)。

想知道 ConvNext，RepLKNet為何不約而同將 kernel size 增大？想知道更大的 kernel size 到底給模型帶來(lái)了什么？想知道 MegEngine 是如何將 31*31 的 DWconv 優(yōu)化快了10余倍？

快來(lái)關(guān)注本次線上直播活動(dòng)吧！

活動(dòng)議程及報(bào)名方式

純粹想看【直播】的同學(xué)可以關(guān)注B站-曠視天元MegEngine直播間

https://datayi.cn/w/kojmOBWP

預(yù)提問(wèn)表單

已經(jīng)有問(wèn)題的同學(xué)，可以填寫下方表單，留下你的問(wèn)題。被選中6個(gè)問(wèn)題，我們將在直播中的QA環(huán)節(jié)，請(qǐng)講者優(yōu)先回答，并送上由曠視MegEngine準(zhǔn)備的“煉丹眼罩”哦！

https://datayi.cn/w/GRwqVNdo

直播獎(jiǎng)品

直播過(guò)程中的提問(wèn)者，及現(xiàn)場(chǎng)抽獎(jiǎng)環(huán)節(jié)中獎(jiǎng)?wù)撸瑢@得由曠視MegEngine和將門TechBeat準(zhǔn)備的周邊禮品！記得要準(zhǔn)時(shí)收看我們的直播活動(dòng)哦！

分享內(nèi)容及講者介紹

01 2020年代的卷積網(wǎng)絡(luò)（10:05-10:35）

Talk介紹：

Vision Transformer的出現(xiàn)改變了計(jì)算機(jī)視覺(jué)中神經(jīng)網(wǎng)絡(luò)架構(gòu)的面貌。層級(jí)的Vision Transformer重新引入了很多ConvNet中的先驗(yàn)，進(jìn)一步獲得了在廣泛視覺(jué)任務(wù)中的成功。一般大家把Transformer的成功更多地被歸功于自注意力模塊。本分享中我們將一起探索融入Transformer設(shè)計(jì)的大卷積核ConvNet與最新的Vision Transformer相比如何，以及Transformer的優(yōu)越性來(lái)自于何處。

講者介紹：

劉壯，加州大學(xué)伯克利分校EECS系Trevor Darrell教授研究組的五年級(jí)博士生，2017年本科畢業(yè)于清華大學(xué)姚班。曾在Intel Labs、Adobe Research和Facebook AI Research擔(dān)任研究實(shí)習(xí)生，康奈爾大學(xué)擔(dān)任訪問(wèn)研究員。主要研究領(lǐng)域是深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)，具體主要包括開(kāi)發(fā)和研究準(zhǔn)確，高效，可擴(kuò)展的視覺(jué)識(shí)別系統(tǒng)。根據(jù)谷歌學(xué)術(shù)的統(tǒng)計(jì)，他的學(xué)術(shù)成果被引用超過(guò)25000次。他的工作DenseNet獲得了CVPR 2017的最佳論文獎(jiǎng)。

02 超大卷積核架構(gòu)設(shè)計(jì)與高效實(shí)踐 （10:35-11:05）

Talk介紹：

卷積網(wǎng)絡(luò)的 kernel size 可以多大？答案是：25x25 就很好，31x31 甚至更好。我們發(fā)現(xiàn)卷積網(wǎng)絡(luò)的基礎(chǔ)設(shè)計(jì)維度——kernel size——對(duì)模型的性能特別是分割和檢測(cè)等下游任務(wù)至關(guān)重要。我們提出一種大量采用超大卷積核的模型——RepLKNet，在結(jié)構(gòu)重參數(shù)化、depthwise 卷積等設(shè)計(jì)要素的加持下，超大卷積既強(qiáng)又快，在目標(biāo)檢測(cè)和語(yǔ)義分割等任務(wù)上超過(guò) Swin Transformer 而且遠(yuǎn)超傳統(tǒng)小卷積模型。這些跡象表明，Transformer 性能強(qiáng)悍的本質(zhì)可能并不在于 attention，而在于其大感受野。在部署落地方面，我們提出一種專門為超大卷積核優(yōu)化的卷積算法以實(shí)現(xiàn)大幅加速，所以 RepLKNet 不但 FLOPs 低，實(shí)際運(yùn)行也快，對(duì)工業(yè)應(yīng)用非常友好。

講者介紹：

丁霄漢，清華大學(xué)博士生，師從丁貴廣副教授，研究領(lǐng)域?yàn)樯窠?jīng)網(wǎng)絡(luò)通用模型、基本工具、基礎(chǔ)理論。在CVPR/ICCV/ICML/NeurIPS等會(huì)議發(fā)表過(guò)一系列關(guān)于模型設(shè)計(jì)、優(yōu)化、壓縮、加速的論文，建立了一個(gè)稱為結(jié)構(gòu)重參數(shù)化的技術(shù)流派和體系。其中，在曠視研究院實(shí)習(xí)期間的代表作RepVGG已獲得約2100 GitHub stars。

03 MegEngine 大 kernel 工程優(yōu)化實(shí)踐（11:05-11:35）

Talk介紹：?

近期部分優(yōu)秀學(xué)者們提出大的有效感受野可能是 Transformer 成功更為本質(zhì)的原因，因此采用大 kernel depthwise 卷積有可能是 self-attention 的一種替代。 相比于稠密卷積，普通的 depthwise 卷積由于算存比過(guò)低對(duì)硬件并不友好，實(shí)際應(yīng)用中遠(yuǎn)達(dá)不到硬件的理論峰值。但大 kernel depthwise 卷積相比于普通 depthwise 卷積算存比更高，對(duì)硬件更加友好，在理論上為我們提供了優(yōu)化的可能。MegEngine 對(duì)大 kernel depthwise 卷積做了深入優(yōu)化，相比于 PyTorch(cudnn) 最高加速 10 倍以上，絕對(duì)性能在部分情況下可以逼近硬件的理論峰值。在一定程度上打消了大 kernel 卷積網(wǎng)絡(luò)在訓(xùn)練和部署上的效率疑慮。

講者介紹：

現(xiàn)任曠視開(kāi)元深度學(xué)習(xí)框架MegEngine異構(gòu)計(jì)算組負(fù)責(zé)人，主要負(fù)責(zé)曠視 MegEngine 的推理工作。任職期間完成了 MegEngine 基于 MLIR 的即時(shí)編譯技術(shù)實(shí)現(xiàn)等多項(xiàng)技術(shù)突破，并落地 MegEngine CUDA 推理解決方案以及多個(gè)端上優(yōu)化項(xiàng)目。王彪畢業(yè)于中科院計(jì)算所，研究方向?yàn)楦咝阅苡?jì)算，對(duì) X86、Arm、OpenCL、CUDA 等多種平臺(tái)具備豐富的優(yōu)化經(jīng)驗(yàn)。

3月19日周六上午10:00，

我們直播間見(jiàn)！

關(guān)于TechBeat人工智能社區(qū)

TechBeat (www.techbeat.net) 是一個(gè)薈聚全球華人AI精英的成長(zhǎng)社區(qū)。 我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長(zhǎng)。 期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級(jí)打怪的根據(jù)地！

更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ