本文選自中國自動(dòng)化學(xué)會(huì)模式識(shí)別與機(jī)器智能專委會(huì)通訊的文稿，作者是微軟亞洲研究院視覺計(jì)算組研究員胡瀚。

胡瀚，微軟亞洲研究院視覺計(jì)算組研究員，于2014年和2008年在清華大學(xué)自動(dòng)化系分別獲得博士和本科學(xué)位，博士論文獲得中國人工智能學(xué)會(huì)優(yōu)博獎(jiǎng)，博士期間曾在賓夕法尼亞大學(xué)訪學(xué)，畢業(yè)后曾在百度研究院深度學(xué)習(xí)實(shí)驗(yàn)室工作。擔(dān)任CVPR 2021/2022領(lǐng)域主席。目前主要研究興趣是基本視覺建模，視覺自監(jiān)督學(xué)習(xí)，以及視覺語言聯(lián)合表征學(xué)習(xí)，是Swin Transformer，關(guān)系網(wǎng)絡(luò)系列和可變形卷積系列的作者。在計(jì)算機(jī)視覺領(lǐng)域頂級(jí)國際會(huì)議2021年計(jì)算機(jī)視覺國際大會(huì)（ICCV2021）上，胡瀚作為唯一通訊作者和共同第一作者的論文《基于移動(dòng)窗口的層次化視覺自注意力模型》（Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows）獲得ICCV 2021頒發(fā)的最佳論文獎(jiǎng)：馬爾獎(jiǎng)（Marr Prize）。

“統(tǒng)一性”是很多學(xué)科共同追求的目標(biāo)，例如在物理學(xué)領(lǐng)域，科學(xué)家們追求的大統(tǒng)一，就是希望用單獨(dú)一種理論來解釋力與力之間的相互作用。人工智能領(lǐng)域自然也存在著關(guān)于“統(tǒng)一性”的目標(biāo)。在深度學(xué)習(xí)的浪潮中，人工智能領(lǐng)域已經(jīng)朝著統(tǒng)一性的目標(biāo)前進(jìn)了一大步。比如，一個(gè)新的任務(wù)基本都會(huì)遵循同樣的流程對(duì)新數(shù)據(jù)進(jìn)行預(yù)測：收集數(shù)據(jù)，做標(biāo)注，定義網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練網(wǎng)絡(luò)參數(shù)。但是，在人工智能的不同子領(lǐng)域中，基本建模的方式各種各樣，并不統(tǒng)一，例如：在自然語言處理（NLP）領(lǐng)域目前的主導(dǎo)建模網(wǎng)絡(luò)是Transformer；計(jì)算機(jī)視覺（CV）領(lǐng)域很長一段時(shí)間的主導(dǎo)網(wǎng)絡(luò)是卷積神經(jīng)網(wǎng)絡(luò)（CNN）；社交網(wǎng)絡(luò)領(lǐng)域目前的主導(dǎo)網(wǎng)絡(luò)則是圖網(wǎng)絡(luò)等。

盡管如此，從2020年年底開始， Transformer還是在CV領(lǐng)域中展現(xiàn)了革命性的性能提升。這就表明CV和NLP有望統(tǒng)一在Transformer結(jié)構(gòu)之下。這一趨勢對(duì)于兩個(gè)領(lǐng)域的發(fā)展來說有很多好處：1）使視覺和語言的聯(lián)合建模更容易；2）兩個(gè)領(lǐng)域的建模和學(xué)習(xí)經(jīng)驗(yàn)可以深度共享，從而加快各自領(lǐng)域的進(jìn)展。

1.Transformer在視覺任務(wù)中的優(yōu)異性能

視覺Transformer的先驅(qū)工作是谷歌在ICLR2021上發(fā)表的ViT [1]，該工作把圖像分成多個(gè)圖像塊（例如16x16像素大?。堰@些圖像塊比作NLP中的token。然后直接將NLP中的標(biāo)準(zhǔn)Transformer編碼器應(yīng)用于這些“token”，并據(jù)此進(jìn)行圖像分類。該工作結(jié)合了海量的預(yù)訓(xùn)練數(shù)據(jù)（如谷歌內(nèi)部3億圖片分類訓(xùn)練庫JFT-300M），在ImageNet-1K的validation評(píng)測集上取得了88.55%的準(zhǔn)確率，刷新了該榜單上的紀(jì)錄。

ViT應(yīng)用Transformer比較簡單直接，因?yàn)槠錄]有仔細(xì)考慮視覺信號(hào)本身的特點(diǎn)，所以它主要適應(yīng)于圖像分類任務(wù)，對(duì)于區(qū)域級(jí)別和像素級(jí)別的任務(wù)并不是很友好，例如物體檢測和語義分割等。為此，學(xué)術(shù)界展開了大量的改進(jìn)工作。其中，Swin Transformer骨干網(wǎng)絡(luò) [2] 在物體檢測和語義分割任務(wù)中大幅刷新了此前的紀(jì)錄，讓學(xué)術(shù)界更加確信Transformer結(jié)構(gòu)將會(huì)成為視覺建模的新主流。

具體而言，在物體檢測的重要評(píng)測集COCO上，Swin Transformer取得了單模型58.7的box mAP和51.1的mask mAP，分別比此前最好的、沒有擴(kuò)充數(shù)據(jù)的單模型方法高出了+2.7個(gè)點(diǎn)和+2.6個(gè)點(diǎn)。此后，通過改進(jìn)檢測框架以及更好地利用數(shù)據(jù)，基于Swin Transformer網(wǎng)絡(luò)的方法性能進(jìn)一步取得了61.3的box mAP和53.0的mask mAP，累計(jì)提升達(dá)+5.3 box mAP和+5.5 mask mAP。在語義分割的重要評(píng)測數(shù)據(jù)集ADE20K上，Swin Transformer也取得了顯著的性能提升，達(dá)到了53.5 mIoU，比此前最好的方法高出+3.2 mIoU，此后隨著分割框架和訓(xùn)練方法的進(jìn)一步改進(jìn)，目前已達(dá)到57.0 mIoU的性能。。

除了在物體檢測和語義分割任務(wù)上表現(xiàn)亮眼外，基于Swin Transformer骨干網(wǎng)絡(luò)的方法在眾多視覺任務(wù)中也取得了優(yōu)異的成績，如視頻動(dòng)作識(shí)別 [3]、視覺自監(jiān)督學(xué)習(xí) [4][5]、圖像復(fù)原 [6]、行人Re-ID [7]、醫(yī)療圖像分割 [8]等。

Swin Transformer的主要思想是將具有很強(qiáng)建模能力的Transformer結(jié)構(gòu)和重要的視覺信號(hào)先驗(yàn)結(jié)合起來。這些先驗(yàn)具有層次性（Hierarchy）、局部性（locality）以及平移不變性的特點(diǎn)（translation invariance）。Swin Transformer的一個(gè)重要設(shè)計(jì)是移位的不重疊窗口（shifted windows），不同于傳統(tǒng)的滑動(dòng)窗，不重疊窗口的設(shè)計(jì)對(duì)硬件實(shí)現(xiàn)更加友好，從而具有更快的實(shí)際運(yùn)行速度。

如圖2（左）所示，在滑動(dòng)窗口設(shè)計(jì)中，不同的點(diǎn)采用了不同的鄰域窗口來計(jì)算相互關(guān)系，這種計(jì)算對(duì)硬件并不友好。而如圖2（右）所示，Swin Transformer使用的不重疊窗口中，統(tǒng)一窗口內(nèi)的點(diǎn)將采用相同的鄰域來進(jìn)行計(jì)算，對(duì)速度更友好。實(shí)際測試表明，非重疊窗口方法的速度比滑動(dòng)窗口方法快 了2倍左右。在兩個(gè)連續(xù)的層中還做了移位的操作。在 L 層中，窗口分區(qū)從圖像的左上角開始；在L+1層中，窗口劃分則往右下移動(dòng)了半個(gè)窗口。這樣的設(shè)計(jì)保證了不重疊的窗口間可以有信息的交換。

在過去的大半年中，學(xué)術(shù)界視覺Transformer還涌現(xiàn)了大量變種，包括DeiT [9]，LocalViT [10]，Twins [11]，PvT [12]，T2T-ViT [13], ViL [14]，CvT [15]，CSwin [16]，F(xiàn)ocal Transformer [17]，Shuffle Transformer [18]等。

2.擁抱Transformer的五個(gè)理由

除了刷新很多視覺任務(wù)的性能紀(jì)錄以外，視覺Transformer還擁有諸多好處。事實(shí)上，過去4年間學(xué)術(shù)界不斷挖掘出了Transformer建模的各種優(yōu)點(diǎn)，可以總結(jié)為圖3所示的五個(gè)方面。

理由1：通用的建模能力

Transformer的通用建模能力來自于兩個(gè)方面：一方面Transformer可以看作是一種圖建模方法。圖是全連接的，節(jié)點(diǎn)之間的關(guān)系通過數(shù)據(jù)驅(qū)動(dòng)的方式來學(xué)習(xí)得到。由于任意概念（無論具體或抽象）都可以用圖中的節(jié)點(diǎn)來表示，且概念之間的關(guān)系可以用圖上的邊來刻畫，因此Transformer建模具有很強(qiáng)的通用性。

另一方面，Transformer通過驗(yàn)證的哲學(xué)來建立圖節(jié)點(diǎn)之間的關(guān)系，具有較好的通用性無論節(jié)點(diǎn)多么異構(gòu)，它們之間的關(guān)系都可以通過投影到一個(gè)可以比較的空間里計(jì)算相似度來建立。如圖4（右）所示，節(jié)點(diǎn)可以是不同尺度的圖像塊，也可以是“運(yùn)動(dòng)員”的文本輸入，Transformer均可以刻畫這些異構(gòu)節(jié)點(diǎn)之間的關(guān)系。

正是因?yàn)榫邆溥@樣的通用建模能力，Transformer中的注意力單元可以被應(yīng)用到各種各樣的視覺任務(wù)中。具體而言，計(jì)算機(jī)視覺處理的對(duì)象主要涉及兩個(gè)層次的基本元素：像素和物體。而計(jì)算機(jī)視覺所涉及到的任務(wù)主要就囊括了這些基本元素之間的關(guān)系，包括像素-像素，物體-像素和物體-物體的關(guān)系建模，如圖5所示。此前，前兩種關(guān)系建模主要是分別由卷積和RoIAlign來實(shí)現(xiàn)的，最后一種關(guān)系通常沒有很好的建模方法。但是，Transformer中的注意力單元因其通用的建模能力，可以被應(yīng)用到所有這些基本關(guān)系的建模中。

近些年，在這個(gè)領(lǐng)域中已經(jīng)出現(xiàn)了很多代表性的工作，例如：1） 非局部網(wǎng)絡(luò) [19]。王小龍等人將注意力單元用于建模像素-像素的關(guān)系，證明了Transformer可以幫助視頻動(dòng)作分類和物體檢測等任務(wù)。元玉慧等人將其應(yīng)用于語義分割問題，也取得了顯著的性能提升[20]。2）物體關(guān)系網(wǎng)絡(luò) [21]。注意力單元用于物體檢測中的物體關(guān)系建模，這一模塊也被廣泛應(yīng)用于視頻物體分析中 [22, 23, 24]。3）物體和像素的關(guān)系建模，典型的工作包括DETR [25]，LearnRegionFeat [26]，以及RelationNet++ [27]等。

理由2：和卷積形成互補(bǔ)

卷積是一種局部操作，一個(gè)卷積層通常只會(huì)建模鄰域像素之間的關(guān)系。Transformer則是全局操作，一個(gè)Transformer層能建模所有像素之間的關(guān)系，雙方可以很好地進(jìn)行互補(bǔ)。最早將這種互補(bǔ)性聯(lián)系起來的是非局部網(wǎng)絡(luò) [19]，在這個(gè)工作中，少量Transformer自注意單元被插入到了原始網(wǎng)絡(luò)的幾個(gè)地方，作為卷積網(wǎng)絡(luò)的補(bǔ)充，并被證明其在物體檢測、語義分割和視頻動(dòng)作識(shí)別等問題中廣泛有效。

此后，也有工作發(fā)現(xiàn)非局部網(wǎng)絡(luò)在視覺中很難真正學(xué)到像素和像素之間的二階關(guān)系 [28]，為此，有研究員們也提出了一些針對(duì)這一模型的改進(jìn)，例如解耦非局部網(wǎng)絡(luò) [29]。

理由3：更強(qiáng)的建模能力

卷積可以看作是一種模板匹配，圖像中不同位置采用相同的模板進(jìn)行濾波。而Transformer中的注意力單元?jiǎng)t是一種自適應(yīng)濾波，模板權(quán)重由兩個(gè)像素的可組合性來決定，這種自適應(yīng)計(jì)算模塊具有更強(qiáng)的建模能力。

最早將Transformer這樣一種自適應(yīng)計(jì)算模塊應(yīng)用于視覺骨干網(wǎng)絡(luò)建模的方法是局部關(guān)系網(wǎng)絡(luò)LR-Net [30]和SASA [31]，它們都將自注意的計(jì)算限制在一個(gè)局部的滑動(dòng)窗口內(nèi)，在相同理論計(jì)算復(fù)雜度的情況下取得了相比于ResNet更好的性能。然而，雖然理論上與 ResNet 的計(jì)算復(fù)雜度相同，但在實(shí)際使用中它們卻要慢得多。一個(gè)主要原因是不同的查詢（query）使用不同的關(guān)鍵字（key）集合，對(duì)內(nèi)存訪問不太友好。

Swin Transformer提出了一種新的局部窗口設(shè)計(jì)——移位窗口（shifted windows）。這一局部窗口方法將圖像劃分成不重疊的窗口，這樣在同一個(gè)窗口內(nèi)部，不同查詢使用的關(guān)鍵字集合將是相同的，進(jìn)而可以擁有更好的實(shí)際計(jì)算速度。在下一層中，窗口的配置會(huì)往右下移動(dòng)半個(gè)窗口，從而構(gòu)造了前一層中不同窗口像素間的聯(lián)系。

理由4：對(duì)大模型和大數(shù)據(jù)的可擴(kuò)展性

在NLP領(lǐng)域， Transformer模型在大模型和大數(shù)據(jù)方面展示了強(qiáng)大的可擴(kuò)展性。圖6中，藍(lán)色曲線顯示近年來 NLP 的模型大小迅速增加。大家都見證了大模型的驚人能力，例如微軟的Turing模型、谷歌的 T5 模型以及OpenAI 的 GPT-3 模型。

視覺Transformer的出現(xiàn)為視覺模型的擴(kuò)大提供了重要的基礎(chǔ)，目前最大的視覺模型是谷歌的150億參數(shù)ViTMoE模型 [32]，這些大模型在ImageNet-1K分類上刷新了新的紀(jì)錄。

理由5：更好地連接視覺和語言

在以前的視覺問題中，科研人員通常只會(huì)處理幾十類或幾百類物體類別。例如COCO檢測任務(wù)中包含了80個(gè)物體類別，而ADE20K語義分割任務(wù)包含了150個(gè)類別。視覺Transformer模型的發(fā)明和發(fā)展，使視覺領(lǐng)域和NLP領(lǐng)域的模型趨同，有利于聯(lián)合視覺和NLP建模，從而將視覺任務(wù)與其所有概念聯(lián)系起來。這方面的先驅(qū)性工作主要有OpenAI的CLIP [33]和DALL-E模型 [34]。

考慮到上述的諸多優(yōu)點(diǎn)，相信視覺Transformer將開啟計(jì)算機(jī)視覺建模的新時(shí)代，我們也期待學(xué)術(shù)界和產(chǎn)業(yè)界共同努力，進(jìn)一步挖掘和探索這一新的建模方法給視覺領(lǐng)域帶來的全新機(jī)遇和挑戰(zhàn)。

【參考文獻(xiàn)】

[1] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsby. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR 2021

[2] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, Baining Guo. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows. ICCV 2021

[3] Ze Liu, Jia Ning, Yue Cao, Yixuan Wei, Zheng Zhang, Stephen Lin, Han Hu. Video Swin Transformer. Tech report 2021

[4] Zhenda Xie, Yutong Lin, Zhuliang Yao, Zheng Zhang, Qi Dai, Yue Cao, Han Hu. Self-Supervised Learning with Swin Transformers. Tech report 2021

[5] ChunYuan Li, Jianwei Yang, Pengchuan Zhang, Mei Gao, Bin Xiao, Xiyang Dai, Lu Yuan, Jianfeng Gao. Efficient Self-supervised Vision Transformers for Representation Learning. Tech report 2021

[6] Jingyun Liang, Jiezhang Cao, Guolei Sun, Kai Zhang, Luc Van Gool, Radu Timofte. SwinIR: Image Restoration Using Swin Transformer. Tech report 2021

[7]?https://github.com/layumi/Person_reID_baseline_pytorch

[8] Hu Cao, Yueyue Wang, Joy Chen, Dongsheng Jiang, Xiaopeng Zhang, Qi Tian, Manning Wang. Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation. Tech report 2021

[9] Hugo Touvron, Matthieu Cord, Matthijs Douze, Francisco Massa, Alexandre Sablayrolles, Hervé Jégou. Training data-efficient image transformers & distillation through attention. Tech report 2021

[10] Yawei Li, Kai Zhang, Jiezhang Cao, Radu Timofte, Luc Van Gool. LocalViT: Bringing Locality to Vision Transformers. Tech report 2021

[11] Xiangxiang Chu, Zhi Tian, Yuqing Wang, Bo Zhang, Haibing Ren, Xiaolin Wei, Huaxia Xia, Chunhua Shen. Twins: Revisiting the Design of Spatial Attention in Vision Transformers. Tech report 2021

[12] Wenhai Wang, Enze Xie, Xiang Li, Deng-Ping Fan, Kaitao Song, Ding Liang, Tong Lu, Ping Luo, Ling Shao. Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions. ICCV 2021

[13] Li Yuan, Yunpeng Chen, Tao Wang, Weihao Yu, Yujun Shi, Zihang Jiang, Francis EH Tay, Jiashi Feng, Shuicheng Yan. Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet. Tech report 2021

[14] Pengchuan Zhang, Xiyang Dai, Jianwei Yang, Bin Xiao, Lu Yuan, Lei Zhang, Jianfeng Gao. Multi-Scale Vision Longformer: A New Vision Transformer for High-Resolution Image Encoding. Tech report 2021

[15] Haiping Wu, Bin Xiao, Noel Codella, Mengchen Liu, Xiyang Dai, Lu Yuan, Lei Zhang. CvT: Introducing Convolutions to Vision Transformers. ICCV 2021

[16] Xiaoyi Dong, Jianmin Bao, Dongdong Chen, Weiming Zhang, Nenghai Yu, Lu Yuan, Dong Chen, Baining Guo. CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows. Tech report 2021

[17] Jianwei Yang, ChunYuan Li, Pengchuan Zhang, Xiyang Dai, Bin Xiao, Lu Yuan, Jianfeng Gao. Focal Self-attention for Local-Global Interactions in Vision Transformers. Tech report 2021

[18] Zilong Huang, Youcheng Ben, Guozhong Luo, Pei Cheng, Gang Yu, Bin Fu. Shuffle Transformer: Rethinking Spatial Shuffle for Vision Transformer. Tech report 2021

[19] Xiaolong Wang, Ross Girshick, Abhinav Gupta, Kaiming He. Non-local Neural Networks. CVPR 2018

[20] Yuhui Yuan, Lang Huang, JianYuan Guo, Chao Zhang, Xilin Chen, Jingdong Wang. OCNet: Object Context for Semantic Segmentation. IJCV 2021

[21] Han Hu, JiaYuan Gu, Zheng Zhang, Jifeng Dai, Yichen Wei. Relation Networks for Object Detection. CVPR 2018

[22] Jiarui Xu, Yue Cao, Zheng Zhang, Han Hu. Spatial-Temporal Relation Networks for Multi-Object Tracking. ICCV 2019

[23] Yihong Chen, Yue Cao, Han Hu, Liwei Wang. Memory Enhanced Global-Local Aggregation for Video Object Detection. CVPR 2020

[24] Jiajun Deng, Yingwei Pan, Ting Yao, Wengang Zhou, Houqiang Li, and Tao Mei. Relation distillation networks for video object detection. ICCV 2019

[25] Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, Sergey Zagoruyko. End-to-End Object Detection with Transformers. ECCV 2020

[26] JiaYuan Gu, Han Hu, Liwei Wang, Yichen Wei, Jifeng Dai. Learning Region Features for Object Detection. ECCV 2018

[27] Cheng Chi, Fangyun Wei, Han Hu. RelationNet++: Bridging Visual Representations for Object Detection via Transformer Decoder. NeurIPS 2020

[28] Yue Cao, Jiarui Xu, Stephen Lin, Fangyun Wei, Han Hu. GCNet: Non-local Networks Meet Squeeze-Excitation Networks and Beyond. ICCV workshop 2019

[29] Minghao Yin, Zhuliang Yao, Yue Cao, Xiu Li, Zheng Zhang, Stephen Lin, Han Hu. Disentangled Non-Local Neural Networks. ECCV 2020

[30] Han Hu, Zheng Zhang, Zhenda Xie, Stephen Lin. Local Relation Networks for Image Recognition. ICCV 2019

[31] Prajit Ramachandran, Niki Parmar, Ashish Vaswani, Irwan Bello, Anselm Levskaya, Jonathon Shlens. Stand-Alone Self-Attention in Vision Models. NeurIPS 2019

[32] Carlos Riquelme, Joan Puigcerver, Basil Mustafa, Maxim Neumann, Rodolphe Jenatton, André Susano Pinto, Daniel Keysers, Neil Houlsby. Scaling Vision with Sparse Mixture of Experts. Tech report 2021

[33] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever. Learning Transferable Visual Models from Natural Language Supervision. Tech report 2021

[34] Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, Ilya Sutskever. Zero-Shot Text-to-Image Generation. Tech report 2021