在昨天的推送中，我們盤點了過去一年中TechBeat社區(qū)上頗具人氣的講者和技術(shù)團(tuán)隊~與此同時，還有不少通過文章的形式來宣傳自己工作的朋友，我們同樣根據(jù)其站內(nèi)文章閱讀數(shù)量，新媒體傳播度等因素，精選出10篇備受大家關(guān)注的工作，以此感謝各位在學(xué)術(shù)、工業(yè)界嘗試中帶來的突出貢獻(xiàn)。

最受關(guān)注工作榜單??

工作亮點&主要貢獻(xiàn)??

?1. Enabling Lightweight Fine-tuning for Pre-trained Language Model Compression based on Matrix Product Operators?

作者：劉沛羽&高澤峰（中國人民大學(xué)）

受到量子力學(xué)中處理量子多體問題的矩陣乘積算符的啟發(fā)，本文提出了一種新穎的預(yù)訓(xùn)練語言模型壓縮方法，針對BERT與GPT這種堆疊Transformer結(jié)構(gòu)的網(wǎng)絡(luò)：綜合學(xué)術(shù)界目前已有的兩種解決思路，在實現(xiàn)輕量化微調(diào)的同時起到壓縮模型參數(shù)的效果。

中文解讀：

當(dāng)模型壓縮遇上量子力學(xué)——基于矩陣乘積算符的預(yù)訓(xùn)練語言模型輕量化微調(diào)

?2. Dynamic Slimmable Network，DS-Net

作者：李長林&梁小丹（蒙納士大學(xué)、 中山大學(xué)等）

本工作提出的動態(tài)寬度可變網(wǎng)絡(luò)（Dynamic Slimmable Network，DS-Net），成功解決了以往動態(tài)網(wǎng)絡(luò)剪枝（dynamic pruning）算法中硬件效率低下和計算浪費的問題。通過在測試時根據(jù)不同的輸入，預(yù)測性地調(diào)整網(wǎng)絡(luò)的濾波器數(shù)量，實現(xiàn)良好的硬件效率。

中文解讀：

CVPR'21 Oral |?動態(tài)slimmable網(wǎng)絡(luò)：高性能的網(wǎng)絡(luò)輕量化方法！對比slimmable漲點5.9%！

?3. SpinNet: Learning a General Surface Descriptor for 3D Point Cloud Registration?

作者：胡慶擁&敖晟&郭裕蘭（牛津大學(xué)&中山大學(xué)等）

本工作提出了SpinNet用于學(xué)習(xí)具有旋轉(zhuǎn)不變性、高描述性且泛化性能強(qiáng)的特征描述子。大量的實驗結(jié)果表明該方法在不同的數(shù)據(jù)集之間具有強(qiáng)泛化能力，所學(xué)習(xí)到的特征描述子也可以取得優(yōu)異的3D點云配準(zhǔn)結(jié)果。未來的工作將包括引入關(guān)鍵點檢測器以及進(jìn)一步拓展到全卷積網(wǎng)絡(luò)結(jié)構(gòu)。

中文解讀：

CVPR?2021?|?SpinNet:?學(xué)習(xí)用于3D點云配準(zhǔn)的強(qiáng)泛化能力的特征描述子

?4. Transformer Tracking?

作者：陳鑫（大連理工大學(xué)）

這篇工作提出了一個簡單高效的跟蹤算法TransT。得益于注意力機(jī)制建立長距離依賴、融合全局信息的特點，基于注意力機(jī)制的特征融合網(wǎng)絡(luò)有效聚合目標(biāo)和搜索區(qū)域的全局信息，使得算法在保持快速運行的同時，精度得到了顯著提升。該工作沒有使用過多技巧和調(diào)參，希望能為研究者們提供一個干凈的baseline。

中文解讀：

CVPR?2021?|?大連理工大學(xué)盧湖川團(tuán)隊提出TransT:?Transformer?Tracking

?5. LiDAR R-CNN: An Efficient and Universal 3D Object Detector?

作者：王峰&王乃巖（圖森未來）

該工作提出了一種快速且通用的第二階段3D檢測器，僅需增加4.5ms的延遲，即可將模型性能提升2-4個點，它只依賴于第一階段檢測器的預(yù)測結(jié)果和原始點云，而無需提取特征和再次訓(xùn)練，所以它可以靈活地用在各種現(xiàn)有3D檢測器上。

中文解讀：

CVPR 2021 |?圖森未來團(tuán)隊提出LiDAR R-CNN：一種快速、通用的二階段3D檢測器

?6. Learnable Graph Matching: Incorporating Graph Partitioning with Deep Feature Learning for Multiple Object Tracking?

作者：何嘉偉&王乃巖（圖森未來）

本文提出了一種基于圖匹配的多目標(biāo)跟蹤方法 (GMTracker) ，來提升多目標(biāo)跟蹤的性能。該方法將多目標(biāo)跟蹤問題定義為detection graph和tracklet graph之間的圖匹配問題，相比傳統(tǒng)的二分圖匹配方法，利用邊與邊的二階相似度，在遮擋嚴(yán)重的情況下實現(xiàn)更為魯棒的匹配和關(guān)聯(lián)。

中文解讀：

CVPR 2021 |?圖森未來與中科院自動化所提出GMTracker：一種基于圖匹配的多目標(biāo)跟蹤方法

?7. UMEC: Unified Model and Embedding Compression for Efficient Recommendation Systems?

作者：談建超（快手）

該工作針對推薦場景提出一種一體化的推薦模型壓縮框架（UMEC），對推薦系統(tǒng)里的多個模塊進(jìn)行聯(lián)合壓縮優(yōu)化，將推薦系統(tǒng)里開源的benchmark模型壓縮了三倍且不損失模型精度，多個壓縮尺度下均達(dá)到當(dāng)前最優(yōu)的模型壓縮效果，其相關(guān)的技術(shù)已經(jīng)在快手場景落地。

中文解讀：

ICLR?2021?|?快手聯(lián)合多所高校提出:?一體化模型壓縮框架(UMEC),?加速推薦場景落地

?8. NGC: A Unified Framework for Learning with Open-World Noisy Data?

作者：吳志凡&蔣建文（阿里達(dá)摩院）

本文提出了一個開放場景下基于帶噪數(shù)據(jù)的學(xué)習(xí)框架(NGC)，其通過圖結(jié)構(gòu)進(jìn)行基于模型置信度和數(shù)據(jù)幾何結(jié)構(gòu)的兩種策略組合完成噪聲清理，可以同時適用于閉集、開集下的帶噪學(xué)習(xí)任務(wù)，也可以應(yīng)用在帶有OOD的測試數(shù)據(jù)上完成開集分類任務(wù)。該方法在多個數(shù)據(jù)集上取得了顯著效果，超過了以往的先進(jìn)方法。

中文解讀：

ICCV 2021 Oral |?阿里達(dá)摩院視覺實驗室提出NGC：統(tǒng)一的開集帶噪數(shù)據(jù)學(xué)習(xí)框架

?9. Rethinking and Improving Relative Position Encoding for Vision Transformer?

作者：吳侃&彭厚文（中山大學(xué)、微軟亞洲研究院等）

在本工作中，研究人員回顧了先前相對位置編碼的相關(guān)工作，針對Vision Transformer，提出了簡單且輕量的二維相對位置編碼。在不需要調(diào)整任何訓(xùn)練超參數(shù)的情況下，該論文提出的二維相對位置編碼能給圖像分類的DeiT模型和目標(biāo)檢測的DETR模型，分別帶來1.5% Top-1 Acc和1.3% mAP的穩(wěn)定性能提升。同時，這篇論文分析了位置編碼中影響性能的關(guān)鍵因素，給出了針對Vision Transformer中相對位置編碼設(shè)計的指導(dǎo)性建議。

中文解讀：

ICCV?2021?|?Vision?Transformer中的相對位置編碼

?10. Cycle Self-Training for Domain Adaptation?

作者：劉泓（清華大學(xué)）

在本文中，作者首先研究了標(biāo)準(zhǔn)自訓(xùn)練在分布偏移條件下的技術(shù)挑戰(zhàn)及根因。由此，提出用循環(huán)自訓(xùn)練(Cycle Self-Training)代替標(biāo)準(zhǔn)自訓(xùn)練，解決了領(lǐng)域自適應(yīng)中分布偏移的問題。從理論上證明了循環(huán)自訓(xùn)練可以在擴(kuò)張假設(shè)下工作，并證明了導(dǎo)致不變表征學(xué)習(xí)和標(biāo)準(zhǔn)自訓(xùn)練失效的困難情況。未來工作可以深入研究其他半監(jiān)督學(xué)習(xí)技術(shù)的在非獨立同分布(Non-IID)或開放分布(OOD)條件下的表現(xiàn)。

中文解讀：

NeurIPS 2021 | Cycle Self-Training：領(lǐng)域自適應(yīng)的循環(huán)自訓(xùn)練方法與理論

如果你也想讓自己的工作被更多人熟知~歡迎你填寫下方表單提交申請，或聯(lián)系將門的工作人員（發(fā)送郵件到chenhongyuan@thejiangmen.com或添加工作人員微信chemn493），還可以在“將門創(chuàng)投”公眾號后臺回復(fù)“投稿”二字，獲得投稿說明。我們會第一時間回復(fù)你！

• 收到稿件后，我們會立刻進(jìn)行內(nèi)部審核。篩選通過后，將第一時間發(fā)表在TechBeat社區(qū)網(wǎng)站（更優(yōu)質(zhì)內(nèi)容將同步發(fā)表在“將門創(chuàng)投”公眾號等新媒體渠道，讓更多人看到！）

• 我們還將選擇部分在研究分享及科研心得方向，對用戶啟發(fā)性更大的文章，做原創(chuàng)性內(nèi)容獎勵。

希望大家都能在AI路上，

Tech不停，Beat不止！

關(guān)于TechBeat人工智能社區(qū)

TechBeat (www.techbeat.net) 是一個薈聚全球華人AI精英的成長社區(qū)。 我們希望為AI人才打造更專業(yè)的服務(wù)和體驗，加速并陪伴其學(xué)習(xí)成長。 期待這里可以成為你學(xué)習(xí)AI前沿知識的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級打怪的根據(jù)地！

更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ