2020 年 5 月 23 日上午，在中國(guó)中文信息學(xué)會(huì)青年工作委員會(huì)主辦、北京智源人工智能研究院和美團(tuán)點(diǎn)評(píng)承辦的“ACL-IJCAI-SIGIR 頂級(jí)會(huì)議論文報(bào)告會(huì)（AIS2020）”中，智源青年科學(xué)家、中科院計(jì)算所研究員蘭艷艷做了題為《SIGIR 趨勢(shì)報(bào)告》的前沿分析。

?

蘭艷艷，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)和信息檢索，在相關(guān)領(lǐng)域重要會(huì)議和期刊累計(jì)發(fā)表論文 30 余篇，獲得了 SIGIR 2012 的最佳學(xué)生論文獎(jiǎng)和 CIKM 2017 最佳論文 Runnerup 獎(jiǎng)。

本次演講中，蘭艷艷介紹了近10年 SIGIR 論文投稿和錄稿的整體發(fā)展趨勢(shì)，并著重分析了SIGIR最近兩年會(huì)議論文中的研究熱點(diǎn)和動(dòng)向，以及就如何提高SIGIR 的投稿錄取率分享了自己的經(jīng)驗(yàn)和技巧。?據(jù)悉，作為信息檢索領(lǐng)域的頂級(jí)會(huì)議， SIGIR 2020 即將于7月25日召開(kāi)，所以本篇報(bào)告也很適于大家預(yù)熱一下對(duì)信息檢索領(lǐng)域最新動(dòng)態(tài)的趨勢(shì)性認(rèn)知，是一篇很好的SIGIR 2020 觀摩指南。以下是智源社區(qū)編輯為大家整理的演講內(nèi)容，請(qǐng)大家閱讀。

整理：智源社區(qū) 馬瑞軍

一、SIGIR 2020 背景介紹

蘭艷艷首先簡(jiǎn)明扼要地介紹了一下SIGIR 2020的相關(guān)背景。
SIGIR 屬于信息檢索領(lǐng)域的頂級(jí)會(huì)議，由 ACM SIGIR 組織于 1978 年開(kāi)始舉辦。舉辦方式是每三年在美洲、歐洲和其它區(qū)域輪換進(jìn)行，比如2017 年在日本東京、2018 年在美國(guó)密西根大學(xué)、2019 年在法國(guó)巴黎，而2020年的SIGIR 會(huì)議將在中國(guó)西安舉行。因?yàn)橐咔榈挠绊懀@次SIGIR 2020 已經(jīng)改為線上舉辦的模式。值得一提的是，這次中國(guó)學(xué)者在 SIGIR 2020 的組委會(huì)中占據(jù)了一半以上，這意味著中國(guó)學(xué)者經(jīng)過(guò)艱辛的努力后，在 SIGIR 中開(kāi)始有著非常良好的發(fā)展。?

二、SIGIR 投稿和錄稿十年趨勢(shì)分析

如圖1所示的1999年至2019年SIGIR 論文投稿及錄稿趨勢(shì)，我們可以看到在 2009至2012 年之間 SIGIR 投稿、錄取數(shù)達(dá)到了頂峰階段，而在 2012 年之后出現(xiàn)了明顯的下滑，直到2018 年，經(jīng)過(guò)征文主題的改革后，SIGIR 才出現(xiàn)復(fù)蘇，到2020年開(kāi)始有了一個(gè)比較大的增長(zhǎng)，無(wú)論是投稿量還是收稿量都實(shí)現(xiàn)了突破，500多篇中有140篇被接收，錄取率也從之前的18%至22%之間增長(zhǎng)到28%。

接下來(lái)，蘭艷艷比較了2019、2020年中美學(xué)者的論文接收情況。我們發(fā)現(xiàn)，自 2019 年開(kāi)始，中國(guó)學(xué)者在接收率上（36/141）第一次取得了比美國(guó)學(xué)者更好的成績(jī)（22/99）。2020 年，從目前的數(shù)據(jù)來(lái)看，中國(guó)學(xué)者持續(xù) 了2019 年的超越趨勢(shì)，穩(wěn)中向好，其中Full Paper的接收量為67篇，遠(yuǎn)高于美國(guó)的37篇，而Short Paper 的情況也和Full Paper類(lèi)似，具體接收率等數(shù)據(jù)還需等待會(huì)議官方揭曉。?

?三、SIGIR 最近兩年的研究熱點(diǎn)

下面我們來(lái)看一下2019年的SIGIR主題分布（圖4），自2018開(kāi)始，它相對(duì)于以前有了很大的改變，會(huì)議主題設(shè)置已經(jīng)從檢索、搜索和推薦等開(kāi)始向更多的方向擴(kuò)展，包括Core IR、Recommendation、AI&IR、Human、Evaluation、Application、Foundation and Future等，所以整個(gè)SIGIR近兩年的改革方向?qū)?huì)更加開(kāi)放，尤其鼓勵(lì)更多AI與IR結(jié)合的方向。

根據(jù)對(duì) 2019 年 SIGIR 熱門(mén)Topic 及收稿統(tǒng)計(jì)數(shù)據(jù)的研究，我們可以從中發(fā)現(xiàn)如下幾個(gè)規(guī)律：
① Recommendation成為主要Track；

② Core AI式微；

③ 投稿量高的Track，不一定接受率就高；

④ Human和Evaluation等小眾Track，投稿量少但是接受率很高，值得關(guān)注。

2020 年熱門(mén) Topic 的接受率與 2019 年相比基本相同，依舊是 Recommendation 占了最大的比重，投稿量和接收量仍然最多；由于 Ranking 和 Search 屬于 AI 非常關(guān)注的問(wèn)題，所以比重也很大，F(xiàn)oundation、Human 和 Evaluation 持續(xù)小眾。
綜合來(lái)說(shuō)，Recommendation是SIGIR目前的主要Topic之一，同時(shí)一些小眾Topic，例如Human和Evaluation在錄取率方面也有一定的優(yōu)勢(shì)。

?

下面，我們通過(guò)Full Paper 和Short Paper 的詞云圖來(lái)進(jìn)一步看2019年、2020年 SIGIR 的研究熱點(diǎn)。首先，通過(guò)2019 年、2020 年的 Full Paper ?詞云圖中可以看到， 從任務(wù)的角度上看， Search、Recommendation 和 Generation 等多個(gè)方面的研究比較多，使用的方法主要是Machine Learning、Knowledge Embedding、Graph Neural Network等方法。其中，Search任務(wù)上，這幾年的研究熱點(diǎn)主要是如何將深度神經(jīng)網(wǎng)絡(luò)包括強(qiáng)化學(xué)習(xí)在內(nèi)的一些新方法，用到檢索函數(shù)的設(shè)計(jì)上；Recommendation任務(wù)上，除了基于神經(jīng)網(wǎng)絡(luò)的推薦函數(shù)之外，推薦系統(tǒng)與用戶的交互，以及推薦系統(tǒng)的解釋性，都是這兩年的研究熱點(diǎn)；Generation任務(wù)最近兩年在SIGIR的投稿量明顯增多，除了一般的NLP任務(wù)，SIGIR更關(guān)注應(yīng)用于Conversational IR的對(duì)話研究，期待該方向的研究能夠更好的推動(dòng)個(gè)人智能助手技術(shù)的發(fā)展。此外Adversary 也是最近兩年比較受關(guān)注的， 比如 SIGIR 2017年曾將 Best Paper Runner-Up獎(jiǎng)?lì)C布給了Adversary方面的工作 “IRGAN: AMinimax Game for Unifying Generative and Discriminative Information Retrieval Models”。?

從 Short Paper 詞云圖的角度，2019 年和 2020 年的趨勢(shì)與Full Paper 詞云圖呈現(xiàn)的發(fā)展趨勢(shì)類(lèi)似，也是 Recommendation 占據(jù)了很大一部分，同時(shí)還可以看到像Transformer 這樣的 AI 新方法正開(kāi)始受到歡迎。
通過(guò)上述詞云圖的分析，我們可以得到這樣幾個(gè)規(guī)律：
① IR 更加關(guān)注的還是 Traditional IR tasks，例如：Recommendation, Search, Ranking；

② ?Neural + IR 正在流行，如 Neural, Representation, Graph, Attention；

③ 目前在 IR 中收到關(guān)注的前沿AI技術(shù)有：Adversarial 和 Transformer；

④ 目前 Diverse Applications 例如 Generation, Conversation, Multi Domain 相對(duì)更加容易發(fā)論文。

四、SIGIR 投稿建議：關(guān)注基礎(chǔ)，重視技術(shù)

接下來(lái)，蘭艷艷根據(jù)近年SIGIR的論文發(fā)表情況，為大家分享了一些SIGIR論文的中稿技巧。首先，她盤(pán)點(diǎn)了SIGIR 往年的 Best Paper，指出 SIGIR 是一個(gè)關(guān)注基礎(chǔ)的會(huì)議，比較重視技術(shù)，比如 2019 年頒給了一個(gè)研究?jī)?yōu)化方法的文章，2016 年頒給了 Understanding Information Need，今年的 Best Paper 花落誰(shuí)家，請(qǐng)拭目以待。??

那么，如何提高論文在 SIGIR 的接收率呢？可以關(guān)注以下幾個(gè)小技巧：
① 拓展投稿領(lǐng)域。透過(guò)SIGIR的發(fā)展規(guī)律，可以發(fā)現(xiàn)它接受論文的領(lǐng)域圈子變得越來(lái)越廣，AR、ML、NLP 等相關(guān)領(lǐng)域都可以投稿。

② 重視實(shí)驗(yàn)部分。SIGIR 是特別注重實(shí)驗(yàn)的會(huì)議，想要做一篇好的 SIGIR Paper， 實(shí)驗(yàn)內(nèi)容要占到文章總篇幅的近一半內(nèi)容，因此實(shí)驗(yàn)部分一定要做的足夠充分。

③ 新的 Application 可能會(huì)更加受歡迎。如果文章是關(guān)于一個(gè)新 Application，比如 Cross-domain 或者 Human Study，那么此類(lèi)文章相對(duì)比較容易引起 SIGIR 關(guān)注，做模型反而是比較困難的事情。

④ 冷門(mén)領(lǐng)域新出路。當(dāng)前ML領(lǐng)域開(kāi)始收到關(guān)注但在應(yīng)用上看來(lái)還比較偏的領(lǐng)域，實(shí)際上在 SIGIR 圈子當(dāng)中比較受歡迎，例如 Bias, Fairness 和 Interpretability。這也和SIGIR關(guān)注的應(yīng)用比較有關(guān)系。例如搜索或推薦中有很典型的Position Bias問(wèn)題，這對(duì)于建模就是一個(gè)非常重要的問(wèn)題；再比如現(xiàn)在IR中用到很多神經(jīng)網(wǎng)絡(luò)的方法，但這些方法往往很難解釋?zhuān)珜?duì)IR系統(tǒng)來(lái)說(shuō)，提供一個(gè)可解釋的結(jié)果對(duì)用戶體驗(yàn)是很重要的，所以可解釋性方向在IR領(lǐng)域越來(lái)越受關(guān)注。