「Paper新星有話說」正式上線辣！這是來自ReadPaper的新欄目，我們邀請了一批CVPR 2022 Oral論文年輕作者，聽酷蓋們聊聊他們的科研成果和心得，還有獨家科研小Tips分享哦；

本期Paper新星——來自伊利諾伊大學(xué)香檳分校博士李曼玲，研究方向是多模態(tài)知識抽取和推理，她一直希望能研究出像《超能陸戰(zhàn)隊》里大白那樣人工智能機器人，可以在實際生活中幫助人們，帶來溫暖。

2018年獲得從中科院計算所獲得碩士學(xué)位。研究方向是多模態(tài)知識抽取和推理，包括文本和視覺數(shù)據(jù)。曾獲ACL 2020 Best Demo Paper，NAACL 2021 Best Demo Paper，微軟學(xué)者獎學(xué)金（Microsoft Research PhD Fellowship），以及C.L. Dave and Jane W.S. Liu Award，并被選為Mavis Future Faculty Fellow。

一直專注于NLP科研領(lǐng)域的曼玲，同樣對CV領(lǐng)域產(chǎn)有著濃厚的興趣，其Paper《CLIP-Event: Connecting Text and Images with Event Structures》首次投稿即被CVPR接收。

這篇工作對比傳統(tǒng)的識別，更關(guān)注于事件中更深層的語義理解，希望大家能從講解中有所收獲。

論文標(biāo)題：

CLIP-Event: Connecting Text and Images with Event Structures

論文鏈接：

https://readpaper.com/paper/4579901943476920321

Q1：關(guān)于個人論文發(fā)布成果，覺得最具代表性的一篇是？為什么會選這篇？

李曼玲：我個人最喜歡的是《Cross-media Structured Common Space for Multimedia Event Extraction》。

因為這篇是我的第一次嘗試去打通vision和text，在非常不同的數(shù)據(jù)形式中形成對事件的統(tǒng)一理解，提出了對視覺和文本的聯(lián)合事件抽取這個概念。事件是一個高度結(jié)構(gòu)化的信息，同時又有很豐富的語義，而這種結(jié)構(gòu)在視覺和文本中的表現(xiàn)形式非常不同。視覺中的信息更加細節(jié)，而文本中常常會忽略細節(jié)，尤其是一些跟常識相關(guān)的細節(jié)。這篇文章目標(biāo)是用事件結(jié)構(gòu)作為橋梁，為兩個模態(tài)的對齊提供了一個結(jié)構(gòu)化的角度，是我開啟Multimedia Structured Knowledge這個方向的第一個工作。CLIP-Event也是從這個角度出發(fā)，進一步將事件信息引入視覺領(lǐng)域中，實現(xiàn)對動詞和動詞結(jié)構(gòu)的理解。

Q2：Manling之前主要做NLP，發(fā)的會議多是ACL/EMNLP/NAACL，是否有某件事情/契機的啟發(fā)于是轉(zhuǎn)變了自己的方向？

李曼玲：我一直以來都對結(jié)構(gòu)化知識的理解非常感興趣，知識庫是最常見的一種結(jié)構(gòu)化知識，而事件是一種更加重要的、我們每天都在關(guān)注的動態(tài)知識。因此我在NLP方面主要在做event-centric information access。而視覺領(lǐng)域中，大家常常關(guān)注的是一些實體化的詞，比如object，是entity-centric information access；但抽象信息的理解，比如動詞，并不是很好，尤其是的結(jié)構(gòu)化理解，因此我一直想把這種對事件結(jié)構(gòu)化理解的能力也遷移到視覺中。但是NLP和CV community其實對事件的理解上非常不同，CV中更關(guān)注action層面，比如jump、shake hand等，而NLP非常在意整體的語義結(jié)構(gòu)，比如transportation、meeting等，以及涉及到的各種語義角色，比如agent、transported artifact、instrument、origin、desitination等等。選擇投稿CVPR也是因為希望Event-Centric Structured Multimedia Understanding這個概念/方向能夠得到CV community的認可，投稿之前還是蠻擔(dān)心的，所以非常開心大家的認可度比我想象中高。

Q3：哪些或者哪位科學(xué)家、學(xué)術(shù)大拿對自己的啟發(fā)/影響最大？

李曼玲：對我影響最大的是我導(dǎo)師Prof Heng Ji，和Prof Shih-Fu Chang。他們一個來自于NLP community，一個來自于CV community。兩位老師最打動我的是他們對這個方向的熱情，對開始做研究的我，是指明燈一樣的存在。我從兩位老師身上學(xué)到了很多，怎樣做一個有勇氣有熱情的學(xué)者，尤其是勇于關(guān)注難的問題，對新的問題永遠保持熱情，熱愛發(fā)現(xiàn)問題并解決問題。

Q4：嘗試用一句話評價自己本次被CVPR收錄的工作？

李曼玲：我們首次提出了在視覺-文本預(yù)訓(xùn)練中引入事件信息，實現(xiàn)對抽象的事件語義結(jié)構(gòu)的理解。

Q5：整個投稿的過程中，有沒有印象深刻的經(jīng)歷？

李曼玲：這個工作是和MSR一起做的，是我暑期實習(xí)的工作。在選題過程中，我第一次像mentor們展示初步想法的時候，大家并沒有對事件結(jié)構(gòu)如何在視覺信息作用達成一致。在實驗過程中，每次開會討論都會有很多新想法的產(chǎn)生，非常有幫助。

Q6：Manling這次是第一次投稿CVPR，就獲得了很棒的成績，有什么tips或者建議可以分享嗎？

李曼玲：比較general的建議是，積極跟不同背景的人講自己的工作，我在做CVPR的過程中，做了很多次presentation，面對的聽眾有MSR其他實習(xí)的同學(xué)，也有去一些高校對老師和學(xué)生們講，有對NLP的人講，也有對CV的人講，還會對Data Science或者Theory的人講，每次不同的人給的反應(yīng)是不同的，這個過程中自己會不斷精煉核心idea，并能看到很多之前沒想過的角度。

更加具體的建議是，寫作的過程是對自己的工作不斷反思的過程。我現(xiàn)在比較喜歡在做實驗的時候，就開始不斷更新overleaf，每次寫東西，都是對自己的method和idea的梳理。寫作是一個不斷推翻自己的過程，每次推翻自己都有新的收獲。同時如前面所說，因為常做presentation，一直在維護一組slides，對后續(xù)寫作、畫圖都很有幫助。

Q7：近期是否有新的工作/投稿在推進？投稿？

李曼玲：近期有一篇工作（https://arxiv.org/abs/2205.10747）關(guān)于怎么使用大規(guī)模語言模型，例如GPT-3，實現(xiàn)對視頻信息的理解。目前有很多預(yù)訓(xùn)練模型，都有很強的few-shot能力，能夠根據(jù)幾個data example實現(xiàn)對task的快速理解，并把其中的知識遷移到其他未見過的數(shù)據(jù)上。

因此，我們研究了在視頻任務(wù)上，GPT-3能否把這種few-shot能力遷移過來。根據(jù)視頻的結(jié)構(gòu)，我們將視頻的主要信息劃分為：（1）視頻中的object、attribute、event，（2）視頻中每一幀的整體語義，（3）以及視頻中的時序關(guān)系。我們使用frozen預(yù)訓(xùn)練模型CLIP、BLIP等將上述信息轉(zhuǎn)換成為文字描述，并設(shè)計了時序相關(guān)的prompt，教GPT-3將這些信息串起來，實現(xiàn)視頻信息的理解。在很多下游任務(wù)上，GPT-3都能實現(xiàn)很好的效果，甚至在未來事件預(yù)測任務(wù)上，比監(jiān)督模型的效果更好，GPT-3理解視頻的能力令人驚訝。

Q8：能否分享下個人長期規(guī)劃？

李曼玲：長期規(guī)劃是希望可以帶領(lǐng)一個團隊繼續(xù)做結(jié)構(gòu)化知識理解的方向。目前臨近畢業(yè)，想先成為一個Assistant Professor，我對能夠自己帶學(xué)生、做一些自己感興趣的研究非常憧憬。

Q9：請暢想一下，你的工作將會給行業(yè)、社會帶來什么貢獻/力量？

李曼玲：我一直希望能有一個大白，就是《超能陸戰(zhàn)隊》里面的機器人，希望我的研究可以真正幫助造出一個能夠處理各種信息的大白，可以聊天，可以陪伴，在實際生活中幫助人們。