CVPR 2022新星有話說(shuō) | 李峰 & 張浩的“無(wú)痛”論文寫作技巧

「Paper新星有話說(shuō)」正式上線辣!這是來(lái)自ReadPaper的新欄目,我們邀請(qǐng)了一批CVPR 2022 Oral論文年輕作者,聽酷蓋們聊聊他們的科研成果和心得,還有獨(dú)家科研小Tips分享哦;
首期Paper新星是來(lái)自我們IDEA研究院計(jì)算機(jī)視覺與機(jī)器人研究中心(IDEA Research CVR)的兩位研究實(shí)習(xí)生:李峰 & 張浩。


由李峰、張浩共同一作的《DN-DETR: Accelerate DETR Training by Introducing Query DeNoising》被CVPR 2022接收為Oral論文,并斬獲了112的高分。

論文寫作需要警惕哪些“坑”?遭遇科研“瓶頸期”該如何克服?本期兩位Paper新星將和我們講述科研論文之路,并分享論文“無(wú)痛”寫作小tips。
論文標(biāo)題:
DN-DETR: Accelerate DETR Training by Introducing Query DeNoising
論文鏈接:
https://readpaper.com/paper/4597309026329436161

Q1:關(guān)于個(gè)人論文發(fā)布成果,覺得最具代表性的一篇是?為什么會(huì)選這篇?
《DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection》
李峰:我們?cè)谶@篇工作里面取得了COCO目標(biāo)檢測(cè)的第一名,體現(xiàn)了新一代檢測(cè)器DETR優(yōu)異的檢測(cè)性能和可擴(kuò)展性。
張浩:這篇是DETR like模型首次取得SOTA的表現(xiàn),說(shuō)明DETR like模型具有不次于convolution based模型的能力。
Q2:過往的學(xué)習(xí)/工作經(jīng)歷中,是否有某件事情對(duì)自己的學(xué)習(xí)領(lǐng)域或者就業(yè)方向有決定性的影響?
李峰:來(lái)到香港科大跟著沈老師和倪老師讀博士。兩位老師對(duì)科學(xué)研究有著高瞻遠(yuǎn)矚的洞察力,教會(huì)了我很多關(guān)于科研的方法論和科研品味,以及對(duì)待論文寫作和實(shí)驗(yàn)的嚴(yán)謹(jǐn)性。同時(shí),組里自由的研究氛圍讓我得以探索自己喜歡的研究領(lǐng)域。
張浩:有一次聽到《沈老師帶你讀論文》節(jié)目中沈老師跟胡瀚老師聊到做研究的格局,說(shuō)到“你可以選擇不去做什么樣的研究”,有的研究問題想想都知道很trivial,就算做出來(lái)影響力也很有限,這時(shí)候可以選擇不去做,而把時(shí)間留給更有價(jià)值的問題。
Q3:哪些或者哪位科學(xué)家、學(xué)術(shù)大拿對(duì)自己的啟發(fā)/影響最大?
李峰:IDEA 計(jì)算機(jī)視覺與機(jī)器人的張老師。張老師已然一位成功的科學(xué)家,但不僅對(duì)各個(gè)領(lǐng)域都有深刻的認(rèn)識(shí),而且還處在科研一線,對(duì)很多問題的細(xì)節(jié)和代碼也十分了解。因此,張老師不僅能引導(dǎo)學(xué)術(shù)方向,而且常常能給我們非常細(xì)致的指導(dǎo)。
張浩:IDEA研究院的張磊老師對(duì)我影響很大,他會(huì)很注重研究方向的把握,是我做研究的領(lǐng)航員。而且張老師有非常豐富的工程經(jīng)驗(yàn),在我們實(shí)驗(yàn)受阻的時(shí)候總是能提出很有幫助的提示。
Q4:對(duì)于打算或者在讀博的同學(xué)們,有什么心得可以分享?
李峰:-謹(jǐn)防掉入這些坑:從我看來(lái),第一波坑就是不夠?qū)Wⅲ唏R觀花。剛開始進(jìn)行科研的時(shí)候往往涉獵廣泛,難以找到一個(gè)有價(jià)值的問題,并持之以恒地深入研究下去,浪費(fèi)了很多時(shí)間;
-如何克服科研瓶頸期:從我的經(jīng)驗(yàn)來(lái)看,這種時(shí)候科研多跟老師和同學(xué)交流,從他們那兒得到一些反饋或者靈感。同時(shí)應(yīng)該靜下心來(lái)思考問題,多閱讀一些論文進(jìn)行探索。如果實(shí)在搞不定,不如先放下這個(gè)問題,把它記在心里,先去做其他問題,說(shuō)不定某一天就有解決的方法了。
張浩:-謹(jǐn)防掉入這些坑:謹(jǐn)防一直埋頭做實(shí)驗(yàn),好的選題也很重要;
-如何克服科研瓶頸期:一定要多和導(dǎo)師同學(xué)交流,回顧我的研究過程,大多數(shù)困難都是在與別人交流時(shí)找到的解決方法。
還有做實(shí)驗(yàn)的時(shí)候要細(xì)心,結(jié)果不符合預(yù)期的時(shí)候要仔細(xì)觀察loss或者可視化結(jié)果來(lái)找出問題的原因,不要對(duì)所有idea都淺嘗輒止,很多時(shí)候不是idea不work,而是實(shí)現(xiàn)idea的過程有問題有bug。

Q5:嘗試用一句話評(píng)價(jià)自己本次被CVPR收錄的工作?
李峰:DN-DETR是一種新的訓(xùn)練方式來(lái)加速DETR類型的模型,即插即用,并對(duì)收斂速度和結(jié)果帶來(lái)顯著提升。
張浩:是一種無(wú)痛長(zhǎng)點(diǎn)的訓(xùn)練方式,可以用于所有DETR like目標(biāo)檢測(cè)方法,使得收斂時(shí)間減半,即插即用很方便。
Q6:整個(gè)投稿的過程中,有沒有印象深刻的經(jīng)歷?
李峰:印象深刻的是這個(gè)題目的研究過程。最開始的靈感其實(shí)是來(lái)源于自然語(yǔ)言的預(yù)訓(xùn)練模型,但是早期遇到了很多的問題,通過一步步的改進(jìn)和討論才有了現(xiàn)在的DN-DETR。因此,廣讀論文是很有幫助的,其他領(lǐng)域的文章也能帶來(lái)啟發(fā)。
張浩:印象最深的是有一位審稿人對(duì)我們的工作評(píng)價(jià)很高,給了我很大的鼓勵(lì),提高了我后來(lái)做研究的信心。
Q7:關(guān)于無(wú)痛論文寫作,有什么tips可以分享?
李峰:我一般會(huì)多讀一些經(jīng)典論文,同時(shí)把論文里面的一些比較地道的語(yǔ)句摘抄下來(lái),自己寫的時(shí)候也可以用上。寫完論文后,可以多檢查一下,或者用一些專業(yè)的英文語(yǔ)法檢查軟件進(jìn)一步檢查一下。
張浩:關(guān)于論文寫作,要有好的故事線,要把如何發(fā)現(xiàn)問題,分析問題,解決問題的過程寫清楚。要多練習(xí),仿寫。還有就是要找個(gè)有經(jīng)驗(yàn)的人幫忙改論文。

Q8:近期是否有新的工作/投稿在推進(jìn)?投稿?
李峰:是的,我們最近沿著DETR類型的模型做了一系列工作,目前已經(jīng)在目標(biāo)檢測(cè)、實(shí)例分割、全景分割、語(yǔ)義分割等多個(gè)領(lǐng)域拿到了第一名。
張浩:最近在修補(bǔ)之前的工作上的一些不完善的地方。
Q9:能否分享下個(gè)人長(zhǎng)期規(guī)劃?
李峰:希望能夠在感興趣的領(lǐng)域深耕,做出更有影響力的工作。
張浩:希望可以從事喜歡的研究,如果能夠落地就更好了。
Q10:請(qǐng)暢想一下,你的工作將會(huì)給行業(yè)、社會(huì)帶來(lái)什么貢獻(xiàn)/力量?
李峰:希望能夠DN-DETR提出的問題和解決方案有一定價(jià)值,能啟發(fā)領(lǐng)域的研究人員做出更好的檢測(cè)器。
張浩:不敢說(shuō)能帶來(lái)什么貢獻(xiàn),希望能給同行的研究者提供一些解決問題的思路。