【學(xué)術(shù)人生】普通人CV領(lǐng)域論文創(chuàng)新常見思路與方向總結(jié)
當(dāng)你初入江湖，迷茫不知道該干什么的時(shí)候，不妨去模仿前人是如何進(jìn)行科研的，并從中歸納出最適合自己的道路。為此，我們推出“學(xué)術(shù)人生”專欄，介紹科研的方法與經(jīng)驗(yàn)，為你的科研學(xué)習(xí)提供幫助，敬請(qǐng)關(guān)注。
目前總結(jié)內(nèi)容（Content）
一、做CV的論文創(chuàng)新的一些思路與方向。分別是無事生非，后浪推前浪，推陳出新，出奇制勝
二、創(chuàng)新思路形成的學(xué)習(xí)方法總結(jié)
一、做CV的論文創(chuàng)新的一些思路與方向
1、無事生非
在原始的數(shù)據(jù)集上加一些噪聲，例如隨機(jī)遮擋，或者調(diào)整飽和度亮度什么的，主要是根據(jù)具體的任務(wù)來增加噪聲或擾動(dòng)，不可亂來。如果它的精度下降的厲害，那你的思路就來了，如何在有遮擋或有噪聲或其他什么情況下，保證模型的精度。
用它的模型去嘗試一個(gè)新場(chǎng)景的數(shù)據(jù)集，因?yàn)樗瓉淼哪Ｐ秃芸赡苁沁^擬合的。如果在新場(chǎng)景下精度下降的厲害，思路又有了，如何提升模型的泛化能力，實(shí)現(xiàn)在新場(chǎng)景下的高精度。
2、后浪推前浪
思考一下它存在的問題，例如模型太大，推理速度太慢，訓(xùn)練時(shí)間太長(zhǎng)，收斂速度慢等。一般來說這存在一個(gè)問題，其他問題也是連帶著的。如果存在以上的問題，你就可以思考如何去提高推理速度，或者在盡可能不降低精度的情況下，大幅度減少參數(shù)量或者計(jì)算量，或者加快收斂速度。
考慮一下模型是否太復(fù)雜，例如：人工設(shè)計(jì)的地方太多，后處理太多，需要調(diào)參的地方太多。基于這些情況，你可以考慮如何設(shè)計(jì)一個(gè)end-to-end模型，在設(shè)計(jì)過程中，肯定會(huì)出現(xiàn)訓(xùn)練效果不好的情況，這時(shí)候需要自己去設(shè)計(jì)一些新的處理方法，這個(gè)方法就是你的創(chuàng)新。
3、推陳出新
替換一些新的結(jié)構(gòu)，引入一些其它方向的技術(shù)，例如transformer，特征金字塔技術(shù)等。這方面主要是要多關(guān)注一些相關(guān)技術(shù)，前沿技術(shù)，各個(gè)方向的內(nèi)容建議多關(guān)注一些。
4、出奇制勝
嘗試去做一些特定的檢測(cè)或者識(shí)別。通用的模型往往為了保證泛化能力，檢測(cè)識(shí)別多個(gè)類，而導(dǎo)致每個(gè)類的識(shí)別精度都不會(huì)很高。因此你可以考慮只去檢測(cè)或識(shí)別某一個(gè)特定的類。以行為識(shí)別為例，一些通用的模型可以識(shí)別幾十個(gè)動(dòng)作，但你可以專門做跌倒檢測(cè)。在這種情況下你可以加很多先驗(yàn)知識(shí)在模型中，例如多任務(wù)學(xué)習(xí)。換句話來說，你的模型就是專門針對(duì)跌倒設(shè)計(jì)的，因此往往精度可以更高。這種特定類的檢測(cè)最好是有些應(yīng)用前途，讓人覺得現(xiàn)實(shí)中可以有。
二、創(chuàng)新思路形成的學(xué)習(xí)方法總結(jié)
以上都是一些針對(duì)性的思路，最原始的做法應(yīng)該是看完方向上比較重要的論文后自己寫一個(gè)綜述，寫的過程中往往會(huì)發(fā)現(xiàn)一些問題，不一定就是要去跟sota模型比精度，而是解決這個(gè)方向上還存在的問題。解決還存在的問題才是關(guān)鍵，才是論文的核心價(jià)值所在，否則就只是十幾頁的廢紙。
例如前面提到的實(shí)現(xiàn)輕量化，提高推理速度，實(shí)現(xiàn)實(shí)時(shí)檢測(cè)，設(shè)計(jì)end to end模型，都屬于解決這個(gè)方向上存在的問題，進(jìn)一步提高精度也是解決問題，此外還包括一些其他的問題，這個(gè)得根據(jù)具體任務(wù)才能分析。
如果說寫完綜述后還是沒思路，一來是建議嘗試以上思路，二來建議找一些跟你方向相關(guān)的經(jīng)典論文看一看，邊看邊想，這四個(gè)字最重要。當(dāng)然，邊看邊想要想發(fā)揮作用，還需要有個(gè)最重要的前提，知識(shí)面足夠廣，否則再怎么想也沒用。
很多情況下在模型上加入一些別的方向的模塊，例如使用即插即用的模塊、注意力機(jī)制等，可以使模型有一定的提升，這是算創(chuàng)新的。但需要一個(gè)合理的解釋為何這么做可以起作用，解決了什么問題。有時(shí)候?qū)υＰ妥鲆恍┬〉母倪M(jìn)，卻有較大的提升，這也屬于創(chuàng)新。前提是，這種提升是穩(wěn)定的，是在多個(gè)數(shù)據(jù)集下都有的提升，而不是一次偶然事件。
來源：知乎—何杰文
地址：https://zhuanlan.zhihu.com/p/423273070
