無(wú)監(jiān)督學(xué)習(xí)（自監(jiān)督學(xué)習(xí)，其實(shí)自監(jiān)督學(xué)習(xí)是無(wú)監(jiān)督學(xué)習(xí)的一種，但之前在前人的工作中大家一般不作區(qū)分，但是在本文中，作者選擇了使用無(wú)監(jiān)督學(xué)習(xí)這個(gè)詞，因?yàn)槎x的更加廣泛一些）一般有兩個(gè)方向可以做

• 一個(gè)是在代理任務(wù)上做文章。代理任務(wù)一般是指的那些大家不太感興趣的任務(wù)（不是分類(lèi)、分割、檢測(cè)這種有實(shí)際應(yīng)用場(chǎng)景的任務(wù)），這些代理任務(wù)的提出，主要是為了學(xué)習(xí)一個(gè)好的特征

• 一個(gè)是在目標(biāo)函數(shù)上做文章。目標(biāo)函數(shù)就比較廣泛了，目標(biāo)函數(shù)的研究其實(shí)是可以和代理任務(wù)分開(kāi)的

MoCo主要是在目標(biāo)函數(shù)上下功夫，它所提出的這個(gè)又大又一致的字典主要是影響后面InfoNCE目標(biāo)函數(shù)的計(jì)算

• 這里的目標(biāo)函數(shù)主要是針對(duì)無(wú)監(jiān)督的方式來(lái)說(shuō)的

最常見(jiàn)的構(gòu)建目標(biāo)函數(shù)的方式，就是衡量一個(gè)模型的輸出和它應(yīng)該得到的固定的目標(biāo)之間的差距

• 比如說(shuō)用auto-encoder（自編碼器）的話，就是輸入一張?jiān)瓐D或者一張已經(jīng)被干擾過(guò)的圖，通過(guò)一個(gè)編碼器解碼器將這張圖重建出來(lái)，這里既可以使用L1 loss，也可以使用L2 loss，但是總的來(lái)說(shuō)，衡量的是原圖和重新構(gòu)建的圖之間的差異，這種屬于生成式網(wǎng)絡(luò)的做法，因?yàn)槭窃谏梢粡垐D片

• 如果是想走判別式網(wǎng)絡(luò)，一般的做法有：eight position，它是15年的一篇論文，主要思想是說(shuō)如果將一張圖片打成九宮格，假如這個(gè)九宮格有序號(hào)（從1到9），現(xiàn)在先把中間5這一格拿到，然后再隨機(jī)從剩下的八個(gè)格子中挑一格，看能不能預(yù)測(cè)出這個(gè)隨機(jī)挑出來(lái)的這一格是位于中間這一格的哪個(gè)方位（左上、右下等等）。因?yàn)檫@里的每一塊其實(shí)都是自帶序號(hào)的，其實(shí)就相當(dāng)于把這個(gè)代理任務(wù)轉(zhuǎn)化成了一個(gè)分類(lèi)任務(wù)，因?yàn)樗挥邪藗€(gè)方位可以去預(yù)測(cè)，所以MoCo這里就用了8個(gè)位置來(lái)代替這個(gè)方法

• 除了判別式或者生成式這種常見(jiàn)的目標(biāo)函數(shù)，還有對(duì)比學(xué)習(xí)的目標(biāo)函數(shù)和對(duì)抗性的目標(biāo)函數(shù)

• 對(duì)比學(xué)習(xí)的目標(biāo)函數(shù)主要是去一個(gè)特征空間中衡量各個(gè)樣本對(duì)之間的相似性，它所要達(dá)到的目標(biāo)就是讓相似物體的特征盡量拉近，不相似物體之間的特征盡量遠(yuǎn)離。對(duì)比學(xué)習(xí)的目標(biāo)函數(shù)和生成式或者判別式目標(biāo)函數(shù)有很大的區(qū)別：不論是判別式（預(yù)測(cè)8個(gè)位置）還是生成式（重建整張圖），目標(biāo)都是一個(gè)固定的目標(biāo)，但是在對(duì)比學(xué)習(xí)中，它的目標(biāo)是在訓(xùn)練的過(guò)程中不停的改變的（在訓(xùn)練的過(guò)程中，目標(biāo)其實(shí)是由一個(gè)編碼器抽出來(lái)的數(shù)據(jù)特征而決定的，也就是本文所指的字典，作者接下來(lái)說(shuō)最近幾篇效果不錯(cuò)的方法，它們的核心思想都是用的對(duì)比學(xué)習(xí)）

• 對(duì)抗性的目標(biāo)函數(shù)在GAN這篇論文中也提到過(guò)，它主要衡量的是兩個(gè)概率分布之間的差異。對(duì)抗性的目標(biāo)函數(shù)主要是用來(lái)做無(wú)監(jiān)督的數(shù)據(jù)生成的，但是后來(lái)也有一些對(duì)抗性的方法用來(lái)做特征學(xué)習(xí)，因?yàn)榇蠹艺J(rèn)為，如果能生成很好很真實(shí)的圖片的話，按到底來(lái)說(shuō)，它是已經(jīng)學(xué)到了這個(gè)數(shù)據(jù)的底層分布，這樣模型學(xué)出來(lái)的特征應(yīng)該也是不錯(cuò)的

接下來(lái)就是代理任務(wù)這個(gè)方面，代理任務(wù)其實(shí)過(guò)去幾年大家提出了非常多的形式

• denoising auto-encoder：重建整張圖

• context auto-encoder：重建某個(gè)patch

• colorization：用給圖片上色當(dāng)作自監(jiān)督信號(hào)

• 還有很多代理任務(wù)是去生成一些偽標(biāo)簽，像examplar image其實(shí)也是給同一張圖片做不同的數(shù)據(jù)增廣，它們都屬于同一個(gè)類(lèi)；patch ordering，也就是九宮格的方法，要么是打亂了之后去預(yù)測(cè)它的順序，要么就是隨機(jī)選一個(gè)patch去預(yù)測(cè)它的方位；還有利用視頻的信息去做tracking，以及一些聚類(lèi)的方法

最后一段作者討論了一下對(duì)比學(xué)習(xí)和之前這些不同的代理任務(wù)之間的關(guān)系

• 不同的代理任務(wù)是可以和某種形式的對(duì)比學(xué)習(xí)的目標(biāo)函數(shù)配對(duì)使用的，比如說(shuō)本文中使用的個(gè)體判別的方式就跟之前的examplar based代理任務(wù)很相關(guān)

• 對(duì)于之前兩個(gè)比較重要的工作CPC和CMC來(lái)說(shuō)，CPC做的是預(yù)測(cè)性的對(duì)比學(xué)習(xí)它是用上下文的信息去預(yù)測(cè)未來(lái)，這樣就跟上下文自編碼代理任務(wù)非常相關(guān)；對(duì)于CMC來(lái)說(shuō)，它是利用一個(gè)物體的不同視角去做對(duì)比，這個(gè)就跟給圖片上色的代理任務(wù)非常相似，因?yàn)榻o圖片上色這個(gè)任務(wù)就涉及了同一個(gè)圖片的兩個(gè)視角（黑白和彩色）

總的來(lái)說(shuō)，相關(guān)工作寫(xiě)的還是非常的簡(jiǎn)潔明了，之所以圍繞目標(biāo)函數(shù)和代理任務(wù)這兩個(gè)方向去寫(xiě)相關(guān)工作，是因?yàn)檫@兩個(gè)任務(wù)是主要跟有監(jiān)督學(xué)習(xí)不一樣的地方

• 如果和有監(jiān)督學(xué)習(xí)對(duì)比一下，假如有一個(gè)輸入x，然后通過(guò)一個(gè)模型得到y(tǒng)（也就是輸出），有了輸出之后就去和一個(gè)ground truth做比較，然后需要一個(gè)目標(biāo)函數(shù)去衡量一下這個(gè)比較的結(jié)果，這就是有監(jiān)督學(xué)習(xí)的流程

• 對(duì)于無(wú)監(jiān)督學(xué)習(xí)或者是自監(jiān)督學(xué)習(xí)來(lái)說(shuō)，缺少的就是標(biāo)簽，也就是這里的ground truth，如果沒(méi)有標(biāo)簽就自己造標(biāo)簽，這時(shí)候代理任務(wù)就派上用場(chǎng)了，代理任務(wù)的用處就是去生成一個(gè)自監(jiān)督的信號(hào)，從而去充當(dāng)ground truth這個(gè)標(biāo)簽信息，一旦有了輸出y，又有了標(biāo)簽信息，接下來(lái)還需要一個(gè)目標(biāo)函數(shù)去衡量他們之間的差異，從而讓模型學(xué)得更好

所以這就是為什么本文從目標(biāo)函數(shù)和代理任務(wù)這兩個(gè)角度去寫(xiě)相關(guān)工作

----end----