對比學(xué)習(xí)的靈活性：可以自由定義正樣本和負(fù)樣本，從而應(yīng)用到自己的任務(wù)中，而之后的流程都是相似的

比如：

1. 在視頻領(lǐng)域，同一個視頻的任意兩幀被認(rèn)為是正樣本，而其它視頻的所有幀都任務(wù)是負(fù)樣本
2. 一個句子的不同embedding（不同dropout）作為正樣本，不同句子作為負(fù)樣本
3. 一個物體的不同view（不同視角，正面和背面，RGB圖和深度圖等等）為正樣本，不同物體為負(fù)樣本

無監(jiān)督學(xué)習(xí)與有監(jiān)督學(xué)習(xí)相比缺少了標(biāo)簽，因此需要通過代理任務(wù)來生成自監(jiān)督的標(biāo)簽，還需要設(shè)計對應(yīng)的目標(biāo)函數(shù)來衡量學(xué)習(xí)結(jié)果的好壞。

pretext代理任務(wù)：指的是那些大家不太感興趣的任務(wù)，非分類、檢測、分割等有實際應(yīng)用場景的任務(wù)，這些代理任務(wù)的提出主要是為了學(xué)習(xí)一個好的特征。

目標(biāo)函數(shù)的選擇：

1. 生成式任務(wù)，原圖和重建圖的差異，L1或L2
2. 判別式任務(wù)，交叉熵Loss等
3. 對比學(xué)習(xí)，目標(biāo)不是固定的，是隨著網(wǎng)絡(luò)更新不斷改變的
4. 對抗性任務(wù)，衡量兩個概率分布之間的差異，主要用于無監(jiān)督數(shù)據(jù)生成，也可以用于表征學(xué)習(xí)

代理任務(wù)的選擇：

1. 給圖片上色
2. 生成偽標(biāo)簽
3. 預(yù)測順序等等