基于機(jī)器學(xué)習(xí)學(xué)習(xí)方式大致可分為：監(jiān)督、無(wú)監(jiān)督、半監(jiān)督和強(qiáng)化學(xué)習(xí)問(wèn)題。

機(jī)器學(xué)習(xí)通過(guò)解決監(jiān)督學(xué)習(xí)問(wèn)題獲得了大部分成功，監(jiān)督學(xué)習(xí)任務(wù)中的數(shù)據(jù)被標(biāo)記，因此為最先進(jìn)的模型提供了更多的性能提升機(jī)會(huì)。

近年來(lái)，通過(guò)監(jiān)督學(xué)習(xí)的深度學(xué)習(xí)也取得了巨大的成功。從圖像分類(lèi)到語(yǔ)言翻譯，它們的性能一直在提高。然而，在如罕見(jiàn)疾病的醫(yī)學(xué)數(shù)據(jù)集，收集大的標(biāo)記數(shù)據(jù)集是不可能的，這些類(lèi)型的數(shù)據(jù)集為自監(jiān)督算法提供了充足的機(jī)會(huì)，可以進(jìn)一步提高預(yù)測(cè)模型的性能。

自監(jiān)督學(xué)習(xí)旨在從未標(biāo)記的數(shù)據(jù)中學(xué)習(xí)信息表示。通常，在這種情況下，標(biāo)記數(shù)據(jù)集比未標(biāo)記數(shù)據(jù)集相對(duì)小。自監(jiān)督學(xué)習(xí)使用這種未標(biāo)記的數(shù)據(jù)，并執(zhí)行代理任務(wù)和對(duì)比學(xué)習(xí)。

Jeremey Howard在一篇關(guān)于自監(jiān)督學(xué)習(xí)的優(yōu)秀文章中將監(jiān)督學(xué)習(xí)定義為兩個(gè)階段：“我們用于預(yù)訓(xùn)練的任務(wù)被稱(chēng)為代理任務(wù)（前置任務(wù)）。然后我們用于微調(diào)的任務(wù)被稱(chēng)為“下游任務(wù)”。自監(jiān)督學(xué)習(xí)的例子包括未來(lái)詞預(yù)測(cè)、掩碼詞預(yù)測(cè)修復(fù)、著色和超分辨率。

計(jì)算機(jī)視覺(jué)的自監(jiān)督學(xué)習(xí)

自監(jiān)督學(xué)習(xí)方法依賴(lài)于數(shù)據(jù)的空間和語(yǔ)義結(jié)構(gòu)。對(duì)于圖像，空間結(jié)構(gòu)學(xué)習(xí)是極其重要的。不同的技術(shù)包括旋轉(zhuǎn)、拼圖和著色被用作從圖像學(xué)習(xí)表示的代理任務(wù)。對(duì)于彩色化，提供灰度照片作為輸入，并生成照片的彩色版本（The paper by Zhang et al. [1]）。解釋產(chǎn)生生動(dòng)逼真色彩的著色過(guò)程。

Figure 1: The figure is taken from the paper by Zhang et al. [1]

另一種廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)自監(jiān)督學(xué)習(xí)的方法是放置圖像補(bǔ)丁。Doersch 等人的論文里面有說(shuō)明。在本工作中，提供了一個(gè)大的未標(biāo)記的圖像數(shù)據(jù)集，并從它提取隨機(jī)補(bǔ)丁對(duì)。在初始步驟之后，卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)第二個(gè)補(bǔ)丁相對(duì)于第一個(gè)補(bǔ)丁的位置。圖 2 說(shuō)明了該過(guò)程。

Figure 2: The image is taken from the paper by Doersch et al. [2]

還有其他不同的方法用于自監(jiān)督學(xué)習(xí)，包括修復(fù)和分類(lèi)損壞的圖像。如果您對(duì)此主題感興趣，請(qǐng)查看參考文獻(xiàn) [3]。

自然語(yǔ)言處理的自監(jiān)督學(xué)習(xí)

自監(jiān)督學(xué)習(xí)方法在自然語(yǔ)言處理任務(wù)中最為常見(jiàn)。Word2Vec論文中的“ Continuous Bag of Words ”方法是自監(jiān)督學(xué)習(xí)最著名的例子。

同樣，還有其他不同的方法用于自監(jiān)督學(xué)習(xí)，包括鄰詞預(yù)測(cè)、鄰詞預(yù)測(cè)、自回歸語(yǔ)言建模和掩碼語(yǔ)言建模。掩碼語(yǔ)言建模公式已在BERT、RoBERTa和ALBERT論文中使用。在此任務(wù)中，預(yù)測(cè)了一小部分屏蔽詞。

文本自監(jiān)督學(xué)習(xí)的最新例子在論文(Zhang 等人的論文[4])，文中作者提出了一種間隔句生成機(jī)制，該機(jī)制用于總結(jié)摘要的下游任務(wù)。

Figure 3: The figure is taken from the paper by Zhang et al. [4]

表格數(shù)據(jù)的自監(jiān)督學(xué)習(xí)

對(duì)圖像和文本的自監(jiān)督學(xué)習(xí)一直在進(jìn)步。然而，現(xiàn)有的自監(jiān)督方法對(duì)表格數(shù)據(jù)無(wú)效。表格數(shù)據(jù)沒(méi)有下劃線的空間或語(yǔ)義結(jié)構(gòu)，因此現(xiàn)有的依賴(lài)空間和語(yǔ)義結(jié)構(gòu)的技術(shù)是沒(méi)有用的。

大多數(shù)表格數(shù)據(jù)都涉及分類(lèi)特征，而這些特征不具有有意義的凸組合。即使對(duì)于連續(xù)變量，也不能保證數(shù)據(jù)流形是凸的。這一挑戰(zhàn)為研究人員提供了一個(gè)新的研究方向。我將簡(jiǎn)要說(shuō)明在這方面所做的一些工作。

（Work done by Vincent et al. [5]）提出了一種去噪自動(dòng)編碼器的機(jī)制。借口任務(wù)是從損壞的樣本中恢復(fù)原始樣本。在另一篇論文中，（Pathak et al. [6]）提出了一種上下文編碼器，其借口任務(wù)是從損壞的樣本和掩碼向量中重建原始樣本。

Tabnet[7]和TaBERT[8]的研究也是一項(xiàng)逐步走向自我監(jiān)督學(xué)習(xí)的工作。在這兩項(xiàng)研究中，代理任務(wù)是恢復(fù)損壞的表格數(shù)據(jù)。TabNet專(zhuān)注于注意力機(jī)制，并在每個(gè)步驟中選擇特征進(jìn)行推理，另一方面，TABERT 學(xué)習(xí)自然語(yǔ)言句子和半結(jié)構(gòu)化表格的表示。

Figure 4: The figure is taken from the TabNet paper [7]

最近的一項(xiàng)工作 ( VIME ) [9] 提出了一種新穎的借口任務(wù)，可以使用一種新穎的損壞樣本生成技術(shù)來(lái)恢復(fù)掩碼向量和原始樣本。作者還提出了一種新的表格數(shù)據(jù)增強(qiáng)機(jī)制，可以結(jié)合對(duì)比學(xué)習(xí)來(lái)擴(kuò)展表格數(shù)據(jù)的監(jiān)督學(xué)習(xí)。

Figure 5: The figure is taken from the paper by Yoon et al. [9]

自監(jiān)督學(xué)習(xí)是深度學(xué)習(xí)的新常態(tài)。圖像和文本數(shù)據(jù)的自監(jiān)督學(xué)習(xí)技術(shù)令人驚嘆，因?yàn)樗鼈兎謩e依賴(lài)于空間和順序相關(guān)性。但是，表格數(shù)據(jù)中沒(méi)有通用的相關(guān)結(jié)構(gòu)。這使得表格數(shù)據(jù)的自監(jiān)督學(xué)習(xí)更具挑戰(zhàn)性。

文章來(lái)源：

https://pub.towardsai.net/self-supervised-learning-b65fc6d560ad

免責(zé)聲明：所載內(nèi)容來(lái)源互聯(lián)網(wǎng)，僅供參考。轉(zhuǎn)載稿件版權(quán)歸原作者和機(jī)構(gòu)所有，如有侵權(quán)，請(qǐng)聯(lián)系我們刪除。