半監(jiān)督學(xué)習(xí)或直推學(xué)習(xí)使用未標(biāo)記的數(shù)據(jù)，使模型能夠更好地理解一般的數(shù)據(jù)結(jié)構(gòu)。這和我們的思考方法很相似。只要記住一些圖像，人腦就能夠把這些圖像的知識(shí)概括地外推到新的物體上，而不必關(guān)注無關(guān)緊要的細(xì)節(jié)。這樣可以減少過度擬合，并獲得更好的泛化效果。

直推是由支持向量機(jī)（SVM）的共同發(fā)明者弗拉基米爾·瓦普尼克（Vladimir Vapnik）提出的。他認(rèn)為，直推比歸納法更可取，因?yàn)闅w納法需要先解決更一般的問題（推斷函數(shù)），然后再解決更具體的問題（計(jì)算新案例的輸出）。

"在解決感興趣的問題時(shí)，不要把解決更一般的問題作為中間步驟。試著得到你真正需要的答案，而不是更籠統(tǒng)的答案。"

瓦普尼克的這一假設(shè)與伯特蘭·羅素（Bertrand Russell）早些時(shí)候的觀察結(jié)果相似：

"我們將得出這樣一個(gè)結(jié)論：蘇格拉底是凡人，如果我們把我們的論證純粹歸納起來，而不是用“人人都是凡人”的方式，然后用演繹的方式，那么蘇格拉底就更接近于確定性".

從長(zhǎng)遠(yuǎn)來看，無監(jiān)督學(xué)習(xí)（使用未標(biāo)記的數(shù)據(jù)）將變得更加重要。無監(jiān)督學(xué)習(xí)通常是人和動(dòng)物的典型特征：他們通過觀察發(fā)現(xiàn)世界的結(jié)構(gòu)，而不是通過識(shí)別每個(gè)物體的名稱。

因此，半監(jiān)督學(xué)習(xí)結(jié)合了這兩個(gè)過程：監(jiān)督學(xué)習(xí)發(fā)生在少量的標(biāo)記數(shù)據(jù)上，然后模型將其知識(shí)外推到一個(gè)大的未標(biāo)記區(qū)域。

使用未標(biāo)記數(shù)據(jù)意味著與底層數(shù)據(jù)分布有某種聯(lián)系

主動(dòng)學(xué)習(xí)是半監(jiān)督學(xué)習(xí)的某種邏輯延續(xù),它是一個(gè)迭代的過程，以這樣一種方式標(biāo)記新數(shù)據(jù)，從而使分隔類的邊界處于最佳位置。

主動(dòng)學(xué)習(xí)的主要假設(shè)是，學(xué)習(xí)算法可以選擇要學(xué)習(xí)的數(shù)據(jù)。與傳統(tǒng)方法相比，該方法的訓(xùn)練數(shù)據(jù)顯著減少。這里的傳統(tǒng)方法指的是使用標(biāo)記數(shù)據(jù)的傳統(tǒng)監(jiān)督學(xué)習(xí),這種訓(xùn)練可以稱為被動(dòng)訓(xùn)練。該模型只需對(duì)標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練,數(shù)據(jù)越多越好。被動(dòng)學(xué)習(xí)中最耗時(shí)的問題之一是數(shù)據(jù)收集和標(biāo)記。在許多情況下，收集額外數(shù)據(jù)或適當(dāng)標(biāo)記可能會(huì)受到限制。

主動(dòng)學(xué)習(xí)有三種最流行的場(chǎng)景，其中學(xué)習(xí)模型將從未標(biāo)記區(qū)域請(qǐng)求新的類實(shí)例標(biāo)簽：

• 成員查詢綜合. 在這種情況下，模型從某個(gè)分布中生成一個(gè)實(shí)例，該分布對(duì)所有示例都是公共的。這可能是一個(gè)帶有附加噪聲的類實(shí)例，也可能只是所討論空間中的一個(gè)似是而非的點(diǎn)。這個(gè)新點(diǎn)被送到先知（oracle)那里培訓(xùn)，Oracle 是估值函數(shù)的傳統(tǒng)名稱，用于評(píng)估模型的給定功能實(shí)例的值。

• 基于流的采樣. 根據(jù)這個(gè)場(chǎng)景，每次檢查一個(gè)未標(biāo)記的數(shù)據(jù)點(diǎn)，然后 Oracle 根據(jù)某種信息標(biāo)準(zhǔn)選擇是要查詢這個(gè)點(diǎn)的類標(biāo)簽還是拒絕它。

• 基于池的采樣. 在這個(gè)場(chǎng)景中，有大量未標(biāo)記的示例，就像前面的例子一樣,實(shí)例是根據(jù)信息量從池中選擇的,從池中選擇信息量最大的實(shí)例。這是活躍的學(xué)習(xí)愛好者中最流行的情景。將對(duì)所有未標(biāo)記的實(shí)例進(jìn)行排序，然后選擇信息量最大的實(shí)例。

每個(gè)場(chǎng)景都可以基于特定的查詢策略。如上所述，主動(dòng)學(xué)習(xí)和被動(dòng)學(xué)習(xí)的主要區(qū)別在于基于過去的查詢和模型響應(yīng)從未標(biāo)記區(qū)域查詢實(shí)例的能力。因此，所有查詢都需要某種程度的信息性。