利用已有的經(jīng)驗(yàn)解決相似任務(wù)是人類(lèi)與生俱來(lái)的能力

在機(jī)器中有不少任務(wù)是相似的

how to learn

卷積神經(jīng)網(wǎng)絡(luò)的前幾層是在提取圖像特征，直到最后的全連接層才進(jìn)行分類(lèi)。

提取特征的過(guò)程很是相似

所以可以講訓(xùn)練好的貓狗分類(lèi)網(wǎng)絡(luò)的前幾層拿出來(lái)直接使用，再用蘋(píng)果與梨的數(shù)據(jù)，訓(xùn)練性的全連接層完成分類(lèi)。

利用數(shù)據(jù)，任務(wù)，模型間的相似性，講訓(xùn)練好的內(nèi)容應(yīng)用到新的任務(wù)上被稱(chēng)為遷移學(xué)習(xí)

由于這一過(guò)程發(fā)生在兩個(gè)領(lǐng)域間，已有的知識(shí)和數(shù)據(jù)，也就是被遷移的對(duì)象被稱(chēng)為源域，被賦予“經(jīng)驗(yàn)”的領(lǐng)域被稱(chēng)為目標(biāo)域。

遷移學(xué)習(xí)不是具體的模型，更像是解題思路，我們使用遷移學(xué)習(xí)的原因有很多，

比如目標(biāo)領(lǐng)域的數(shù)據(jù)太少，需要標(biāo)注數(shù)據(jù)更多的源域的幫助，

有時(shí)是為了節(jié)約訓(xùn)練時(shí)間，有時(shí)是為了實(shí)現(xiàn)個(gè)性化應(yīng)用

語(yǔ)聊匱乏之間的小語(yǔ)種之間的翻譯，

缺乏標(biāo)注的醫(yī)療影像數(shù)據(jù)識(shí)別

面向不同領(lǐng)域快速部署對(duì)話(huà)系統(tǒng)都是遷移學(xué)習(xí)擅長(zhǎng)的應(yīng)用

之前見(jiàn)過(guò)的transformerBert這類(lèi)預(yù)訓(xùn)練語(yǔ)言模型微調(diào)后可以完成不同的任務(wù)。正是遷移學(xué)習(xí)在NLB領(lǐng)域的應(yīng)用