域自適應(yīng)（Domain Adaptation）是遷移學(xué)習(xí)的一種，在機(jī)器學(xué)習(xí)中，當(dāng)源域和目標(biāo)域數(shù)據(jù)分布不同，但是兩者的任務(wù)相同時，可以使用域自適應(yīng)，將源域數(shù)據(jù)訓(xùn)練的精度較高的模型運(yùn)用到數(shù)據(jù)較少的目標(biāo)域中。

白話：任務(wù)一樣時，訓(xùn)練集和實際樣本分布不太一樣，需要把訓(xùn)練的域匹配到實際的域上。

三種方法：

1. 樣本自適應(yīng)：就是對樣本進(jìn)行變換。將源域中樣本重采樣，使其分布趨近于目標(biāo)域分布；從源域中找出那些長的最像目標(biāo)域的樣本，讓他們帶著高權(quán)重加入目標(biāo)域的數(shù)據(jù)學(xué)習(xí)。

2. 特征層面自適應(yīng)：將源域與目標(biāo)域數(shù)據(jù)都投射到一個公共特征子空間，從而能夠?qū)⒃从蛴?xùn)練得到的知識直接應(yīng)用于目標(biāo)域中。

3. 模型層面自適應(yīng)：直接對模型進(jìn)行修改，將兩個領(lǐng)域之間的不同當(dāng)作先驗知識直接引入模型，相當(dāng)于人工進(jìn)行改進(jìn)。

source domain是黑白的，target domain是彩色的，我們希望feature extractor提取的兩個domain的特征是一致的，也就是特征層在domain classifier上分類，能分在一起。

小樣本

https://zhuanlan.zhihu.com/p/84290146

這些元學(xué)習(xí)講的很清晰

數(shù)據(jù)集中training和testing類可以重疊，也可以不重疊。

訓(xùn)練時，從S取一組5個進(jìn)入backbone，得到特征向量Zs(5)，從Q取1個進(jìn)入backbone，得到Zq(1)。Zq與Zs一般求余弦相似度，根據(jù)真實標(biāo)簽反向傳播，一個task。下一個epoch換一批S和Q輸入。

訓(xùn)練的時候可能拿不同的類別，主要訓(xùn)練模型的分類能力，也就是特征提取的能力。

2 shot就是取平均，最后還是拿query去和u1，u2，u3比距離，如cosine distance

一般需要預(yù)訓(xùn)練模型來提取特征

fine tuning，之前都是直接拿預(yù)訓(xùn)練模型得到特征向量的，但是support set中的圖片分類可能沒有見過，那么可以拿support set中的圖片在微調(diào)訓(xùn)練下，因為知道support set的真實標(biāo)簽嘛，可以直接分類的。

分類模型中初始化取值，W取M，那M x M，是讓特征更集中嗎？這里不確定

分類最后會加上一個正則項，需要類別概率不要平均，那么正則項entropy就會大

為啥這里加上一個cosine similarity，效果會好很多？

半監(jiān)督學(xué)習(xí)

訓(xùn)練集里有的有標(biāo)簽，有的沒有標(biāo)簽。有標(biāo)簽的訓(xùn)練還是正常的監(jiān)督訓(xùn)練，無標(biāo)簽的更多的為了分布的一致性，希望無標(biāo)簽的輸入再輸出后一致性高。

增量學(xué)習(xí)

災(zāi)難性遺忘，主要原因是前后不同任務(wù)，他的分布不同，loss掉在了不同的位置。

方法1：選擇怎么更好的更新神經(jīng)元

加正則項，讓新學(xué)的參數(shù)與已學(xué)的參數(shù)距離越小越好。但是要適應(yīng)新任務(wù)，肯定有的參數(shù)要距離大，怎么知道哪些參數(shù)可以越小越好，哪些參數(shù)影響不大呢？加如bi，這個是人為設(shè)定的，怎么設(shè)？

看參數(shù)的梯度，如果梯度大，說明參數(shù)敏感，影響loss，這樣的話，bi得大點，盡量新任務(wù)不調(diào)整這個參數(shù)。

方法2：把原來任務(wù)的權(quán)重直接拿過來用

方法3：回放原來任務(wù)的訓(xùn)練數(shù)據(jù)

全局平均池化