對比學習論文綜述【論文精讀】
2022-01-06 15:48 作者:孟秋十五Sakura | 我要投稿
?
48:38
?SwAV本身聚類的方法結果應該跟MOCOv2差不多，更重要的是它的一個Trick
Trick：Multi-crop，多個正樣本。提點明顯。
?
57:07
?BYOL和MOCO相比，代理任務不同，BYOL是預測任務，MOCO是匹配任務
?
59:21
?SimCLR、MOCOv2、BYOL的projection head中BN層不同
BYOL不用負樣本的原因分析。
?
01:14:34
?動量編碼器很重要，BYOL結果到后面還是會更好，SimSiam訓得快但是結果稍差
下游任務MOCOv2和SimSiam更好
?
01:20:20
?MOCOv3，vit的自監(jiān)督學習。
大的batchsize時會出現(xiàn)訓練不穩(wěn)定，查看回傳梯度發(fā)現(xiàn)是vit的patch projection層問題，把圖片分成patch然后經(jīng)過的全連接層是可訓練的，凍住之后就解決了這一問題
DINO
?
01:26:18
?
標簽：
