論文閱讀1.2:addernet小實(shí)驗(yàn),權(quán)重分布和推斷速度
2021-04-19 19:38 作者:克萊登大學(xué)宅學(xué)博士 | 我要投稿
使用兩層卷積網(wǎng)絡(luò),一開(kāi)始訓(xùn)練了40多個(gè)epoch沒(méi)收斂,檢查一下網(wǎng)絡(luò),沒(méi)加bn。。。,加了bn之后很快收斂,如圖

可視化一下權(quán)重,挺符合拉普拉斯分布的,epoch訓(xùn)的比較少。

論文中的weights分布圖

同時(shí)用同樣結(jié)構(gòu)的CNN訓(xùn)練一下,準(zhǔn)確率百分之99左右,差不多就是高斯分布,和論文所說(shuō)一致,原因在上次addernet里講過(guò)。

然后addernet的FLOPs和正常CNN的FLOPs,我找到MAC,換算一下就好了

Addnet確實(shí)推斷速度會(huì)快。
標(biāo)簽: