小樣本算法調(diào)試、CNN學(xué)習(xí)（2020.12.17）

本人為在職研究生，希望能夠有志同道合的學(xué)習(xí)伙伴一起學(xué)習(xí)分享和交流，本人領(lǐng)域?yàn)楣饫w傳感和人工智能，希望可以一起學(xué)習(xí)。

1. 今日完成任務(wù)

• 小樣本代碼調(diào)試

• 特征提取

• 《Tensorflow2.0卷積神經(jīng)網(wǎng)絡(luò)實(shí)戰(zhàn)》王曉華

2. 總結(jié)

• 《Tensorflow2.0卷積神經(jīng)網(wǎng)絡(luò)實(shí)戰(zhàn)》- 第三章 - Tensorflow2.0語法基礎(chǔ)

介紹了神經(jīng)網(wǎng)絡(luò)的基本內(nèi)容，比較有趣的是這本書介紹梯度下降的部分，從簡單的三層神經(jīng)網(wǎng)絡(luò)來介紹梯度下降，圖和描述都比較不錯(cuò)，能夠快速理解內(nèi)容，理論公式就看的難受，沒看懂，理論公式個(gè)人更傾向于花書的介紹，更加詳細(xì)。

初次之外，這一章節(jié)介紹bp神經(jīng)網(wǎng)絡(luò)的代碼，很適合學(xué)習(xí)和理解，不同于其他書的直接上tensorflow這種高級API，代碼雖然簡單易懂，你會覺得自己懂了，知道BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程，但是很多細(xì)節(jié)你會忽視，比如梯度下降時(shí)如何操作的（鏈?zhǔn)椒▌t）等等，建議可以打一遍代碼，好好看一看，能夠更加深入理解前向傳播和背向傳播。

• 小樣本代碼調(diào)試和特征提取

今天在做項(xiàng)目的過程中，發(fā)現(xiàn)一個(gè)賊有意思的事情，直接提取的特征數(shù)據(jù)進(jìn)行小樣本學(xué)習(xí)，模型訓(xùn)練過程中l(wèi)oss直線下降，但是識別精度一直在0.5，沒有任何效果，模型沒有學(xué)習(xí)到特征的信息，后來觀察特征數(shù)據(jù)，正負(fù)樣本的特征存在較為明顯的區(qū)別，但是模型就是無法學(xué)習(xí)到特征信息。

后來通過PCA降維分析，在95%的信息保留度情況下，特征點(diǎn)數(shù)從39直接降到2，整的賊懵逼，感覺模型有點(diǎn)懶惰化，更傾向于確認(rèn)為線性，大于為正，小于為負(fù)，就沒有優(yōu)化，類似樣本不均衡存在的情況，99個(gè)正常樣本和1個(gè)缺陷樣本，直接忽視缺陷信息，識別精度就可以達(dá)到99%。

最后對特征進(jìn)行無量綱化和PCA處理，最后能夠快速學(xué)習(xí)缺陷特征信息，梯度下降20次就達(dá)到95%左右的識別準(zhǔn)確率。但是這個(gè)問題也不知道為啥？到現(xiàn)在都很懵逼，準(zhǔn)備最近看看相關(guān)文獻(xiàn)，看有沒有頭緒。