【完結(jié)】73 - 課程總結(jié)和進(jìn)階學(xué)習(xí)【動(dòng)手學(xué)深度學(xué)習(xí)v2】
課程總結(jié)和進(jìn)階學(xué)習(xí)
數(shù)據(jù)
直播設(shè)置
大綱回顧
1、深度學(xué)習(xí)基礎(chǔ)
- 線性回歸
- Softmax 回歸
- 多層感知機(jī)
- 模型選擇
- 過(guò)擬合、欠擬合
- 權(quán)重衰退
- Dropout
- 數(shù)值穩(wěn)定性
- 模型初始化和激活函數(shù)
2、卷積神經(jīng)網(wǎng)絡(luò)
- LeNet
- AlexNet
- VGG
- NiN
- GoogleNet
- ResNet
3、計(jì)算機(jī)視覺(jué)
- 圖片增廣
- 微調(diào)
- R-CNN 、SSD 、YOLO
- FCN
- 樣式遷移
4、循環(huán)神經(jīng)網(wǎng)絡(luò)
- RNN 、GRU 、LSTM
- 深層、雙向RNN
- Seq2Seq
5、注意力機(jī)制
- Seq2Seq + attention
- Transformer
- BERT
6、性能
- CPU 、GPU 、ASIC
- 使用（多）GPU
- 分布式
7、應(yīng)用
- 房?jī)r(jià)預(yù)測(cè)
- 圖片分類
- 物體檢測(cè)
- 語(yǔ)義分割
- BERT
- 樣式遷移
- 語(yǔ)言模型
- 機(jī)器翻譯
- 自然語(yǔ)言推理
未講到的應(yīng)用和模型
1、計(jì)算機(jī)視覺(jué)
- 人臉識(shí)別
- 體態(tài)識(shí)別
- 無(wú)人駕駛
- 圖片合成
- 超分辨率
- 醫(yī)學(xué)圖片
2、自然語(yǔ)言處理
- 文本分類
- 文本合成
- 文本摘要
- 實(shí)體命名識(shí)別
3、圖神經(jīng)網(wǎng)絡(luò)
- 如何對(duì)給定的圖的輸入做神經(jīng)網(wǎng)絡(luò)
4、語(yǔ)音識(shí)別
- 也是時(shí)序數(shù)據(jù)
- 雖然是一個(gè)單通道，但是可以通過(guò)頻譜變成多通道
5、時(shí)序識(shí)別
- 比如股票預(yù)測(cè)
6、玩游戲
- Reinforcement Learning
7、代碼生成
- GPT3
- 通過(guò)注釋來(lái)生成代碼
8、音樂(lè)
9、推薦系統(tǒng)
斯坦福 2021 秋季新課：實(shí)用機(jī)器學(xué)習(xí)
課程地址
課程主頁(yè)：https://c.d2l.ai/stanford-cs329p/
B站：https://space.bilibili.com/1567748478/channel/seriesdetail?sid=358496
和《動(dòng)手學(xué)深度學(xué)習(xí)》課程的聯(lián)系：互補(bǔ)
- 《動(dòng)手學(xué)深度學(xué)習(xí)》主要講模型
- 《實(shí)用機(jī)器學(xué)習(xí)》主要講機(jī)器學(xué)習(xí)落地的技術(shù)
課程大綱
1、基礎(chǔ)建模
- 數(shù)據(jù)收集
- 數(shù)據(jù)處理
- 模型驗(yàn)證
- 模型融合
2、不正確的假設(shè)
- Covariate/concept/lable 偏移
- IID 以外的數(shù)據(jù)（時(shí)序、圖）
3、性能調(diào)優(yōu)
- AutoML
- 模型蒸餾
- 多模塊數(shù)據(jù)
4、模型之外
- 模型部署
- 公平
進(jìn)階建議（如何學(xué)習(xí)新東西）
知識(shí)積累
1、可以看朋友圈分享，但更要主動(dòng)獲取信息、建立知識(shí)庫(kù)
- 如果只是看了很多的點(diǎn)，就和機(jī)器學(xué)習(xí)記住每個(gè)數(shù)據(jù)一樣，沒(méi)有泛化性
- 泛化性來(lái)自于自己建立知識(shí)庫(kù)，將知識(shí)點(diǎn)連成線，建立一個(gè)完整的自己對(duì)于整個(gè)領(lǐng)域的認(rèn)識(shí)
- 可以不用知道每個(gè)具體的點(diǎn)是如何實(shí)現(xiàn)的細(xì)節(jié)，但是要對(duì)整個(gè)領(lǐng)域有大概的認(rèn)識(shí)，清楚內(nèi)在的聯(lián)系
2、學(xué)會(huì)讀論文
- 通過(guò)朋友圈和知乎可能會(huì)相對(duì)容易一點(diǎn)，但是讀論文才是核心
- 經(jīng)典論文需要讀懂每一句話
- 結(jié)合代碼來(lái)了解細(xì)節(jié)（例如：https://paperswithcode.com/）
- 可以看 openreview 上的評(píng)論
3、對(duì)讀過(guò)的論文做整理
實(shí)踐
1、可以參加競(jìng)賽練手，但注意競(jìng)賽跟研究和工業(yè)界落地都不一樣，不要被競(jìng)賽帶偏了
- 競(jìng)賽：調(diào)最好的參、模型融合（可以用最復(fù)雜的模型調(diào)到最好）
- 研究：新的模型、調(diào)還不錯(cuò)的參（研究更加強(qiáng)調(diào)模型的創(chuàng)新）
- 工業(yè)界：將應(yīng)用表達(dá)成機(jī)器學(xué)習(xí)問(wèn)題、收集數(shù)據(jù)（對(duì)模型的關(guān)注相對(duì)來(lái)講不是很高）
2、多研究開(kāi)源代碼，跟開(kāi)發(fā)者多交流，積極貢獻(xiàn)
- 可以從修文檔開(kāi)始
- 多和其他人交流是最簡(jiǎn)單的獲得一手資料的方式
感謝
Q&A
- 1、請(qǐng)問(wèn)深度學(xué)習(xí)算法提取的特征一定比人工提取的特征好用嗎？
- ?QA P2 - 00:00?
- 2、請(qǐng)問(wèn)讀研方向是醫(yī)學(xué)圖像處理的話，找工作是醫(yī)學(xué)相關(guān)的更好，還是主要針對(duì)圖像處理學(xué)習(xí)呢？
- ?QA P2 - 00:18?
- 3、請(qǐng)問(wèn)我們?cè)趯W(xué)習(xí)過(guò)程中，需要看懂代碼的每一句話，理解代碼思路，還是會(huì)用就可以了？
- ?QA P2 - 01:04?
- 4、請(qǐng)問(wèn)在使用 GPU 訓(xùn)練模型時(shí)，出現(xiàn) Excepted all tensors to be on the same device,but found at least two devices,cuda:0 and cpu!，但是我找不到哪些數(shù)據(jù)在 GPU 上，這類情況應(yīng)該如何 debug？
- ?QA P2 - 01:31?
- 5、請(qǐng)問(wèn)老師基于遷移學(xué)習(xí)做分類和目標(biāo)檢測(cè)，這兩個(gè)您更推薦哪個(gè)方向呢？
- ?QA P2 - 01:48?
- 6、請(qǐng)問(wèn)老師平時(shí)要在亞馬遜工作，業(yè)余還要講課，還要帶娃，請(qǐng)問(wèn)是如何進(jìn)行時(shí)間管理的？
- ?QA P2 - 02:13?
- 7、老師能說(shuō)下最近 nature 上的 swarmlearning 嗎？您覺(jué)得這個(gè)計(jì)算范式前景怎么樣？
- ?QA P2 - 03:15?
- 8、請(qǐng)問(wèn)想要把會(huì)用的代碼改得更好，是不是最好明白數(shù)學(xué)原理？
- ?QA P2 - 03:24?
- 9、老師您好，機(jī)器學(xué)習(xí)現(xiàn)在大多數(shù)都是應(yīng)用在圖像上，圖像上也有很明顯的特征，但是怎么應(yīng)用到數(shù)據(jù)庫(kù)數(shù)據(jù)中呢？數(shù)據(jù)庫(kù)數(shù)據(jù)特征怎么提取放在機(jī)器學(xué)習(xí)中？
- ?QA P2 - 03:55?
----end----
其他參考
1、《動(dòng)手學(xué)深度學(xué)習(xí)》，課程 PPT ，https://courses.d2l.ai/zh-v2/assets/pdfs/part-4_3.pdf
