鏈接：https://pan.baidu.com/s/1dayroSVEY-PLAodFN4UKCw?pwd=17kb?

提取碼：17kb

內(nèi)容介紹

本書是《動(dòng)手學(xué)深度學(xué)習(xí)》的重磅升級(jí)版本，選用PyTorch深度學(xué)習(xí)框架，旨在向讀者交付更為便捷的有關(guān)深度學(xué)習(xí)的交互式學(xué)習(xí)體驗(yàn)。 本書重新修訂《動(dòng)手學(xué)深度學(xué)習(xí)》的所有內(nèi)容，并針對(duì)技術(shù)的發(fā)展，新增注意力機(jī)制、預(yù)訓(xùn)練等內(nèi)容。本書包含15章，*部分介紹深度學(xué)習(xí)的基礎(chǔ)知識(shí)和預(yù)備知識(shí)，并由線性模型引出基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)——多層感知機(jī)；*部分闡述深度學(xué)習(xí)計(jì)算的關(guān)鍵組件、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制等大多數(shù)現(xiàn)代深度學(xué)習(xí)應(yīng)用背后的基本工具；第三部分討論深度學(xué)習(xí)中常用的優(yōu)化算法和影響深度學(xué)習(xí)計(jì)算性能的重要因素，并分別列舉深度學(xué)習(xí)在計(jì)算機(jī)視覺和自然語言處理中的重要應(yīng)用。 本書同時(shí)覆蓋深度學(xué)習(xí)的方法和實(shí)踐，主要面向在校大學(xué)生、技術(shù)人員和研究人員。閱讀本書需要讀者了解基本的Python編程知識(shí)及預(yù)備知識(shí)中描述的線性代數(shù)、微分和概率等基礎(chǔ)知識(shí)。

目錄

對(duì)本書的贊譽(yù)

前言

譯者簡介

學(xué)習(xí)環(huán)境配置

資源與支持

主要符號(hào)表

第 1章引言1

1.1日常生活中的機(jī)器學(xué)習(xí)2

1.2機(jī)器學(xué)習(xí)中的關(guān)鍵組件3

1.2.1數(shù)據(jù)3

1.2.2模型4

1.2.3目標(biāo)函數(shù)4

1.2.4優(yōu)化算法5

1.3各種機(jī)器學(xué)習(xí)問題5

1.3.1監(jiān)督學(xué)習(xí)5

1.3.2無監(jiān)督學(xué)習(xí)11

1.3.3與環(huán)境互動(dòng)11

1.3.4強(qiáng)化學(xué)習(xí)12

1.4起源13

1.5深度學(xué)習(xí)的發(fā)展15

1.6深度學(xué)習(xí)的成功案例16

1.7特點(diǎn)17

第 2章預(yù)備知識(shí)20

2.1數(shù)據(jù)操作20

2.1.1入門21

2.1.2運(yùn)算符22

2.1.3廣播機(jī)制23

2.1.4索引和切片24

2.1.5節(jié)省內(nèi)存24

2.1.6轉(zhuǎn)換為其他Python對(duì)象25

2.2數(shù)據(jù)預(yù)處理26

2.2.1讀取數(shù)據(jù)集26

2.2.2處理缺失值26

2.2.3轉(zhuǎn)換為張量格式27

2.3線性代數(shù)27

2.3.1標(biāo)量28

2.3.2向量28

2.3.3矩陣29

2.3.4張量30

2.3.5張量算法的基本性質(zhì)31

2.3.6降維32

2.3.7點(diǎn)積33

2.3.8矩陣-向量積33

2.3.9矩陣-矩陣乘法34

2.3.10范數(shù)35

2.3.11關(guān)于線性代數(shù)的更多信息36

2.4微積分37

2.4.1導(dǎo)數(shù)和微分37

2.4.2偏導(dǎo)數(shù)40

2.4.3梯度41

2.4.4鏈?zhǔn)椒▌t41

2.5自動(dòng)微分42

2.5.1一個(gè)簡單的例子42

2.5.2非標(biāo)量變量的反向傳播43

2.5.3分離計(jì)算43

2.5.4Python控制流的梯度計(jì)算44

2.6概率44

2.6.1基本概率論45

2.6.2處理多個(gè)隨機(jī)變量48

2.6.3期望和方差50

2.7查閱文檔51

2.7.1查找模塊中的所有函數(shù)和類51

2.7.2查找特定函數(shù)和類的用法52

第3章線性神經(jīng)網(wǎng)絡(luò)54

3.1線性回歸54

3.1.1線性回歸的基本元素54

3.1.2向量化加速57

3.1.3正態(tài)分布與平方損失58

3.1.4從線性回歸到深度網(wǎng)絡(luò)60

3.2線性回歸的從零開始實(shí)現(xiàn)61

3.2.1生成數(shù)據(jù)集62

3.2.2讀取數(shù)據(jù)集63

3.2.3初始化模型參數(shù)63

3.2.4定義模型64

3.2.5定義損失函數(shù)64

3.2.6定義優(yōu)化算法64

3.2.7訓(xùn)練64

3.3線性回歸的簡潔實(shí)現(xiàn)66

3.3.1生成數(shù)據(jù)集66

3.3.2讀取數(shù)據(jù)集66

3.3.3定義模型67

3.3.4初始化模型參數(shù)67

3.3.5定義損失函數(shù)68

3.3.6定義優(yōu)化算法68

3.3.7訓(xùn)練68

3.4softmax回歸69

3.4.1分類問題69

3.4.2網(wǎng)絡(luò)架構(gòu)70

3.4.3全連接層的參數(shù)開銷70

3.4.4softmax運(yùn)算71

3.4.5小批量樣本的向量化71

3.4.6損失函數(shù)72

3.4.7信息論基礎(chǔ)73

3.4.8模型預(yù)測和評(píng)估74

3.5圖像分類數(shù)據(jù)集74

3.5.1讀取數(shù)據(jù)集75

3.5.2讀取小批量76

3.5.3整合所有組件76

3.6softmax回歸的從零開始實(shí)現(xiàn)77

3.6.1初始化模型參數(shù)77

3.6.2定義softmax操作78

3.6.3定義模型78

3.6.4定義損失函數(shù)79

3.6.5分類精度79

3.6.6訓(xùn)練80

3.6.7預(yù)測82

3.7softmax回歸的簡潔實(shí)現(xiàn)83

3.7.1初始化模型參數(shù)83

3.7.2重新審視softmax的實(shí)現(xiàn)84

3.7.3優(yōu)化算法84

3.7.4訓(xùn)練84

第4章多層感知機(jī)86

4.1多層感知機(jī)86

4.1.1隱藏層86

4.1.2*函數(shù)88

4.2多層感知機(jī)的從零開始實(shí)現(xiàn)92

4.2.1初始化模型參數(shù)92

4.2.2*函數(shù)93

4.2.3模型93

4.2.4損失函數(shù)93

4.2.5訓(xùn)練93

4.3多層感知機(jī)的簡潔實(shí)現(xiàn)94

模型94

4.4模型選擇、欠擬合和過擬合95

4.4.1訓(xùn)練誤差和泛化誤差96

4.4.2模型選擇97

4.4.3欠擬合還是過擬合98

4.4.4多項(xiàng)式回歸99

4.5權(quán)重衰減103

4.5.1范數(shù)與權(quán)重衰減103

4.5.2高維線性回歸104

4.5.3從零開始實(shí)現(xiàn)104

4.5.4簡潔實(shí)現(xiàn)106

4.6暫退法108

4.6.1重新審視過擬合108

4.6.2擾動(dòng)的穩(wěn)健性108

4.6.3實(shí)踐中的暫退法109

4.6.4從零開始實(shí)現(xiàn)110

4.6.5簡潔實(shí)現(xiàn)111

4.7前向傳播、反向傳播和計(jì)算圖112

4.7.1前向傳播113

4.7.2前向傳播計(jì)算圖113

4.7.3反向傳播114

4.7.4訓(xùn)練神經(jīng)網(wǎng)絡(luò)115

4.8數(shù)值穩(wěn)定性和模型初始化115

4.8.1梯度消失和梯度爆炸116

4.8.2參數(shù)初始化117

4.9環(huán)境和分布偏移119

4.9.1分布偏移的類型120

4.9.2分布偏移示例121

4.9.3分布偏移糾正122

4.9.4學(xué)習(xí)問題的分類法125

4.9.5機(jī)器學(xué)習(xí)中的公平、責(zé)任和透明度126

4.10實(shí)戰(zhàn)Kaggle比賽：預(yù)測房價(jià)127

4.10.1下載和緩存數(shù)據(jù)集127

4.10.2Kaggle128

4.10.3訪問和讀取數(shù)據(jù)集129

4.10.4數(shù)據(jù)預(yù)處理130

4.10.5訓(xùn)練131

4.10.6K折交叉驗(yàn)證132

4.10.7模型選擇133

4.10.8提交Kaggle預(yù)測133

第5章深度學(xué)習(xí)計(jì)算136

5.1層和塊136

5.1.1自定義塊138

5.1.2順序塊139

5.1.3在前向傳播函數(shù)中執(zhí)行代碼139

5.1.4效率140

5.2參數(shù)管理141

5.2.1參數(shù)訪問141

5.2.2參數(shù)初始化143

5.2.3參數(shù)綁定145

5.3延后初始化145

實(shí)例化網(wǎng)絡(luò)146

5.4自定義層146

5.4.1不帶參數(shù)的層146

5.4.2帶參數(shù)的層147

5.5讀寫文件148

5.5.1加載和保存張量148

5.5.2加載和保存模型參數(shù)149

5.6GPU150

5.6.1計(jì)算設(shè)備151

5.6.2張量與GPU152

5.6.3神經(jīng)網(wǎng)絡(luò)與GPU153

第6章卷積神經(jīng)網(wǎng)絡(luò)155

6.1從全連接層到卷積155

6.1.1不變性156

6.1.2多層感知機(jī)的限制157

6.1.3卷積158

6.1.4“沃爾多在哪里”回顧158

6.2圖像卷積159

6.2.1互相關(guān)運(yùn)算159

6.2.2卷積層161

6.2.3圖像中目標(biāo)的邊緣檢測161

6.2.4學(xué)習(xí)卷積核162

6.2.5互相關(guān)和卷積162

6.2.6特征映射和感受野163

6.3填充和步幅164

6.3.1填充164

6.3.2步幅165

6.4多輸入多輸出通道166

6.4.1多輸入通道167

6.4.2多輸出通道167

6.4.31×1卷積層168

6.5匯聚層170

6.5.1*匯聚和平均匯聚170

6.5.2填充和步幅171

6.5.3多個(gè)通道172

6.6卷積神經(jīng)網(wǎng)絡(luò)（LeNet）173

6.6.1LeNet173

6.6.2模型訓(xùn)練175

第7章現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)178

7.1深度卷積神經(jīng)網(wǎng)絡(luò)（AlexNet）178

7.1.1學(xué)習(xí)表征179

7.1.2AlexNet181

7.1.3讀取數(shù)據(jù)集183

7.1.4訓(xùn)練AlexNet183

7.2使用塊的網(wǎng)絡(luò)（VGG）184

7.2.1VGG塊184

7.2.2VGG網(wǎng)絡(luò)185

7.2.3訓(xùn)練模型186

7.3網(wǎng)絡(luò)中的網(wǎng)絡(luò)（NiN）187

7.3.1NiN塊187

7.3.2NiN模型188

7.3.3訓(xùn)練模型189

7.4含并行連接的網(wǎng)絡(luò)（GoogLeNet）190

7.4.1Inception塊190

7.4.2GoogLeNet模型191

7.4.3訓(xùn)練模型193

7.5批量規(guī)范化194

7.5.1訓(xùn)練深層網(wǎng)絡(luò)194

7.5.2批量規(guī)范化層195

7.5.3從零實(shí)現(xiàn)196

7.5.4使用批量規(guī)范化層的 LeNet197

7.5.5簡明實(shí)現(xiàn)198

7.5.6爭議198

7.6殘差網(wǎng)絡(luò)（ResNet）200

7.6.1函數(shù)類200

7.6.2殘差塊201

7.6.3ResNet模型202

7.6.4訓(xùn)練模型204

7.7稠密連接網(wǎng)絡(luò)（DenseNet）205

7.7.1從ResNet到DenseNet205

7.7.2稠密塊體206

7.7.3過渡層206

7.7.4DenseNet模型207

7.7.5訓(xùn)練模型207

第8章循環(huán)神經(jīng)網(wǎng)絡(luò)209

8.1序列模型209

8.1.1統(tǒng)計(jì)工具210

8.1.2訓(xùn)練212

8.1.3預(yù)測213

8.2文本預(yù)處理216

8.2.1讀取數(shù)據(jù)集216

8.2.2詞元化217

8.2.3詞表217

8.2.4整合所有功能219

8.3語言模型和數(shù)據(jù)集219

8.3.1學(xué)習(xí)語言模型220

8.3.2馬爾可夫模型與n元語法221

8.3.3自然語言統(tǒng)計(jì)221

8.3.4讀取長序列數(shù)據(jù)223

8.4循環(huán)神經(jīng)網(wǎng)絡(luò)226

8.4.1無隱狀態(tài)的神經(jīng)網(wǎng)絡(luò)227

8.4.2有隱狀態(tài)的循環(huán)神經(jīng)網(wǎng)絡(luò)227

8.4.3基于循環(huán)神經(jīng)網(wǎng)絡(luò)的字符級(jí)語言模型228

8.4.4困惑度229

8.5循環(huán)神經(jīng)網(wǎng)絡(luò)的從零開始實(shí)現(xiàn)230

8.5.1獨(dú)熱編碼231

8.5.2初始化模型參數(shù)231

8.5.3循環(huán)神經(jīng)網(wǎng)絡(luò)模型232

8.5.4預(yù)測232

8.5.5梯度截?cái)?33

8.5.6訓(xùn)練234

8.6循環(huán)神經(jīng)網(wǎng)絡(luò)的簡潔實(shí)現(xiàn)237

8.6.1定義模型237

8.6.2訓(xùn)練與預(yù)測238

8.7通過時(shí)間反向傳播239

8.7.1循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度分析239

8.7.2通過時(shí)間反向傳播的細(xì)節(jié)241

第9章現(xiàn)代循環(huán)神經(jīng)網(wǎng)絡(luò)244

9.1門控循環(huán)單元（GRU）244

9.1.1門控隱狀態(tài)245

9.1.2從零開始實(shí)現(xiàn)247

9.1.3簡潔實(shí)現(xiàn)248

9.2長短期記憶網(wǎng)絡(luò)（LSTM）249

9.2.1門控記憶元249

9.2.2從零開始實(shí)現(xiàn)252

9.2.3簡潔實(shí)現(xiàn)253

9.3深度循環(huán)神經(jīng)網(wǎng)絡(luò)254

9.3.1函數(shù)依賴關(guān)系255

9.3.2簡潔實(shí)現(xiàn)255

9.3.3訓(xùn)練與預(yù)測255

9.4雙向循環(huán)神經(jīng)網(wǎng)絡(luò)256

9.4.1隱馬爾可夫模型中的動(dòng)態(tài)規(guī)劃256

9.4.2雙向模型258

9.4.3雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的錯(cuò)誤應(yīng)用259

9.5機(jī)器翻譯與數(shù)據(jù)集260

9.5.1下載和預(yù)處理數(shù)據(jù)集261

9.5.2詞元化262

9.5.3詞表263

9.5.4加載數(shù)據(jù)集263

9.5.5訓(xùn)練模型264

9.6編碼器-解碼器架構(gòu)265

9.6.1編碼器265

9.6.2解碼器266

9.6.3合并編碼器和解碼器266

9.7序列到序列學(xué)習(xí)（seq2seq）267

9.7.1編碼器268

9.7.2解碼器269

9.7.3損失函數(shù)270

9.7.4訓(xùn)練271

9.7.5預(yù)測272

9.7.6預(yù)測序列的評(píng)估273

9.8束搜索275

9.8.1貪心搜索275

9.8.2窮舉搜索276

9.8.3束搜索276

第 10章注意力機(jī)制278

10.1注意力提示278

10.1.1生物學(xué)中的注意力提示279

10.1.2查詢、鍵和值280

10.1.3注意力的可視化280

10.2注意力匯聚：Nadaraya-Watson 核回歸281

10.2.1生成數(shù)據(jù)集282

10.2.2平均匯聚282

10.2.3非參數(shù)注意力匯聚283

10.2.4帶參數(shù)注意力匯聚284

10.3注意力評(píng)分函數(shù)287

10.3.1掩蔽softmax操作288

10.3.2加性注意力289

10.3.3縮放點(diǎn)積注意力290

10.4Bahdanau 注意力291

10.4.1模型291

10.4.2定義注意力解碼器292

10.4.3訓(xùn)練293

10.5多頭注意力295

10.5.1模型295

10.5.2實(shí)現(xiàn)296

10.6自注意力和位置編碼298

10.6.1自注意力298

10.6.2比較卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和自注意力298

10.6.3位置編碼299

10.7Transformer302

10.7.1模型302

10.7.2基于位置的前饋網(wǎng)絡(luò)303

10.7.3殘差連接和層規(guī)范化304

10.7.4編碼器304

10.7.5解碼器305

10.7.6訓(xùn)練307

第 11章優(yōu)化算法311

11.1優(yōu)化和深度學(xué)習(xí)311

11.1.1優(yōu)化的目標(biāo)311

11.1.2深度學(xué)習(xí)中的優(yōu)化挑戰(zhàn)312

11.2凸性315

11.2.1定義315

11.2.2性質(zhì)317

11.2.3約束319

11.3梯度下降322

11.3.1一維梯度下降322

11.3.2多元梯度下降324

11.3.3自適應(yīng)方法326

11.4隨機(jī)梯度下降329

11.4.1隨機(jī)梯度更新329

11.4.2動(dòng)態(tài)學(xué)習(xí)率331

11.4.3凸目標(biāo)的收斂性分析332

11.4.4隨機(jī)梯度和有限樣本333

11.5小批量隨機(jī)梯度下降334

11.5.1向量化和緩存335

11.5.2小批量336

11.5.3讀取數(shù)據(jù)集337

11.5.4從零開始實(shí)現(xiàn)337

11.5.5簡潔實(shí)現(xiàn)340

11.6動(dòng)量法341

11.6.1基礎(chǔ)341

11.6.2實(shí)際實(shí)驗(yàn)345

11.6.3理論分析346

11.7AdaGrad算法348

11.7.1稀疏特征和學(xué)習(xí)率348

11.7.2預(yù)處理349

11.7.3算法350

11.7.4從零開始實(shí)現(xiàn)351

11.7.5簡潔實(shí)現(xiàn)352

11.8RMSProp算法353

11.8.1算法353

11.8.2從零開始實(shí)現(xiàn)354

11.8.3簡潔實(shí)現(xiàn)355

11.9Adadelta算法356

11.9.1算法356

11.9.2實(shí)現(xiàn)356

11.10Adam算法358

11.10.1算法358

11.10.2實(shí)現(xiàn)359

11.10.3Yogi360

11.11學(xué)習(xí)率調(diào)度器361

11.11.1一個(gè)簡單的問題361

11.11.2學(xué)習(xí)率調(diào)度器363

11.11.3策略364

第 12章計(jì)算性能369

12.1編譯器和解釋器369

12.1.1符號(hào)式編程370

12.1.2混合式編程371

12.1.3Sequential的混合式編程371

12.2異步計(jì)算372

通過后端異步處理373

12.3自動(dòng)并行375

12.3.1基于GPU的并行計(jì)算375

12.3.2并行計(jì)算與通信376

12.4硬件378

12.4.1計(jì)算機(jī)378

12.4.2內(nèi)存379

12.4.3存儲(chǔ)器380

12.4.4CPU381

12.4.5GPU和其他加速卡383

12.4.6網(wǎng)絡(luò)和總線385

12.4.7更多延遲386

12.5多GPU訓(xùn)練388

12.5.1問題拆分388

12.5.2數(shù)據(jù)并行性390

12.5.3簡單網(wǎng)絡(luò)390

12.5.4數(shù)據(jù)同步391

12.5.5數(shù)據(jù)分發(fā)392

12.5.6訓(xùn)練392

12.6多GPU的簡潔實(shí)現(xiàn)394

12.6.1簡單網(wǎng)絡(luò)394

12.6.2網(wǎng)絡(luò)初始化395

12.6.3訓(xùn)練395

12.7參數(shù)服務(wù)器397

12.7.1數(shù)據(jù)并行訓(xùn)練397

12.7.2環(huán)同步（ring

synchronization）399

12.7.3多機(jī)訓(xùn)練400

12.7.4鍵-值存儲(chǔ)402

第 13章計(jì)算機(jī)視覺404

13.1圖像增廣404

13.1.1常用的圖像增廣方法404

13.1.2使用圖像增廣進(jìn)行訓(xùn)練408

13.2微調(diào)410

13.2.1步驟410

13.2.2熱狗識(shí)別411

13.3目標(biāo)檢測和邊界框415

邊界框415

13.4錨框417

13.4.1生成多個(gè)錨框417

13.4.2交并比（IoU）419

13.4.3在訓(xùn)練數(shù)據(jù)中標(biāo)注錨框420

13.4.4使用非極大值抑制預(yù)測

邊界框424

13.5多尺度目標(biāo)檢測427

13.5.1多尺度錨框427

13.5.2多尺度檢測429

13.6目標(biāo)檢測數(shù)據(jù)集430

13.6.1下載數(shù)據(jù)集430

13.6.2讀取數(shù)據(jù)集431

13.6.3演示432

13.7單發(fā)多框檢測（SSD）433

13.7.1模型433

13.7.2訓(xùn)練模型437

13.7.3預(yù)測目標(biāo)439

13.8區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（R-CNN）系列441

13.8.1R-CNN441

13.8.2Fast R-CNN442

13.8.3Faster R-CNN443

13.8.4Mask R-CNN444

13.9語義分割和數(shù)據(jù)集445

13.9.1圖像分割和實(shí)例分割445

13.9.2Pascal VOC2012 語義分割數(shù)據(jù)集446

13.10轉(zhuǎn)置卷積450

13.10.1基本操作450

13.10.2填充、步幅和多通道451

13.10.3與矩陣變換的聯(lián)系452

13.11全卷積網(wǎng)絡(luò)453

13.11.1構(gòu)建模型454

13.11.2初始化轉(zhuǎn)置卷積層455

13.11.3讀取數(shù)據(jù)集456

13.11.4訓(xùn)練456

13.11.5預(yù)測457

13.12風(fēng)格遷移458

13.12.1方法459

13.12.2閱讀內(nèi)容和風(fēng)格圖像460

13.12.3預(yù)處理和后處理460

13.12.4提取圖像特征461

13.12.5定義損失函數(shù)461

13.12.6初始化圖像463

13.12.7訓(xùn)練模型463

13.13實(shí)戰(zhàn) Kaggle競賽：圖像分類（CIFAR-10）464

13.13.1獲取并組織數(shù)據(jù)集465

13.13.2圖像增廣 467

13.13.3讀取數(shù)據(jù)集468

13.13.4定義模型468

13.13.5定義訓(xùn)練函數(shù)468

13.13.6訓(xùn)練和驗(yàn)證模型469

13.13.7在Kaggle上對(duì)測試集進(jìn)行分類并提交結(jié)果469

13.14實(shí)戰(zhàn)Kaggle競賽：狗的品種識(shí)別（ImageNet Dogs）470

13.14.1獲取和整理數(shù)據(jù)集471

13.14.2圖像增廣472

13.14.3讀取數(shù)據(jù)集472

13.14.4微調(diào)預(yù)訓(xùn)練模型473

13.14.5定義訓(xùn)練函數(shù)473

13.14.6訓(xùn)練和驗(yàn)證模型474

13.14.7對(duì)測試集分類并在Kaggle提交結(jié)果475

第 14章自然語言處理：預(yù)訓(xùn)練476

14.1詞嵌入（word2vec）477

14.1.1為何獨(dú)熱向量是一個(gè)糟糕的選擇477

14.1.2自監(jiān)督的word2vec477

14.1.3跳元模型477

14.1.4連續(xù)詞袋模型478

14.2近似訓(xùn)練480

14.2.1負(fù)采樣480

14.2.2層序softmax481

14.3用于預(yù)訓(xùn)練詞嵌入的數(shù)據(jù)集482

14.3.1讀取數(shù)據(jù)集482

14.3.2下采樣483

14.3.3中心詞和上下文詞的提取484

14.3.4負(fù)采樣485

14.3.5小批量加載訓(xùn)練實(shí)例486

14.3.6整合代碼487

14.4預(yù)訓(xùn)練word2vec488

14.4.1跳元模型488

14.4.2訓(xùn)練489

14.4.3應(yīng)用詞嵌入491

14.5全局向量的詞嵌入（GloVe）491

14.5.1帶全局語料庫統(tǒng)計(jì)的跳元模型492

14.5.2GloVe模型492

14.5.3從共現(xiàn)概率比值理解GloVe模型493

14.6子詞嵌入494

14.6.1fastText模型494

14.6.2字節(jié)對(duì)編碼495

14.7詞的相似度和類比任務(wù)497

14.7.1加載預(yù)訓(xùn)練詞向量497

14.7.2應(yīng)用預(yù)訓(xùn)練詞向量499

14.8來自Transformer的雙向編碼器表示（BERT）500

14.8.1從上下文無關(guān)到上下文敏感500

14.8.2從特定于任務(wù)到不可知任務(wù)501

14.8.3BERT：將ELMo與GPT結(jié)合起來501

14.8.4輸入表示502

14.8.5預(yù)訓(xùn)練任務(wù)504

14.8.6整合代碼506

14.9用于預(yù)訓(xùn)練BERT的數(shù)據(jù)集507

14.9.1為預(yù)訓(xùn)練任務(wù)定義輔助函數(shù)508

14.9.2將文本轉(zhuǎn)換為預(yù)訓(xùn)練數(shù)據(jù)集509

14.10預(yù)訓(xùn)練BERT512

14.10.1預(yù)訓(xùn)練BERT512

14.10.2用BERT表示文本514

第 15章自然語言處理：應(yīng)用515

15.1情感分析及數(shù)據(jù)集516

15.1.1讀取數(shù)據(jù)集516

15.1.2預(yù)處理數(shù)據(jù)集517

15.1.3創(chuàng)建數(shù)據(jù)迭代器517

15.1.4整合代碼518

15.2情感分析：使用循環(huán)神經(jīng)網(wǎng)絡(luò)518

15.2.1使用循環(huán)神經(jīng)網(wǎng)絡(luò)表示單個(gè)文本519

15.2.2加載預(yù)訓(xùn)練的詞向量520

15.2.3訓(xùn)練和評(píng)估模型520

15.3情感分析：使用卷積神經(jīng)網(wǎng)絡(luò)521

15.3.1一維卷積522

15.3.2*時(shí)間匯聚層523

15.3.3textCNN模型523

15.4自然語言推斷與數(shù)據(jù)集526

15.4.1自然語言推斷526

15.4.2斯坦福自然語言推斷（SNLI）數(shù)據(jù)集527

15.5自然語言推斷：使用注意力530

15.5.1模型530

15.5.2訓(xùn)練和評(píng)估模型533

15.6針對(duì)序列級(jí)和詞元級(jí)應(yīng)用微調(diào)BERT535

15.6.1單文本分類535

15.6.2文本對(duì)分類或回歸536

15.6.3文本標(biāo)注537

15.6.4問答537

15.7自然語言推斷：微調(diào)BERT538

15.7.1加載預(yù)訓(xùn)練的BERT539

15.7.2微調(diào)BERT的數(shù)據(jù)集540

15.7.3微調(diào)BERT541

附錄A深度學(xué)習(xí)工具543

A.1使用Jupyter記事本543

A.1.1在本地編輯和運(yùn)行代碼543

A.1.2*選項(xiàng)545

A.2使用Amazon SageMaker546

A.2.1注冊547

A.2.2創(chuàng)建SageMaker實(shí)例547

A.2.3運(yùn)行和停止實(shí)例548

A.2.4更新Notebook548

A.3使用Amazon EC2實(shí)例549

A.3.1創(chuàng)建和運(yùn)行EC2實(shí)例549

A.3.2安裝CUDA553

A.3.3安裝庫以運(yùn)行代碼553

A.3.4遠(yuǎn)程運(yùn)行Jupyter記事本554

A.3.5關(guān)閉未使用的實(shí)例554

A.4選擇服務(wù)器和GPU555

A.4.1選擇服務(wù)器555

A.4.2選擇GPU556

A.5為本書做貢獻(xiàn)558

A.5.1提交微小更改558

A.5.2大量文本或代碼修改559

A.5.3提交主要更改559

參考文獻(xiàn)562

作者介紹

作者簡介： 阿斯頓·張（Aston Zhang），Amazon資歷深厚的研究員，美國伊利諾伊大學(xué)香檳分校計(jì)算機(jī)科學(xué)博士，統(tǒng)計(jì)學(xué)和計(jì)算機(jī)科學(xué)雙碩士。他專注于機(jī)器學(xué)習(xí)和自然語言處理的研究，榮獲深度學(xué)習(xí)國際高水平學(xué)術(shù)會(huì)議ICLR杰出論文獎(jiǎng)、ACM UbiComp杰出論文獎(jiǎng)以及ACM SenSys高水平論文獎(jiǎng)提名。他擔(dān)任過EMNLP領(lǐng)域主席和AAAI程序委員。 [美]扎卡里·C. 立頓（Zachary C. Lipton），美國卡內(nèi)基梅隆大學(xué)機(jī)器學(xué)習(xí)和運(yùn)籌學(xué)助理教授，并在海因茨公共政策學(xué)院以及軟件和社會(huì)系統(tǒng)系擔(dān)任禮節(jié)性任命。他領(lǐng)導(dǎo)著近似正確機(jī)器智能（ACMI）實(shí)驗(yàn)室，研究涉及核心機(jī)器學(xué)習(xí)方法、其社會(huì)影響以及包括臨床醫(yī)學(xué)和自然語言處理在內(nèi)的各種應(yīng)用領(lǐng)域。他目前的研究重點(diǎn)包括處理各種因果結(jié)構(gòu)下分布變化的穩(wěn)健和自適應(yīng)算法、*越預(yù)測為決策提供信息（包括應(yīng)對(duì)已部署模型的戰(zhàn)略響應(yīng)）、醫(yī)學(xué)診斷和預(yù)后預(yù)測、算法公平性和可解釋性的基礎(chǔ)。他是“Approximately Correct”博客的創(chuàng)立人，也是諷刺性漫畫“Superheroes of Deep Learning”的合著者。 李沐（Mu Li），Amazon資歷深厚的領(lǐng)銜研究員（Senior Principal Scientist），美國加利福尼亞大學(xué)伯克利分校、斯坦福大學(xué)客座助理教授，美國卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)系博士。他曾任機(jī)器學(xué)習(xí)創(chuàng)業(yè)公司Marianas Labs的CTO和百度深度學(xué)習(xí)研究院的主任研發(fā)架構(gòu)師。他專注于機(jī)器學(xué)習(xí)系統(tǒng)和機(jī)器學(xué)習(xí)算法的研究。他在理論與應(yīng)用、機(jī)器學(xué)習(xí)與操作系統(tǒng)等多個(gè)領(lǐng)域的高水平學(xué)術(shù)會(huì)議上發(fā)表過論文，被引用上萬次。 [德]亞歷山大·J. 斯莫拉(Alexander J. Smola)，Amazon副總裁/杰出研究員，德國柏林工業(yè)大學(xué)計(jì)算機(jī)科學(xué)博士。他曾在澳大利亞國立大學(xué)、美國加利福尼亞大學(xué)伯克利分校和卡內(nèi)基梅隆大學(xué)任教。他發(fā)表過*過300篇學(xué)術(shù)論文，并著有5本書，其論文及書被引用*過15萬次。他的研究興趣包括深度學(xué)習(xí)、貝葉斯非參數(shù)、核方法、統(tǒng)計(jì)建模和可擴(kuò)展算法。 譯者簡介： 何孝霆（Xiaoting He），Amazon應(yīng)用研究員，中國科學(xué)院軟件工程碩士。他專注于對(duì)深度學(xué)習(xí)的研究，特別是自然語言處理的應(yīng)用（包括語言模型、AIOps、OCR），相關(guān)工作落地于眾多企業(yè)。他擔(dān)任過ACL、EMNLP、NAACL、EACL等學(xué)術(shù)會(huì)議的程序委員或?qū)徃迦恕?瑞潮兒·胡（Rachel Hu），Amazon應(yīng)用研究員，美國加利福尼亞大學(xué)伯克利分校統(tǒng)計(jì)學(xué)碩士，加拿大滑鐵盧大學(xué)數(shù)學(xué)學(xué)士。她致力于將機(jī)器學(xué)習(xí)應(yīng)用于現(xiàn)實(shí)世界的產(chǎn)品。她也是Amazon人工智能團(tuán)隊(duì)的講師，教授自然語言處理、計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)商業(yè)應(yīng)用等課程。她已向累計(jì)1000余名Amazon工程師教授機(jī)器學(xué)習(xí)，其公開課程視頻在YouTube和嗶哩嗶哩上屢獲盛贊。