自然語言處理實(shí)戰(zhàn):預(yù)訓(xùn)練模型應(yīng)用及其產(chǎn)品化
內(nèi)容簡介
本書分為三部分。第1部分聚焦于自然語言處理的高層次概述，包括自然語言處理的歷史、該領(lǐng)域流行的應(yīng)用，以及如何使用預(yù)訓(xùn)練模型來執(zhí)行遷移學(xué)習(xí)和快速解決現(xiàn)實(shí)世界中的問題。第二部分將深入研究自然語言處理的底層細(xì)節(jié)，包括預(yù)處理文本、分詞和向量嵌入。然后探討當(dāng)今自然語言處理中有效的建模方法，如Transformer、注意力機(jī)制、普通循環(huán)神經(jīng)網(wǎng)絡(luò)、長短期記憶和門控循環(huán)單元。第三部分將討論應(yīng)用自然語言處理很重要的方面——如何產(chǎn)品化已開發(fā)的模型，以便這些模型為組織提供看得見、摸得著的價(jià)值。我們將討論當(dāng)今可用工具的前景，分享對它們的看法。
目錄
前言1
第一部分 浮光掠影
第1章 自然語言處理介紹11
1.1 什么是自然語言處理12
1.2 基本的自然語言處理19
1.3 總結(jié)38
第2章 Transformer和遷移學(xué)習(xí)40
2.1 利用fast.ai庫進(jìn)行訓(xùn)練41
2.2 利用Hugging Face系列庫進(jìn)行推理54
2.3 總結(jié)60
第3章 NLP任務(wù)和應(yīng)用程序61
3.1 預(yù)訓(xùn)練語言模型61
3.2 遷移學(xué)習(xí)和微調(diào)62
3.3 NLP任務(wù)63
3.4 自然語言數(shù)據(jù)集65
3.5 NLP任務(wù)1：命名實(shí)體識別70
3.6 NLP任務(wù)2：文本分類84
3.7 總結(jié)92
第二部分 綱舉目張
第4章 分詞97
4.1 一個(gè)極簡的分詞器98
4.2 Hugging Face的分詞器100
4.3 搭建自己的分詞器103
4.4 總結(jié)106
第5章 向量嵌入：計(jì)算機(jī)如何“理解”單詞107
5.1 理解文本與讀取文本107
5.2 詞向量111
5.3 詞向量嵌入實(shí)踐116
5.4 非詞條的嵌入122
5.5 總結(jié)126
第6章 循環(huán)神經(jīng)網(wǎng)絡(luò)和其他序列模型128
6.1 循環(huán)神經(jīng)網(wǎng)絡(luò)130
6.2 長短期記憶網(wǎng)絡(luò)142
6.3 門控循環(huán)單元143
6.4 總結(jié)144
第7章 Transformer146
7.1 從頭開始構(gòu)建Transformer146
7.2 注意力機(jī)制148
7.3 計(jì)算機(jī)視覺Transformer161
7.4 總結(jié)162
第8章 BERT方法論：博采眾長創(chuàng)新篇164
8.1 ImageNet164
8.2 通往NLP“ImageNet時(shí)刻”之路165
8.3 預(yù)訓(xùn)練的詞向量嵌入166
8.4 序列模型170
8.5 循環(huán)神經(jīng)網(wǎng)絡(luò)172
8.6 注意力機(jī)制176
8.7 Transformer架構(gòu)178
8.8 NLP的“ImageNet時(shí)刻”181
8.9 總結(jié)184
第三部分 經(jīng)世致用
第9章 工欲善其事，必先利其器187
9.1 深度學(xué)習(xí)框架188
9.2 可視化與實(shí)驗(yàn)跟蹤193
9.3 AutoML196
9.4 機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施和計(jì)算198
9.5 邊緣/終端側(cè)推理201
9.6 云推理和機(jī)器學(xué)習(xí)即服務(wù)203
9.7 持續(xù)集成和持續(xù)交付205
9.8 總結(jié)205
第10章 可視化207
10.1 我們的第一個(gè)Streamlit應(yīng)用程序208
10.2 總結(jié)220
第11章 產(chǎn)品化222
11.1 數(shù)據(jù)科學(xué)家、工程師和分析師222
11.2 Databricks：你的統(tǒng)一數(shù)據(jù)分析平臺224
11.3 Databricks的安裝228
11.4 機(jī)器學(xué)習(xí)作業(yè)243
11.5 MLflow249
11.6 Databricks的替代品260
11.7 總結(jié)261
第12章 歸納提升263
12.1 最后十課263
12.2 最后的話268
附錄A 大規(guī)模訓(xùn)練269
附錄B CUDA273
PDF資源
鏈接：https://pan.baidu.com/s/1m4vX5ubEJDt4mvEFBxQFAA?pwd=vtun
