[吃瓜筆記](méi)第1章&第2章
第1章 緒論
1.1 引言
如圖1.1
機(jī)器學(xué)習(xí)致力于研究如何通過(guò)計(jì)算的手段，利用經(jīng)驗(yàn)來(lái)改善系統(tǒng)自身的性能。
可以說(shuō)機(jī)器學(xué)習(xí)是研究“學(xué)習(xí)算法”的學(xué)問(wèn)。
1.2 基本術(shù)語(yǔ)
數(shù)據(jù)集? ?data set
示例/樣本? ?instance/sample
屬性/特征? ?attribute/feature
屬性值? ?attribute value
屬性空間/樣本空間 attribute/sample space
一個(gè)示例 = 一個(gè)特征向量（feature vector）
標(biāo)記 label? ? ? 經(jīng)驗(yàn)結(jié)果，即已獲得的正確結(jié)果
標(biāo)記空間? ?label space
預(yù)測(cè)離散值→分類(lèi) classification
預(yù)測(cè)連續(xù)值→回歸 regression
測(cè)試
聚類(lèi)? ?clustering：無(wú)標(biāo)簽自動(dòng)分類(lèi)樣本，分出的每組稱(chēng)為一個(gè)“簇”（cluster）
根據(jù)樣本是否有標(biāo)記信息分為兩大類(lèi)，分別為監(jiān)督學(xué)習(xí)（supervised learning，代表：分類(lèi)、回歸）和無(wú)監(jiān)督學(xué)習(xí)（unsupervised learning，代表：聚類(lèi)）
泛化（generalization）：學(xué)得模型適用于新樣本的能力
通常假設(shè)全體樣本服從一個(gè)位置分布D（Distribution），而且我們獲得的每個(gè)樣本都是獨(dú)立地從這個(gè)分布上采樣獲得的，即獨(dú)立同分布（independent and identically distributed, i.i.d.）
1.3 假設(shè)空間
歸納（induction） = 泛化
演繹（deduction） = 特化
概念學(xué)習(xí)中最基本的是布爾概念學(xué)習(xí)（yes or no）
版本空間（version space） = 假設(shè)集合
假設(shè)空間包含版本空間，版本空間是在假設(shè)空間中能滿足特定問(wèn)題的假設(shè)集合
1.4 歸納偏好
歸納偏好（inductitve bias）：機(jī)器學(xué)習(xí)算法在學(xué)習(xí)過(guò)程中對(duì)某種類(lèi)型假設(shè)的偏好
奧卡姆剃刀：選最簡(jiǎn)單的模型
沒(méi)有免費(fèi)的午餐定理（No Free Lunch Theorem, NFL）告訴我們，學(xué)習(xí)算法自身的歸納偏好與問(wèn)題是否匹配，起到?jīng)Q定性的作用
1.5 發(fā)展歷程
這一節(jié)介紹了從1950年至今，機(jī)器學(xué)習(xí)的主流技術(shù)的變化歷程。按照時(shí)間順序，出現(xiàn)過(guò)以下機(jī)器學(xué)習(xí)主流技術(shù)：
連接主義：基于神經(jīng)網(wǎng)絡(luò)
符號(hào)主義：基于邏輯表示
統(tǒng)計(jì)學(xué)習(xí)：代表性技術(shù)是SVM
現(xiàn)如今，連接主義又卷土重來(lái)。
1.6 應(yīng)用現(xiàn)狀 & 1.7 閱讀材料
筆記略。
感想：現(xiàn)階段，以各大模型為代表的深度學(xué)習(xí)領(lǐng)域的發(fā)展及其迅速，各行業(yè)都在努力擁抱深度學(xué)習(xí)的發(fā)展以適應(yīng)時(shí)代需求。而深度學(xué)習(xí)本身又應(yīng)該如何發(fā)展呢？它本身的發(fā)展也是我們對(duì)智能的要求，不僅會(huì)寫(xiě)，還要會(huì)聽(tīng)、看，不僅能完成重復(fù)性高的動(dòng)作，還要完成創(chuàng)造性的工作。它本身是朝著多模態(tài)，也就是越來(lái)越復(fù)雜的方向進(jìn)化的。它是人類(lèi)的創(chuàng)造物。我們需要它模仿人類(lèi)的行為，這就必然要求我們要研究清楚我們自身的機(jī)理，再去讓它進(jìn)化，就像深度學(xué)習(xí)在模仿人類(lèi)大腦的神經(jīng)元。私以為，就像各個(gè)行業(yè)都在追求與大模型的交叉，而它本身，也需要和生物學(xué)交叉。
第2章 模型評(píng)估與選擇
2.1?經(jīng)驗(yàn)誤差與過(guò)擬合
精度 = (1-a/m) *100%
其中，a為分類(lèi)錯(cuò)誤的樣本個(gè)數(shù)；m為樣本總數(shù)。
誤差（指誤差期望/均值）：學(xué)習(xí)器的實(shí)際預(yù)測(cè)輸出與樣本的真實(shí)輸出之間的差異。
訓(xùn)練誤差/經(jīng)驗(yàn)誤差：學(xué)習(xí)器再訓(xùn)練集上的誤差。
泛化誤差：學(xué)習(xí)器在新樣本上的誤差。
過(guò)擬合：學(xué)習(xí)器把訓(xùn)練樣本自身的特點(diǎn)當(dāng)作所有潛在樣本的特點(diǎn)
過(guò)擬合會(huì)導(dǎo)致泛化能力下降。
欠擬合：與過(guò)擬合相對(duì)，對(duì)訓(xùn)練樣本的一般性質(zhì)尚未學(xué)好。
欠擬合較容易解決（增加訓(xùn)練輪數(shù)等），而過(guò)擬合很麻煩。有多種因素可能導(dǎo)致過(guò)擬合，最常見(jiàn)的時(shí)學(xué)習(xí)能力過(guò)于強(qiáng)大（學(xué)習(xí)能力由學(xué)習(xí)算法和數(shù)據(jù)內(nèi)涵共同決定），以至于把訓(xùn)練集中不太一般的特性都學(xué)到了。
過(guò)擬合無(wú)法徹底避免，我們只能緩解或者減小風(fēng)險(xiǎn)。
不同的學(xué)習(xí)算法+不同的參數(shù)配置=不同的模型（模型是實(shí)例化的，算法是抽象的）
2.2 評(píng)估方法
2.2.1 留出法
把數(shù)據(jù)集劃分為兩個(gè)集合，一個(gè)訓(xùn)練集和一個(gè)測(cè)試集。
做法：一般采用若干次隨機(jī)劃分、重復(fù)進(jìn)行實(shí)驗(yàn)評(píng)估后取平均值作為留出法的評(píng)估結(jié)果。一般將2/3~4/5的樣本用于訓(xùn)練，剩下的用于測(cè)試。
2.2.2 交叉驗(yàn)證法
k折交叉驗(yàn)證就是把數(shù)據(jù)集分為k個(gè)子集，要進(jìn)行k次訓(xùn)練。
p次k折交叉驗(yàn)證，要隨機(jī)使用不同的劃分p次，每一次都要進(jìn)行k折交叉驗(yàn)證，共訓(xùn)練p*k次。
當(dāng)k=m（數(shù)據(jù)集中的樣本數(shù)）時(shí)，稱(chēng)為留一法。留一法的評(píng)估結(jié)果往往被認(rèn)為比較準(zhǔn)確。
2.2.3 自助法
在包含m個(gè)樣本的數(shù)據(jù)集中隨機(jī)抽取m次，每次抽取一個(gè)樣本并放回，抽取的樣本組成訓(xùn)練集，沒(méi)有出現(xiàn)過(guò)的樣本組成測(cè)試集。自助法的測(cè)試結(jié)果稱(chēng)為“包外估計(jì)”。
自助法在數(shù)據(jù)集較小，難以有效劃分訓(xùn)練/測(cè)試集時(shí)很有用；對(duì)集成學(xué)習(xí)有很大的好處。但會(huì)引入估計(jì)偏差。所以在數(shù)據(jù)量足夠時(shí)，留出法和交叉驗(yàn)證更好。
2.2.4 調(diào)參與最終模型
用于選擇模型的數(shù)據(jù)為“驗(yàn)證集”。在實(shí)際使用中遇到的數(shù)據(jù)稱(chēng)為“測(cè)試數(shù)據(jù)”。
2.3 性能度量
性能度量：衡量模型泛化能力的評(píng)價(jià)標(biāo)準(zhǔn)。
性能度量反映了任務(wù)需求，使用不同的性能度量往往會(huì)導(dǎo)致不同的評(píng)判結(jié)果；這意味著模型的“好壞”是相對(duì)的。模型的“好壞”，取決于算法和數(shù)據(jù)，以及任務(wù)需求。
回歸任務(wù)最常用的性能度量是“均方誤差”。
2.3.1 錯(cuò)誤率與精度
該小節(jié)給出了錯(cuò)誤率與精度的一般公式。
2.3.2 查準(zhǔn)率、查全率與F1
查準(zhǔn)率：模型認(rèn)為是正例的準(zhǔn)確率是多少
查全率：所有的正例里，模型的準(zhǔn)確率是多少
F1：以上兩者的平均調(diào)和。
本來(lái)想打一個(gè)F1的公式，不知為何打不上，那就不打了。就記住，平均調(diào)和不是平均數(shù)。后面內(nèi)容先跳過(guò)，以后再填。
