機(jī)器學(xué)習(xí)的模型是一種算法的表達(dá)，它通過(guò)梳理海量數(shù)據(jù)來(lái)查找模式或進(jìn)行預(yù)測(cè)。機(jī)器學(xué)習(xí)模型是一個(gè)文件，在經(jīng)過(guò)訓(xùn)練后可以識(shí)別特定類型的模式。簡(jiǎn)單來(lái)說(shuō)，機(jī)器學(xué)習(xí)模型是學(xué)習(xí)數(shù)據(jù)特征與標(biāo)簽的關(guān)系或者學(xué)習(xí)數(shù)據(jù)特征內(nèi)部的規(guī)律的一個(gè)函數(shù)。

【貝葉斯網(wǎng)絡(luò)】

貝葉斯網(wǎng)絡(luò)是一種概率圖模型，模擬了人類推理過(guò)程中因果關(guān)系的不確定性，其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是有向無(wú)環(huán)圖 (Directed Acyclic Graphical, DAG)12。貝葉斯網(wǎng)絡(luò)實(shí)際上是一種模擬人類推理過(guò)程中因果關(guān)系的不確定性處理模型2。貝葉斯網(wǎng)絡(luò)可以用于分類、回歸、聚類、特征選擇等領(lǐng)域1。?

【概率規(guī)劃】

概率規(guī)劃算法是一種隨機(jī)化算法，也稱為概率算法。它允許算法在執(zhí)行過(guò)程中隨機(jī)地選擇下一個(gè)計(jì)算步驟，從而降低算法的復(fù)雜度。概率規(guī)劃算法的一個(gè)基本特征是對(duì)所求解問(wèn)題的同一實(shí)例用同一概率算法求解兩次可能得到不同的結(jié)果，但這些結(jié)果的期望值是相同的。

【線性回歸】

線性回歸算法是一種利用最小二乘法求解的回歸分析方法，用于建立自變量和因變量之間的線性關(guān)系模型。它是機(jī)器學(xué)習(xí)中最基礎(chǔ)的一類有監(jiān)督學(xué)習(xí)模型，也是很多復(fù)雜模型的基礎(chǔ)，非常重要。（最小二乘法是一種數(shù)學(xué)優(yōu)化技術(shù)，它通過(guò)最小化誤差的平方和找到一組數(shù)據(jù)的最佳函數(shù)匹配。在回歸分析中，最小二乘法是一種常用的參數(shù)估計(jì)方法，用于建立自變量和因變量之間的關(guān)系模型。它的基本思想是使得所有數(shù)據(jù)點(diǎn)到擬合直線的距離之和最小，即最小化誤差平方和。）

【概率規(guī)劃】

概率規(guī)劃算法是一種隨機(jī)化算法，也稱為概率算法。它允許算法在執(zhí)行過(guò)程中隨機(jī)地選擇下一個(gè)計(jì)算步驟，從而降低算法的復(fù)雜度。概率規(guī)劃算法的一個(gè)基本特征是對(duì)所求解問(wèn)題的同一實(shí)例用同一概率算法求解兩次可能得到不同的結(jié)果，但這些結(jié)果的期望值是相同的。

【貝葉斯網(wǎng)絡(luò)】

貝葉斯網(wǎng)絡(luò)是一種概率圖模型，模擬了人類推理過(guò)程中因果關(guān)系的不確定性，其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是有向無(wú)環(huán)圖 (Directed Acyclic Graphical, DAG)12。貝葉斯網(wǎng)絡(luò)實(shí)際上是一種模擬人類推理過(guò)程中因果關(guān)系的不確定性處理模型2。貝葉斯網(wǎng)絡(luò)可以用于分類、回歸、聚類、特征選擇等領(lǐng)域1。?

（某數(shù)據(jù)條件下產(chǎn)生的癥狀）的概率 = 【（某癥狀條件下產(chǎn)生的數(shù)據(jù)）的概率 * 某癥狀的概率】/ 某數(shù)據(jù)的概率。

某個(gè)數(shù)據(jù)的后驗(yàn)概率 = 【模型中參數(shù)的似然性 * 先驗(yàn)概率】/ 證據(jù)

【參數(shù)似然性】

在概率模型中，似然性是指在給定一組參數(shù)的情況下，數(shù)據(jù)集出現(xiàn)的概率。似然函數(shù)是一個(gè)關(guān)于模型參數(shù)θ的函數(shù)，當(dāng)選擇不同的參數(shù)θ時(shí)，似然函數(shù)的值是不同的，它描述了在當(dāng)前參數(shù)θ下，使用模型分布pg (x;θ)產(chǎn)生數(shù)據(jù)集中所有樣本的概率。

【證據(jù)】

在概率模型中，證據(jù)是指在給定模型的情況下，數(shù)據(jù)集出現(xiàn)的概率。證據(jù)是一個(gè)關(guān)于模型參數(shù)θ的函數(shù)，當(dāng)選擇不同的參數(shù)θ時(shí)，證據(jù)的值是不同的，它描述了在當(dāng)前模型下，使用模型分布pg (x)產(chǎn)生數(shù)據(jù)集中所有樣本的概率。

【先驗(yàn)概率】

在概率模型中，先驗(yàn)概率是指在考慮數(shù)據(jù)集的情況下，對(duì)模型參數(shù)θ的概率分布的先驗(yàn)知識(shí)。它是指在考慮數(shù)據(jù)集之前，我們對(duì)參數(shù)θ的概率分布的了解。先驗(yàn)概率是一個(gè)關(guān)于模型參數(shù)θ的函數(shù)，它描述了在沒(méi)有任何數(shù)據(jù)集的情況下，我們對(duì)參數(shù)θ的不確定性有多大。

【后驗(yàn)概率】

在概率模型中，后驗(yàn)概率是指在考慮數(shù)據(jù)集的情況下，對(duì)模型參數(shù)θ的概率分布的后驗(yàn)知識(shí)。它是指在考慮數(shù)據(jù)集之后，我們對(duì)參數(shù)θ的概率分布的了解。后驗(yàn)概率是一個(gè)關(guān)于模型參數(shù)θ的函數(shù)，它描述了在給定數(shù)據(jù)集D的情況下，我們對(duì)參數(shù)θ的不確定性有多大。

【機(jī)器學(xué)習(xí)中的參數(shù)方法和非參數(shù)方法的區(qū)別】

在機(jī)器學(xué)習(xí)中，參數(shù)方法和非參數(shù)方法是兩種不同的方法。參數(shù)方法是學(xué)習(xí)一個(gè)預(yù)先設(shè)定好的函數(shù)形式，prior較強(qiáng)；非參數(shù)方法是學(xué)習(xí)隨事實(shí)情況即數(shù)據(jù)集的變化而變化的函數(shù)形式，prior較弱。

prior是指先驗(yàn)概率，即在觀測(cè)到數(shù)據(jù)之前，對(duì)于模型參數(shù)的概率分布的假設(shè)。在貝葉斯統(tǒng)計(jì)中，prior是指在沒(méi)有觀測(cè)到數(shù)據(jù)之前對(duì)參數(shù)的概率分布的假設(shè)。

有一點(diǎn)點(diǎn)像監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)的區(qū)別

參數(shù)方法的參數(shù)和先驗(yàn)概率是事先擬定的。非參數(shù)方法則不同。

非參數(shù)方法更難，但是也更全面，應(yīng)用范圍更廣泛。

貝葉斯規(guī)劃學(xué)習(xí)（Bayesian Program Learning，BPL）是一種基于貝葉斯方法的機(jī)器學(xué)習(xí)方法，它可以從少量的樣本中學(xué)習(xí)出程序的結(jié)構(gòu)和參數(shù)，并且可以用于程序的自動(dòng)推導(dǎo)和生成。

通過(guò)概率規(guī)劃歸納的算法，自動(dòng)合并、生成、組合、創(chuàng)造新的字符集。