本文來自模式識別國家重點實驗室組織發(fā)布的模式識別學(xué)科發(fā)展報告，已得到模式識別國家重點實驗室授權(quán)發(fā)布。

全文大綱

本文選出以下13項理論方法或任務(wù)作為過去歷史上模式識別領(lǐng)域基礎(chǔ)理論方法的重要成就：

1.?貝葉斯決策與估計：統(tǒng)計決策的基礎(chǔ)理論。

2.?概率密度估計：一類重要的無監(jiān)督學(xué)習(xí)方法，統(tǒng)計模式識別的重要基礎(chǔ)，模式分析的重要工具。

3.?分類器設(shè)計：模式識別系統(tǒng)實現(xiàn)中最重要的任務(wù)，有多種模型設(shè)計和學(xué)習(xí)方法，這里主要介紹監(jiān)督學(xué)習(xí)。

4.?聚類：一類重要的無監(jiān)督學(xué)習(xí)方法，模式分析的重要工具。

5.?特征提取與學(xué)習(xí)：模式的特征表示對模式分類的性能有決定性影響，如何從數(shù)據(jù)提取特征、選擇特征或?qū)W習(xí)特征表示是一個重要的研究方向。

6.?人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)：人工神經(jīng)網(wǎng)絡(luò)是一類重要的模式分析和識別方法，發(fā)展到深度神經(jīng)網(wǎng)絡(luò)形成了目前最成功的深度學(xué)習(xí)系列方法和研究方向。

7.?核方法與支持向量機：以支持向量機為主的核方法在20世紀90年代成為模式識別的一個主流方向，至今仍在模式識別研究和應(yīng)用中發(fā)揮重要作用。

8.?句法結(jié)構(gòu)模式識別：基于句法或結(jié)構(gòu)分析的模式識別方法一直以來是與統(tǒng)計模式識別并列的一個重要分支。

9.?概率圖模型：概率圖模型是一類重要的模式結(jié)構(gòu)分析或結(jié)構(gòu)化預(yù)測方法，因為其區(qū)別于其他結(jié)構(gòu)模式識別方法的獨特性，對其單獨介紹。

10.?集成學(xué)習(xí)：集成學(xué)習(xí)通過融合多個學(xué)習(xí)器來提升性能， 在20世紀80年代以來已有大量研究和應(yīng)用，形成了系統(tǒng)的理論和系列方法。

11.?半監(jiān)督學(xué)習(xí)：半監(jiān)督學(xué)習(xí)是20世紀90年代以來發(fā)展起來的一類可同時利用標記樣本和無標記樣本的分類器學(xué)習(xí)方法，至今仍有大量研究。

12.?遷移學(xué)習(xí)：遷移學(xué)習(xí)利用不同領(lǐng)域或不同分布特性的樣本數(shù)據(jù)來優(yōu)化分類器模型，受到了廣泛重視，發(fā)展了一系列模型和方法。

13.?多任務(wù)學(xué)習(xí)：多任務(wù)學(xué)習(xí)利用多個分類或建模任務(wù)（包括聚類、回歸、數(shù)據(jù)重構(gòu)等）的相關(guān)性，同時學(xué)習(xí)多個任務(wù)，可提升每個任務(wù)的泛化性能，得到了廣泛重視和應(yīng)用。

本次分享前六項，以下為正文部分，全文共計一萬余字，建議保存收藏閱讀~

喜歡我們分享的文章可以點個贊，給我們更新的動力~^-^

引言

模式識別是對感知的模式信息（圖像、視頻、聲音等）進行分析，對其中的物體對象或行為進行判別和解釋的過程。從方法論的角度，模式識別方法可進一步分為統(tǒng)計模式識別、句法/結(jié)構(gòu)模式識別、神經(jīng)網(wǎng)絡(luò)方法等。在技術(shù)上，模式識別方法包括模式（或信號）預(yù)處理、模式分割、特征提取或表示、模式分析、模式分類等幾個主要的步驟。

在統(tǒng)計模式識別(Statistic Pattern Recognition)中，每個模式被描述為一個特征向量，對應(yīng)高維空間中的一個隨機樣本點。統(tǒng)計模式識別的基本原理是類內(nèi)樣本在模式空間中相互接近，形成“數(shù)據(jù)簇”（聚類），類間樣本相互遠離。統(tǒng)計模式識別的基本任務(wù)是對模式進行分類。統(tǒng)計模式識別方法包括統(tǒng)計決策理論和判別分析方法。統(tǒng)計決策理論利用樣本的統(tǒng)計信息來進行決策。貝葉斯決策根據(jù)樣本的后驗概率進行分類，是統(tǒng)計決策理論的基本方法。判別分析方法利用已知類別的樣本建立判別模型，并對未知類別樣本進行分類。

基于句法或結(jié)構(gòu)分析的模式識別方法一直以來是與統(tǒng)計模式識別并列的一個重要分支。句法模式識別(Syntactic Pattern Recognition)是利用模式的結(jié)構(gòu)基元信息，以形式語言理論為基礎(chǔ)來進行結(jié)構(gòu)模式描述和識別的方法。結(jié)構(gòu)模式識別(Structural Pattern Recognition)是一類通過結(jié)構(gòu)特征來描述和判別一個模式對象的方法。句法模式識別經(jīng)常與結(jié)構(gòu)模式識別在用詞上互換，合稱句法結(jié)構(gòu)模式識別，或者單稱句法模式識別或結(jié)構(gòu)模式識別。句法結(jié)構(gòu)模式識別方法能反映模式的結(jié)構(gòu)特征，通常具有較好的泛化能力。

20世紀80年代以來，人工神經(jīng)網(wǎng)絡(luò)得到快速發(fā)展和大量應(yīng)用。神經(jīng)網(wǎng)絡(luò)可看作是一類統(tǒng)計模式識別方法，其中間層的輸出可視為模式特征表示，輸出層則給出分類判別。近來年，隨著深度學(xué)習(xí)方法（深度神經(jīng)網(wǎng)絡(luò)設(shè)計和學(xué)習(xí)算法）的發(fā)展，模式識別領(lǐng)域迎來了一個全新的發(fā)展時期。深度學(xué)習(xí)方法利用大規(guī)模樣本訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，相比傳統(tǒng)模式識別方法，在很多模式識別問題上都明顯提升了識別性能。

分類器設(shè)計是統(tǒng)計模式識別的重要研究內(nèi)容。分類器設(shè)計的學(xué)習(xí)方法分為無監(jiān)督學(xué)習(xí)、有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)等。無監(jiān)督學(xué)習(xí)是在樣本沒有類別標記的條件下對數(shù)據(jù)進行模式分析或統(tǒng)計學(xué)習(xí)，如概率密度估計、聚類等。監(jiān)督學(xué)習(xí)是利用標記樣本訓(xùn)練得到一個最優(yōu)模型（如調(diào)整參數(shù)使得模型對訓(xùn)練樣本的分類性能最優(yōu)），并利用該模型對未知樣本進行判別。半監(jiān)督學(xué)習(xí)是監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)相結(jié)合的一種學(xué)習(xí)方法，使用大量的未標記樣本和少量的標記樣本來進行模式分析或分類器設(shè)計。強化學(xué)習(xí)是智能系統(tǒng)從環(huán)境到行為映射的一種學(xué)習(xí)方式，優(yōu)化行為策略以使獎勵信號(強化信號，通過獎懲代替監(jiān)督)的累積值最大化。

回顧20世紀50年代以來模式識別領(lǐng)域的發(fā)展，一些基礎(chǔ)理論和方法產(chǎn)生了歷史性的重要影響，它們或奠定了模式識別的理論基礎(chǔ)，或在模式識別系統(tǒng)中廣泛應(yīng)用，或用來做模式分析的工具。我們選出以下13項理論方法或任務(wù)作為過去歷史上模式識別領(lǐng)域基礎(chǔ)理論方法的重要成就，它們是：

1.?貝葉斯決策與估計：統(tǒng)計決策的基礎(chǔ)理論。
2.?概率密度估計：一類重要的無監(jiān)督學(xué)習(xí)方法，統(tǒng)計模式識別的重要基礎(chǔ)，模式分析的重要工具。
3.?分類器設(shè)計：模式識別系統(tǒng)實現(xiàn)中最重要的任務(wù)，有多種模型設(shè)計和學(xué)習(xí)方法，這里主要介紹監(jiān)督學(xué)習(xí)。
4.?聚類：一類重要的無監(jiān)督學(xué)習(xí)方法，模式分析的重要工具。
5.?特征提取與學(xué)習(xí)：模式的特征表示對模式分類的性能有決定性影響，如何從數(shù)據(jù)提取特征、選擇特征或?qū)W習(xí)特征表示是一個重要的研究方向。
6.?人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)：人工神經(jīng)網(wǎng)絡(luò)是一類重要的模式分析和識別方法，發(fā)展到深度神經(jīng)網(wǎng)絡(luò)形成了目前最成功的深度學(xué)習(xí)系列方法和研究方向。
7.?核方法與支持向量機：以支持向量機為主的核方法在20世紀90年代成為模式識別的一個主流方向，至今仍在模式識別研究和應(yīng)用中發(fā)揮重要作用。
8.?句法結(jié)構(gòu)模式識別：基于句法或結(jié)構(gòu)分析的模式識別方法一直以來是與統(tǒng)計模式識別并列的一個重要分支。
9.?概率圖模型：概率圖模型是一類重要的模式結(jié)構(gòu)分析或結(jié)構(gòu)化預(yù)測方法，因為其區(qū)別于其他結(jié)構(gòu)模式識別方法的獨特性，對其單獨介紹。
10.?集成學(xué)習(xí)：集成學(xué)習(xí)通過融合多個學(xué)習(xí)器來提升性能， 在20世紀80年代以來已有大量研究和應(yīng)用，形成了系統(tǒng)的理論和系列方法。
11.?半監(jiān)督學(xué)習(xí)：半監(jiān)督學(xué)習(xí)是20世紀90年代以來發(fā)展起來的一類可同時利用標記樣本和無標記樣本的分類器學(xué)習(xí)方法，至今仍有大量研究。
12.?遷移學(xué)習(xí)：遷移學(xué)習(xí)利用不同領(lǐng)域或不同分布特性的樣本數(shù)據(jù)來優(yōu)化分類器模型，受到了廣泛重視，發(fā)展了一系列模型和方法。
13.?多任務(wù)學(xué)習(xí)：多任務(wù)學(xué)習(xí)利用多個分類或建模任務(wù)（包括聚類、回歸、數(shù)據(jù)重構(gòu)等）的相關(guān)性，同時學(xué)習(xí)多個任務(wù)，可提升每個任務(wù)的泛化性能，得到了廣泛重視和應(yīng)用。

1. 貝葉斯決策與估計

貝葉斯決策是統(tǒng)計決策理論的基本方法。理論上，在給定類條件概率密度函數(shù)和類先驗概率條件下，貝葉斯決策是最小分類錯誤率和最小風(fēng)險一致最優(yōu)的決策。對于模式分類任務(wù)而言，貝葉斯決策與估計的核心任務(wù)是利用統(tǒng)計學(xué)中的貝葉斯定理來估計類后驗概率密度函數(shù)，采用期望效用最大化和類別誤判損失最小化等準則構(gòu)建分類判別函數(shù)，確定樣本的最優(yōu)類別標記。

作為規(guī)范性理論，在類條件概率密度函數(shù)和類先驗概率等經(jīng)驗知識條件下，最小錯誤率貝葉斯決策和最小風(fēng)險貝葉斯決策的理論與方法已較完善。在這一理論框架下，貝葉斯決策所構(gòu)建的分類器在統(tǒng)計上是最優(yōu)的。在最小錯誤率貝葉斯決策和最小風(fēng)險貝葉斯決策準則的基礎(chǔ)上，模式分類方法得到充分的發(fā)展，建立起了基于訓(xùn)練樣本直接構(gòu)建分類器的方法體系。在技術(shù)上，針對不同的類條件概率密度函數(shù)，可構(gòu)造不同的分類器。比如，常見的最近鄰分類器、線性分類器、二次判別函數(shù)等均可在類條件概率密度函數(shù)為正態(tài)分布的情形下通過最小錯誤率貝葉斯決策來獲得。在此基礎(chǔ)上，人們發(fā)展了帶拒識決策、Neyman-Pearson決策方法、ROC曲線性能評估、連續(xù)類條件概率密度下的分類決策、離散概率模型下的統(tǒng)計決策、兩類分類錯誤率估計、正態(tài)分布類條件概率密度的分類錯誤率估計、高維獨立隨機變量分類錯誤率估計、貝葉斯估計、貝葉斯學(xué)習(xí)、K近鄰分類器的錯誤率界、決策樹模型、樸素貝葉斯模型等基本理論與方法。在此基礎(chǔ)上，發(fā)展了非參數(shù)貝葉斯估計方法，如Dirichlet過程、高斯過程、核概率密度估計等。Dirichlet過程和高斯過程通過隨機過程來表示不確定性，利用先驗知識來降低對參數(shù)的顯示約束，一定程度地避免了過擬合，提升了貝葉斯估計的數(shù)據(jù)自適應(yīng)能力。

在貝葉斯決策中，類條件概率密度函數(shù)被假定是已知的。由于模式分類任務(wù)通常是面向給定樣本集的，其類條件概率密度函數(shù)往往是未知的。因此，對類條件概率密度函數(shù)進行估計則成為貝葉斯決策過程中的一個核心環(huán)節(jié)。這一任務(wù)與概率密度函數(shù)估計緊密相關(guān)。在方法論上，最大似然估計被廣泛地應(yīng)用于確定型參數(shù)的類條件概率密度函數(shù)估計情形，而貝葉斯估計則被應(yīng)用于隨機型參數(shù)的類條件概率密度函數(shù)估計情形。貝葉斯學(xué)習(xí)具有靈活的適應(yīng)性，既可以自然地處理以動態(tài)形式出現(xiàn)的樣本，也可以處理以分布式方式存在的多個數(shù)據(jù)集。對于常見的共軛模型（如：類條件概率密度函數(shù)為正態(tài)分布，先驗分布也是正態(tài)分布），貝葉斯后驗分布可以很容易地得到計算。對于更加常見的非共軛模型，已經(jīng)發(fā)展了性能良好的變分推斷和蒙特卡洛采樣算法，建立了較為完善的貝葉斯估計的方法體系。

在貝葉斯估計的框架內(nèi)，建立了較為完善的概率圖模型參數(shù)估計與結(jié)構(gòu)學(xué)習(xí)的理論與方法體系，發(fā)展了馬爾可夫模型參數(shù)估計方法、隱馬爾可夫模型參數(shù)估計方法、動態(tài)貝葉斯網(wǎng)絡(luò)參數(shù)估計方法。貝葉斯深度學(xué)習(xí)將貝葉斯學(xué)習(xí)的思想與神經(jīng)網(wǎng)絡(luò)的訓(xùn)練相結(jié)合，一方面，通過反向傳播的變分推斷或蒙特卡洛算法，對神經(jīng)網(wǎng)絡(luò)的參數(shù)進行貝葉斯建模，估計其概率分布信息；另一方面，利用神經(jīng)網(wǎng)絡(luò)的非線性函數(shù)學(xué)習(xí)能力，豐富貝葉斯模型中變量之間的變換，實現(xiàn)復(fù)雜數(shù)據(jù)的貝葉斯建模和學(xué)習(xí)。貝葉斯深度學(xué)習(xí)在無監(jiān)督表示學(xué)習(xí)、數(shù)據(jù)生成、半監(jiān)督學(xué)習(xí)、深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練、網(wǎng)絡(luò)結(jié)構(gòu)搜索等中得到廣泛應(yīng)用。另外，基于貝葉斯學(xué)習(xí)和核函數(shù)方法發(fā)展了關(guān)聯(lián)向量機方法，一定程度上克服了經(jīng)典支持向量機中支持向量過多且其分類性能易受正則化參數(shù)影響的缺點。

最近幾年，以貝葉斯決策與估計為基礎(chǔ)，貝葉斯隱變量學(xué)習(xí)模型、代價敏感學(xué)習(xí)、代價缺失學(xué)習(xí)、信息論模式識別、魯棒分類器設(shè)計、正則化方法、貝葉斯統(tǒng)計推斷、變分貝葉斯學(xué)習(xí)等得到了充分的發(fā)展，拓展了貝葉斯決策與估計的應(yīng)用范圍，進一步發(fā)展了貝葉斯決策的方法體系。

以貝葉斯決策與估計所形成的理論與方法為基礎(chǔ)，形成了較為完備的模式分類的概念體系和分類性能評價方法。在當前的模式識別理論與方法體系中，諸多判別式模型和生成式模型均可以用貝葉斯決策的思想進行解釋。在技術(shù)上，貝葉斯決策與估計對分類器設(shè)計、概率密度估計、參數(shù)學(xué)習(xí)、特征提取、特征選擇等方法體系的形成產(chǎn)生了直接影響。另外，貝葉斯決策與估計還是一種重要的學(xué)習(xí)策略，對統(tǒng)計模式識別和結(jié)構(gòu)模式識別中的學(xué)習(xí)與推斷問題的求解提供了重要的方法論。貝葉斯決策與估計的理論與方法在醫(yī)學(xué)圖像分類、計算機視覺、自然語言處理、語音識別、遙感圖像處理等任務(wù)中得到廣泛應(yīng)用。

2. 概率密度估計

概率密度估計是貝葉斯決策的基礎(chǔ)。給定一個觀測樣本集，概率密度估計的基本任務(wù)是采用某種規(guī)則估計出生成這些樣本的概率密度函數(shù)。觀測樣本的分布能代表樣本的真實分布，且觀測樣本足夠充分。概率密度估計的基本思路是若一個樣本在觀測中出現(xiàn)則認為在該樣本所處的區(qū)域其概率密度較大而離觀測樣本較遠的區(qū)域其概率密度較小。

概率密度估計方法主要包含參數(shù)估計和非參數(shù)估計。參數(shù)估計方法假定概率密度函數(shù)的形式已知，所含參數(shù)未知。參數(shù)法進一步分為頻率派和貝葉斯兩大類學(xué)派。頻率派認為待估計的概率密度函數(shù)的參數(shù)是客觀存在的，樣本是隨機的；而貝葉斯派假定待估參數(shù)是隨機的，但樣本是固定的。頻率派的代表方法為最大似然估計，貝葉斯派的代表性方法則包含貝葉斯估計和貝葉斯學(xué)習(xí)。針對樣本的類別是否已知，參數(shù)法又可分為有監(jiān)督和無監(jiān)督的估計方法。有監(jiān)督的估計假定每類樣本的類別標簽已知，無監(jiān)督的估計假定每類樣本的類別標簽未知。在每類樣本獨立同分布的假定下，這兩類方法主要依靠最大似然估計的技術(shù)路線來實現(xiàn)。無監(jiān)督的估計通常需要同時對觀測變量和隱變量進行估計，因此在最大似然估計的框架下，該類方法大多采用期望最大化方法來具體實現(xiàn)。在此基礎(chǔ)上，人們發(fā)展出概率圖模型參數(shù)估計、混合高斯模型概率函數(shù)估計、Poly-tree模型參數(shù)估計、Copula 密度函數(shù)估計、隱狄利克萊分配（Latent Dirichlet Allocation）模型估計、受限玻爾滋曼機參數(shù)估計等方法。

在對樣本分布沒有充分了解從而難以給出其概率密度函數(shù)的情形下，以及在樣本分布復(fù)雜從而難以采用簡單的概率密度函數(shù)對其進行描述的情形下，需要采用非參數(shù)估計方法。非參數(shù)估計方法不對概率密度函數(shù)的形式作任何假定，而是直接采用樣本來估計出整個函數(shù)。非參數(shù)方法主要包含Parzen窗方法和K近鄰估計。Parzen窗方法和K近鄰估計方法的誤差界已從理論上得到了有效的分析和充分的研究。方窗、高斯窗、超球窗等窗函數(shù)在Parzen窗方法中得到廣泛應(yīng)用。在此基礎(chǔ)上，人們發(fā)展出核密度估計方法，并在密度函數(shù)的平滑性、核函數(shù)尾部效應(yīng)、核函數(shù)及其帶寬選擇、密度估計的統(tǒng)計逼近分析等理論方面進行了廣泛研究。核密度估計方法涉及到核函數(shù)的選擇和帶寬的選擇。常用的核函數(shù)包含多項式核函數(shù)、高斯核函數(shù)、Epanechnikov核、徑向基函數(shù)，等等。在此基礎(chǔ)上，人們發(fā)展出一類靜態(tài)核、動態(tài)核、正交級數(shù)密度估計等方法。核函數(shù)的帶寬決定著密度估計的精度和泛化性能。因此，帶寬的選擇得到了廣泛研究，主要包含最小二乘法交叉驗證、有偏交叉驗證、似然交叉驗證、赤池信息準則（Akaike Information Criterion）、置信區(qū)間交叉、平均積分平方最小準則、有偏漸近平均積分平方最小準則、局部平均積分平方最小準則、數(shù)據(jù)樹帶寬選擇等方法。

因其在模式分類中的普遍性和重要性，概率密度函數(shù)估計一直得到廣泛的關(guān)注。針對不同的問題描述形式，人們發(fā)展了一些改進方法，比如互信息匹配自適應(yīng)概率密度估計方法、非參數(shù)回歸、可變帶寬核密度估計、多尺度核密度估計、基于場論的密度估計、人工神經(jīng)網(wǎng)絡(luò)密度估計、壓縮密度估計、交叉熵估計、密度微分、密度比例估計、高維鑒別特征選擇、半?yún)?shù)密度估計、原型密度凸組合、在線期望最大化、增量密度估計、密度估計并行算法，等等。這些方法從學(xué)習(xí)準則、數(shù)學(xué)優(yōu)化方法等不同的技術(shù)角度豐富了概率密度估計的方法體系。但是，對于小樣本高維空間的密度估計方法，依然沒有得到充分的研究。

概率密度估計是統(tǒng)計模式識別中的一個基本問題，是數(shù)據(jù)聚類和分類器設(shè)計等多種模式分類算法的基礎(chǔ)。隨著模式識別方法的發(fā)展，概率密度參數(shù)估計的思想在深度信念網(wǎng)絡(luò)、深層玻爾滋曼機、變分自編碼機、生成對抗網(wǎng)絡(luò)等深度生成模型中得到應(yīng)用。與此任務(wù)關(guān)聯(lián)的蒙特卡羅采樣方法、馬爾可夫蒙特卡羅和貝葉斯參數(shù)推斷、高斯過程、Dirichlet過程等均得到了并行發(fā)展。概率密度估計在圖像分割、視頻背景運動估計、目標跟蹤、圖像配準等計算機視覺任務(wù)和盲信號分離、語音識別等任務(wù)中具有廣泛的應(yīng)用。

3. 分類器設(shè)計

模式識別過程一般包括以下幾個步驟：信號預(yù)處理、模式分割、特征提取、分類器構(gòu)造、上下文后處理，而分類器構(gòu)造是其中的主要任務(wù)和核心研究內(nèi)容。分類器構(gòu)造是在訓(xùn)練樣本集合上進行機器學(xué)習(xí)和優(yōu)化（如使同一類樣本的表達波動最小或使不同類別樣本的分類誤差最小）的過程。

最經(jīng)典的分類器是貝葉斯決策模型，在每個類的先驗概率以及條件概率密度基礎(chǔ)上，通過貝葉斯公式計算出后驗概率進行模式分類。當條件概率密度的函數(shù)形式符合數(shù)據(jù)的實際分布時，貝葉斯分類器是理論上最優(yōu)的分類器。多數(shù)分類器可以看成是貝葉斯分類器的特例形式，如K近鄰分類器，線性判別函數(shù)，二次判別函數(shù)等。此外，絕大多數(shù)分類器的設(shè)計方法均可從貝葉斯決策的角度進行分析和解釋。

在技術(shù)上，分類器設(shè)計方法可以從兩個角度進行劃分。第一是從模式表示的角度進行劃分，可以分為統(tǒng)計方法、結(jié)構(gòu)方法、以及混合統(tǒng)計-結(jié)構(gòu)方法。統(tǒng)計方法以多元統(tǒng)計理論為基礎(chǔ)，將模式表示成特征矢量然后再進行分類，具體的方法有參數(shù)方法（如基于高斯分布假設(shè)的貝葉斯分類器）、非參數(shù)方法（如Parzen窗，k-NN等）、半?yún)?shù)方法（如高斯混合模型）、神經(jīng)網(wǎng)絡(luò)模型、邏輯回歸、決策樹、支持向量機與核方法、集成學(xué)習(xí)方法（如 AdaBoost）、子空間識別方法和基于稀疏表示的分類方法等。而結(jié)構(gòu)方法則以形式語言為數(shù)學(xué)基礎(chǔ)，將模式表示成諸如串、圖、樹、基元等結(jié)構(gòu)化的數(shù)據(jù)形式然后再進行分類，具體的方法包括句法分析、結(jié)構(gòu)分析、串匹配、圖匹配、樹匹配、結(jié)構(gòu)化預(yù)測等。

第二是從模式學(xué)習(xí)的角度可分為生成模型、判別模型、以及混合生成-判別模型。模式分類可以在概率密度估計的基礎(chǔ)上計算后驗概率，也可以不需要概率密度而直接近似估計后驗概率或鑒別函數(shù)（直接劃分特征空間）。通過估計概率密度然后進行模式劃分的分類器被稱為生成模型(Generative Model)，如高斯密度分類器、Bayes網(wǎng)絡(luò)等；直接學(xué)習(xí)鑒別函數(shù)或者后驗概率進行特征空間劃分的分類器被稱為判別模型（Discriminative Model），如神經(jīng)網(wǎng)絡(luò)、支持向量機等。結(jié)合二者的優(yōu)點，混合生成-判別學(xué)習(xí)的方法一般是先對每一類模式建立一個生成模型（概率密度模型或結(jié)構(gòu)模型），然后用判別學(xué)習(xí)準則對生成模型的參數(shù)進行優(yōu)化，如生成對抗網(wǎng)絡(luò)。在判別分類器設(shè)計中，決策樹是一類重要的分類方法。在結(jié)構(gòu)上，決策樹是關(guān)于屬性（特征）分類能力判定的樹形結(jié)構(gòu)，其每個葉子結(jié)點代表一種類別。經(jīng)典的決策樹方法包含ID3、C4.5和C5.0等方法。決策樹方法提升了分類器面向由不同類型特征所描述的模式的分類能力。

除了構(gòu)造分類決策模型之外，分類器設(shè)計還與距離度量學(xué)習(xí)相關(guān)。距離度量學(xué)習(xí)旨在學(xué)習(xí)一個顯式或隱式的、區(qū)別于歐氏距離度量的樣本間距離函數(shù)，使樣本集呈現(xiàn)出更好的判別特性，主要包含馬氏距離、閔氏距離、Hausdorff距離、KL距離、推土距離（Earth Mover's Distance)、切距離（Tangent Distance）等。目前深度度量學(xué)習(xí)得到廣泛研究，根據(jù)損失函數(shù)不同，有對比損失(contrastive loss)、中心損失、三元組損失、代理損失等方法。另外，在分類器設(shè)計中，人們還發(fā)展了代價敏感學(xué)習(xí)、類不均衡樣本學(xué)習(xí)、多標簽學(xué)習(xí)、弱標簽學(xué)習(xí)等方法，用于改善各種實際問題中分類器的性能。代價敏感學(xué)習(xí)考慮在分類中不同分類錯誤導(dǎo)致不同懲罰力度時如何訓(xùn)練分類器，代價敏感學(xué)習(xí)方法主要包含代價敏感決策樹、代價敏感支持向量機、代價敏感神經(jīng)網(wǎng)絡(luò)、代價敏感加權(quán)集成分類器、代價敏感條件馬爾可夫網(wǎng)絡(luò)、最優(yōu)決策閾值、樣本加權(quán)等方法。類不均衡樣本學(xué)習(xí)考慮如何解決訓(xùn)練樣本各類占比極度不平衡的問題，主要包含樣本采樣法、樣本生成方法、原型聚類法、自舉法、代價敏感法、核方法與主動學(xué)習(xí)方法等。多標簽學(xué)習(xí)考慮樣本具有多個類別標簽的情形，人們從分類任務(wù)變換和算法自適應(yīng)的角度發(fā)展出了分類器鏈、標簽排序、隨機K標簽、多標簽近鄰分類器、多標簽決策樹、排序支持向量機、多標簽條件隨機場等方法。弱標簽學(xué)習(xí)考慮樣本標簽存在標注量小、未標注量大、標注不精確等情形下的分類問題，主要包含?。悖颖緦W(xué)習(xí)、半監(jiān)督字典學(xué)習(xí)、偽標簽監(jiān)督學(xué)習(xí)、教師學(xué)生網(wǎng)絡(luò)半監(jiān)督學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)等方法。此外，多類分類器集成方法也得到了廣泛發(fā)展。

分類器設(shè)計產(chǎn)生了廣泛的影響，如從支持向量機引申出來的核方法在機器學(xué)習(xí)領(lǐng)域成為將線性模型非線性化的主要技術(shù)手段，從神經(jīng)網(wǎng)絡(luò)模型進一步擴展出來的深度學(xué)習(xí)成為人工智能領(lǐng)域的核心算法，從結(jié)構(gòu)模式識別發(fā)展出來的一系列模型成為結(jié)構(gòu)化預(yù)測的主流工具等。在具體的應(yīng)用中，分類器構(gòu)造也被廣泛的應(yīng)用在諸如文字識別、人臉識別、語音識別、圖像分類等具體問題上并取得了優(yōu)異性能。

4. 聚類

聚類是模式識別的基本問題，并與概率密度估計密切相關(guān)。數(shù)據(jù)聚類的任務(wù)是根據(jù)數(shù)據(jù)的特性和模式分析的特定任務(wù)在樣本類別標簽未知的條件下將數(shù)據(jù)集劃分為不同的聚合子類（簇），使屬于每一聚合子類中的樣本具有相近的模式，不同聚合類之間的模式彼此不相似。

聚類的目的是對數(shù)據(jù)進行描述。依據(jù)描述方式的不同，聚類方法包含劃分法、層次法、密度法、網(wǎng)格法、模型法等。劃分法使用類原型描述聚類子類（簇），依據(jù)類原型將數(shù)據(jù)集劃分為不同的聚合子類（簇）。代表性的K均值算法和K中心值算法的類原型都是點原型。不同的是，K均值算法的類原型是虛擬樣本點，并可從高斯混合概率密度函數(shù)估計的角度加以解釋。K中心點算法的類原型是數(shù)據(jù)集中實際樣本點。K均值算法和K中心值算法的樣本隸屬度均是非0即1。隨后，人們發(fā)展了模糊K均值算法，假定各樣本以一定的模糊隸屬度屬于多個不同的簇，拓展了聚類算法的應(yīng)用范圍。層次法基于給定的簇間距離準則，采用合并或分裂的方式對數(shù)據(jù)集進行層次聚合或?qū)哟畏纸?，包含凝聚層次聚類和分裂層次聚類兩種技術(shù)路線，代表性的方法為BIRCH（Balanced Iterative Reducing and Clustering using Hierarchies）算法。密度法的基本原理是聚合子類中的每一個數(shù)據(jù)點在其局部鄰域內(nèi)需包含一定數(shù)量的其它數(shù)據(jù)點。在技術(shù)上，只要鄰近區(qū)域內(nèi)的數(shù)據(jù)點密度超過閾值，密度法則繼續(xù)進行子集聚合。因此，理論上講密度法可以發(fā)現(xiàn)任意形狀的子類。經(jīng)典的密度法包含DBSCAN (Density—Based Spatial Clustering of Application with Noise)算法和OPTICS (Ordering Points to Identify the Clustering Structure)算法。網(wǎng)格法將樣本所在的空間量化為有限數(shù)目的多分辨率網(wǎng)格單元，代表性的方法包含STING(統(tǒng)計信息網(wǎng)格方法，Statistical Information Grid)算法、CLIQUE（Clustering in QUEst）算法、小波聚類算法。模型法為每一個聚合子類假定一個生成模型或描述描述，并在樣本集尋找滿足該模型的數(shù)據(jù)子集。模型可以為概率密度函數(shù)或者其它特定描述。在假定樣本的總體分布符合基于混合高斯模型的條件下，可以直接導(dǎo)出K均值算法。在以上經(jīng)典算法的基礎(chǔ)上，人們發(fā)展了多種變種聚類算法，包含模糊聚類法、迭代自組織數(shù)據(jù)分析法、傳遞閉包法、布爾矩陣法、直接聚類法、相關(guān)性分析聚類、基于統(tǒng)計的聚類方法、基于分裂合并的聚類數(shù)目自適應(yīng)算法，等等。另外，因其與K均值聚類算法所具有的內(nèi)存聯(lián)系，非負矩陣分解方法也應(yīng)用于數(shù)據(jù)聚類之中。

大多數(shù)聚類方法假定聚合子類中的數(shù)據(jù)呈擬球形分布，但現(xiàn)實應(yīng)用中的諸多數(shù)據(jù)分布在多個流形上或任意形狀上。兩類呈擬球形分布的數(shù)據(jù)可以用一個超平面來做劃分邊界，通常稱為線性可分數(shù)據(jù)，否則稱為非線性可分數(shù)據(jù)。為了解決非線性可分數(shù)據(jù)的聚類問題，人們發(fā)展出了譜聚類算法。譜聚類算法將數(shù)據(jù)集中的每個數(shù)據(jù)點視為圖的頂點，數(shù)據(jù)點對的相似度視為相應(yīng)頂點所連邊的權(quán)重，并將數(shù)據(jù)聚類任務(wù)描述為一個圖劃分問題。代表性的譜聚類方法包含歸一化切割、比例切割方法、多路譜聚類方法。隨后，在圖拉普拉斯構(gòu)造的基礎(chǔ)上，人們發(fā)展出多個變種譜聚類方法，比如親合性傳播聚類、結(jié)構(gòu)化譜聚類、進化譜聚類等方法。另一種解決非線性可分數(shù)據(jù)的算法是同時采用密度和距離信息的密度峰值快速聚類算法。其基本思路是：對任意一個樣本點，通過查找密度上比該樣本點鄰域密度更高同時相對較遠的樣本點作為該樣本點的中心點，從而發(fā)現(xiàn)具有任意形狀的聚類分布。

為了解決高維數(shù)據(jù)的聚類問題，通過擯棄高維數(shù)據(jù)中大量無關(guān)的屬性，或者通過抽取高維空間中較低維特征表達空間來進行聚類，人們發(fā)展出了子空間聚類算法。子空間聚類方法主要包含K平面算法、K子空間算法、生成式子空間聚類、概率主成分分析、凝聚的有損壓縮、圖劃分子空間聚類、低秩子空間聚類、魯棒子空間聚類、貝葉斯非參子空間聚類、不變子空間聚類、信息論子空間聚類、稀疏子空間聚類等。

技術(shù)上，支持向量機方法也應(yīng)用于聚類之中，比如，最大間隔切平面最小結(jié)構(gòu)化風(fēng)險聚類方法。另外，在神經(jīng)網(wǎng)絡(luò)模型方面，早期的著名方法包含自組織映射網(wǎng)絡(luò)模型。隨著深度學(xué)習(xí)方法的發(fā)展，基于深度學(xué)習(xí)的嵌入聚類、深度課程學(xué)習(xí)聚類等方法推動了大規(guī)模數(shù)據(jù)聚類和深度無監(jiān)督學(xué)習(xí)方法的發(fā)展。

面對不同的任務(wù)形態(tài)和數(shù)據(jù)特性，在現(xiàn)有聚類算法的基礎(chǔ)上人們從多方面發(fā)展了數(shù)據(jù)聚類方法，比如，大規(guī)模數(shù)據(jù)聚類、集成聚類、流數(shù)據(jù)聚類和多視圖聚類。大規(guī)模數(shù)據(jù)聚類主要包括并行聚類、大數(shù)據(jù)聚類等方法。集成聚類主要包括因子圖集成聚類、局部加權(quán)集成聚類等方法。動態(tài)流數(shù)據(jù)聚類主要包括基于支持向量的流數(shù)據(jù)聚類、多視圖流數(shù)據(jù)聚類等方法。針對多視圖聚類問題，主要從如下幾個角度開展了算法研究工作：權(quán)衡視圖內(nèi)聚類質(zhì)量與視圖間聚類一致性、對視圖和特征同時進行自適應(yīng)加權(quán)、保證視圖間的一致性和互補性、刻畫多視圖數(shù)據(jù)樣本的非線性關(guān)系、構(gòu)建反映類結(jié)構(gòu)特征的完整空間表達等。多視圖聚類主要包括基于相似性的多視圖聚類、多視圖子空間聚類、視圖與特征自適應(yīng)加權(quán)多視圖聚類、協(xié)同正則化多視圖聚類、信念傳播多視圖聚類、基于圖學(xué)習(xí)的多視圖聚類等方法。

聚類是統(tǒng)計模式識別中的經(jīng)典問題，是實現(xiàn)模式分類的基本技術(shù)方法。因其在模式分類中的重要性和基礎(chǔ)性，聚類一直受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。但是，聚類算法對數(shù)據(jù)規(guī)模的可伸縮性、不同數(shù)據(jù)類型的處理能力、對任意分布和任意形狀簇的自適應(yīng)性、對初始參數(shù)的魯棒性、噪聲魯棒性、高維數(shù)據(jù)的自適應(yīng)性、合理類別數(shù)的自動確定等問題仍然沒有得到充分的解決。對這些挑戰(zhàn)性問題的研究持續(xù)推動著模式分類技術(shù)的發(fā)展。聚類方法在圖像處理與分析、計算機視覺、自然語言處理、數(shù)據(jù)科學(xué)等領(lǐng)域中具有十分廣泛的應(yīng)用。

5. 特征提取與學(xué)習(xí)

特征提取與學(xué)習(xí)是模式識別的重要環(huán)節(jié)。原始采樣數(shù)據(jù)通常為意義不明確且高度冗余的數(shù)值數(shù)組或矩陣，同時通常還夾雜著大量的噪聲和干擾信號。因此，特征提取與學(xué)習(xí)是依據(jù)數(shù)據(jù)的本征屬性和應(yīng)用需求，從原始采樣數(shù)據(jù)中提取有用的信息，并對這些信息進行合理編碼，盡最大可能地形成完備、緊致、區(qū)分性好的特征表達。

一個廣泛采用的方法是特征選擇。特征選擇是從給定的特征集合中選擇出用于模型構(gòu)建的相關(guān)特征子集的過程，是一個重要的數(shù)據(jù)預(yù)處理過程和特征提取過程，可以有效減輕維數(shù)災(zāi)難問題。特征選擇一般采用啟發(fā)式或隨機搜索的策略來降低時間復(fù)雜度?？偟膩碚f，傳統(tǒng)的特征選擇過程一般包括產(chǎn)生過程、評價函數(shù)、停止準則和驗證過程四個基本步驟。產(chǎn)生過程是一個搜索策略，產(chǎn)生用于評價的特征子集，包括：前向搜索、后向搜索、雙向搜索等。評價函數(shù)用于評價測試中候選子集與上一次最佳候選子集之間的好壞。停止準則決定什么時候停止搜索子集過程。驗證過程檢查候選子集在驗證集上是否合法有效?；谙∈鑼W(xué)習(xí)的方法也被廣泛應(yīng)用在特征選擇問題中，通過將分類器的訓(xùn)練和L1、L2、以及L21范數(shù)的正則化相結(jié)合，可以得到不同程度的特征稀疏性，從而實現(xiàn)特征選擇。

特征學(xué)習(xí)的方法主要包含四類。其一是以子空間分析為代表的線性方法，包括：主成份分析法（PCA），線性判別分析法（LDA），典型相關(guān)分析法（CCA），獨立成份分析法（ICA）等，從不同的側(cè)面對數(shù)據(jù)所處的子空間進行建模，如PCA針對最佳重構(gòu)子空間，LDA針對最佳類別可分子空間，CCA針對兩組變量的最佳相關(guān)子空間，ICA針對從混合數(shù)據(jù)中恢復(fù)出獨立子空間等。其二是通過核方法的手段將上述線性子空間模型非線性化，主要代表性模型有：核主成份分析（KPCA）、核線性判別分析（KLDA）、核獨立成份分析（KICA）等，其主要思想是通過某一未知的映射函數(shù)將數(shù)據(jù)投射到高維空間再進行相應(yīng)的線性建模，而核函數(shù)描述了高維空間中數(shù)據(jù)的內(nèi)積，最終的特征提取函數(shù)以核函數(shù)的形式進行描述。其三是對數(shù)據(jù)的流形結(jié)構(gòu)進行刻畫的流形學(xué)習(xí)方法，傳統(tǒng)的機器學(xué)習(xí)方法中，數(shù)據(jù)點和數(shù)據(jù)點之間的距離和映射函數(shù)都是定義在歐式空間中的，然而在實際情況中，這些數(shù)據(jù)點可能不是分布在歐式空間中的，因此傳統(tǒng)歐式空間的度量難以用于真實世界的非線性數(shù)據(jù)，從而需要對數(shù)據(jù)的分布引入新的假設(shè)。流形學(xué)習(xí)假設(shè)所處理的數(shù)據(jù)點分布在嵌入于外維歐式空間的一個潛在的流形體上，或者說這些數(shù)據(jù)點可以構(gòu)成這樣一個潛在的流形體，代表性工作包括等度量映射ISOMAP, 局部線性嵌入LLE等。其四是以深度學(xué)習(xí)為代表的端到端特征學(xué)習(xí)方法，對大量的原始數(shù)據(jù)通過特定的網(wǎng)絡(luò)結(jié)構(gòu)以及訓(xùn)練方法，學(xué)習(xí)出有意義的特征表示，用于后續(xù)的分類、回歸等其它任務(wù)。由于深度神經(jīng)網(wǎng)絡(luò)具備強大的非線性函數(shù)擬合能力，結(jié)合具體任務(wù)的目標損失函數(shù)，可以以數(shù)據(jù)驅(qū)動的方式學(xué)習(xí)到更加具備判別力的特征表示。此外，現(xiàn)實世界中大量數(shù)據(jù)是以張量形式存在的，對傳統(tǒng)算法的張量化擴展也是一個重要的研究內(nèi)容，如2DPCA，2DLDA等研究引起了學(xué)術(shù)界的廣泛關(guān)注。

特征提取與學(xué)習(xí)是模式識別中的一個基本任務(wù)，是實現(xiàn)模式描述、模式非線性變換與語義表示、分類器設(shè)計、距離度量學(xué)習(xí)的重要基礎(chǔ)，也是解決維數(shù)災(zāi)難的重要手段。一些新的研究方向，如流形學(xué)習(xí)、稀疏學(xué)習(xí)與數(shù)據(jù)壓縮、基于學(xué)習(xí)的排序、深度學(xué)習(xí)等與特征提取與學(xué)習(xí)緊密相關(guān)。小樣本條件下的特征提取以及在端到端框架下的表示學(xué)習(xí)均是當前的研究熱點。特征提取與學(xué)習(xí)在圖像識別、圖像匹配、醫(yī)學(xué)影像分析、生物特征識別、Web 文檔處理、信息檢索、自然語言處理、基因分析、藥物診斷等領(lǐng)域具有廣泛的應(yīng)用。

6. 人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

人工神經(jīng)網(wǎng)絡(luò)是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征，進行分布式并行信息處理的數(shù)學(xué)模型，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關(guān)系，從而達到處理信息的目的。人工神經(jīng)網(wǎng)絡(luò)本質(zhì)是通過網(wǎng)絡(luò)的變換和動力學(xué)行為得到一種并行分布式的信息處理功能，并在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理功能。它是涉及神經(jīng)科學(xué)、思維科學(xué)、人工智能、計算機科學(xué)等多個領(lǐng)域的交叉學(xué)科，其具體的發(fā)展包含兩個階段：淺層網(wǎng)絡(luò)與深度學(xué)習(xí)。

1943年，心理學(xué)家W.S. McCulloch和數(shù)理邏輯學(xué)家W. Pitts建立了神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)模型，并稱之為機器感知模型。機器感知模型給出了神經(jīng)元的形式化數(shù)學(xué)描述和網(wǎng)絡(luò)結(jié)構(gòu)方法，展示了單個神經(jīng)元具有執(zhí)行邏輯運算的功能，從而開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)研究時代。1949年，心理學(xué)家提出了突觸聯(lián)系強度可變的設(shè)想，從而將參數(shù)學(xué)習(xí)引入至人工神經(jīng)網(wǎng)絡(luò)。1959年感知器及隨后多層感知器的提出，將人工神經(jīng)網(wǎng)絡(luò)的研究引入到一個新的高潮。

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型大部分均為淺層網(wǎng)絡(luò)，如多層感知機、徑向基函數(shù)網(wǎng)絡(luò)、多項式網(wǎng)絡(luò)、自組織映射等。在這些模型中，神經(jīng)元處理單元可表示不同的對象，例如特征、字母、概念，或者一些有意義的抽象模式。網(wǎng)絡(luò)中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數(shù)據(jù)；輸出單元實現(xiàn)系統(tǒng)處理結(jié)果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統(tǒng)外部觀察的單元。神經(jīng)元間的連接權(quán)值反映了單元間的連接強度，信息的表示和處理體現(xiàn)在網(wǎng)絡(luò)處理單元的連接關(guān)系中。由于早期計算能力的局限性以及網(wǎng)絡(luò)設(shè)計的缺陷，大部分模型的層數(shù)都比較淺（如3層、5層等），當層數(shù)加深時，誤差反向傳播算法BP會出現(xiàn)梯度消失現(xiàn)象，從而無法有效訓(xùn)練。同時，早期的人工神經(jīng)網(wǎng)絡(luò)還存在過擬合、局部最優(yōu)化等問題。

面向時間序列數(shù)據(jù)處理，人們建立了循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network, RNN）。循環(huán)神經(jīng)網(wǎng)絡(luò)在序列的演進方向（和反方向）各結(jié)點按鏈式方式并進行遞歸。循環(huán)神經(jīng)網(wǎng)絡(luò)具有記憶性、參數(shù)共享并且圖靈完備，在序列非線性特征學(xué)習(xí)方面具有優(yōu)勢。長短期記憶（LSTM，Long Short-Term Memory）網(wǎng)絡(luò)是一種時間循環(huán)神經(jīng)網(wǎng)絡(luò)，旨在解決循環(huán)神經(jīng)網(wǎng)絡(luò)中存在的長時依賴問題和訓(xùn)練過程中可能遇到的梯度消失或爆炸問題。實踐上，長短期記憶網(wǎng)絡(luò)在多數(shù)任務(wù)上表現(xiàn)出超越隱馬爾科夫模型的性能。另外，作為循環(huán)神經(jīng)網(wǎng)絡(luò)的擴展，遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network）也得到了發(fā)展和應(yīng)用。遞歸神經(jīng)網(wǎng)絡(luò)是具有樹狀階層結(jié)構(gòu)且網(wǎng)絡(luò)結(jié)點按其連接順序?qū)斎胄畔⑦M行遞歸的人工神經(jīng)網(wǎng)絡(luò)，目前已成為深度學(xué)習(xí)中的重要方法。

面向圖像數(shù)據(jù)分析，人們建立了卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)。卷積神經(jīng)網(wǎng)絡(luò)受生物視覺系統(tǒng)啟發(fā)，在人工神經(jīng)網(wǎng)絡(luò)中引入局部連接和權(quán)值共享策略，大幅度縮減模型參數(shù)，提高訓(xùn)練效率。同時，卷積神經(jīng)網(wǎng)絡(luò)引入多卷積核和池化(Pooling)策略，不僅緩解了神經(jīng)網(wǎng)絡(luò)的過擬合問題，還增強了神經(jīng)網(wǎng)絡(luò)的表示能力。卷積神經(jīng)網(wǎng)絡(luò)不僅在圖像識別等計算機視覺任務(wù)中取得巨大成功，還被用于語音識別和自然語言理解，是深度學(xué)習(xí)的重要方法之一。

近年來，隨著計算能力提升和大數(shù)據(jù)涌現(xiàn)，神經(jīng)網(wǎng)絡(luò)的發(fā)展趨勢是變得越來越深，形成了新的研究方向“深度學(xué)習(xí)”，包括：深度信念網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)等，在圖像、聲音和文本等眾多感知任務(wù)和以圍棋博弈為代表的認知任務(wù)上均取得了突破性的性能提升。其中一個代表性的改進是利用ReLU激活函數(shù)替代了傳統(tǒng)的Sigmoid激活函數(shù)，使得深度網(wǎng)絡(luò)得以有效訓(xùn)練，另外一個代表性改進是殘差網(wǎng)絡(luò)通過引入跳躍式的連接（Skip Connection）有效緩解了梯度消失的問題，使得網(wǎng)絡(luò)層數(shù)大大增加。在其他策略諸如更好的初始化如Xavier、更好的歸一化如Batch Normalization、更好的網(wǎng)絡(luò)結(jié)構(gòu)如ResNet, DenseNet, GoogleNet, NAS等、以及更好的優(yōu)化算法如Adam等的共同努力下，深度學(xué)習(xí)在顯著擴展網(wǎng)絡(luò)深度的同時也大大提升了模型的整體性能。

深度學(xué)習(xí)的概念由Hinton等人于2006年正式提出。2013年4月，《麻省理工學(xué)院技術(shù)評論》雜志將深度學(xué)習(xí)列為2013年十大突破性技術(shù)之首。深度學(xué)習(xí)強調(diào)的是一種基于對數(shù)據(jù)進行表征學(xué)習(xí)的方法，其目標是尋求更好的表示方法并創(chuàng)建更好的模型來從大規(guī)模未標記數(shù)據(jù)中學(xué)習(xí)這些表示方法。深度學(xué)習(xí)也可以理解為傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的拓展，至今已被應(yīng)用于計算機視覺、語音識別、自然語言處理、與生物信息學(xué)等領(lǐng)域并獲取了極好的效果，甚至在某些識別任務(wù)上達到或超越人類所表現(xiàn)出的能力。除了在算法模型方面的進展，深度學(xué)習(xí)的成功還有兩個重要因素：海量訓(xùn)練數(shù)據(jù)積累以及 GPU 計算所提供的強大而高效的并行計算。現(xiàn)在主流的深度學(xué)習(xí)平臺（如Caffe, Tensorflow, pyTorch）都支持GPU的訓(xùn)練。

歡迎大家在評論區(qū)交流與我交流~共同學(xué)習(xí)和成長^-^