2000年左右，俄羅斯科學(xué)家提出一套新理論：統(tǒng)計(jì)學(xué)習(xí)理論，大意是：我們的模型一定要與待解決的問題相匹配，如果模型過于簡單，而問題本身的復(fù)雜度很高，就無法得到預(yù)期的精度。反過來，若問題本身簡單，而模型過于復(fù)雜，那么模型就會比較僵死，不能舉一反三，即“過擬合”。很類似于哲學(xué)界的奧卡姆剃刀原理：如果對于同一個問題有不同的解決方案，那么我們應(yīng)該挑選其中最簡單的一個。神經(jīng)網(wǎng)絡(luò)模型或者其他機(jī)器學(xué)習(xí)模型也應(yīng)該遵循類似的原理，只有當(dāng)模型的復(fù)雜度與所解決的問題相符匹配的時候，才能讓模型更好的發(fā)揮作用。
然而統(tǒng)計(jì)學(xué)理論也有很大局限性，理論的嚴(yán)格分析僅僅限于一類特殊的神經(jīng)網(wǎng)絡(luò)模型：支持向量機(jī)，而對于更一般的神經(jīng)網(wǎng)絡(luò)，人們還未找到統(tǒng)一的分析方法。所以說連接學(xué)派的科學(xué)家們雖然會向