《Neural Networks.》論文單詞學(xué)習(xí)

2022-02-19 19:00 作者:小清舍 0人讀過(guò) | 我要投稿

論文鏈接：Abdi-Neural-networks-pretty.dvi (aminer.org)

作者：G. David Garson

重要表述：

Neural networks are adaptive statistical models based on an analogy with the structure of the brain.
Basically, neural networks are built from simple units, sometimes called neurons or cells by analogy with the real thing.
These networks usually organize their units into several layers. The first layer is called the input layer, the last one the output layer. The intermediate layers (if any) are called the hidden layers.
The goal of the network is to learn or to discover some association between input and output patterns, or to analyze, or to find the structure of the input patterns.
From a statistical point a view, neural networks represent a class of nonparametric adaptive models.?

重要圖述

1.神經(jīng)網(wǎng)絡(luò)的基本單元結(jié)構(gòu)

基本神經(jīng)單元將輸入信息處理到輸出信息中

2.多層感知器

提及兩個(gè)學(xué)習(xí)規(guī)則

1.Widrow-Hoff（又稱梯度下降法或Delta法則）是最廣泛的知名的監(jiān)督學(xué)習(xí)規(guī)則。它使用單元的實(shí)際輸入和期望輸出之間的差異作為輸出單元的誤差信號(hào)。隱藏層中的單元不能直接計(jì)算其誤差信號(hào)，而是將其作為下一層單元的誤差的函數(shù)（例如，加權(quán)平均）來(lái)估計(jì)。的函數(shù)（如加權(quán)平均）。這種對(duì)Widrow-Hoff學(xué)習(xí)規(guī)則的調(diào)整被稱為誤差反向傳播。在Widrow-Hoff學(xué)習(xí)中，對(duì)突觸權(quán)重的修正與誤差信號(hào)成正比，并乘以傳遞函數(shù)的導(dǎo)數(shù)所給出的激活值。使用導(dǎo)數(shù)的效果是，當(dāng)激活接近其極端值（最小或最大）時(shí)，進(jìn)行微調(diào)修正；當(dāng)激活處于中間范圍時(shí)，進(jìn)行較大的修正。如果一個(gè)類似的輸入被應(yīng)用于該單元，每個(gè)修正都有使錯(cuò)誤信號(hào)變小的直接效果。一般來(lái)說(shuō)，監(jiān)督學(xué)習(xí)規(guī)則實(shí)施類似于下降技術(shù)的優(yōu)化算法，因?yàn)樗鼈優(yōu)樽杂蓞?shù)搜索一組值(即突觸權(quán)重）的一組值，從而使整個(gè)網(wǎng)絡(luò)計(jì)算出的一些誤差函數(shù)最小化。

2.Hebbian規(guī)則是最廣為人知的無(wú)監(jiān)督學(xué)習(xí)規(guī)則。它基于加拿大神經(jīng)心理學(xué)家唐納德-赫伯的工作，他的理論是他認(rèn)為神經(jīng)元學(xué)習(xí)（即突觸變化）是一種局部現(xiàn)象，可以用激活的時(shí)間相關(guān)性來(lái)表達(dá)。以神經(jīng)元激活值之間的時(shí)間相關(guān)性來(lái)表達(dá)。具體來(lái)說(shuō)，突觸變化取決于突觸前和突觸后的活動(dòng)，并指出突觸權(quán)重的變化是以下的函數(shù) 突觸前和突觸后活動(dòng)之間的時(shí)間相關(guān)性。具體來(lái)說(shuō)，兩個(gè)神經(jīng)元之間的突觸權(quán)重的值會(huì)增加只要它們處于相同的狀態(tài)，突觸權(quán)重就會(huì)增加，而當(dāng)它們處于不同的處于不同的狀態(tài)。