4.1 什么是歸一化，它與標(biāo)準(zhǔn)化的區(qū)別是什么？ 本文主要講述的是標(biāo)準(zhǔn)化與歸一化的區(qū)別，相同點(diǎn)和聯(lián)系，重點(diǎn)講述各自的使用場(chǎng)景，歸一化主要是應(yīng)用于沒(méi)有距離計(jì)算的地方上，標(biāo)準(zhǔn)化則是使用在不關(guān)乎權(quán)重的地方上，因?yàn)楦髯詠G失了距離信息和權(quán)重信息，最后還講述了下歸一化的使用場(chǎng)景，主要是針對(duì)數(shù)據(jù)分布差異比較大的情況下的使用。 一. 不同點(diǎn) 標(biāo)準(zhǔn)差與權(quán)重：某個(gè)指標(biāo)數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)集標(biāo)準(zhǔn)差過(guò)大，說(shuō)明其不確定性增加，所提供的信息量也會(huì)增加，因此在進(jìn)行綜合指標(biāo)評(píng)價(jià)的時(shí)候，權(quán)重也會(huì)對(duì)應(yīng)的增大?！愃旗貦?quán)法 二. 相同點(diǎn)及其聯(lián)系 1. 聯(lián)系：歸一化廣義上是包含標(biāo)準(zhǔn)化的，Z-Score方法也是歸一化的方法之一，在這里主要是從狹義上，區(qū)分兩者。 2. 本質(zhì)上都是進(jìn)行特征提取，方便最終的數(shù)據(jù)比較認(rèn)識(shí)。都通過(guò)先平移(分子相減)后縮放(分母)進(jìn)行進(jìn)行提取; 3. 都是為了縮小范圍，便于后續(xù)的數(shù)據(jù)處理。 4. 作用：(重點(diǎn)) - 加快梯度下降，損失函數(shù)收斂；—速度上 - 提升模型精度–也就是分類準(zhǔn)確率(消除不同量綱，便于綜合指標(biāo)評(píng)價(jià)，提高分類準(zhǔn)確率)—質(zhì)量上 - 防止梯度爆炸(消除因?yàn)閿?shù)據(jù)輸入差距(1和2000)過(guò)大，而帶來(lái)的輸出差距過(guò)大(0.8,999)，進(jìn)而在反向傳播的過(guò)程當(dāng)中，導(dǎo)致梯度過(guò)大(因?yàn)榉聪騻鞑サ倪^(guò)程當(dāng)中進(jìn)行梯度計(jì)算，會(huì)使用的之前對(duì)應(yīng)層的輸入x)，從而形成梯度爆炸)—穩(wěn)定性上 說(shuō)明：特征縮放其實(shí)并不需要太精確，其目的只是為了讓梯度下降能夠運(yùn)行得更快一點(diǎn)，讓梯度下降收斂所需的循環(huán)次數(shù)更少一些而已。 三. 歸一化(廣義)的場(chǎng)景 A. 除非本來(lái)各維數(shù)據(jù)的分布范圍就比較接近，否則必須進(jìn)行標(biāo)準(zhǔn)化，以免模型參數(shù)被分布范圍較大或較小的數(shù)據(jù)支配 B. 數(shù)據(jù)分布差異比較大–標(biāo)準(zhǔn)化和奇異數(shù)據(jù)(單個(gè)有影響的也要)–歸一化 3.1 特征/數(shù)據(jù)需要?dú)w一化的場(chǎng)景 1. Logistic regression模型: 邏輯回歸,雖然迭代若干次沒(méi)有影響,但實(shí)際當(dāng)中遠(yuǎn)不止若干次,這樣就會(huì)導(dǎo)致邏輯回歸模型的目標(biāo)函數(shù)過(guò)于扁化,導(dǎo)致梯度很難下降,不容易得到較好的模型參數(shù). 2. SVM模型: 因?yàn)樯婕暗较蛄?數(shù)據(jù)的距離(向量之間差異過(guò)大/過(guò)小,就會(huì)導(dǎo)致最佳分離超平面可能會(huì)由最大/遠(yuǎn)或者最小/近的若干個(gè)向量支配,導(dǎo)致魯棒性較差,因此需要進(jìn)行標(biāo)準(zhǔn)化—可以保留向量間的模型) 3. Neural Network模型: 初始輸入值過(guò)大,反向傳播時(shí)容易梯度爆炸(上面有解釋) 4. SGD: 加快梯度下降. 3.2 不需要?dú)w一化的場(chǎng)景 1. 0/1取值的特征通常不需要?dú)w一化，歸一化會(huì)破壞它的稀疏性 2. 決策樹(shù)，原因詳見(jiàn)：https://www.julyedu.com/question/big/kp_id/23/ques_id/923 3. 基于平方損失的最小二乘法OLS不需要?dú)w一化(因?yàn)楸举|(zhì)上是一個(gè)拋物線,強(qiáng)凸函數(shù),下降速度快.) 四. 歸一化(狹義)注意事項(xiàng): 4.1 歸一化的方法 4.1.1 小數(shù)定標(biāo)標(biāo)準(zhǔn)化這種方法通過(guò)移動(dòng)數(shù)據(jù)的小數(shù)點(diǎn)位置來(lái)進(jìn)行標(biāo)準(zhǔn)化。小數(shù)點(diǎn)移動(dòng)多少位取決于屬性A的取值中的最大絕對(duì)值。將屬性A的原始值x使用decimal scaling標(biāo)準(zhǔn)化到x’的計(jì)算方法是： x'=x/(10^j) 其中，j是滿足條件的最小整數(shù)。例如 假定A的值由-986到917，A的最大絕對(duì)值為986，為使用小數(shù)定標(biāo)標(biāo)準(zhǔn)化，我們用1000（即，j=3）除以每個(gè)值，這樣，-986被規(guī)范化為-0.986。 注意：標(biāo)準(zhǔn)化會(huì)對(duì)原始數(shù)據(jù)做出改變，因此需要保存所使用的標(biāo)準(zhǔn)化方法的參數(shù)，以便對(duì)后續(xù)的數(shù)據(jù)進(jìn)行統(tǒng)一的標(biāo)準(zhǔn)化。 4.1.2 softmax對(duì)數(shù)歸一化 4.1.3 L2歸一化 上圖所示，L2歸一化過(guò)程: 其實(shí)就是x本身/2范數(shù) 4 .2 指標(biāo)衡量與權(quán)重保留 在歸一化中，指標(biāo)之間其實(shí)一般都存在單位的標(biāo)準(zhǔn)問(wèn)題，例如:我們?cè)u(píng)價(jià)一個(gè)人的健康程度,有如下指標(biāo),假設(shè)一個(gè)人身高 180cm，體重 70kg，白細(xì)胞計(jì)數(shù)7.50×10^{9}/L，各個(gè)量綱都不一樣,因此歸一化就是消除各個(gè)量綱,然后將各個(gè)指標(biāo)結(jié)合起來(lái),共同參與到評(píng)價(jià)健康程度當(dāng)中,這個(gè)就是歸一化需要做的事情–消除量綱,便于數(shù)據(jù)(結(jié)合了各個(gè)指標(biāo)的健康程度)/綜合評(píng)價(jià)的比較。 因此我們?cè)谶M(jìn)行歸一化的時(shí)候，我們就需要對(duì)各個(gè)指標(biāo)的權(quán)重進(jìn)行保留，方便評(píng)價(jià)。 4.3 歸一化的使用前提 在存在奇異樣本數(shù)據(jù)的情況下，進(jìn)行訓(xùn)練之前最好進(jìn)行歸一化，如果不存在奇異樣本數(shù)據(jù)，則可以不用歸一化。 五. 標(biāo)準(zhǔn)化的過(guò)程 即零-均值標(biāo)準(zhǔn)化 其中 是樣本數(shù)據(jù)的均值（mean），是樣本數(shù)據(jù)的標(biāo)準(zhǔn)差（std）。 是一個(gè)散點(diǎn)序列的標(biāo)準(zhǔn)化過(guò)程：原圖->減去均值(均值為0–>數(shù)據(jù)以原點(diǎn)為中心)->除以標(biāo)準(zhǔn)差對(duì)應(yīng)到三維圖像(以損失函數(shù)為例) 機(jī)器學(xué)習(xí)的目標(biāo)無(wú)非就是不斷優(yōu)化損失函數(shù)，使其值最小。在上圖中，J(w,b)就是我們要優(yōu)化的 目標(biāo)函數(shù),在上圖中,我們可以看到,損失函數(shù),未處理之前:梯度的方向就會(huì)偏離最小值的方向，走很多彎路,經(jīng)過(guò)標(biāo)準(zhǔn)化處理之后,我們損失函數(shù)的曲線也變得比較圓,有利于加快梯度下降,加快找到最佳模型參數(shù). 具體如下圖: