1. 什么是邏輯回歸

首先學(xué)習(xí)課程之前我們必須要知道的邏輯回歸的一些概念。

邏輯回歸是什么呢？邏輯回歸就是這樣的一個(gè)過(guò)程：面對(duì)一個(gè)回歸或者分類(lèi)問(wèn)題，建立代價(jià)函數(shù)，然后通過(guò)優(yōu)化方法迭代求解出最優(yōu)的模型參數(shù)，然后測(cè)試驗(yàn)證我們這個(gè)求解的模型的好壞。

Logistic回歸雖然名字里帶“回歸”，但是它實(shí)際上是一種分類(lèi)方法，主要用于兩分類(lèi)問(wèn)題（即輸出只有兩種，分別代表兩個(gè)類(lèi)別）

回歸模型中，y是一個(gè)定性變量，比如y=0或1，logistic方法主要應(yīng)用于研究某些事件發(fā)生的概率。

在本節(jié)中，我們介紹邏輯回歸中的Softmax回歸模型，該模型是logistic回歸模型在多分類(lèi)問(wèn)題上的推廣，在多分類(lèi)問(wèn)題中，類(lèi)標(biāo)簽??可以取兩個(gè)以上的值。 Softmax回歸模型對(duì)于諸如MNIST手寫(xiě)數(shù)字分類(lèi)等問(wèn)題是很有用的，該問(wèn)題的目的是辨識(shí)10個(gè)不同的單個(gè)數(shù)字。Softmax回歸是有監(jiān)督的，不過(guò)后面也會(huì)介紹它與深度學(xué)習(xí)/無(wú)監(jiān)督學(xué)習(xí)方法的結(jié)合。

優(yōu)點(diǎn)：

1）預(yù)測(cè)結(jié)果是界于0和1之間的概率；

2）可以適用于連續(xù)性和類(lèi)別性自變量；

3）容易使用和解釋?zhuān)?/p>

?

缺點(diǎn)：

1）對(duì)模型中自變量多重共線(xiàn)性較為敏感，例如兩個(gè)高度相關(guān)自變量同時(shí)放入模型，可能導(dǎo)致較弱的一個(gè)自變量回歸符號(hào)不符合預(yù)期，符號(hào)被扭轉(zhuǎn)。需要利用因子分析或者變量聚類(lèi)分析等手段來(lái)選擇代表性的自變量，以減少候選變量之間的相關(guān)性；

2）預(yù)測(cè)結(jié)果呈“S”型，因此從log(odds)向概率轉(zhuǎn)化的過(guò)程是非線(xiàn)性的，在兩端隨著log(odds)值的變化，概率變化很小，邊際值太小，slope太小，而中間概率的變化很大，很敏感。 導(dǎo)致很多區(qū)間的變量變化對(duì)目標(biāo)概率的影響沒(méi)有區(qū)分度，無(wú)法確定閥值。

?

3.邏輯回歸和多重線(xiàn)性回歸的區(qū)別

Logistic回歸與多重線(xiàn)性回歸實(shí)際上有很多相同之處，最大的區(qū)別就在于它們的因變量不同，其他的基本都差不多。正是因?yàn)槿绱?，這兩種回歸可以歸于同一個(gè)家族，即廣義線(xiàn)性模型（generalizedlinear model）。
這一家族中的模型形式基本上都差不多，不同的就是因變量不同。這一家族中的模型形式基本上都差不多，不同的就是因變量不同。

·?如果是連續(xù)的，就是多重線(xiàn)性回歸

·?如果是二項(xiàng)分布，就是Logistic回歸

·?如果是Poisson分布，就是Poisson回歸

·?如果是負(fù)二項(xiàng)分布，就是負(fù)二項(xiàng)回歸

例如：

首先我們先來(lái)看一個(gè)函數(shù)，這個(gè)函數(shù)叫做Sigmoid函數(shù)：

?

函數(shù)中t無(wú)論取什么值，其結(jié)果都在[0,-1]的區(qū)間內(nèi)，回想一下，一個(gè)分類(lèi)問(wèn)題就有兩種答案，一種是“是”，一種是“否”，那0對(duì)應(yīng)著“否”，1對(duì)應(yīng)著“是”，

那又有人問(wèn)了，你這不是[0,1]的區(qū)間嗎，怎么會(huì)只有0和1呢？

這個(gè)問(wèn)題問(wèn)得好，我們假設(shè)分類(lèi)的閾值是0.5，那么超過(guò)0.5的歸為1分類(lèi)，低于0.5的歸為0分類(lèi)，閾值是可以自己設(shè)定的。

好了，接下來(lái)我們把a(bǔ)X+b帶入t中就得到了我們的邏輯回歸的一般模型方程：

?

結(jié)果P也可以理解為概率，換句話(huà)說(shuō)概率大于0.5的屬于1分類(lèi)，概率小于0.5的屬于0分類(lèi)，這就達(dá)到了分類(lèi)的目的。

1.2損失函數(shù)

邏輯回歸的損失函數(shù)跟其它的不同，先一睹尊容：

?

解釋一下，當(dāng)真實(shí)值為1分類(lèi)時(shí)，用第一個(gè)方程來(lái)表示損失函數(shù)；當(dāng)真實(shí)值為0分類(lèi)時(shí)，用第二個(gè)方程來(lái)表示損失函數(shù)，為什么要加上log函數(shù)呢？可以試想一下，當(dāng)真實(shí)樣本為1是，但h=0概率，那么log0=∞，這就對(duì)模型最大的懲罰力度；當(dāng)h=1時(shí)，那么log1=0，相當(dāng)于沒(méi)有懲罰，也就是沒(méi)有損失，達(dá)到最優(yōu)結(jié)果。所以數(shù)學(xué)家就想出了用log函數(shù)來(lái)表示損失函數(shù)，把上述兩式合并起來(lái)就是如下函數(shù)，并加上正則化項(xiàng)：

?

最后按照梯度下降法一樣，求解極小值點(diǎn)，得到想要的模型效果。

看完這篇文章有沒(méi)有恍然大悟呢？其實(shí)學(xué)習(xí)沒(méi)有想象的那么難，想要了解更多精彩內(nèi)容可以轉(zhuǎn)發(fā)點(diǎn)贊哦~

作者：尚學(xué)堂官方

https://www.bilibili.com/read/cv10005347

出處： bilibili