1.?什么是邏輯回歸

首先學習課程之前我們必須要知道的邏輯回歸的一些概念。

邏輯回歸是什么呢？邏輯回歸就是這樣的一個過程：面對一個回歸或者分類問題，建立代價函數(shù)，然后通過優(yōu)化方法迭代求解出最優(yōu)的模型參數(shù)，然后測試驗證我們這個求解的模型的好壞。

Logistic回歸雖然名字里帶“回歸”，但是它實際上是一種分類方法，主要用于兩分類問題（即輸出只有兩種，分別代表兩個類別）

回歸模型中，y是一個定性變量，比如y=0或1，logistic方法主要應用于研究某些事件發(fā)生的概率。

在本節(jié)中，我們介紹邏輯回歸中的Softmax回歸模型，該模型是logistic回歸模型在多分類問題上的推廣，在多分類問題中，類標簽??可以取兩個以上的值。 Softmax回歸模型對于諸如MNIST手寫數(shù)字分類等問題是很有用的，該問題的目的是辨識10個不同的單個數(shù)字。Softmax回歸是有監(jiān)督的，不過后面也會介紹它與深度學習/無監(jiān)督學習方法的結合。

優(yōu)點：

1）預測結果是界于0和1之間的概率；

2）可以適用于連續(xù)性和類別性自變量；

3）容易使用和解釋；

?

缺點：

1）對模型中自變量多重共線性較為敏感，例如兩個高度相關自變量同時放入模型，可能導致較弱的一個自變量回歸符號不符合預期，符號被扭轉。需要利用因子分析或者變量聚類分析等手段來選擇代表性的自變量，以減少候選變量之間的相關性；

2）預測結果呈“S”型，因此從log(odds)向概率轉化的過程是非線性的，在兩端隨著log(odds)值的變化，概率變化很小，邊際值太小，slope太小，而中間概率的變化很大，很敏感。 導致很多區(qū)間的變量變化對目標概率的影響沒有區(qū)分度，無法確定閥值。

?

3.邏輯回歸和多重線性回歸的區(qū)別

Logistic回歸與多重線性回歸實際上有很多相同之處，最大的區(qū)別就在于它們的因變量不同，其他的基本都差不多。正是因為如此，這兩種回歸可以歸于同一個家族，即廣義線性模型（generalizedlinear model）。
這一家族中的模型形式基本上都差不多，不同的就是因變量不同。這一家族中的模型形式基本上都差不多，不同的就是因變量不同。

·?如果是連續(xù)的，就是多重線性回歸

·?如果是二項分布，就是Logistic回歸

·?如果是Poisson分布，就是Poisson回歸

·?如果是負二項分布，就是負二項回歸

例如：

首先我們先來看一個函數(shù)，這個函數(shù)叫做Sigmoid函數(shù)：

?

函數(shù)中t無論取什么值，其結果都在[0,-1]的區(qū)間內，回想一下，一個分類問題就有兩種答案，一種是“是”，一種是“否”，那0對應著“否”，1對應著“是”，

那又有人問了，你這不是[0,1]的區(qū)間嗎，怎么會只有0和1呢？

這個問題問得好，我們假設分類的閾值是0.5，那么超過0.5的歸為1分類，低于0.5的歸為0分類，閾值是可以自己設定的。

好了，接下來我們把aX+b帶入t中就得到了我們的邏輯回歸的一般模型方程：

?

結果P也可以理解為概率，換句話說概率大于0.5的屬于1分類，概率小于0.5的屬于0分類，這就達到了分類的目的。

1.2損失函數(shù)

邏輯回歸的損失函數(shù)跟其它的不同，先一睹尊容：

?

解釋一下，當真實值為1分類時，用第一個方程來表示損失函數(shù)；當真實值為0分類時，用第二個方程來表示損失函數(shù)，為什么要加上log函數(shù)呢？可以試想一下，當真實樣本為1是，但h=0概率，那么log0=∞，這就對模型最大的懲罰力度；當h=1時，那么log1=0，相當于沒有懲罰，也就是沒有損失，達到最優(yōu)結果。所以數(shù)學家就想出了用log函數(shù)來表示損失函數(shù)，把上述兩式合并起來就是如下函數(shù)，并加上正則化項：

?

最后按照梯度下降法一樣，求解極小值點，得到想要的模型效果。

看完這篇文章有沒有恍然大悟呢？其實學習沒有想象的那么難，想要了解更多精彩內容可以轉發(fā)點贊哦~