上一篇文章我們簡單介紹了一下什么是邏輯回歸，接下來，我們一起來看一下邏輯回歸有哪些具體應(yīng)用吧~

一、損失函數(shù)求導(dǎo)

優(yōu)點(diǎn)

• 實(shí)現(xiàn)簡單；

• 分類時(shí)計(jì)算量非常小，速度很快，存儲(chǔ)資源低；

缺點(diǎn)

• 容易欠擬合，一般準(zhǔn)確度不太高

• 只能處理兩分類問題（在此基礎(chǔ)上衍生出來的softmax可以用于多分類），且必須線性可分

損失函數(shù)

邏輯回歸的公式為：

假設(shè)有N個(gè)樣本，樣本的標(biāo)簽只有0和1兩類，可以用極大似然估計(jì)法估計(jì)模型參數(shù)，從而得到邏輯回歸模型。

設(shè)yi=1的概率為pi，yi=0的概率為1 - pi，那么觀測的概率為：

可以看到這個(gè)公式很巧妙的將0和1兩種情況都包括進(jìn)去，數(shù)學(xué)真是個(gè)美妙的東西。

概率由邏輯回歸的公式求解，那么帶進(jìn)去得到極大似然函數(shù)：

取對數(shù)之后：

上面這個(gè)式子的計(jì)算過程還用到了對數(shù)的一些相關(guān)的性質(zhì)，對L(w)求極大值，得到w的估計(jì)值

其實(shí)實(shí)際操作中會(huì)加個(gè)負(fù)號，變成最小化問題，通常會(huì)采用隨機(jī)梯度下降法和擬牛頓迭代法來求解

梯度

現(xiàn)在已經(jīng)知道損失函數(shù)：

現(xiàn)在開始求導(dǎo)：

通常來說，是用梯度下降法來求解的，所以會(huì)在損失函數(shù)前面加個(gè)負(fù)號求最小值，所以最終的導(dǎo)數(shù)變成：

邏輯回歸算法當(dāng)然不僅僅只有這么一個(gè)應(yīng)用，還可以通過求解得到最優(yōu)解模型，還可以通過代碼實(shí)現(xiàn)參數(shù)求解。具體怎么做呢？一起來視頻中跟著老師學(xué)習(xí)吧~