線性回歸實際上是輸出連續(xù)性預(yù)測值的一個模型，簡單的線性回歸、多元線性回歸、非線性回歸都一樣是輸出連續(xù)性預(yù)測值的模型。正如我們所知曉的，機器學(xué)習(xí)的問題一般分為兩種：連續(xù)值的預(yù)測和離散值的預(yù)測，連續(xù)值的預(yù)測可以用回歸解決，離散值的預(yù)測可以用分類解決。

分類和回歸二者不存在不可逾越的鴻溝。就波士頓房價預(yù)測作為例子：如果將房價按高低分為“高級”、“中級”和“普通”三個檔次，那么這個預(yù)測問題也屬于分類問題。

準(zhǔn)確地說，邏輯回歸（logistic regression）就是對數(shù)幾率回歸，屬于廣義線性模型，它的因變量一般只有0和1.

需要明確一件事：線性回歸并沒有對數(shù)據(jù)的分布進行任何假設(shè)，而邏輯回歸隱含了一個基本假設(shè)：每個樣本均獨立服從于伯努利分布（0-1分布）。

對數(shù)幾率回歸

對數(shù)線性回歸 一般形式：

上式將線性回歸模型的預(yù)測值和實際值關(guān)聯(lián)起來

更一般的形式：廣義線性模型

g(x)稱為聯(lián)系函數(shù):，

當(dāng)我們對y使用函數(shù)g(x),便可以得到廣義線性模型的一般形式：

二分類問題的理想聯(lián)系函數(shù)：單位階躍函數(shù)

在二分類問題中，因變量的取值只有三種可能。

階躍函數(shù)的代替函數(shù)：sigmoid函數(shù)，它能夠把輸入的連續(xù)實值變換為0和1之間的輸出

Sigmoid函數(shù)和階躍函數(shù)的不同是：

1.“平滑性”的不同。sigmoid函數(shù)是一條平滑的曲線，輸出隨著輸入發(fā)生連續(xù)性的變化。而階躍函數(shù)以0為界，輸出發(fā)生急劇性的變化。

2.另一個不同點是，相對于階躍函數(shù)只能返回0或1，sigmoid函數(shù)可以返回0.731 ...、0.880 …等實數(shù)。

其函數(shù)表達(dá)式為?，其函數(shù)圖像如下：

將sigmoid函數(shù)帶入線性模型中可得

? ?

經(jīng)過推導(dǎo)可得：

? ? ?

稱為“幾率”，表示樣本取正例的可能性比例；而稱為“對數(shù)幾率”。

對數(shù)幾率回歸任務(wù)的目標(biāo)就是尋找到合適的w,b,使函數(shù)輸出逼近真實類別。

進一步地，我們不妨把y視為類別取值為1（或者0）的概率，可以得到：

?????? ? ? ??? ? ??

那么，? ? ? ??

那么目標(biāo)函數(shù)變?yōu)椋?img type="latex" class="latex" src="http://api.bilibili.com/x/web-frontend/mathjax/tex?formula=max%20%5Cmathcal%7Bl%7D(w%2Cb)%20%3D%20%5Csum_%7Bi%3D1%7D%5E%7Bm%7D%20%5Cln%20p(y_%7Bi%7D%7Cx_%7Bi%7D%3Bw%2Cb)" alt="max%20%5Cmathcal%7Bl%7D(w%2Cb)%20%3D%20%5Csum_%7Bi%3D1%7D%5E%7Bm%7D%20%5Cln%20p(y_%7Bi%7D%7Cx_%7Bi%7D%3Bw%2Cb)">

找到使得目標(biāo)函數(shù)值最大的w，b；

目標(biāo)函數(shù)的求解方法有梯度下降法、牛頓法等。