緊接著上一篇談到的最小化問題。

多元函數(shù)的極值問題一般采用拉格朗日極值法，求對應的偏導數(shù)來完成。由于約束條件是不等式，可以將不等式變換為等式來解決，如下所示，通過引入pi變量來完成。

只要是正確分類的樣本，yi乘以wx+b均大于1，不用考慮小于零的情況，此時樣本在兩個正負超平面之間，不滿足支持向量的定義了。

由上可以看出如果yi乘以wx+b不等于1，也就是說該樣本位于正負超平面以外的區(qū)域，對應的λ等于零。

如果是位于正負超平面上的樣本點，則λ不等于零。

首先在約束曲面邊界處g（x）= 0的極值問題，此時就是等式約束，正常的拉格朗日極值法的應用?？隙ㄓ衒（x）與約束條件g（x）相切，即二者的導數(shù)向量的方向相反或者相反，但是導數(shù)值的大小是由下述等數(shù)條件來決定的。

然后是g（x）< 0的情況，在這種情況下，在小于零的區(qū)域內(nèi)求f（x）的最小值就直接求導Δf（x）即可，與拉姆達無關直接置0即可。關于g(x)=0的情況時，就是和基本的拉格朗日極值法是一樣的思路來解決問題，但是由于區(qū)域的存在，極值點處二者的導數(shù)方向一定相反。如果相同的話它們會沿相同的方向繼續(xù)運動走入到區(qū)域內(nèi)部，那樣這個點就不可能是約束條件下的極值點了。由于二者的導數(shù)方向相反，符號異號，此時上述等式的λ值一定得大于零。

最后是第三個條件就是關于點的位置和λ正負關系得到的結果，上面已經(jīng)寫了。由此可見絕大多數(shù)點對應的λ均為零，不參與到w與b的計算過程中，僅有支持向量參與計算，極大地簡化了運算量，這也就是支持向量機的由來。

這個λ的正負性的討論我寫的不是很透徹，之后在涉及到這個部分的內(nèi)容再行闡述。

最后就是對偶性問題了，這個部分涉及到凸優(yōu)化相關的內(nèi)容，我只能理解到，把某個函數(shù)最小值的求解問題轉化為另一個函數(shù)最大值的求解。