如何搞定機器學(xué)習(xí)中的拉格朗日？看看這個乘子法與KKT條件大招

　一 前置知識
　　拉格朗日乘子法是一種尋找多元函數(shù)在一組約束下的極值方法，通過引入拉格朗日乘子，可將有m個變量和n個約束條件的最優(yōu)化問題轉(zhuǎn)化為具有m+n個變量的無約束優(yōu)化問題。在介紹拉格朗日乘子法之前，先簡要的介紹一些前置知識，然后就拉格朗日乘子法談一下自己的理解。
　　1.梯度
　　梯度是一個與方向?qū)?shù)有關(guān)的概念，它是一個向量。在二元函數(shù)的情形，設(shè)函數(shù)f（x，y）在平面區(qū)域D內(nèi)具有一階連續(xù)偏導(dǎo)，則對于每一點P（x0，y0）∈D，都可以定義出一個向量：fx（x0，y0）i+fy（x0，y0）j ，稱該向量為函數(shù)f（x，y）在點P（x0，y0）
　　的梯度。并記作grad f（x0，y0） 或者?f（x0，y0），即 grad f（x0，y0） = ?f（x0，y0） = fx（x0，y0）i+fy（x0，y0）j=（fx（x0，y0），fy（x0，y0）） 。
　　再來看看梯度和方向?qū)?shù)的關(guān)系：如果函數(shù)f（x，y）在P（x0，y0）點可微，el = （cosα，cosβ）是與方向L同向的單位向量，則?f/?L|（x0，y0） = fx（x0，y0）cosα+fy（x0，y0）cosβ = grad f（x0，y0）.el = |grad f（x0，y0）|.cosθ ，其中θ表示的梯度與el 的夾角。由此可知，當θ = 0時，el 與梯度的方向相同時，此時方向?qū)?shù)最大，函數(shù)f（x，y）增長最快;當θ = π時，el 與梯度的方向相反時，此時方向?qū)?shù)最小且為負，函數(shù)f（x，y）減小最快。
　　2.等高線（等值線）
　　通常來說，二元函數(shù) z = f（x，y）在幾何上表示一個曲面，這個曲面被平面 z = c（c為常數(shù)）所截得的曲線L的方程為：
　　
　　這是一條空間曲線，這條曲線L在xOy平面上的投影是一條平面曲線L*，它在xOy平面直角坐標系中的方程為：f（x，y） = c 。對于曲線L*上的一切點，已給函數(shù)的函數(shù)值都是c，所以我們稱平面曲線L*為函數(shù)z = f（x，y）的等值線（等高線）。再來看看等高線的一些性質(zhì)：
　　若fx，fy不同時為零，則等高線 f（x，y） = c上任一點P（x0，y0）處的一個單位法向量為：
　　
　　這表明函數(shù)f（x，y）在一點（x0，y0）的梯度?f（x0，y0）的方向就是等高線f（x，y） = c在這點的法向量的方向，而梯度的模|?f（x0，y0）|就是沿這個法線方向的方向?qū)?shù)?f/?n，于是有：