牛頓共軛梯度算法求最小值問題
多元函數(shù)梯度為各變量一階偏導(dǎo)組成的向量。 牛頓共軛梯度算法是一種改進的牛頓方法,使用共軛梯度算法(近似)反演局部Hessian[NW]。牛頓方法基于將函數(shù)局部擬合為二次型: ? 是二階導(dǎo)數(shù)矩陣(Hessian)。如果Hessian是正定的,則可以通過將二次型的梯度設(shè)置為零來找到該函數(shù)的局部極小值,從而得到: 使用共軛梯度法來評估Hessian的逆。下面給出了一個使用這種方法最小化Rosenbrock函數(shù)的例子。
標(biāo)簽:優(yōu)化算法