最優(yōu)化:線搜索與信賴域異同點
相同點:借助泰勒展開來對目標函數(shù)進行局部近似 不同點:看待近似函數(shù)的方式不同 線搜索算法是先利用近似模型求出下降方向d,然后去確定步長α,目的是構造和α有關的輔助函數(shù)再去求輔助函數(shù)的最小值 信賴域算法是在一個有界區(qū)域內(nèi)直接去求解這個近似模型,對下一個迭代點的函數(shù)進行二階展開之后,海瑟矩陣用對稱矩陣近似替代,求解與d有關的函數(shù)的最小值(d有半徑限制,即信賴域半徑,d也不宜過小,否則無意義),因此信賴域算法實際上是同時選擇了方向和步長
標簽: