1.引言
范數(shù)：向量范數(shù)（1,2，∞）、矩陣范數(shù)（1,2，∞）
實函數(shù)：連續(xù)∈C(S),連續(xù)可微∈C1(S),二階連續(xù)可微∈C2(S)；梯度：（N維列向量）；海塞陣；Talylor展開
向量值函數(shù)：Jacobi矩陣、鏈式法則、隱函數(shù)存在定理
凸：凸集、凸函數(shù)、凸規(guī)劃、凸集分離定理

2.線性規(guī)劃
單純形法、兩階段法、大M法
退化、修正單純形法
對偶、對偶單純形表、靈敏度分析
強/弱互補松弛定理

3.最優(yōu)性條件
無約束最優(yōu)性條件
約束極值問題最優(yōu)性條件
對偶及鞍點問題

4.一維搜索：
二分，0.618，斐波那契，折紙
割線、牛頓、拋物線
插值
精確/非精確 Amijo search？wolfe search

5.導數(shù)最優(yōu)化方法
計算及收斂性分析：
SD
Newton
CG
BFGS
信賴域
最小二乘（某些特殊問題可等價于）：線性/非線性

6.懲罰函數(shù)法
外點
內(nèi)點

7.二次規(guī)劃

附錄：
算法收斂性及收斂速率