第一部分数学知识回顾
第1章证明方法与相关记法
1.1证明方法
1.2记法
习题
第2章向量空间与矩阵
2.1向量与矩阵
2.2矩阵的秩
2.3线性方程组
2.4内积和范数
习题
第3章变换
3.1线性变换
3.2特征值与特征向量
3.3正交投影
3.4二次型函数
3.5矩阵范数
习题
第4章有关几何概念
4.1线段
4.2超平面与线性簇
4.3凸集
4.4邻域
4.5多面体和多胞形
习题
第5章微积分基础
5.1序列与极限
5.2可微性
5.3导数矩阵
5.4微分法则
5.5水平集与梯度
5.6泰勒级数
习题
第二部分无约束优化问题
第6章集合约束和无约束优化问题的基础知识
6.1引言
6.2局部极小点的条件
习题
第7章一维搜索方法
7.1引言
7.2黄金分割法
7.3斐波那契数列法
7.4二分法
7.5牛顿法
7.6割线法
7.7划界法
7.8多维优化问题中的一维搜索
习题
第8章梯度方法
8.1引言
8.2最速下降法
8.3梯度方法性质分析
习题
第9章牛顿法
9.1引言
9.2牛顿法性质分析
9.3Levenberg Marquardt修正
9.4牛顿法在非线性最小二乘问题中的应用
习题
第10章共轭方向法
10.1引言
10.2基本的共轭方向算法
10.3共轭梯度法
10.4非二次型问题中的共轭梯度法
习题
第11章拟牛顿法
11.1引言
11.2黑塞矩阵逆矩阵的近似
11.3秩1修正公式
11.4DFP算法
11.5BFGS算法
习题
第12章求解线性方程组
12.1最小二乘分析
12.2递推最小二乘算法
12.3线性方程组的最小范数解
12.4Kaczmarz算法
12.5一般意义下的线性方程组的求解
习题
第13章无约束优化问题和神经网络
13.1引言
13.2单个神经元训练
13.3反向传播算法
习题
第14章全局搜索算法
14.1引言
14.2Nelder Mead单纯形法
14.3模拟退火法
14.4粒子群优化算法
14.5遗传算法
习题
第三部分线 性 规 划
第15章线性规划概述
15.1线性规划简史
15.2线性规划的简单例子
15.3二维线性规划
15.4凸多面体和线性规划
15.5线性规划问题的标准型
15.6基本解
15.7基本解的性质
15.8几何视角下的线性规划
习题
第16章单纯形法
16.1利用行变换求解线性方程组
16.2增广矩阵的规范型
16.3更新增广矩阵
16.4单纯形法
16.5单纯形法的矩阵形式
16.6两阶段单纯形法
16.7修正单纯形法
习题
第17章对偶
17.1对偶线性规划
17.2对偶问题的性质
习题
第18章非单纯形法
18.1引言
18.2Khachiyan算法
18.3仿射尺度法
18.4Karmarkar算法
习题
第19章整数规划
19.1概述
19.2幺模矩阵
19.3Gomory割平面法
习题
第四部分有约束的非线性优化问题
第20章仅含等式约束的优化问题
20.1引言
20.2问题描述
20.3切线空间和法线空间
20.4拉格朗日条件
20.5二阶条件
20.6线性约束下二次型函数的极小化
习题
第21章含不等式约束的优化问题
21.1卡罗需库恩塔克（Karush Kuhn Tucker）条件
21.2二阶条件
习题
第22章凸优化问题
22.1引言
22.2凸函数
22.3凸优化问题
22.4半定规划
习题
第23章有约束优化问题的求解算法
23.1引言
23.2投影法
23.3求解含线性约束优化问题的投影梯度法
23.4拉格朗日法
23.5罚函数法
习题
第24章多目标优化
24.1引言
24.2帕累托解
24.3帕累托前沿的求解
24.4多目标优化到单目标优化的转换
24.5存在不确定性的线性规划
习题
参考文献