《非线性最优化算法与实践（微课视频版）》龙强、赵克全 清华大学出版社 2025/5/1

内容简介：

本书旨在介绍常见的非线性最优化的理论与算法，以及深度学习中的优化算法。全书侧重对优化原理的直观理解和优化算法的步骤设计和流程构建，并通过大量案例对所介绍的算法进行了编程实现。书中提供的大量编程代码可以为需要使用非线性最优化解决实际问题的工程技术人员进行二次开发提供基础，也可以为致力于学习最优化理论与算法的读者进行编程练手提供参考。
除第1章介绍的基础知识外，全书内容可以分为4部分。第一部分介绍一维搜索理论与算法，第二部分介绍无约束最优化理论与算法，第三部分介绍约束最优化理论与算法，第四部分介绍的深度学习中的优化算法。本书可以作为理工科大学相关专业研究生的学位课教材，也可以作为数据科学、人工智能、机器学习相关专业高年级本科生的选修课教材，还可以作为相关领域学术研究人员、工程技术人员的参考资料。

目录：

第1章绪论（270min）

1.1最优化概述

1.2最优化问题的模型及分类

1.2.1最优化问题的标准模型

1.2.2最优化问题的分类

1.3最优化问题举例

1.4数学预备知识

1.4.1向量范数

1.4.2方阵范数

1.4.3序列的极限

1.4.4梯度、海森矩阵、泰勒展式

1.4.5雅可比矩阵、链式法则

1.5凸集与凸函数

1.5.1凸集

1.5.2典型的凸集

1.5.3凸集分离定理

1.5.4凸函数

1.5.5凸函数的判定

1.5.6凸函数的性质

1.5.7凸规划

第2章一维搜索（306min）

2.1优化问题的基本框架

2.2一维搜索的概念

2.3一维优化的最优性条件

2.4算法的收敛性

2.4.1算法收敛的定义

2.4.2收敛速度

2.4.3实用收敛准则

2.5试探法

2.5.1单峰函数

2.5.2黄金分割法

2.5.3斐波那契法

2.5.4试探法案例

2.6函数逼近法

2.6.1牛顿法

2.6.2割线法

2.6.3抛物线法

2.6.4函数逼近法案例

2.7非精确一维搜索

2.7.1Armijo睪oldstein步长准则

2.7.2Wolf睵owell步长准则

2.7.3简单准则和后退法

2.7.4非精确一维搜索案例

第3章无约束优化的梯度方法（295min）

3.1无约束优化的最优性条件

3.1.1下降方向

3.1.2一阶必要条件

3.1.3二阶必要条件

3.1.4二阶充分条件

3.1.5充要条件

3.1.6最优性条件应用案例

3.2最速下降法

3.2.1最速下降方向

3.2.2最速下降法

3.2.3最速下降法案例

3.2.4最速下降法的收敛性

3.3牛顿法

3.3.1基本原理

3.3.2牛顿法的算法步骤和流程

3.3.3牛顿法的改进

3.3.4牛顿法案例

3.4共轭梯度法

3.4.1共轭方向

3.4.2二次函数的共轭梯度法

3.4.3一般函数的共轭梯度法

3.4.4共轭梯度法案例

3.5拟牛顿法

3.5.1对称秩1(SR1)校正法

3.5.2DFP校正法

3.5.3BFGS校正法

3.5.4拟牛顿法案例

第4章无约束优化的直接方法（163min）

4.1探测搜索

4.1.1探测搜索算法

4.1.2探测搜索案例

4.2交替方向法

4.2.1交替方向法原理

4.2.2交替方向法案例

4.3Hooke睯eeves方法

4.3.1Hooke睯eeves方法简介

4.3.2Hooke睯eeves方法的案例

4.4Rosenbrock方法

4.4.1Rosenbrock方法简介

4.4.2Rosenbrock方法的案例

4.5Powell方法

4.5.1Powell方法简介

4.5.2Powell方法的案例

4.6单纯形法

4.6.1单纯形

4.6.2单纯形迭代

4.6.3单纯形法停止准则

4.6.4单纯形法的算法步骤和流程

4.6.5单纯形法的案例

第5章约束优化问题的最优性条件（311min）

5.1约束优化问题最优性条件的基本思想

5.1.1下降方向

5.1.2可行方向

5.1.3几何描述

5.2不等式约束优化问题的一阶最优性条件

5.2.1用积极约束表达的几何最优性条件

5.2.2Fritz John条件

5.2.3Karush睰uhn睺ucker(KKT)条件

5.3一般约束优化问题的一阶最优性条件

5.3.1几何最优性条件

5.3.2Fritz John必要条件

5.3.3KKT必要条件

5.4对偶问题及鞍点最优性条件

5.4.1拉格朗日对偶问题

5.4.2对偶定理

5.4.3鞍点最优性条件

第6章可行方向法（203min）

6.1Zoutendijk可行方向法

6.1.1线性约束情形

6.1.2非线性约束情形

6.2Rosen梯度投影法

6.2.1投影和投影矩阵

6.2.2Rosen的算法步骤和流程

6.3Frank瞁olfe方法

6.3.1Frank瞁olfe方法原理

6.3.2Frank瞁olfe方法的算法

第7章罚函数法（164min）

7.1外点罚函数法

7.1.1基本思想

7.1.2算法原理

7.1.3算法步骤

7.2内点罚函数法

7.2.1基本思想

7.2.2算法原理

7.2.3算法步骤

7.3乘子法

7.3.1算法思想

7.3.2只含等式约束的乘子法

7.3.3只含不等式约束的乘子法

第8章二次规划问题（183min）

8.1基本性质

8.2只含等式约束的二次规划问题

8.2.1变量消去法

8.2.2拉格朗日法

8.3积极约束法

8.3.1基本思想

8.3.2算法原理

8.3.3算法步骤

8.4路径跟踪法

8.4.1松弛KKT条件

8.4.2求解松弛KKT条件

8.4.3路径跟踪法算法流程

第9章机器学习中的最优化方法

9.1机器学习中的优化问题

9.2梯度下降算法

9.2.1标准梯度下降算法

9.2.2随机梯度下降算法

9.2.3Mini瞓atch梯度下降算法

9.3对搜索方向的改进

9.3.1Momentum算法

9.3.2Nesterov Momentum算法

9.4对学习率的改进

9.4.1Adagrad算法

9.4.2RMSprop算法

9.5结合搜索方向和学习率的改进

9.5.1Adam算法

9.5.2Nadam算法

9.5.3Amsgrad算法

9.6NewAdam算法

参考文献