数值优化3 - 线搜索方法

Welcome to MyBlog!
该博客内容是在观看了吴立德老师的数值优化课程记录下的一些笔记,仅供个人复习所用。课程传送门


1. 下降方向

x(k), 选一个方向p(k),在选一个步长a(k)
x(k+1) = x(k) + a(k)*p(k)

- 最速下降法(梯度方向)(一阶)
- 牛顿方向 (只有在铁的附近才会快,而且对计算机内存要求很高)
- 拟牛顿方向 (即保存了收敛的速度,又不想要计算二阶导数)
- 共轭梯度法

2. a 步长

2.1 wolfe条件

2.1.1 充分下降条件(下降速度比较大)【上限】

2.1.2(保证a步长 不会太小)【下限】

2.2 强wolfe条件

2.3 引理 3.1

满足条件的a是存在的

3. 函数插值(求解方法)

4. 收敛性 和 收敛速度

引理3.2