数值优化
创始人
2024-05-31 19:23:53
Steepest Gradient Descent:
  • constant step size : \(\tau = c\) 固定梯度大小
  • Diminishing step size: \(\tau = c/k\) 每次迭代后,梯度都减小
  • Exact line search \(\tau = \arg \mathop{\min}\limits_{\alpha} f(x^{k} + \alpha d)\)
  • Inexact line search \(\tau \in { \alpha | f(x^{k}) - f(x^{k} + \alpha d) \geq -c \cdot \alpha d^{T} \bigtriangledown f(x^{k}) }\)

Inexact line search:

Newton's Method:


用泰勒展开到Hessian矩阵,这是一个二次型函数,最低点位置就是下次迭代的点。

问题:

  1. 需要计算Hessian的逆
  2. Hessian一定是正定的,如果是半正定的,会有奇异值是有零的,没法求逆。如果是不定的,那有可能会往增大的方向迭代
  3. 原函数、一阶导和二阶导都要是连续的
Practical Newton's Method:修正阻尼牛顿法,为了解决牛顿法非凸函数的不稳定性

  1. 寻找一个严格正定的M,去接近Hessian矩阵
  2. 求d的时候,可以用dM = f(x),线性求解出d。
  3. 不需要求解Hessian矩阵

怎么求M:

  • 如果函数是凸的:
  1. 那Hessian一定是正定的。选择 M = Hessian + 很小的I矩阵
  2. \([\bigtriangledown ^{2} f(x)]d = - \bigtriangledown f(x)\)
  3. \(Md = - \bigtriangledown f(x), M = LL^{T}\), 用Cholesky分解将M分解为上三角和下三角的形式,可以很快的将d求解出来
  • 如果函数是非凸的,那么Hessian是不定的:
  1. \(Md = - \bigtriangledown f(x), M = LBL^{T}\) B是一个对角矩阵
  2. B可以由b1,b2,b3...构成; b可能由一个常数(正的)或\(R^{2*2}\)的矩阵,这个矩阵一定有2个特征值,一正一负。
  3. Bunch-Kaufman Factorization
Quasi Newton's Method:拟牛顿法,省去Hession逆矩阵求解,仍然需要函数是凸的

思路依然是找一个M矩阵去贴近Hession矩阵\(\triangle x = x^{k+1} - x^{k}\)\(\triangle g = \bigtriangledown f(x^{k+1}) - \bigtriangledown f (x^{k})\)
构建公式:\(\triangle g \approx M^{k+1} \triangle x\)\(\triangle x \approx B^{k+1} \triangle g, M^{K+1} B^{k+1} = I\)

怎么挑选B

相关内容

热门资讯

重大通报作弊器!乐乐上海麻将a... 重大通报作弊器!乐乐上海麻将ai智能透视辅助插件,乐乐上海麻将本来存在有外挂(有辅助挂方略)1、很好...
分享给玩家透视挂!家乡大贰ai... 分享给玩家透视挂!家乡大贰ai智能透视辅助工具,家乡大贰其实真的有外挂(有辅助挂细节)家乡大贰破解侠...
科普攻略开挂!英豪娱乐城ai智... 科普攻略开挂!英豪娱乐城ai智能透视辅助教程,英豪娱乐城好像真的是有外挂(有辅助挂头条)1、英豪娱乐...
总算了解辅助器!和悦游戏ai智... 总算了解辅助器!和悦游戏ai智能透视辅助教程,和悦游戏确实是真的有外挂(竟然有辅助挂)暗藏猫腻,小编...
揭秘关于辅助器!九九麻将ai智... 揭秘关于辅助器!九九麻将ai智能透视辅助技巧,九九麻将一贯是有外挂(有辅助挂方略)1、用户打开应用后...