最优化理论笔记及期末复习(《数值最优化》——高立)
创始人
2024-05-26 02:06:38
0

目录

  • 一、预备知识
  • 二、无约束最优化方法的基本结构
  • 三、凸集和凸函数
  • 四、负梯度方法和Newton型方法
  • 五、共轭梯度法
  • 六、约束最优化问题的最优性理论
  • 七、罚函数方法
  • 八、期末复习
    • 8.1 知识点复习
    • 8.2 习题复习
    • 8.3 大实验代码
      • 8.3.1实验内容
      • 8.3.2实验目的
      • 8.3.3算法描述
      • 8.3.4程序中的参数设置、终止准则、关键技术(语句)等说明
        • 8.3.5实验代码
          • 8.3.5.1 目标函数
          • 8.3.5.2 计算梯度
          • 8.3.5.3 Armijo准则更新步长
          • 8.3.5.4最速下降法
          • 8.3.5.5 BFGS法
          • 8.3.5.6 FR共轭梯度法
          • 8.3.5.7 主程序
  • 九、总结

一、预备知识

请添加图片描述
请添加图片描述
请添加图片描述

二、无约束最优化方法的基本结构

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

三、凸集和凸函数

请添加图片描述

四、负梯度方法和Newton型方法

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

五、共轭梯度法

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

六、约束最优化问题的最优性理论

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

七、罚函数方法

请添加图片描述
请添加图片描述

八、期末复习

8.1 知识点复习

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

8.2 习题复习

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

8.3 大实验代码

8.3.1实验内容

利用Matlab编程,实现采用简单Armijo非精确线搜索求步长的三种方法:负梯度法、BFGS法及FR共轭梯度法,并求解如下无约束优化问题:
minf(x)=10(x13−x2)2+(x1−1)2min f(x) =10(x_1^3-x_2)^2+(x_1-1)^2minf(x)=10(x13​−x2​)2+(x1​−1)2
通过实验过程进一步理解三种方法的原理和步骤,并对实验结果进行分析比较。

8.3.2实验目的

掌握无约束最优化算法的基本架构,并能熟练使用Matlab软件实现一些基本实用的算法并进行数值试验分析。

8.3.3算法描述

请添加图片描述
请添加图片描述

8.3.4程序中的参数设置、终止准则、关键技术(语句)等说明

请添加图片描述
请添加图片描述

8.3.5实验代码

8.3.5.1 目标函数
%%计算函数值
function f=func(X)
f=10.*(X(1).^3-X(2)).^2+(X(1)-1).^2;
end
8.3.5.2 计算梯度
%计算梯度值
function g=grd(X)
%计算梯度表达式
% syms x1 x2;
% f=10*(x1^3-x2)^2+(x1-1)^2;
% diff(f,x1)
% diff(f,x2)
% ans = 2*x1 - 60*x1^2*(- x1^3 + x2) - 2
% ans = - 20*x1^3 + 20*x2
g=[2*X(1) - 60*X(1).^2*(- X(1).^3 + X(2)) - 2;- 20*X(1).^3 + 20*X(2)];
end
8.3.5.3 Armijo准则更新步长
function x=armijo(func,xk,dk,gk)
m=0;max_m=1000;
rho=0.001;alpha=1;belta=0.618;
gd=gk'*dk;
fk=feval(func,xk);%初始化条件
while m
8.3.5.4最速下降法
function [x1 fval1 k1]=fd(x0,func,gfunc,eps,kmax)
k1 = 0;
x1 = x0;%设置初始条件
while k1 < kmaxg = feval(gfunc,x1);%计算梯度,x改变时更新梯度if norm(g)
8.3.5.5 BFGS法
function [x2,fval2,k2]=bfgs(x0,func,grd,H0,eps,kmax)
k2=0;
H=H0;
x2=x0;
g=feval(grd,x2);%设置初始条件
while k20v=y'*s;H=H+(1+(y'*H*y)/v)*(s*s')/v-(s*y'*H+H*y*s')/v;%采用BFGS方法更新Hendk2=k2+1;
end
fval2=feval(func,x2);%计算目标函数值
8.3.5.6 FR共轭梯度法
function [x3,fval3,k3]=FR(x0,func,gfunc,eps,kmax)
n=9;k3=0;x3=x0;%设置初始条件
while k3=0d=-g;endendx3=armijo(func,x3,d,g);%采用Armijo搜索计算当前点,最终找到近似最优解q=g'*g;%更新前的g*gk3=k3+1;
end
fval3=feval(func,x3);%计算目标函数值
8.3.5.7 主程序
clear;clc
x0=unifrnd(-5,5,2,1);%产生满足[-5, 5]均匀分布的初始点
%x0=[3.4913;-1.0777];%[-5,5]均匀分布产生的初始点
...x0=[0.2753;-0.1224];x0=[0.1232;1.1167];x0=[-1.1955;0.6782];x0=[-3.7301;4.1338];x0=[1.3236;-4.0246];
...x0=[2.9221;4.3399];x0=[4.5949;1.7874];x0=[1.5574;2.5774];x0=[-4.6429;2.4313];x0=[3.4913;-1.0777]
eps=1.e-8;%设置精度1.e-4,1.e-5;1.e-6;1.e-7;1.e-8;
kmax=100000;%设置迭代上限
H0=eye(2);%H初始为一个2×2的单位矩阵
%%采用Armijo搜索的负梯度法程序
tic
[x1,fval1,k1]=fd(x0,'func','grd',eps,kmax);
t1=toc;
%%采用Armijo搜索的BFGS法程序
tic
[x2,fval2,k2]=bfgs(x0,'func','grd',H0,eps,kmax)
t2=toc;
%%采用Armijo搜索的FR共轭梯度法程序
tic
[x3,fval3,k3]=FR(x0,'func','grd',eps,kmax);
t3=toc;SSE1=sqrt(sum((x1-[1;1]).^2,1));%负梯度法下近似解与精确解的2范数下的误差
SSE2=sqrt(sum((x2-[1;1]).^2,1));%BFGS法下近似解与精确解的2范数下的误差
SSE3=sqrt(sum((x3-[1;1]).^2,1));%FR共轭梯度法下近似解与精确解的2范数下的误差
A=[SSE1 fval1 k1 t1;SSE2 fval2 k2 t2;SSE3 fval3 k3 t3]'%分别记录【误差,函数值,迭代次数,运行时间】

请添加图片描述

九、总结

本篇文章详细的讲解最优化理论的一些常见方法,有了这些基础的最优化知识,方便我们以后深入学习最优化理论以及人工智能方面的知识。

相关内容

热门资讯

我要郑渊洁的童话,越多越好 我要郑渊洁的童话,越多越好我要郑渊洁的童话,越多越好我只知道舒克和贝塔
大寨指什么 大寨指什么大寨是山西的一个村子!
求这个视频的歌名字。 求这个视频的歌名字。Gotta Tell You - Samantha Mumba线索太少!Sorr...
歌曲《疯丫头》原唱 歌曲《疯丫头》原唱吴婷笑档带。《疯丫头》收录在专辑《碰芦开蠢做始爱上你》,是2011年吴婷演唱的歌曲...
如何彻底清除墙上的青苔? 如何彻底清除墙上的青苔?老屋的墙面上长满了青苔,很烦人~拜求有什么法子可以方便快捷地清除掉?可以请清...
动画黑礁出到多少集了?每季有多... 动画黑礁出到多少集了?每季有多少集?三季 集数分别是12 24 5【ova】3季29集,1.2季...
什么是“世俗”? 什么是“世俗”?在一本很出色的书中《20几岁,决定女人的一生》里,作者强调要学会成为一名“俗人”,要...
请问哪些有飒漫画萌三国的 ,白... 请问哪些有飒漫画萌三国的 ,白话三国 人物古装介绍图,请发图仔细告诉我好吗? 飒漫画萌三国的 白话三...
哪位了解《红楼梦》中黛玉的性格... 哪位了解《红楼梦》中黛玉的性格,命运,请帮忙分析乖僻,刻薄,多愁善感因为以上性格与当时的封建大家礼教...
男友父母、亲戚都是离异的,会对... 男友父母、亲戚都是离异的,会对他有影响吗?我觉得多少都会有些影响吧,毕竟环境总是影响每个人的心境,如...
舞动奇迹第三集决战之夜中的an... 舞动奇迹第三集决战之夜中的angel 是谁唱的 声音非常有磁性angel--westlifewest...
龙珠超多久更新一次?怎么一周了... 龙珠超多久更新一次?怎么一周了还没更新。好像暂时停更了
五鼠闹东京 五鼠闹东京电影五鼠闹东京的在线观看谢谢了!!!!!!!!!!!!!1在土豆网上均可观看,不卡
早晚冷中午热的天气最佳钓鱼时间... 早晚冷中午热的天气最佳钓鱼时间?现在这个季节肯定是中午好一点啦,因为中午的话是比较热的呀。你好朋友,...
为什么不能给陌生人借火? 为什么不能给陌生人借火?可能给陌生人,表示你比较放纵吧,不要放纵自己没这说道吧?我在网吧,经常有借火...
蓝色是美丽天空的颜色 红色是什... 蓝色是美丽天空的颜色 红色是什么什么的火陷 这个是什么儿歌儿歌 颜色歌
远的要命的爱情搜狐更新到多少集... 远的要命的爱情搜狐更新到多少集了36集呀。都看完了。
有趣的短寓言在线等.... 有趣的短寓言在线等....渔民们撒下渔网,在深海里捞起了一只瓶子,皮子里有议长纸,上面写着这样的字句...
柳暗花明的意思是什么 柳暗花明的意思是什么  柳暗花明  【拼音】:liǔ àn huā míng  【释义】:垂柳浓密,...
我们真的就这样结束了吗? 我们真的就这样结束了吗?以前的快乐和幸福都忘了,就给我一次重新来过的机会还不?事情并不是你们想的这样...