最优化理论笔记及期末复习(《数值最优化》——高立)
创始人
2024-05-26 02:06:38
0

目录

  • 一、预备知识
  • 二、无约束最优化方法的基本结构
  • 三、凸集和凸函数
  • 四、负梯度方法和Newton型方法
  • 五、共轭梯度法
  • 六、约束最优化问题的最优性理论
  • 七、罚函数方法
  • 八、期末复习
    • 8.1 知识点复习
    • 8.2 习题复习
    • 8.3 大实验代码
      • 8.3.1实验内容
      • 8.3.2实验目的
      • 8.3.3算法描述
      • 8.3.4程序中的参数设置、终止准则、关键技术(语句)等说明
        • 8.3.5实验代码
          • 8.3.5.1 目标函数
          • 8.3.5.2 计算梯度
          • 8.3.5.3 Armijo准则更新步长
          • 8.3.5.4最速下降法
          • 8.3.5.5 BFGS法
          • 8.3.5.6 FR共轭梯度法
          • 8.3.5.7 主程序
  • 九、总结

一、预备知识

请添加图片描述
请添加图片描述
请添加图片描述

二、无约束最优化方法的基本结构

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

三、凸集和凸函数

请添加图片描述

四、负梯度方法和Newton型方法

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

五、共轭梯度法

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

六、约束最优化问题的最优性理论

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

七、罚函数方法

请添加图片描述
请添加图片描述

八、期末复习

8.1 知识点复习

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

8.2 习题复习

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

8.3 大实验代码

8.3.1实验内容

利用Matlab编程,实现采用简单Armijo非精确线搜索求步长的三种方法:负梯度法、BFGS法及FR共轭梯度法,并求解如下无约束优化问题:
minf(x)=10(x13−x2)2+(x1−1)2min f(x) =10(x_1^3-x_2)^2+(x_1-1)^2minf(x)=10(x13​−x2​)2+(x1​−1)2
通过实验过程进一步理解三种方法的原理和步骤,并对实验结果进行分析比较。

8.3.2实验目的

掌握无约束最优化算法的基本架构,并能熟练使用Matlab软件实现一些基本实用的算法并进行数值试验分析。

8.3.3算法描述

请添加图片描述
请添加图片描述

8.3.4程序中的参数设置、终止准则、关键技术(语句)等说明

请添加图片描述
请添加图片描述

8.3.5实验代码

8.3.5.1 目标函数
%%计算函数值
function f=func(X)
f=10.*(X(1).^3-X(2)).^2+(X(1)-1).^2;
end
8.3.5.2 计算梯度
%计算梯度值
function g=grd(X)
%计算梯度表达式
% syms x1 x2;
% f=10*(x1^3-x2)^2+(x1-1)^2;
% diff(f,x1)
% diff(f,x2)
% ans = 2*x1 - 60*x1^2*(- x1^3 + x2) - 2
% ans = - 20*x1^3 + 20*x2
g=[2*X(1) - 60*X(1).^2*(- X(1).^3 + X(2)) - 2;- 20*X(1).^3 + 20*X(2)];
end
8.3.5.3 Armijo准则更新步长
function x=armijo(func,xk,dk,gk)
m=0;max_m=1000;
rho=0.001;alpha=1;belta=0.618;
gd=gk'*dk;
fk=feval(func,xk);%初始化条件
while m
8.3.5.4最速下降法
function [x1 fval1 k1]=fd(x0,func,gfunc,eps,kmax)
k1 = 0;
x1 = x0;%设置初始条件
while k1 < kmaxg = feval(gfunc,x1);%计算梯度,x改变时更新梯度if norm(g)
8.3.5.5 BFGS法
function [x2,fval2,k2]=bfgs(x0,func,grd,H0,eps,kmax)
k2=0;
H=H0;
x2=x0;
g=feval(grd,x2);%设置初始条件
while k20v=y'*s;H=H+(1+(y'*H*y)/v)*(s*s')/v-(s*y'*H+H*y*s')/v;%采用BFGS方法更新Hendk2=k2+1;
end
fval2=feval(func,x2);%计算目标函数值
8.3.5.6 FR共轭梯度法
function [x3,fval3,k3]=FR(x0,func,gfunc,eps,kmax)
n=9;k3=0;x3=x0;%设置初始条件
while k3=0d=-g;endendx3=armijo(func,x3,d,g);%采用Armijo搜索计算当前点,最终找到近似最优解q=g'*g;%更新前的g*gk3=k3+1;
end
fval3=feval(func,x3);%计算目标函数值
8.3.5.7 主程序
clear;clc
x0=unifrnd(-5,5,2,1);%产生满足[-5, 5]均匀分布的初始点
%x0=[3.4913;-1.0777];%[-5,5]均匀分布产生的初始点
...x0=[0.2753;-0.1224];x0=[0.1232;1.1167];x0=[-1.1955;0.6782];x0=[-3.7301;4.1338];x0=[1.3236;-4.0246];
...x0=[2.9221;4.3399];x0=[4.5949;1.7874];x0=[1.5574;2.5774];x0=[-4.6429;2.4313];x0=[3.4913;-1.0777]
eps=1.e-8;%设置精度1.e-4,1.e-5;1.e-6;1.e-7;1.e-8;
kmax=100000;%设置迭代上限
H0=eye(2);%H初始为一个2×2的单位矩阵
%%采用Armijo搜索的负梯度法程序
tic
[x1,fval1,k1]=fd(x0,'func','grd',eps,kmax);
t1=toc;
%%采用Armijo搜索的BFGS法程序
tic
[x2,fval2,k2]=bfgs(x0,'func','grd',H0,eps,kmax)
t2=toc;
%%采用Armijo搜索的FR共轭梯度法程序
tic
[x3,fval3,k3]=FR(x0,'func','grd',eps,kmax);
t3=toc;SSE1=sqrt(sum((x1-[1;1]).^2,1));%负梯度法下近似解与精确解的2范数下的误差
SSE2=sqrt(sum((x2-[1;1]).^2,1));%BFGS法下近似解与精确解的2范数下的误差
SSE3=sqrt(sum((x3-[1;1]).^2,1));%FR共轭梯度法下近似解与精确解的2范数下的误差
A=[SSE1 fval1 k1 t1;SSE2 fval2 k2 t2;SSE3 fval3 k3 t3]'%分别记录【误差,函数值,迭代次数,运行时间】

请添加图片描述

九、总结

本篇文章详细的讲解最优化理论的一些常见方法,有了这些基础的最优化知识,方便我们以后深入学习最优化理论以及人工智能方面的知识。

相关内容

热门资讯

请问哪些有飒漫画萌三国的 ,白... 请问哪些有飒漫画萌三国的 ,白话三国 人物古装介绍图,请发图仔细告诉我好吗? 飒漫画萌三国的 白话三...
哪位了解《红楼梦》中黛玉的性格... 哪位了解《红楼梦》中黛玉的性格,命运,请帮忙分析乖僻,刻薄,多愁善感因为以上性格与当时的封建大家礼教...
男友父母、亲戚都是离异的,会对... 男友父母、亲戚都是离异的,会对他有影响吗?我觉得多少都会有些影响吧,毕竟环境总是影响每个人的心境,如...
舞动奇迹第三集决战之夜中的an... 舞动奇迹第三集决战之夜中的angel 是谁唱的 声音非常有磁性angel--westlifewest...
龙珠超多久更新一次?怎么一周了... 龙珠超多久更新一次?怎么一周了还没更新。好像暂时停更了
五鼠闹东京 五鼠闹东京电影五鼠闹东京的在线观看谢谢了!!!!!!!!!!!!!1在土豆网上均可观看,不卡
早晚冷中午热的天气最佳钓鱼时间... 早晚冷中午热的天气最佳钓鱼时间?现在这个季节肯定是中午好一点啦,因为中午的话是比较热的呀。你好朋友,...
为什么不能给陌生人借火? 为什么不能给陌生人借火?可能给陌生人,表示你比较放纵吧,不要放纵自己没这说道吧?我在网吧,经常有借火...
蓝色是美丽天空的颜色 红色是什... 蓝色是美丽天空的颜色 红色是什么什么的火陷 这个是什么儿歌儿歌 颜色歌
远的要命的爱情搜狐更新到多少集... 远的要命的爱情搜狐更新到多少集了36集呀。都看完了。
有趣的短寓言在线等.... 有趣的短寓言在线等....渔民们撒下渔网,在深海里捞起了一只瓶子,皮子里有议长纸,上面写着这样的字句...
柳暗花明的意思是什么 柳暗花明的意思是什么  柳暗花明  【拼音】:liǔ àn huā míng  【释义】:垂柳浓密,...
我们真的就这样结束了吗? 我们真的就这样结束了吗?以前的快乐和幸福都忘了,就给我一次重新来过的机会还不?事情并不是你们想的这样...
心里压力大怎么办 心里压力大怎么办缓解压力的方法一 尽管身边有许多人背负沉重的压力,但也有人总能轻松释压,以最佳心态投...
我想知道一本小说:是说得到一个... 我想知道一本小说:是说得到一个太岁,种田的故事十亩薄田闯天下 |作者:柳暗话明|更新时间:类别:都市...
魔兽世界任务:他们是谁?要我伪... 魔兽世界任务:他们是谁?要我伪装去村子,每次我还没到村口伪装就没了,这怎么做的下去啊?旁边就是村子,...
弥勒佛 都在哪里有寺庙 比较出... 弥勒佛 都在哪里有寺庙 比较出名 或者道场?梵净山是弥勒菩萨的修行道场 , 按中国传说,修行的地方也...
小学暑假作业本数学·科学第69... 小学暑假作业本数学·科学第69页问题自己想吧老师只是考一下学生的观察能力自己翻书看,这样印象才深刻的...
一年级日记的一句 一年级日记的一句一年级日记的一句大家放学都想回家
火影忍者的天之卷和地之卷在哪一... 火影忍者的天之卷和地之卷在哪一集奇比拉的天之卷和地之卷?