无模型深度强化学习算法_资讯

创始人

2024-03-21 00:27:02

0次

无模型深度强化学习算法：直接训练类神经网络模型来表示策略 $\pi (a|s)$ 。这里的“无模型”指的是不建立环境模型，而非不建立任何机器学习模型。这样的策略模型可以直接用策略梯度（policy gradient）[3]训练，但是策略梯度的变异性太大，很难有效率地进行训练。更进阶的训练方法尝试解决这个稳定性的问题：可信区域策略最佳化（Trust Region Policy Optimization，TRPO）[4]、近端策略最佳化（Proximal Policy Optimization，PPO）[5]。另一系列的无模型深度强化学习算法则是训练类神经网络模型来预测未来的奖励总和 $V^{\pi }(s)$ 或 $Q^{\pi }(s,a)$ [6]，这类算法包括时序差分学习 TD、深度Q学习 DQN、SARSA。如果动作空间是离散的，那么策略 $\pi (a|s)$ 可以用枚举所有的动作来找出 $Q$ 函数的最大值。如果动作空间是连续的，这样的 $Q$ 函数无法直接建立策略 $\pi (a|s)$ ，因此需要同时训练一个策略模型[7][8][9]，也就变成一种“演员－评论家actor-critic”算法。

以上来自wikipedia。

无模型深度强化学习算法可分为两类：

一类是直接根据策略梯度更新策略，获得最优策略；

一类是通过奖励函数V或Q来评价策略的好坏，在当前状态下选择动作的策略能使agent/actor获得最大的累计奖励就是最好的策略，actor-critic中actor是根据状态选择动作的策略网络，critic是根据状态/状态+动作评价当前策略优劣的评价网络。

小仓鼠在笼子里一动不动的是怎么... 小仓鼠在笼子里一动不动的是怎么回事？小仓鼠应该是生病了，建议尽快处理，找兽医看看，他们最专业。目前应...

扬州何园的寻访感受扬州何园的寻访感受你好，请参考：初见何园，似乎有种似曾相识的感觉，或许意识到这种想...

童年傻事作文---速来童年傻事作文---速来童年傻事童年是多么美好,童年的生活令人向往,童年的天空总是那么蓝,而童...

家庭幽默大赛老韩头一家幽默服装... 家庭幽默大赛老韩头一家幽默服装秀家庭幽默大赛老韩头一家幽默服装秀这都被他看出来了　　今天晒内裤了，室...

乐器名称乐器名称我在小提琴协奏曲《梁祝》的视频里这种乐器不知叫什么名字，请懂音乐和乐器的朋友给予解答，谢谢。...

电视剧《老马家的幸福往事》中的... 电视剧《老马家的幸福往事》中的马鸣和徐丽娜在马鸣的大学里的图书馆里偷书时用留声机听的歌是什么名字的请...

流鬼的介绍流鬼的介绍流鬼，是古代民族，分布在今俄罗斯勘察加半岛，有数万人。

请问为爱所困火吗请问为爱所困火吗一般般。爱情偶像剧。此剧上一年开播，还上了微博热搜榜我认为很火，为爱所困第二部还有不...

什么是手诊什么是手诊手诊的概念就是指通过人体手的纹路形态、变化、规律等方式，对人体器官的演变作出推理的一种防治...

双子星公主法和希的有几集，第一... 双子星公主法和希的有几集，第一部第二部都要，如果知道第三部也透露一点，请求不要编，法和希最后怎样了拜...

王熙凤简介王熙凤简介《红楼梦》中人物，贾琏之妻，王夫人的内侄女。长着一双丹凤三角眼，两弯柳叶吊梢眉，身量苗条，...

大学生应从哪些方面进行自我探索大学生应从哪些方面进行自我探索兴趣、能力、价值观、性格，这四个是最主要的方面，其中价值观是核心

谁有好看的卡通人物的电脑背景！谁有好看的卡通人物的电脑背景！卡通人物的背景要清色！看得清要男生的我有Clannad主题...

幼儿园小班孩子座位固定好还是经... 幼儿园小班孩子座位固定好还是经常换好？我家孩子座位老换，我觉得不好，大家觉得呢？... 我家孩子座...

我的爸爸的作文我的爸爸的作文我的父亲人们常说父爱如山，可在我看来，我的父亲对我的爱，并非完全如山那样严峻，有时却...

潘朵拉之心第二季动漫什么时候出潘朵拉之心第二季动漫什么时候出动画只出了第一季没有要出第二季的消息可能性估计很小目前漫画还在连载...

时不我待是什么意思时不我待是什么意思时不我待的意思是时间不等待人，要抓紧时间，不要虚度光阴。出处：日月逝矣，岁不我与。...

葫芦小金刚里大娃怎么被抓的葫芦小金刚里大娃怎么被抓的掉泥潭被捉的

有一部小说叫穿越千年来爱你还是... 有一部小说叫穿越千年来爱你还是什么的有一部小说叫穿越千年来爱你还是什么的内容讲的是一个女的在路上走着...

火影忍者力米娜是红眼吗火影忍者力米娜是红眼吗红眼？首先这几集是原创，非岸本创作。在岸本的剧情结构里面只有木叶白眼、写轮眼...