- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
在模拟退火 (SA) 中有一个目标函数 E(s) 定义了从一个状态 s 移动到另一个状态 s' 的转换概率。理想情况下,目标函数最小值对应于最优解。
在强化学习 (RL) 中,我们有一个值函数 v(s),它给出了当前状态 s 的好坏程度的值。
函数中还有一个为当前状态和 Action 的组合赋值的函数,但我不想将其与 SA 进行比较。
所以我现在的问题是,E(s) 和 v(s) 之间有什么区别?
最佳答案
模拟退火 (SA) 和强化学习 (RL) 算法旨在解决不同类别的问题。前者旨在找到全局最优,而后者旨在找到使奖励最大化的策略(不是直接奖励或状态)。更准确地说,在 RL 中,agent 会根据奖励及其当前状态(反馈)采取行动。智能体的策略可以看作是一张 map ,它定义了在给定状态下执行某项操作的概率,而值(value)函数则定义了在考虑所有 future 操作的状态下有多好。
RL 算法可用于优化游戏中代理的策略,只要您可以为玩家分配分数。奖励通常可以是两个时间步长(即回合)之间的分数差。对于许多游戏,例如国际象棋,对手可以影响代理的状态,代理可以根据反馈循环对其使用react。这种情况下的目标是找到使获胜机会最大化的操作序列。天真地使用 SA 解决这样的问题没有多大意义:没有必要找到最佳的全局状态。事实上,如果我们尝试在这种情况下应用 SA,一个好的对手会很快阻止 SA 收敛到一个好的全局最优。事实上,SA不考虑对手,也不关心操作顺序,SA只关心结果。
或者,如果您想找到可导出数学函数(例如高阶多项式)的最小值,那么 RL 算法就毫无用处(且效率低下),因为它们专注于优化最优策略,而您不需要那个(虽然最优策略可以帮助找到全局最优,SA 已经很好),你只想要最优状态(可能还有它相关的目标值)。
另一个关键区别是 AFAIK E(s)
在 SA 中是预定义,而 V(s)
通常是未知的并且必须是由 RL 算法发现。这是一个巨大的差异,因为在实践中 V(s)
取决于 RL 算法也需要找到的策略。如果 V(s)
已知,则可以简单地推导出策略(代理需要执行最大化 V(s)
的操作)并且如果最优策略是已知,则 V(s)
可以从马尔可夫链近似计算。
关于optimization - 目标函数(SA)和值(value)函数(RL)有什么区别,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/72482683/
我正在尝试运行以下代码片段,以使曲线适合一些经验数据,但在Julia Optim.jl包中,optimize()方法一直存在问题。我正在使用Julia v1.1.0,并安装了所有正确的软件包。我不断收
时不时你会听到一些故事,这些故事旨在说明某人在某件事上有多擅长,有时你会听到这个人如何热衷于代码优化,以至于他优化了他的延迟循环。 因为这听起来确实是一件奇怪的事情,因为启动“计时器中断”而不是优化的
我正在尝试使用 z3py 作为优化求解器来最大化从一张纸上切出的长方体的体积。 python API 提供了 Optimize() 对象,但使用它似乎不可靠,给我的解决方案显然不准确。 我尝试使用 h
我今天接受了采访。这个问题是为了优化下面的代码。如果我们将在 for 循环之后看到下面的代码,那么下面有四个“if-else”步骤。所以,面试官要求我将其优化为 3 if-else 行。我已经尝试了很
我使用BFGS算法使用Optim.jl库来最小化Julia中的函数。今天,我问了一个关于同一个库的question,但是为了避免混淆,我决定将它分成两部分。 我还想对优化后的负逆黑森州进行估算,以进行
在 haskell 平台中实现许多功能时有一个非常常见的模式让我很困扰,但我找不到解释。这是关于使用嵌套函数进行优化。 where 子句中的嵌套函数旨在进行尾递归的原因对我来说非常清楚(如 lengt
我目前正试图利用 Julia 中的 Optim 包来最小化成本函数。成本函数是 L2 正则化逻辑回归的成本函数。其构造如下; using Optim function regularised_cost
我正在使用 GEKKO 来解决非线性规划问题。我的目标是将 GEKKO 性能与替代方案进行比较,因此我想确保我从 GEKKO 中获得其所能提供的最佳性能。 有n个二元变量,每个变量都分配有一个权
我可以手动更改参数C和epsilon以获得优化结果,但我发现有PSO(或任何其他优化算法)对SVM进行参数优化。没有算法。什么意思:PSO如何自动优化SVM参数?我读了几篇关于这个主题的论文,但我仍然
我正在使用 scipy.optimize.fmin_l_bfgs_b 来解决高斯混合问题。混合分布的均值通过回归建模,其权重必须使用 EM 算法进行优化。 sigma_sp_new, func_val
当你有一个 Option ,编译器知道 NULL永远不是 &T 的可能值, 和 encodes the None variant as NULL instead .这样可以节省空间: use std:
当你有一个 Option ,编译器知道 NULL永远不是 &T 的可能值, 和 encodes the None variant as NULL instead .这样可以节省空间: use std:
以下是说明我的问题的独立示例。 using Optim χI = 3 ψI = 0.5 ϕI(z) = z^-ψI λ = 1.0532733 V0 = 0.8522423425 zE = 0.598
根据MySQL文档关于Optimizing Queries With Explain : * ALL: A full table scan is done for each combination o
我无法预览我的 Google 优化工具体验。 Google 优化抛出以下错误: 最佳答案 我也经常遇到这种情况。 Google 给出的建议是错误的。清除 cookie 并重新启动浏览器并不能解决问题。
我一直在尝试使用 optim()或 optimize()函数来最小化绝对预测误差的总和。 我有 2 个向量,每个长度为 28,1 个包含预测数据,另一个包含过去 28 天的实际数据。 fcst和 ac
在我对各种编译器书籍和网站的独立研究中,我了解到编译器可以优化正在编译的代码的许多不同方法,但我很难弄清楚每种优化会带来多少好处给予。 大多数编译器编写者如何决定首先实现哪些优化?或者哪些优化值得付出
我在我的项目中使用 System.Web.Optimizations BundleConfig。我在我的网站上使用的特定 jQuery 插件遇到了问题。如果我将文件添加到我的 ScriptBundle
我收到这个错误 Error: webpack.optimize.CommonsChunkPlugin has been removed, please use config.optimization.
scipy的optimize.fmin和optimize.leastsq有什么区别?它们似乎在 this example page 中以几乎相同的方式使用.我能看到的唯一区别是 leastsq 实际上
我是一名优秀的程序员,十分优秀!