haskell - 如何在 Haskell 中创建两个具有内部状态的相互生产者/消费者？

Question

我有一个接受状态并返回 Action 的代理，同时保持状态/ Action 对效用的内部表示。我还有一个执行操作并返回状态/奖励对的环境。

我需要能够将代理设置为起始状态，然后不断地从代理 -(action)-> environment -(state, reward)-> agent -(action)->...但是，内部状态(每次迭代都需要更新)需要保持私有(private)(即在代理或环境中)。这意味着我不能简单地将环境作为代理中的函数调用，使用状态和操作作为参数。

我有点像 Haskell 菜鸟，所以我什至不确定这是否可行。

Answer 1

两个问题:

• 如果代理必须使用状态来计算 Action ，那么您希望如何对代理保密状态的表示？

• 如果环境期望在给定一个 Action 时产生状态(和奖励)，您期望如何对环境保密状态的表示？

这两种都是可能的，但每种都必须涉及某种用于查询状态或创建状态的抽象。我对这种设计感觉不太好。

这将有助于澄清问题

• 为感兴趣的函数提供类型签名

• 确定您希望向哪些函数公开不的状态表示。

附言这些困难与 Haskell 完全不同，并且无论选择哪种实现语言都会成为问题(前提是实现语言支持某种形式的隐私)。