c# - unity ML Agent 和外部数据

Question

我对 Unity 还很陌生，更多的是有机器学习背景。计划使用 ML Agents，并为其编写一些自定义 python/tensorflow 脚本。

除了统一环境数据之外，是否可以根据硬盘中的数据进行训练？例如，除了 Unity 相机之外，还有额外的图像数据作为网络的输入？

到目前为止，在示例和文档中还没有真正看到这一点。

谢谢!

Answer 1

只要能用Vector3的定长序列来表达即可, Vector2 , float , int , bool , Quaternion ，或者固定的one-hot，肯定没问题。只需将它们包含在 AddVectorObs 中即可在CollectObservations :

public override void CollectObservations()
{
    //internal info
    AddVectorObs(gameObject.transform.rotation.z);
    AddVectorObs(gameObject.transform.position);

    Vector3 externalInfo1 = ExternalInfoGetter.StaticGetInfo1();
    AddVectorObs(externalInfo1);

    float externalInfo2 = ExternalInfoGetter.StaticGetInfo2();
    AddVectorObs(externalInfo2);
}

参见the documentation on designing agents了解更多信息，包括有关如何实现 one-hot 功能的信息以及有关规范化输入的建议。