apache-spark - spark上的tensorflow与默认的分布式tensorflow 1.0有什么区别？

Question

我正在尝试将 tensorflow on spark 安装到服务器上，正如我的老板告诉我的那样，因为他认为它很容易使用。但是我也在tensorflow网站上学到了默认的分布式tensorflow。任何专家都可以告诉我这两种分布选择之间的区别吗？ spark会自动分配参数server还是workers？

提前致谢。

Answer 1

我最后在服务器上安装了 TensorflowOnSpark(TFOS)，并与默认的分布式 Tensorflow(TF) 进行了比较。我的结论是:

优点:

TFOS 更加自动化。我不需要定义集群中的哪个节点作为 PS 节点。我也不需要将相同的代码上传到所有节点。

我不需要在每个节点上输入命令行来开始训练。

在 TFOS 上运行的代码更改并不多。

缺点:

有时，两个工作节点会自动分配给相同的 GPU 和内核(具有两个内核的 K80)。它会导致内存不足问题。

在运行之前，您需要在命令行上输入一长串配置。

您不能指定哪个节点作为 PS 节点。

如果我在某处错了，请纠正我。