tensorflow - 为什么与 rsync 一起使用时 Tensorboard 不刷新？

Question

我正在远程机器上运行 tensorflow 实验，不断写入相同的 events.out.tfevents.xxx文件。我希望 tensorboard 每分钟左右自动刷新一次，显示新日志。当使用 sshfs 在我的笔记本电脑上安装远程机器并使用安装的目录运行 tensorboard 时，这确实有效。

但是，当使用 rsync 复制文件并在本地文件上运行 tensorboard 时，tensorboard 永远不会刷新，我必须重新启动它才能获得更新。

这是我的 rsync 命令:

rsync -aP --del -e ssh server_name:folder_on_server local_folder --exclude='*checkpoints*' --exclude='*.json' --exclude='*.DS_Store'

任何帮助将不胜感激!

Answer 1

这是 Tensorboard 的一个已知问题，请参阅此 issue在github上。

这是该问题的引述(重点是我的):

It looks like when the tensorboard reads an event file from local directory - it will not notice that the event file was deleted and recreated (which is quite valid case when you are using [...] rsync to sync the data)

一种解决方法是使用 --inplace作为 rsync 命令中的一个选项。