tensorflow - tf.python_io.TFRecordWriter 线程安全吗？

Question

我想将 csv 格式数据集文件并行转换为 TFRecords。是tf.python_io.TFRecordWriter线程安全？

Answer 1

我也在找这个问题。我发现这不是一个线程安全的方法。我找不到这个答案的任何文档，但在相同的数据上尝试了多线程进程和单线程进程。结果是，多线程方法创建一个记录文件，在训练时抛出错误，而单线程方法创建一个有效的记录文件，当然在训练时运行良好，但在创建期间比多线程花费更长的时间。希望这个回答对您有所帮助。