python - S3 Kedro 数据集线程安全吗？

Question

CSVS3DataSet/HDFS3DataSet/HDFS3DataSet 使用 boto3，已知它不是线程安全的 https://boto3.amazonaws.com/v1/documentation/api/latest/guide/resources.html?highlight=multithreading#multithreading-multiprocessing

可以将这些数据集与 ParallelRunner 一起使用吗？

Answer 1

Kedro 使用 s3fs，它使用 boto3 库来访问 S3。 Boto3 确实不是线程安全的，但前提是您尝试重用同一个 Session 对象。

所有 Kedro S3 数据集都维护单独的 S3FileSystem 实例，这意味着单独的 boto session ，因此很安全。

就性能而言，它可能不是很好，如果您并行处理数百个 S3 数据集，或顺序处理数千个小型 S3 数据集 - 管道可能会运行很长，甚至会因连接错误而失败，但您完全可以几十个就安全了。