gpt4 book ai didi

tensorflow - tfrecord 文件的最佳大小

转载 作者:行者123 更新时间:2023-12-02 11:08:27 27 4
gpt4 key购买 nike

根据您的经验,在各种设备(硬盘、SSD、NVME)和存储位置(本地计算机、具有网络安装的 HPC 集群)上运行效果最好的 .tfrecord 文件的理想大小是多少?

如果我在云中技术更强大的计算机上获得比本地 PC 更慢的性能,那么 tfrecord 数据集的大小是否会成为瓶颈的根本原因?

谢谢

最佳答案

Tensorflow 官方网站建议 ~100MB ( https://docs.w3cub.com/tensorflow~guide/performance/performance_guide/ )

Reading large numbers of small files significantly impacts I/O performance. One approach to get maximum I/O throughput is to preprocess input data into larger (~100MB) TFRecord files. For smaller data sets (200MB-1GB), the best approach is often to load the entire data set into memory.

关于tensorflow - tfrecord 文件的最佳大小,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52191167/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com