gpt4 book ai didi

Tensorflow first epoch 极慢(可能与 pool_allocator 有关)

转载 作者:行者123 更新时间:2023-12-04 00:06:38 26 4
gpt4 key购买 nike

我正在训练一个用 TF 构建的模型。在第一个纪元,TF 比下一个纪元慢 100 倍,我看到如下消息:
I tensorflow/core/common_runtime/gpu/pool_allocator.cc:259] Raising pool_size_limit_ from 958 to 1053
按照建议 here ,我尝试通过设置 LD_PRELOAD="/usr/lib/libtcmalloc.so" 来使用 tcmalloc ,但这没有帮助。

关于如何使第一个纪元运行得更快的任何想法?

最佳答案

看来是硬件问题。对于第一个 epoch TF(与其他 DL 库相同,如所讨论的 PyTorch here)缓存有关数据的信息,如所讨论的 here来自@ppwwyyxx

If each data has different size, TF can spend a large amount of time running cudnn benchmarks for each data and store them in cache

关于Tensorflow first epoch 极慢(可能与 pool_allocator 有关),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44966831/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com