gpt4 book ai didi

memory - tensorflow中有没有 "swapping"GPU内存的方法?

转载 作者:行者123 更新时间:2023-12-05 06:36:00 25 4
gpt4 key购买 nike

我正在训练一个超过 GPU 内存(超过 11 GB)的大型模型。我想知道 tensorflow 中是否有任何方法可以将 GPU 内存交换到主内存中。一些效率损失是可以接受的。完全在 CPU 上训练模型解决了内存问题,但速度太慢。

最佳答案

tensorflow 中有一些类可以使用 swap_memory 参数创建网络。

例如对于 RNN,您可以使用 tf.nn.dynamic_rnntf.nn.raw_rnn

还有一个更通用的循环类 tf.while_loop 带有这个参数。

但是恕我直言,没有使用内存交换的通用选项。

只要看看 tensorflow.org 并使用它的搜索功能。您可以使用swap_memory

找到相关类

关于memory - tensorflow中有没有 "swapping"GPU内存的方法?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49440630/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com