rtx 3090 上的 Tensorflow 1.14 性能问题

Question

我正在 4x RTX 3090 上运行一个用 TensorFlow 1.x 编写的模型，它需要很长时间 开始培训 比在 1x RTX 3090 中的效果好。尽管在训练开始时，它在 4x 中比在 1x 中更早完成。我在两个 GPU 中都使用 CUDA 11.1 和 TensorFlow 1.14。
其次，当我使用 1x RTX 2080ti 和 CUDA 10.2 和 TensorFlow 1.14 时，它占用的数量更少 开始培训 与具有 11.1 CUDA 和 Tensorflow 1.14 的 1x RTX 3090 相比。暂定，1x RTX 2080ti 需要 5 分钟，1x RTX 3090 需要 30-35 分钟，4x RTX 3090 需要 1.5 小时 开始培训 对于其中一个数据集。
如果有人能帮助我解决这个问题，我将不胜感激。
我在 2080ti 和 3090 机器上使用 Ubuntu 16.04、Core™ i9-10980XE CPU 和 32 GB 内存。
编辑:根据 to this，我发现 TF 在 Ampere 架构 GPU 中需要很长的启动时间。 ，但我仍然不清楚是否是这种情况；如果是这种情况，是否存在任何解决方案？

Answer 1

T.F. 1.x 没有 CUDA 11.1 的二进制文件，所以在开始时，编译需要时间。由于 RTX 3090 使用 PTX 和 JIT 编译器进行编译，因此需要很长时间。
一个通用的解决方案是增加缓存大小，使用代码:-"export CUDA_CACHE_MAXSIZE=2147483648"(这里 2147483648 是缓存大小，您可以通过考虑内存限制和它在帐户中其他进程的使用情况来设置任何数字) .引用 https://www.tensorflow.org/install/gpu为了澄清。由此在后续运行中，启动时间会变小。但即使在此之后，二进制文件(在此开始时)也将与 CUDA 11.1 不兼容
最好是从 T.F. 1.x 到 2.x(2.4+) 使其在 RTX 30XX 系列上运行或尝试编译 T.F.来自带有 CUDA 11.1 的源代码的 1.x(不确定)。