gpt4 book ai didi

tensorflow - 在 tensorflow 上使用批量大小为 'powers of 2' 更快吗?

转载 作者:行者123 更新时间:2023-11-30 08:25:24 27 4
gpt4 key购买 nike

我从某处读到,如果你选择的批量大小是 2 的幂,训练会更快。这是什么规则?这是否适用于其他应用程序?可以提供引用论文吗?

最佳答案

The notion comes from aligning computations (C) onto the physical processors (PP) of the GPU.

由于PP 的数量通常是 2 的幂,因此使用与 2 的幂不同的C 数量会导致性能较差。

您可以看到 CPP 的映射是一堆大小为 PP 数量的切片。假设您有 16 个 PP。您可以将 16 个 C 映射到它们上:1 个 C 映射到 1 个 PP。您可以在它们上映射 32 个 C :2 个 16 个 C 切片,1 个 PP 将负责 2 个 C .

这是由于 SIMD GPU 使用的范例。这通常称为数据并行:所有 PP 同时执行相同的操作,但数据不同。

关于tensorflow - 在 tensorflow 上使用批量大小为 'powers of 2' 更快吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44483233/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com