- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一个应用程序,可以在用户系统上的 GPU 之间分配处理负载。基本上,每个 GPU 都有一个 CPU 线程,当主应用程序线程定期触发时,它会启动一个 GPU 处理间隔。
请考虑以下图像(使用 NVIDIA 的 CUDA 分析器工具生成)作为 GPU 处理间隔的示例 - 此处应用程序使用单个 GPU。
如您所见,两个排序操作消耗了很大一部分 GPU 处理时间,我为此使用 Thrust 库 (thrust::sort_by_key)。另外,看起来 Thrust::sort_by_key 在开始实际排序之前会在后台调用一些 cudaMalloc。
现在考虑相同的处理间隔,其中应用程序将处理负载分散到两个 GPU 上:
在完美的世界中,您会期望 2 个 GPU 处理间隔恰好是单个 GPU 处理间隔的一半(因为每个 GPU 执行一半的工作)。正如您所看到的,情况并非如此,部分原因是由于某种争用问题,同时调用 cudaMalloc 时它们似乎需要更长的时间(有时长 2-3 倍)。我不明白为什么需要这样,因为 2 个 GPU 的内存分配空间是完全独立的,所以 cudaMalloc 上不应该有系统范围的锁——每个 GPU 的锁会更合理。
为了证明我的假设(问题在于同时调用 cudaMalloc),我创建了一个极其简单的程序,其中有两个 CPU 线程(针对每个 GPU),每个线程调用 cudaMalloc 多次。我首先运行这个程序,以便单独的线程不会同时调用 cudaMalloc:
您会发现每次分配大约需要 175 微秒。接下来,我使用同时调用 cudaMalloc 的线程运行该程序:
这里,每个调用花费了约 538 微秒,或者说是前一个案例的 3 倍!不用说,这极大地减慢了我的应用程序的速度,而且按理说,如果 GPU 数量超过 2 个,问题只会变得更糟。
我注意到 Linux 和 Windows 上的这种行为。在 Linux 上,我使用 Nvidia 驱动程序版本 319.60,在 Windows 上我使用 327.23 版本。我正在使用 CUDA 工具包 5.5。
可能的原因:我在这些测试中使用的是 GTX 690。该卡基本上是将 2 680 个类似 GPU 安置在同一单元中。这是我运行过的唯一“多 GPU”设置,因此 cudaMalloc 问题可能与 690 的 2 个 GPU 之间的硬件依赖性有关?
最佳答案
我将在前面声明一个免责声明:我不了解 NVIDIA 驱动程序的内部结构,因此这有些推测性。
您所看到的速度减慢只是由于同时调用设备 malloc 的多个线程的竞争而引起的驱动程序级别争用。设备内存分配需要许多操作系统系统调用,驱动程序级别上下文切换也是如此。这两个操作都存在相当大的延迟。当两个线程尝试同时分配内存时,您看到的额外时间很可能是由在两个设备上分配内存所需的系统调用序列中从一个设备切换到另一个设备的额外驱动程序延迟引起的。
我可以想到一些可以减轻这种情况的方法:
sort_by_key
中,但需要编写自己的用户内存管理器并不简单。另一方面它留下了其余的您的推力代码完好无损。在我编写的基于多 GPU CUBLAS 的线性代数代码中,我结合了这两种想法并编写了一个独立的用户空间设备内存管理器,该管理器在一次性分配的设备内存池上工作。我发现消除中间设备内存分配的所有开销成本可以带来有用的加速。您的用例可能受益于类似的策略。
关于cuda - 同时使用 2 个 GPU 调用 cudaMalloc 时性能较差,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19192496/
谁能解释或指出在多 GPU/多显示器设置中渲染如何工作的解释(或至少一些线索)? 例如,我安装了 5 个 NVIDIA Quadro 4000 视频卡并连接了 9 个显示器。显示不进行任何分组。刚刚在
以下代码报错: import spacy spacy.require_gpu() Traceback (most recent call last): File "/home/user/Pycha
正如问题已经暗示的那样,我是深度学习的新手。我知道模型的学习过程在没有 GPU 的情况下会很慢。如果我愿意等待,如果我只使用CPU可以吗? 最佳答案 在计算深度学习(以及一般的神经网络)中执行的许多操
我知道 Renderscript 的设计是为了掩盖我正在运行的处理器的事实,但是有没有办法编写代码,以便在支持 GPU 计算的设备(目前是 Nexus 10)上运行显卡?有什么方法可以判断脚本的功能正
关闭。这个问题是opinion-based 。目前不接受答案。 想要改进这个问题吗?更新问题,以便 editing this post 可以用事实和引文来回答它。 . 已关闭 8 年前。 Improv
我想以编程方式找出可用的 GPU 及其当前内存使用情况,并根据内存可用性使用其中一个 GPU。我想在 PyTorch 中执行此操作。 我在这个 post 中看到了以下解决方案: import torc
我喜欢 GPU Gems 的结构化技术摘要。但是自上次发布以来已经过去了很长时间,应该开发新算法来处理新型硬件。 我可以阅读有关最近 GPU 技术成就的哪些信息? 潜伏在编程板上是唯一的方法吗? 最佳
我一直在做一些关于测量数据传输延迟的实验 CPU->GPU 和 GPU->CPU。我发现对于特定消息大小,CPU->GPU 数据传输速率几乎是 GPU->CPU 传输速率的两倍。谁能解释我为什么会这样
当我使用选项 --gres=gpu:1 向具有两个 GPU 的节点提交 SLURM 作业时,如何获取为该作业分配的 GPU ID?是否有用于此目的的环境变量?我使用的 GPU 都是 nvidia GP
我用 gpu、cuda 7.0 和 cudnn 6.5 安装了 tensorflow。当我导入 tensorflow 时,它运行良好。 我正在尝试在 Tensorflow 上运行一个简单的矩阵乘法,但
我们正在寻找有关 slurm salloc gpu 分配的一些建议。目前,给定: % salloc -n 4 -c 2 -gres=gpu:1 % srun env | grep CUDA CUD
我是否必须自定义为非 GPU Tensorflow 库编写的代码以适应tensorflow-gpu 库? 我有一个 GPU,想运行仅为非 GPU tensorflow 库编写的 Python 代码。我
我是否必须自定义为非 GPU Tensorflow 库编写的代码以适应tensorflow-gpu 库? 我有一个 GPU,想运行仅为非 GPU tensorflow 库编写的 Python 代码。我
我正在使用 pytorch 框架训练网络。我的电脑里有 K40 GPU。上周,我在同一台计算机上添加了 1080。 在我的第一个实验中,我在两个 GPU 上观察到相同的结果。然后,我在两个 GPU 上
有没有办法在 Slurm 上超额订阅 GPU,即运行共享一个 GPU 的多个作业/作业步骤?我们只找到了超额订阅 CPU 和内存的方法,但没有找到 GPU。 我们希望在同一 GPU 上并行运行多个作业
我可以访问 4 个 GPU(不是 root 用户)。其中一个 GPU(2 号)表现怪异,它们的一些内存被阻塞但功耗和温度非常低(好像没有任何东西在上面运行)。请参阅下图中 nvidia-smi 的详细
我正在尝试通过 Tensorflow 运行示例 seq2seq,但它不会使用 GPU。以下是我在带有 Tesla K20x 的 Linux 系统上安装 Tensorflow 所采取的步骤 git cl
一位电气工程师最近提醒我不要使用 GPU 进行科学计算(例如,在精度非常重要的地方),因为没有像 CPU 那样的硬件保护措施。这是真的吗?如果是的话,典型硬件中的问题有多普遍/严重? 最佳答案 实际上
关闭。这个问题不满足Stack Overflow guidelines .它目前不接受答案。 想改善这个问题吗?更新问题,使其成为 on-topic对于堆栈溢出。 7年前关闭。 Improve thi
最近我研究了强化学习,有一个问题困扰着我,我找不到答案:如何使用 GPU 有效地完成训练?据我所知,需要与环境持续交互,这对我来说似乎是一个巨大的瓶颈,因为这项任务通常是非数学的/不可并行化的。然而,
我是一名优秀的程序员,十分优秀!