tensorflow - 为什么使用 Faster RCNN 在 GPU 上进行自定义对象检测的预测率如此低 25 - 40 [sec/1]？

Question

我已经训练了一个用于自定义对象检测的 faster_rcnn_inception_resnet_v2_atrous_coco 模型(可用 here )。

为了进行预测，我使用了对象检测演示 jupyter notebook file在我的图像上。还检查了每个步骤消耗的时间，发现 sess.run 一直占用时间。

但在 GPU 上预测 (3000 x 2000) 像素大小(大约 1-2 [MB])的图像大约需要25-40 [秒]。

有人能找出这里的问题吗？

我已经进行了分析，下载链接profiling file

完整链接profiling

系统信息:
使用 Standard_NV6(详细信息 here)在 Azure 门户中创建的虚拟机上进行训练和预测，该虚拟机使用 NVIDIA Tesla M60 GPU

• 操作系统平台和分发 - Windows 10
• TensorFlow 安装自 - 使用 pip pip3 install --upgrade tensorflow-gpu
• TensorFlow 版本 - 1.8.0
• Python 版本 - 3.6.5
• GPU/CPU - GPU
• CUDA/cuDNN 版本 - CUDA 9/cuDNN 7

Answer 1

Can anyone figure out the problem here ?

很抱歉在这里残酷地开放和直接公平

观察到的性能问题的根本原因是:

对于这样一个计算密集型(性能和吞吐量驱动)任务，我们无法从 Azure 产品组合中找到更糟糕的 VM 设置。根本不能 - 菜单上没有“较少”配备的选项。

Azure NV6 的营销目标明确是为了虚拟桌面用户的利益，其中 NVidia GRID^(R) 驱动程序提供了软件层用于“共享”图像/视频虚拟化 FrameBuffer 部分(桌面图形像素、最大 SP endecs)的服务，在用户团队之间共享，无论其终端设备如何(然而，每个板载设备最多 15 个用户) GPU，它在 Azure 上专门明确地宣传和推广，将其作为其关键卖点。NVidia 甚至成为继父，明确针对(引用)Office 用户推广该设备强>)。

M60 缺乏(显然，因为已针对非常不同的分割市场进行了定义)任何智能 AI/ML/DL/张量处理功能，与 AI/ML/DL/张量处理专用计算 GPU 设备相比，DP性能低约 20 倍。

如果我可以引用的话，

... "GRID" is the software component that lays over a given set of Tesla ( Currently M10, M6, M60 ) (and previously Quadro (K1 / K2)) GPUs. In its most basic form (if you can call it that), the GRID software is currently for creating FrameBuffer profiles when using the GPUs in "Graphics" mode, which allows users to share a portion of the GPUs FrameBuffer whilst accessing the same physical GPU.

和

No, the M10, M6 and M60 are not specifically suited for AI. However, they will work, just not as efficiently as other GPUs. NVIDIA creates specific GPUs for specific workloads and industry (technological) areas of use, as each area has different requirements._{( credits go to BJones )}

下一步，
如果确实愿意在这个先验已知的最差选择上花费精力:

make sure that both GPUs are in "Compute" mode, NOT "Graphics" if you're playing with AI. You can do that using the Linux Boot Utility you'll get with the correct M60 driver package after you've registered for the evaluation. _{( credits go again to BJones )}

显然对于非 Linux/Azure 操作的虚拟化访问设备似乎没有这样的选项。

<小时/>

简历:

如果努力提高性能和吞吐量，最好选择另一个配备 AI/ML/DL/张量处理的 GPU 设备，这两个问题 -放置了特定的计算硬件资源，并且没有软件层(没有 GRID，或者至少有一个易于使用的禁用选项)，这在任何意义上都会阻止实现如此高级的 GPU 处理水平性能。