CPU比GPU训练神经网络快十几倍，英特尔：别用矩阵运算了

转载 作者：qq735679552 更新时间：2022-09-27 22:32:09 30 4

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章CPU比GPU训练神经网络快十几倍，英特尔：别用矩阵运算了由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

在深度学习与神经网络领域，研究人员通常离不开 GPU。得益于 GPU 极高内存带宽和较多核心数，研究人员可以更快地获得模型训练的结果。与此同时，CPU 受限于自身较少的核心数，计算运行需要较长的时间，因而不适用于深度学习模型以及神经网络的训练.

但近日，莱斯大学、蚂蚁集团和英特尔等机构的研究者发表了一篇论文，表明了在消费级 CPU 上运行的 AI 软件，其训练深度神经网络的速度是 GPU 的 15 倍。这篇论文已被 MLSys 2021 会议接收.

论文链接： https://proceedings.mlsys.org/paper/2021/file/3636638817772e42b59d74cff571fbb3-Paper.pdf 。

论文通讯作者、莱斯大学布朗工程学院的计算机科学助理教授 Anshumali Shrivastava 表示：「训练成本是 AI 发展的主要瓶颈，一些公司每周就要花费数百万美元来训练和微调 AI 工作负载。」他们的这项研究旨在解决 AI 发展中的训练成本瓶颈.

Anshumali Shrivastava.

研究动机及进展

  。

深度神经网络（DNN）是一种强大的人工智能，在某些任务上超越了人类。DNN 训练通常是一系列的矩阵乘法运算，是 GPU 理想的工作负载，速度大约是 CPU 的 3 倍.

如今，整个行业都专注于改进并实现更快的矩阵乘法运算。研究人员也都在寻找专门的硬件和架构来推动矩阵乘法，他们甚至在讨论用于特定深度学习的专用硬件 - 软件堆栈.

Shrivastava 领导的实验室在 2019 年做到了这一点，将 DNN 训练转换为可以用哈希表解决的搜索问题。他们设计的亚线性深度学习引擎（sub-linear deep learning engine, SLIDE）是专门为运行在消费级 CPU 上而设计的，Shrivastava 和英特尔的合作伙伴在 MLSys 2020 会议上就公布了该技术。他们表示，该技术可以超越基于 GPU 的训练.

在 MLSys 2021 大会上，研究者探讨了在现代 CPU 中，使用矢量化和内存优化加速器是否可以提高 SLIDE 的性能.

论文一作、莱斯大学 ML 博士生 Shabnam Daghaghi 表示：「基于哈希表的加速已经超越了 GPU。我们利用这些创新进一步推动 SLIDE，结果表明即使不专注于矩阵运算，也可以利用 CPU 的能力，并且训练 AI 模型的速度是性能最佳专用 GPU 的 4 至 15 倍。」 。

Shabnam Daghaghi.

此外，论文二作、莱斯大学计算机科学与数学本科生 Nicholas Meisburger 认为，CPU 仍然是计算领域最普遍的硬件，其对 AI 的贡献无可估量.

技术细节

  。

在本论文中，该研究重新了解了在两个现代 Intel CPU 上的 SLIDE 系统，了解 CPU 在训练大型深度学习模型方面的真正潜力。该研究允许 SLIDE 利用现代 CPU 中的矢量化、量化和一些内存优化。与未优化的 SLIDE 相比，在相同的硬件上，该研究的优化工作带来了 2-7 倍的训练时间加速.

SLIDE 的工作流程包括：初始化、前向-反向传播和哈希表更新。下图 1 为前向-反向传播工作流程图:

前向和后向传播示意图.

该研究专注于大规模评估，其中所需的神经网络拥有数亿个参数。在两台 Intel CPU 上比较了优化的 SLIDE，分别是 Cooper Laker 服务器（CPX）和 Cascade Lake 服务器（CLX），并与以下以下 5 个基准进行了对比:

1)V100 GPU上的 full-softmax tensorflow 实现； 。

2) CPX 上的 full-softmax tensorflow 实现； 。

3)CLX 上的 full-softmax tensorflow 实现； 。

4)CPX 上的 Naive SLIDE； 。

5)CLX 上的 Naive SLIDE.

其中，CPX 是英特尔第三代至强可扩展处理器，支持基于 AVX512 的 BF16 指令。CLX 版本更老，不支持 BF16 指令.

研究者在三个真实的公共数据集上评估了框架和其他基准。Amazon670K 是用于推荐系统的 Kaggle 数据集；WikiLSH-325K 数据集和 Text8 是 NLP 数据集。详细统计数据见下表 1:

对于 Amazon-670K 和 WikiLSH-325K，研究者使用了一个标准的全连接神经网络，隐藏层大小为 128，其中输入和输出都是多个热编码向量。对于 Text8，该研究使用标准 word2vec 语言模型，隐藏层大小为 200，其中输入和输出分别是一个热编码向量和多个热编码向量.

下图 6 第一行代表所有数据集的时间收敛图，结果显示了该研究提出的优化 SLIDE 在 CPX 和 CLX（深绿色和浅绿色）上训练时间优于其他基准 。图 6 的底部行显示了所有数据集的柱状图.

下表 2 给出了三个数据集上的详细数值结果:

下表 3 中，研究者展示了 BF16 指令对每个 epoch 平均训练时间的影响。结果表明，在 Amazon-670K 和 WikiLSH325K 上，激活和权重中使用 BF16 指令分别将性能提升了 1.28 倍和 1.39 倍。但是，在 Text8 上使用 BF16 没有产生影响.

下表 4 展示了有无 AVX-512 时，优化 SLIDE 在三个数据集上的每个 epoch 平均训练时间对比。结果表明，AVX-512 的矢量化将平均训练时间减少了 1.2 倍.

原文地址：https://www.toutiao.com/i6949035049010971168/ 。

最后此篇关于CPU比GPU训练神经网络快十几倍，英特尔：别用矩阵运算了的文章就讲到这里了,如果你想了解更多关于CPU比GPU训练神经网络快十几倍，英特尔：别用矩阵运算了的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

30 4 0

• python - 英特尔 MKL 加载失败。英特尔 MKL fatal error : Cannot load libmkl_core. dylib

  我尝试设置一个文件来使用 PyCharm 编写 AI。 我正在使用的教程:https://www.youtube.com/watch?v=ujTCoH21GlA 当我运行代码时: $ import t

• cpu - 每个周期的浮点运算 - 英特尔

  我一直在寻找很长一段时间，似乎无法找到一个官方/结论性的数字来引用英特尔至强四核可以完成的单精度浮点运算/时钟周期的数量。我有一个 Intel Xeon 四核 E5530 CPU。 我希望用它来计算我

• CPU比GPU训练神经网络快十几倍，英特尔：别用矩阵运算了

  在深度学习与神经网络领域，研究人员通常离不开 GPU。得益于 GPU 极高内存带宽和较多核心数，研究人员可以更快地获得模型训练的结果。与此同时，CPU 受限于自身较少的核心数，计算运行需要较长的时间

• 英特尔 SGX 线程与 TCS

  我试图了解 TCS 启用的 SGX 线程与 SDK 提供的不受信任线程之间的区别. 如果我理解正确的话，TCS 允许多个逻辑处理器进入同一个飞地。每个逻辑处理器都有自己的 TCS，因此也有自己的入口点

• assembly - 英特尔 IACA 分析器改变了组装？

  我想通过 IACA 分析器运行一些代码以查看它使用了多少个 uops——我从一个简单的函数开始，看看它是否在工作。 不幸的是，当我插入 IACA 说要使用的宏时，生成的程序集非常不同，因此对它的任何分

• security - 英特尔 SGX 开发人员许可和开源软件

  是否有可能获得许可的开发人员证书，以在生产模式下签署经过安全审查、社区开发的开源 SGX 软件二进制文件，并将其发布在 apt 或 rpm 等开源存储库中？ 我刚问过英特尔 SGX 团队，他们说只有经

• port - 英特尔 8080 指令 : OUT

  我正在尝试模拟 Intel 8080 指令集，但我被这条指令卡住了 OUT D8 ，根据书Intel 8080/8085 Assembly Language Programming它说 OUT ins

• fortran - 英特尔 FORTRAN 中的解除分配

  我在使用一些现有的 FORTRAN 代码时发现了一个问题。尽管它已经预料到需要在重新分配之前释放数组，但这从来没有必要。我现在需要它来执行此操作，但它无法正常运行。 当前的伪代码大约是: MODULE

• fortran - 英特尔 Fortran 中结构内的数据对齐

  我正在尝试在内存中对齐以下类型的数据: type foo real, allocatable, dimension(:) :: bar1, bar2 !dir$ attributes al

• gpl - 英特尔 TBB 许可证

  关闭。这个问题是off-topic .它目前不接受答案。 想改善这个问题吗？ Update the question所以它是 on-topic对于堆栈溢出。 8年前关闭。 Improve this q

• multithreading - 英特尔 SFENCE 有发布语义吗？

  似乎获得和释放语义的公认定义是这样的: (引自 http://msdn.microsoft.com/en-us/library/windows/hardware/ff540496(v=vs.85).a

• multithreading - 英特尔 TBB 流程图开销

  这是我对英特尔 TBB 流图性能进行基准测试的尝试。这是设置: 一个广播节点发送continue_msg到 N 后继节点 (一broadcast_node) 每个后继节点执行一次计算，该计算需要 t

• javascript - 英特尔 xdk - 服务器端

  我有两个问题 第一个问题:我使用 css3、HTML5、JavaScript 开发应用程序。在我的应用程序中，我需要从数据库中获取数据。我该怎么做？ 第二个问题:intel xdk 在构建 l 时必须

• performance - 英特尔 CPU 指令队列提供静态分支预测？

  在英特尔手册的第 3 卷中，它包含硬件事件计数器的描述: BACLEAR_FORCE_IQ Counts number of times a BACLEAR was forced by the Ins

• javascript - 英特尔 xdk 数据库

  嘿，我正在使用 Intel xdk 开发混合应用程序。我已经创建了注册表，然后我将代码放在那里。我尝试使用 Php Mysql 将数据库插入我的数据库后。 如果我单击注册按钮，它会显示这样的错误 [

• c - 英特尔 C++ - 优化器消息

  我想知道是否可以让英特尔 C++ 编译器(或其他编译器，如 gcc 或 clang)显示一些来自优化器的消息。我想知道优化器究竟对我的代码做了什么。默认情况下，编译器只打印非常基本的东西，比如未使用的

• assembly - 英特尔 AVX2 组装开发

  我正在使用 64 位架构的 Intel 程序集优化我的视频解码器。为了优化，我使用 AVX2 指令集。 我的开发环境:- 操作系统:- Win 7(64位) IDE:- MSVS 2008(教授) C

• fortran - 英特尔 Fortran 值属性

  如果这是一个非常愚蠢的问题，我很抱歉；我的 Fortran 不太好。我正在移植一些旧的 Fortran 代码，并遇到了这个子例程定义: SUBROUTINE SET_HYDROMODULE(HYDRO

• cordova - 英特尔 XDK + Phonegap

  请问，我是否可以将 Intel XDK API 和 Phonegap API 集成到单个移动应用程序中？这是因为，某些 API 仅在 Phonegap 中可用，反之亦然。 最佳答案 是的，如果我正确理

• assembly - 英特尔 x86 操作码引用？

  在 x86 中查找任意操作码的含义(例如 0xC8 )的相对快速简便的方法是什么？ Intel Software Developer's manual搜索起来不是很有趣...... 最佳答案 查询 t