c - 基于隐式矢量化的 HPC 编程语言

Question

是否有依赖于隐式矢量化的编程语言或语言扩展？

我需要一些东西来做出积极的假设，以从标量 C 代码为 SSE4.1、AVX、AVX2(带或不带 FMA3/4)以单/ double 生成良好的 DLP/矢量化代码。

在过去的 10 年里，我很高兴依靠英特尔的内在函数来编写我的 HPC 内核，并进行了显式矢量化。同时，我经常对 C/C++ 编译器(GCC、clang、LLVM 等)生成的 DLP 代码的质量感到失望，如果你问的话，我可以发布具体示例。

来自Intrinsics Guide ，很明显，为现代平台“手动”编写具有内在函数的 HPC 内核不再是可持续的选择，除非我有一群程序员。版本和组合太多:SSE4.1、AVX、AVX2、AVX512+flavors、FMA、SP、DP、半精度？如果我的目标平台是自 2012 年以来最广泛使用的平台，那是不可持续的。

我最近试用了面向 OpenCL (CPU) 的英特尔离线编译器。我编写了“a la CUDA”内核(即标量代码、隐式矢量化)，令我惊讶的是，生成的程序集矢量化得非常好! (Skylake，SP 中的 AVX2 + FMA)我遇到的唯一限制是缺少不依赖共享内存的数据缩减/交互项通信的内置函数(这将转化为 CPU 水平添加，或洗牌 + 最小/最大操作) .

正如 clemens and sschuberth 指出的那样除非我不完全接受 OpenCL，否则离线编译器并不是真正的解决方案。或者我破解我的调用者代码以遵守生成的程序集的调用约定，其中包括我不需要的参数，例如 ndrange。完全采用 OpenCL 对我来说也不是一个选择，因为对于 TLP，我依赖 OpenMP 和 Pthreads(对于 ILP，我依赖硬件)。

更新

首先，值得记住的是，隐式矢量化和自动矢量化不是一回事。事实上，我对自动矢量化失去了希望(如上所述)。不在隐式矢量化中。

下面的答案之一是要求提供一些代码示例。 Here我提供了一个内核代码示例，该内核为 3D 结构 block 上的 NSE 的对流项实现了三阶逆风方案。值得一提的是，这代表了一个简单的例子，因为不需要 SIMD channel 间合作/通信。

Answer 1

英特尔 SPMD 程序编译器。

目前，最好的选择是 Intel SPMD Program Compiler . ISPC 是一个开源编译器，其编程模型依赖于隐式矢量化(从英特尔 OpenCL SDK 文档中借用的术语)来输出矢量化汇编代码。 ISPC 将源代码映射到 SP/DP 的 SSE4.1、AVX、AVX2、KNC 和 KNL 的 AVX512 指令。 ISPC 的后端是 LLVM。

对于 CFD 内核，它可以提供无与伦比的性能。对于必须是标量的代码部分，只需将“uniform”关键字添加到相关变量即可。内置了用于 channel 间通信的函数，例如 shuffle、broadcast 和 reduce_add 等。

为什么 ISPC 与其他 C++ 编译器相比如此之快？我的猜测是因为 C/C++ 编译器假设除非有相反的明确证据，否则什么都不能矢量化。 ISPC 假定每一行代码都由所有 SIMD channel (独立地)执行，除非另有说明。

我想知道为什么 ISPC 还没有被广泛接受。也许是因为他的少年阶段，但它已经在 CG/科学可视化社区中显示出强大的能力( Embree ， OSPray )。ISPC 是编写 HPC 内核的一个很好的选择，因为它似乎很好地弥合了性能与生产力之间的差距。

基准

对于trivial kernel example在问题中引用，使用 GCC 4.9.X 和 ISPC 1.8.2 获得以下结果。性能以每个周期的 FLOP 数来报告。

此处未报告 ICC 结果(就可访问性而言，针对免费和开源编译器报告 ICC 是否 100% 公平？)。尽管如此，在这种情况下，ICC 相对于 GCC 报告的最大增益约为 4 倍，因此并未损害 ISPC 的优势。