c++ - 为什么两个连续的收集指令比等效的基本操作执行得更差？

Question

我正在将一些代码从 SSE 升级到 AVX2。总的来说，我可以看到收集指令非常有用并且有利于性能。然而，我遇到了这样一种情况，即收集指令的效率低于将收集操作分解为更简单的操作。

在下面的代码中，我有一个 int32 vector b，一个 double xi vector 和 4 个 int32 索引封装在一个 128 位寄存器 bidx。我需要先从 vector b 收集，而不是从 vector xi 收集。即，在伪代码中，我需要做:

__m128i i = b[idx];
__m256d x = xi[i];

在下面的函数中，我使用 #ifdef 以两种方式实现:通过收集指令，产生 290 Miter/sec 的吞吐量，以及通过基本操作，产生 325 Miter/sec 的吞吐量秒。

谁能解释一下这是怎么回事？谢谢

inline void resolve( const __m256d& z, const __m128i& bidx, int32_t j
                    , const int32_t *b, const double *xi, int32_t* ri )
{

    __m256d x;
    __m128i i;

#if 0  // this code uses two gather instructions in sequence

    i = _mm_i32gather_epi32(b, bidx, 4));  // i = b[bidx]
    x = _mm256_i32gather_pd(xi, i, 8);     // x = xi[i]

#else  // this code does not use gather instructions

    union {
            __m128i vec;
            int32_t i32[4];
    } u;
    x = _mm256_set_pd
            ( xi[(u.i32[3] = b[_mm_extract_epi32(bidx,3)])]
            , xi[(u.i32[2] = b[_mm_extract_epi32(bidx,2)])]
            , xi[(u.i32[1] = b[_mm_extract_epi32(bidx,1)])]
            , xi[(u.i32[0] = b[_mm_cvtsi128_si32(bidx)  ])]
            );
    i = u.vec;

#endif

    // here we use x and i
    __m256  ps256 = _mm256_castpd_ps(_mm256_cmp_pd(z, x, _CMP_LT_OS));
    __m128  lo128 = _mm256_castps256_ps128(ps256);
    __m128  hi128 = _mm256_extractf128_ps(ps256, 1);
    __m128  blend = _mm_shuffle_ps(lo128, hi128, 0 + (2<<2) + (0<<4) + (2<<6));
    __m128i lt    = _mm_castps_si128(blend);  // this is 0 or -1
    i = _mm_add_epi32(i, lt);
    _mm_storeu_si128(reinterpret_cast<__m128i*>(ri)+j, i);
}

Answer 1

由于您的“解析”函数被标记为内联，我想它是在高频循环中调用的。然后，您还可以查看“解析”函数之外的输入参数之间的依赖关系。使用标量代码变体时，编译器可能能够跨循环边界更好地优化内联代码。