c++ - AVX:矩阵点 vector ，但忽略对角线

Question

我需要在方阵和 vector 之间执行点积。但是，在此特定操作期间必须始终忽略对角线。我正在使用 AVX 进行此操作。

如何修改现有代码以有效地忽略所有 [i,i] 位置，从而保持缓存友好？

template<bool add_to_result=false>
inline void dot( const float *const f_vecStart,  size_t fVecCount,  float *result ) const {
    m2d_assert(fVecCount == _y);
    assert_is_16_aligned(f_vecStart);
    assert_is_16_aligned(result);

    float *f_rowStart = _matArray;
    float *f_rowEnd = _matArray + _y;

    for (size_t i=0; i<_x; ++i){ //for every row:
        const __m256 *a = (__m256*)f_rowStart;
        const __m256 *rowEnd = (__m256*)(f_rowEnd);
        const __m256 *val_vec = (__m256*)(f_vecStart);

        __m256 mRowSum = _mm256_set1_ps(0.0f);

        while(a<rowEnd){
            __m256 mul = _mm256_mul_ps(*a, *val_vec);
            mRowSum = _mm256_add_ps(mRowSum, mul);

            ++val_vec;  ++a;
        }

        // finally, horizontally add the gathered sum (m256 vector), completing the
        // computation for this entire row:
        if (add_to_result){//<--known at compile time.
            result[i] += Mathf::fast_hAdd_ps(mRowSum);
        }
        else {
            result[i] = Mathf::fast_hAdd_ps(mRowSum);//<--notice EQUALS (overwrite garbage values)
        }

        f_rowStart += _y;
        f_rowEnd += _y;
    }//end for every row

    check_isNan(result, _x);
}

Answer 1

如果 FP 舍入误差不是问题，您当然可以减去 vec[i] * matrow[i]从该点积，在循环之后。但如果结果是 NaN 或 Inf，或者是一个巨大的数字，导致点积的其余部分产生巨大的舍入误差，那么就会失败。

---

对于小矩阵，您可以考虑向内部循环添加某种无分支掩码。例如一个由 {0,1,2,3,4,5,6,7} 组成的 vector ，用 +=8 递增和 vpcmpeqd 针对 set1_epi32(i) 。将其用作 ANDN 的掩码。

对于大型矩阵，您想要的东西只会增加外部循环的开销，而不是最内部循环的开销。

您可以临时制作适当的源 vector 元素 0.0 ，如果不是const 。这“只会”导致前几行存储转发停止；后面的应该有时间让标量存储在 vector 重新加载到达该点之前离开存储缓冲区。 (特别是如果您尽早执行此操作，例如在前一行的 hsum 之前。)

当然，如果您可以将矩阵对角线归零，那也可以。但这些商店的空间局部性要差得多。 (在读取该行之前执行此操作对于大型矩阵上的局部性来说是最不坏的)

否则，您可以将内部循环分成两个范围，对跨越对角线的一个 vector 使用 vector 掩码。这可能会引入一些分支错误预测。如果您在超线程机器上并行运行，SMT 可以保持吞吐量。否则你就只能寄希望于它能准确预测。

顺便说一句，您可能希望并行累积 2 到 8 行，展开循环以隐藏 FP 添加延迟，并为您在清理中提供 shuffle-and-hadd 的空间。 4 个或 8 个 vector 的转置求和比 8 倍 hsum 到单个 vector 更便宜。 (但这对于修改实际的源 vector 来说是一个问题)。

---

我还没有测试过其中任何一个；这就是我的想法。