ios - 通过 ARM NEON 进行向量矩阵乘法

Question

我有一个任务 - 通过大列主矩阵(10000 行，400 列)乘以大行向量(10000 个元素)。我决定使用 ARM NEON，因为我对这项技术很好奇并且想了解更多。

这是我写的向量矩阵乘法的工作示例:

//float* vec_ptr - a pointer to vector
//float* mat_ptr - a pointer to matrix
//float* out_ptr - a pointer to output vector
//int matCols - matrix columns
//int vecRows - vector rows, the same as matrix

for (int i = 0, max_i = matCols; i < max_i; i++) {
    for (int j = 0, max_j = vecRows - 3; j < max_j; j+=4, mat_ptr+=4, vec_ptr+=4) {
        float32x4_t mat_val = vld1q_f32(mat_ptr);    //get 4 elements from matrix
        float32x4_t vec_val = vld1q_f32(vec_ptr);    //get 4 elements from vector

        float32x4_t out_val = vmulq_f32(mat_val, vec_val);  //multiply vectors
        float32_t total_sum = vaddvq_f32(out_val);          //sum elements of vector together
        out_ptr[i] += total_sum;
    }

    vec_ptr = &myVec[0];   //switch ptr back again to zero element
}

问题是计算需要很长时间——在 iPhone 7+ 上需要 30 毫秒，而我的目标是 1 毫秒，如果可能的话甚至更少。当前执行时间是可以理解的，因为我启动了乘法迭代 400 * (10000/4) = 1 000 000 次。

此外，我尝试处理 8 个元素而不是 4 个。这似乎有所帮助，但数字离我的目标还很远。

我知道我可能会犯一些可怕的错误，因为我是 ARM NEON 的新手。如果有人能给我一些如何优化我的代码的提示，我会很高兴。

此外 - 是否值得通过 ARM NEON 进行大型向量矩阵乘法？这项技术是否适合这样的目的？

Answer 1

您的代码完全有缺陷:假设 matCols 和 vecRows 均为 4，它会迭代 16 次。那么 SIMD 的意义何在？

主要性能问题在于float32_t total_sum = vaddvq_f32(out_val);:
永远不要在循环内将向量转换为标量，因为它会导致管道危险，每次花费大约 15 个循环。

解决办法:

    float32x4x4_t myMat;
    float32x2_t myVecLow, myVecHigh;

    myVecLow = vld1_f32(&pVec[0]);
    myVecHigh = vld1_f32(&pVec[2]);
    myMat = vld4q_f32(pMat);

    myMat.val[0] = vmulq_lane_f32(myMat.val[0], myVecLow, 0);
    myMat.val[0] = vmlaq_lane_f32(myMat.val[0], myMat.val[1], myVecLow, 1);
    myMat.val[0] = vmlaq_lane_f32(myMat.val[0], myMat.val[2], myVecHigh, 0);
    myMat.val[0] = vmlaq_lane_f32(myMat.val[0], myMat.val[3], myVecHigh, 1);

    vst1q_f32(pDst, myMat.val[0]);

• 一次计算所有四行
• 通过 vld4 即时执行矩阵转置(旋转)
• 执行向量-标量乘法-累加，而不是向量-向量乘法和水平加法，后者会导致流水线危险。

你问的是 SIMD 是否适合矩阵运算？一个简单的"is"将是一个巨大的轻描淡写。您甚至不需要循环。