c++ - 从 C 到 Neon 的双线性插值

Question

我正在尝试使用 Neon 对图像进行缩减采样。所以我尝试通过编写一个使用 neon 减去两个图像的函数来练习 neon，我成功了。现在我回来使用 neon 内在函数编写双线性插值。现在我有两个问题，从一行和一列中获取 4 个像素，并从 4 个像素中计算插值(灰色)，或者如果可以从一行和一列中的 8 个像素中计算插值(灰色)。我试着考虑一下，但我认为算法应该完全重写？

void resizeBilinearNeon( uint8_t *src, uint8_t *dest,  float srcWidth,  float srcHeight,  float destWidth,  float destHeight)
{

    int A, B, C, D, x, y, index;

       float x_ratio = ((float)(srcWidth-1))/destWidth ;
       float y_ratio = ((float)(srcHeight-1))/destHeight ;
       float x_diff, y_diff;

       for (int i=0;i<destHeight;i++) {
          for (int j=0;j<destWidth;j++) {
               x = (int)(x_ratio * j) ;
               y = (int)(y_ratio * i) ;
               x_diff = (x_ratio * j) - x ;
               y_diff = (y_ratio * i) - y ;
               index = y*srcWidth+x ;

               uint8x8_t pixels_r = vld1_u8 (src[index]);
               uint8x8_t pixels_c = vld1_u8 (src[index+srcWidth]);

               // Y = A(1-w)(1-h) + B(w)(1-h) + C(h)(1-w) + Dwh
               gray = (int)(
                           pixels_r[0]*(1-x_diff)*(1-y_diff) +  pixels_r[1]*(x_diff)*(1-y_diff) +
                           pixels_c[0]*(y_diff)*(1-x_diff)   +  pixels_c[1]*(x_diff*y_diff)
                           ) ;

               dest[i*w2 + j] = gray ;
           }
  }  

Answer 1

Neon 肯定会帮助使用双线性过滤以任意比例进行下采样。关键是巧妙地使用了 vtbl.8 指令，它能够对来自预加载数组的 8 个连续目标像素执行并行查找表:

 d0 = a [b] c [d] e [f]  g  h, d1 =  i  j  k  l  m  n  o  p 
 d2 = q  r  s  t  u  v  [w] x, d3 = [y] z [A] B [C][D] E  F ...
 d4 = G  H  I  J  K  L   M  N, d5 =  O  P  Q  R  S  T  U  V ...

可以很容易地计算出括号中像素的小数位置:

 [b] [d] [f] [w] [y] [A] [C] [D],  accessed with vtbl.8 d6, {d0,d1,d2,d3}
 The row below would be accessed with            vtbl.8 d7, {d2,d3,d4,d5} 

递增 vadd.8 d6, d30 ; with d30 = [1 1 1 1 1 ... 1] 给出原点右侧像素的查找索引等。

没有理由从两行中获取像素，只是说明这是可能的，并且如果需要，该方法也可用于实现轻微的失真。

在实时应用程序中使用例如lanzcos 可能有点矫枉过正，但使用 NEON 仍然可行。较大因子的下采样当然需要(重)过滤，但可以通过迭代平均和 2:1 抽取轻松实现，并且仅在最后使用分数采样。

对于任意8个连续的像素写入，可以计算出 vector

  x_positions = (X + [0 1 2 3 4 5 6 7]) * source_width / target_width;
  y_positions = (Y + [0 0 0 0 0 0 0 0]) * source_height / target_height;

  ptr = to_int(x_positions) + y_positions * stride;
  x_position += (ptr & 7); // this pointer arithmetic goes only for 8-bit planar
  ptr &= ~7;               // this is to adjust read pointer to qword alignment

  vld1.8 {d0,d1}, [r0]
  vld1.8 {d2,d3], [r0], r2 // wasn't this possible? (use r2==stride)

  d4 = int_part_of (x_positions);
  d5 = d4 + 1;
  d6 = fract_part_of (x_positions);
  d7 = fract_part_of (y_positions);

  vtbl.8 d8,d4,{d0,d1}  // read top row
  vtbl.8 d9,d5,{d0,d1}  // read top row +1
  MIX(d8,d9,d6)             // horizontal mix of ptr[] & ptr[1]
  vtbl.8 d10,d4,{d2,d3} // read bottom row
  vtbl.8 d11,d5,{d2,d3} // read bottom row
  MIX(d10,d11,d6)           // horizontal mix of ptr[1024] & ptr[1025]
  MIX(d8,d10,d7)

  // MIX (dst, src, fract) is a macro that somehow does linear blending
  // should be doable with ~3-4 instructions

要计算整数部分，使用 8.8 位分辨率就足够了(实际上不必计算 666+[0 1 2 3 .. 7])并将所有中间结果保存在 simd 寄存器中。

免责声明——这是概念性的伪 C/vector 代码。在 SIMD 中，有两个并行任务需要优化:所需的最少算术运算量是多少，以及如何最大程度地减少不必要的数据混洗/复制。在这方面，采用三寄存器方法的 NEON 也比 SSE 更适合严肃的 DSP。第二个方面是乘法指令的数量，第三个方面是交错指令。