java - Android 快速 YUV420P 到 ARGB8888 转换

Question

我正在使用 Android 的 MediaCodec API 解码从网络传入的 H.264 编码视频数据以进行直播。

我知道我可以通过将解码器配置为在 Surface 模式下运行来直接将视频渲染到 View 。

但是，通过这样做，输出视频在某些平台上会出现色带。存在此问题的目标平台是在 Intel Celeron N2930 处理器上运行的 Android-x86 6.0。

经过无数次的尝试来解决这个问题，我决定在所谓的 ByteBuffer 模式下使用解码器。在此模式下，我在 ByteBuffer 中接收解码的视频帧，其中存储帧像素的颜色值。

对于我上面提到的目标平台，输出视频帧采用 YUV420p 格式。要将视频帧显示到 View 上，我必须首先将其转换为位图。在创建位图之前，我应该首先将帧颜色格式转换为ARGB8888。

最初我用 Java 进行了此转换，但该过程太慢，对于直播没有任何用处，大约需要 300 多毫秒。然后我使用 native C 代码进行转换。设法将时间缩短到大约一半，但对于 1920x1080 视频的至少 20 fps 来说仍然太慢。

JNIEXPORT jintArray JNICALL
Java_my_package_name_class_convertYUV420PToARGB8888_1Native2(
        JNIEnv *env, jclass type, jbyteArray data_, jint width, jint height) {
    jbyte *data = (*env)->GetByteArrayElements(env, data_, NULL);
    if (!data) {
        __android_log_print(ANDROID_LOG_ERROR, TAG,
        return NULL;
    }

    const jint frameSize = width * height;
    const jint offset_u = frameSize;
    const jint offset_v = frameSize + frameSize / 4;

    jint *pixels = malloc(sizeof(jint) * frameSize);
    jint u, v, y1, y2, y3, y4;

    // i percorre os Y and the final pixels
    // k percorre os pixles U e V
    jint i;
    jint k;
    for (i = 0, k = 0; i < frameSize; i += 2, k += 1) {
        // process 2*2 pixels in one iteration
        y1 = data[i] & 0xff;
        y2 = data[i + 1] & 0xff;
        y3 = data[offset + i] & 0xff;
        y4 = data[width + i + 1] & 0xff;

        u = data[offset_u + k] & 0xff;
        v = data[offset_v + k] & 0xff;
        u = u - 128;
        v = v - 128;

        pixels[i] = convertYUVtoRGB(y1, u, v);
        pixels[i + 1] = convertYUVtoRGB(y2, u, v);
        pixels[width + i] = convertYUVtoRGB(y3, u, v);
        pixels[width + i + 1] = convertYUVtoRGB(y4, u, v);

        if (i != 0 && (i + 2) % width == 0) {
            i += width;
        }
    }

    jintArray result = (*env)->NewIntArray(env, frameSize);
    if (!result) {
        return NULL;
    }

    (*env)->SetIntArrayRegion(env, /* env */
                              result, /* array */
                              0, /* start */
                              frameSize, /* len */
                              pixels /* buf */
    );

    // free resources
    free(pixels);
    (*env)->ReleaseByteArrayElements(env,
                                     data_, /* array */
                                     data, /* elems */
                                     JNI_ABORT /* mode */
    );

    return result;
}

static jint convertYUVtoRGB(jint y, jint u, jint v) {
    jint r, g, b;

    r = y + (int) 1.402f * v;
    g = y - (int) (0.344f * u + 0.714f * v);
    b = y + (int) 1.772f * u;

    r = r > 255 ? 255 : r < 0 ? 0 : r;
    g = g > 255 ? 255 : g < 0 ? 0 : g;
    b = b > 255 ? 255 : b < 0 ? 0 : b;

    return 0xff000000 | (r << 16) | (g << 8) | b;
}

这个函数是我从 SO 中的某个地方获得的，在一次迭代中以 2x2 像素的 block 执行。

如何加快此过程？有图书馆吗？其他方法？

提前谢谢您。

Answer 1

通过使用 ffmpeg 中的 libswscale 库成功解决了这个问题。