java - h264原始数据流和Android中的渲染

Question

我们有一个适用于网络摄像头的 Android 应用程序。我们的主要问题是视频显示有瑕疵。大部分画面为绿色方 block 。当您开始将手移到摄像机前时，方 block 消失，但视频仍然带有伪影。我们检查了缓冲区长度、数据包大小和许多参数……。现在我们不知道出了什么问题。

我将描述整个过程:摄像头使用 SIP 协议(protocol)。根据 SIP 我们收集 SDP 数据并建立连接。我们发现视频在 RTP 数据包中转换为 H264 基本配置文件。我们收到 UDP 数据包。提取 RTP。查看 RTP 的 header 。我们收到类型为 7 和 8 的数据包。我们使用这两个数据包来配置 MediaCodec。

private void initMedia(ByteBuffer header_sps, ByteBuffer header_pps) {
    try {
        mMediaCodec = MediaCodec.createDecoderByType(MediaFormat.MIMETYPE_VIDEO_AVC);
        //mMediaCodec = MediaCodec.createByCodecName("OMX.google.h264.decoder");
        MediaFormat mediaFormat = MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, 640, 480);
        mediaFormat.setByteBuffer("csd-0", header_sps);
        mediaFormat.setByteBuffer("csd-1", header_pps);
        mMediaCodec.configure(mediaFormat, videoView.getHolder().getSurface(), null, 0);
        mMediaCodec.start();
        mConfigured = true;
        startMs = System.currentTimeMillis();
        show.start();
    } catch (IOException e) {
        e.printStackTrace();
    }
}

我们也收到数据包 28 这意味着它是零件，我们应该重建它。

public ByteBuffer writeRawH264toByteBuffer() throws IOException, NotImplementedException {
ByteBuffer res = null;
switch (nal.getType()){
    case NAL.FU_A:    //FU-A, 5.8.  Fragmentation Units (FUs)/rfc6184
        FUHeader fu = getFUHeader();

        if(fu.isFirst()){
            //if(debug) System.out.println("first");
            res = ByteBuffer.allocate(5+getH264PayloadLength());
            res.put(H264RTP.NON_IDR_PICTURE);
            res.put(getReconstructedNal());
            res.put(rtp.getBuffer(), getH264PayloadStart(), getH264PayloadLength());
        } else {
            //if(debug) System.out.println("end");
            res = ByteBuffer.allocate(getH264PayloadLength());
            res.put(rtp.getBuffer(), getH264PayloadStart(), getH264PayloadLength());
        }
        break;
    case NAL.SPS: //Sequence parameter set
    case NAL.PPS: //Picture parameter set
    case NAL.NAL_UNIT:
        res = ByteBuffer.allocate(4+getH264PayloadLength());
        //System.out.println("sps or pps write");
        res.put(H264RTP.NON_IDR_PICTURE);
        res.put(rtp.getBuffer(), rtp.getPayloadStart(), rtp.getPayloadLength());
        break;
    default:
        throw new NotImplementedException("NAL type " + getNAL().getType() + " not implemented");
}
return res;

NON_IDR_PICTURE 是字节数组 {0x00, 0x00, 0x00, 0x01}

我们使用 VideoView 在 Android 设备上翻译视频这一个写数据包:

if (mConfigured) {
int index = mMediaCodec.dequeueInputBuffer(mTimeoutUsDegueueInput);
if (index >= 0) {
    ByteBuffer buffer = mMediaCodec.getInputBuffer(index);
    //buffer.clear();
    int capacity = wrapper.getByPayload().writeRawH264toByteBuffer(buffer);
    mMediaCodec.queueInputBuffer(index, 0, capacity, wrapper.getSequence(), 0);
}

而这个更新了 VideoView(在单独的线程中)

while(true)
if (mConfigured) { 
    MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
    int index = mMediaCodec.dequeueOutputBuffer(info, mTimeoutUsDegueueOutput);
    if (index >= 0) { 
        mMediaCodec.releaseOutputBuffer(index, info.size > 0);
        if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) == MediaCodec.BUFFER_FLAG_END_OF_STREAM) {
            break;
        }
    }
} else {
    try {
        Thread.sleep(10);
    } catch (InterruptedException ignore) {
    }
}

现在我不知道为什么视频会因伪影而崩溃，也不知道要调试什么。

视频示例: screen of video

Answer 1

问题出在 FU_A 重建上。问题出在这个字符串中

int capacity = wrapper.getByPayload().writeRawH264toByteBuffer(buffer);

数据包FU_A应该被重构为完整的数据包并且只有在它被放入解码器之后