- iOS/Objective-C 元类和类别
- objective-c - -1001 错误,当 NSURLSession 通过 httpproxy 和/etc/hosts
- java - 使用网络类获取 url 地址
- ios - 推送通知中不播放声音
我正在开发一个使用 ffmpeg 为我提供编码的 h.264 帧的应用程序:
avcodec_encode_video2(c, &packet, frame, &got_output)
如果我将所有 packet.data
保存到文件 out.h264,它会使用 ffplay
显示所需的输出。
现在,我的目标是发送收到的每个数据包并将其显示(直播)在网页上。为此,我使用了 Broadway.js
我可以确认浏览器正确接收了我从应用程序发送的数据。但是,我无法使用 Broadway(Player.js
、Decoder.js
、YUVCanvas.js
)在 webGL Canvas 上显示相同内容:
if (data != null) player.decode(new Uint8Array(data));
我得到的输出是一张空白的白色 Canvas 。 data
是一个 ArrayBuffer
,它包含来自 avcodec_encode_video2
的数据包中的 h.264 比特流。难道我做错了什么?数据是否应该采用特定格式?
边注:
我的视频文件 out.h264
使用此处提供的示例正常播放:BroadwayStream
它似乎使用命令行 ffmpeg 界面并按接收到的方式处理每个数据包。我的程序使用 ffmpeg 库来获取我需要渲染的相同数据包。有人可以帮忙吗?
最佳答案
请记住,Broadway 仅处理使用 CAVLC(霍夫曼编码)编码的基线配置文件,而忽略主要配置文件或使用 CABAC(算术编码)编码的任何内容。换句话说,百老汇只接受最容易解码的 H.264 流类型。如果您的视频编码不正确,这可能会令人沮丧,因为您会遇到可怕的黑屏综合症。
BroadwayStream 在服务器端使用 ffmpeg 对 mp4 文件进行拆箱,将它们转换为原始 H.264 数据流。也就是说,它会生成一系列 H.264 网络访问层单元 (NALU)。
然后浏览器端吞下整个数据流并将其传递给 Broadway 的 decode()
方法。因此,decode()
总是获得一系列完整的 NALU,在任何特定方法调用中都没有传递部分 NALU。
decode()
不采用部分 NALU。 (BroadwayStream 通过给它整个流巧妙地回避了这一点。)而且它不采用 mp4 或 webm 数据流,只采用拆箱的 H.264。如果您将部分 NALU 传递给它,它就不起作用——它只会忽略您提供的数据。因此,您接受数据流的客户端 js 必须以某种方式将流分成 NALU,然后再将它们传递给 decode()
。
如果你的 js 接受 MIME 类型的混合文件 video/webm; codecs="avc1.42E01E"
你可以看看https://github.com/themasch/node-ebml和 this gist了解对它们进行拆箱的方法。每个 data
block 包含一个或多个完整的 NALU,您可以将其传递给 decode()
。
如果是video/mp4; codecs="avc1.42E01E"
分片的MP4,可以对avcC
框内的sps 和pps 项进行debox,然后对mdat
框进行debox。这些项目中的每一项都是一个或多个完整的 NALU。
如果您从服务器获取原始 H.264 流,则必须以某种方式自行将其解析为 NALU。 Yumi Chan wrote a helpful article about NALUs.请记住,有两种方法可以分离 NALU:数据包传输和字节流。 decode()
接受其中任何一个,但您的解析器也必须接受。
关于javascript - 使用 Broadway.js 解码原始 h.264,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37574441/
我有以下 json: {"results": [{"columns":["room_id","player_name","player_ip"], "types":["integer","text
我在 go 中获取格式不一致的 JSON 文件。例如,我可以有以下内容: {"email": "\"blah.blah@blah.com\""} {"email": "robert@gmail.com
JavaScript中有JSON编码/解码base64编码/解码函数吗? 最佳答案 是的,btoa() 和 atob() 在某些浏览器中可以工作: var enc = btoa("this is so
我在其中一个项目中使用了 Encog,但在解码 One-Of Class 时卡住了。该字段的规范化操作之一是 NormalizationAction.OneOf,它具有三个输出。当我评估时,我想解码预
在我的 previous question关于使用 serialize() 创建对象的 CSV 我从 jmoy 那里得到了一个很好的答案,他推荐了我的序列化文本的 base64 编码。这正是我要找的。
有些事情让我感到困惑 - 为什么 this image在每个浏览器中显示不同? IE9(和 Windows 照片查看器)中的图像: Firefox(和 Photoshop)中的图像: Chrome(和
是否可以在不知道它的类型( JAXBContext.newInstance(clazz) )的情况下解码一个类,或者什么是测试即将到来的正确方法? 我确实收到了从纯文本中解码的消息 - 字符串 传入的
我正在尝试使用 openSSL 库进行 Base64 解码,然后使用 CMS 来验证签名。 下面的代码总是将缓冲区打印为 NULL。 char signed_data[] = "MIIO"; int
我有一个带有 SEL 类型实例变量的类,它是对选择器的引用。在encodeWithCoder/initWithCoder中,如何编码/解码这种类型的变量? 最佳答案 您可以使用 NSStringFro
var url = 'http://www.googleapis.com/customsearch/v1?q=foo&searchType=image'; window.fetch(url) .t
我想知道Android 2.2、2.3和3,4支持的音频/视频格式列表。我也想知道哪些Android版本支持视频编码和解码。我经历了this link,但是关于编码和解码我并不清楚。 任何人的回答都是
我在其中一个项目中使用 Encog,但在解码 One-Of 类时遇到了困难。该字段的规范化操作之一是 NormalizationAction.OneOf,它具有三个输出。当我评估时,我想解码预测值。如
我正在尝试解码现有的 xml 文件,以便我可以正确处理数据,但 XML 结构看起来很奇怪。下面是 xml 示例以及我创建的对象。 11 266 AA1001 1
对 unicode 字符进行 URL 编码的常用方法是将其拆分为 2 %HH 代码。 (\u4161 => %41%61) 但是,unicode在解码时是如何区分的呢?您如何知道 %41%61 是 \
我正在尝试将 json 字符串解码为 Map。 我知道有很多这样的问题,但我需要非常具体的格式。例如,我有 json 字符串: { "map": { "a": "b",
我有一个查询,我认为需要像这样(解码会更大) SELECT firstName, lastName, decode(mathMrk, 80, 'A', mathMrk) as decodeMat
我知道PHP函数encode()和decode(),它们对我来说工作得很好,但我想在url中传递编码字符串,但encode确实返回特殊字符,如“=”、“”' “等等...... 这显然会破坏我的脚本,
我必须解码 Basic bW9uTG9naW46bW9uTW90RGVQYXNz 形式的 http 请求的授权 header 当我解码它时online ,我得到了正确的结果 monLogin:monM
这个问题已经有答案了: Decode Base64 data in Java (21 个回答) 已关闭 8 年前。 我想知道使用哪个库进行 Base64 编码/解码?我需要此功能足够稳定以供生产使用。
我正在尝试从 Arduino BT 解码 []byte,我的连接完美,问题是当我尝试解码数组时。我得到的只是这个字符�(发送的字节数相同)我认为问题出在解码上。我尝试使用 ASCII 字符集,但仍然存
我是一名优秀的程序员,十分优秀!