java - Android中的多线程实时摄像头处理

Question

目标是在 Android 设备的实时预览中进行实时图像处理。这已经在这里解决了很多次，并且在网络上有一些提及(请参阅问题末尾的引用资料)，但是，我还没有找到一个关于适当的多线程框架来完成这个的建议。

据我了解，要正确使用多线程(以及具有多个物理核心的设备)，可以实现以下内容:

1. 在 UI 线程 (onCameraPreview) 上调用帧处理程序并将帧数据排入共享队列 Q。
2. n 个线程的线程池在 Q 上等待。每个线程在可用时取出一个帧，进行“繁重”的图像处理并向 UI 线程发送一条消息和结果。

我的主要问题是上述方向是否正确，以及如何在 Android 上实现它。此外，如果图像处理必须以串行方式进行，则需要进行哪些修改 - 即在任何给定时间处理不超过 1 帧，但仍然在与主线程不同的线程上完成处理。

---

更新 1:
我最终将其实现为 AsyncTask，它接收原始帧数据作为输入并使用 onPostExecute 回调来更新 UI。但是，这种情况每秒发生大约 10 次，这让我想知道它是否不会产生太多开销。这就是为什么，就我而言，这个问题仍然开放以验证这确实是最有效的方法。此外，我仍然不清楚如何将这种方法扩展到多核上的多个工作线程。

---

相关问题:
- Video processing in Android
- Android Camera Frame processing with MultiThreading
- Android: How to record video and process its frames in real time?
- Processing Android camera frames in real time
- Ways of getting high FPS for real time computer vision processing
- Multithreading in openCV4Android
- Android: Real Time Image Processing
- Android video frame processing
- Simultaneous camera preview and processing
- Real Time Image Processing in Android using the NDK
- Android Camera Preview filtering
- How to show real time filtered camera preview while recording videos?

和链接:
http://ibuzzlog.blogspot.co.il/2012/08/how-to-do-real-time-image-processing-in.html

Answer 1

Android 文档指出，使用 byte[] 数组对“onPreviewFrame()”的调用不能放入队列或其他东西中，因为每次调用后都会重复使用该数组。必须尽快返回调用以获得更好的帧率。

所以这就是你可以做的(我做到了并且得到了 29 FPS)

1. 通过 JNI 调用将数组传递给本地 c 或 c++ 库

2. 在您的 C 程序中实现一个队列并 malloc 一个节点来存储这个数组

3. 内存复制数组并返回调用。

4. 然后回电话

5. 使用一些编码器(例如 FFMPEG)将节点加入队列以进行处理，并将节点从队列中取出以进行处理

6. 并行运行此排队过程和编码过程，以便在对帧进行编码后可以将其从内存中清除，以防止内存溢出。

7. 并记住选择最佳分辨率，以便您的编码器匹配输入帧速率的速度，从而不会因队列而导致内存溢出。