java - 将帧保存到文件 onFrameAvailable [Google Project Tango]

Question

我正在尝试将 RGB 帧与姿势数据一起保存到文件中，然后对它们进行一些后期处理。主要问题是，目前使用 Tango Java API 执行此操作的唯一方法是渲染到 GLSurfaceView ，通过连接它们

tangoCameraPreview.connectToTangoCamera(mTango,TangoCameraIntrinsics.TANGO_CAMERA_COLOR);

然后你会使用GlReadPixels将像素读入数组并将其保存到文件中。

问题在于，GlReadPixels 慢。事实上，使用我刚才描述的方法，我可以获得大约 3-4 fps。

看看其他关于连拍照片的更一般的答案，我看到很多人在使用 SurfaceView 时说。而不是GlSurfaceView ，他们设法达到 15fps。

我没有找到任何使用SurfaceView的方法使用探戈相机，从 connectToTangoCamera需要 GlSurfaceView我不能只使用 Camera并将其绑定(bind)到 SurfaceView因为当我尝试打开它时(通过 Camera.open() )，它已经被 Tango 使用。 Tango需要使用它才能获得 colorToIMUPose数据。

所以我真的不确定我可以找到什么解决方法才能获得至少 10fps。

Answer 1

您可以将 C++ API 与 TangoService_connectOnFrameAvailable 结合使用，您将以合理的速度获得 YUV 帧缓冲区。查看 tango c 示例 video-overlay-jni-example他们在那里进行 RGB 转换。我使用这种方式将 OpenCV 过滤器连接到渲染过程。