android - 使用 Project Tango 提取带有颜色的点云；冰。获取当前相机帧

Question

我正在尝试生成一个点云，其中每个点都有一种颜色。我可以只获取点云，也可以让相机拍照，但我需要它们尽可能同步。如果我可以在调用 onXYZijAvailable() 时查找带有时间戳的 RGB 图像或调用函数来获取当前帧，我就完成了。我可以遍历这些点，找出它与图像平面相交的位置，并获得该像素的颜色。

因为现在我还没有找到任何方法来获取图像的像素信息或获取彩色点。我见过 AR 应用程序，其中相机连接到 CameraView，然后在顶部呈现内容，但相机流从未被应用程序触及。

根据 this发布应该可以通过简单的转换获得我想要的数据并同步点云和图像平面。 This帖子也说了类似的话。但是，我不知道如何获取 RGB 数据。我找不到任何开源项目或教程。

我得到的最接近的结果是通过使用以下命令找出框架何时准备就绪:

     public void onFrameAvailable(final int cameraId) {
          if (cameraId == TangoCameraIntrinsics.TANGO_CAMERA_COLOR) {
               //Get the new rgb frame somehow.
          }
     }

我正在使用 Java API，如果可能的话，我非常不想深入研究 JNI 和 NDK。如何获得与当前点云的时间戳最匹配的帧？

感谢您的帮助。

更新:

我实现了它的 CPU 版本，甚至在对其进行了一些优化之后，我也只能在小型点云上获得 0.5 FPS。这也是由于必须将颜色从 android 原生 NV21 颜色空间转换为 GPU 原生 RGBA 颜色空间。我本可以进一步优化它，但我不会用它来获得实时效果。 Android 设备上的 CPU 根本无法正常运行。如果您想在超过几千个点上执行此操作，请使用 GPU 或在后期进行额外的麻烦。

Answer 1

Tango 通常将彩色像素数据直接传送到 OpenGLES 纹理。在 Java 中，您创建目标纹理并将其注册到 Tango.connectTextureId()。 , 然后在 onFrameAvailable()回调你用 Tango.updateTexture() 更新纹理.在纹理中获得彩色图像后，您可以使用 OpenGLES 绘图调用和着色器访问它。

如果您的目标是为 Tango 点云着色，最有效的方法是在 GPU 中执行此操作。也就是说，不是将彩色图像从 GPU 中拉出并在 Java 中访问它，而是将点数据传递到 GPU 并使用 OpenGLES 着色器将 3D 点转换为 2D 纹理坐标并从纹理中查找颜色。如果您是第一次这样做，要做到这一点相当棘手，但可能需要获得可接受的性能。

如果您真的想在不使用 C API 的情况下直接访问像素数据，您需要将纹理渲染到缓冲区中，然后从缓冲区中读取颜色数据。如果您不习惯 OpenGL 和编写着色器，这会有点棘手，但有一个 Android Studio 应用程序可以演示 here ，并在 this answer 中进一步描述.该项目演示了如何将相机纹理绘制到屏幕上，以及如何绘制到屏幕外缓冲区和读取 RGBA 像素。

如果您真的想要直接访问像素数据，但认为 NDK 可能比 OpenGLES 更轻松，C API 有 TangoService_connectOnFrameAvailable()它直接为您提供像素数据，即无需通过 OpenGLES。但是请注意，像素数据的格式是 NV21，不是RGB 或 RGBA。