google-project-tango - 我们究竟如何计算时间戳差异？

Question

我们将时间戳作为姿势、图片和点数据的 double 值 - 它们并不总是对齐 - 如何计算两个时间戳之间的时间距离？是的，我知道如何减去两个 double ，但我完全不确定增量与时间的对应关系。

Answer 1

我有一些有趣的时间戳数据可以阐明您的问题，但无需准确回答。我一直在尝试将深度帧与图像帧匹配——就像很多人在这个 Tango 标签下发帖一样。我的数据不完全匹配，我认为我的投影矩阵和点重投影有问题。然后我检查了我的深度帧和图像帧上的时间戳，发现它们相差了 130 毫秒之多。很多!即使只要有深度帧可用，我就会得到最新的图像。所以我回去只测试时间戳数据。

我在 Native 中使用基于 point-cloud-jni-example 的代码。对于 onXYZijAvailable()、onFrameAvailable() 和 onPoseAvailable() 中的每一个，我都在转储时间信息。在 XYZ 和 Frame 情况下，我将返回的数据复制到静态缓冲区以备后用。对于此测试，我忽略了缓冲图像帧，XYZ 深度数据显示在示例代码的正常 OpenGL 显示循环中。捕获的数据如下所示:

                        callback type : systime  : timestamp : last pose
I/tango_jni_example( 3247): TM CLK Img  5.420798  110.914437  110.845522
I/tango_jni_example( 3247): TM CLK XYZ  5.448181  110.792470  110.845522
I/tango_jni_example( 3247): TM CLK Pose  5.454577  110.878850
I/tango_jni_example( 3247): TM CLK Img  5.458924  110.947708  110.878850
I/tango_jni_example( 3247): TM CLK Pose  5.468766  110.912178

系统时间来自每个回调内部运行的 std::chrono::system_clock::now()。 (由应用程序启动时的开始时间偏移。)时间戳是来自 XYZij、图像或姿势结构的实际时间戳数据。对于深度和图像，我还列出了最近的姿势时间戳(从服务开始到设备，给定时间为 0.0)。对大约 2 分钟的样本数据进行快速分析后得出以下初步结论:

Pose data is captured at VERY regular intervals of 0.033328 seconds.
Depth data is captured at pretty regular intervals of 0.2 seconds.
Image data is captured at odd intervals 
    with 3 or 4 frames at 0.033 seconds
    then 1 frame at about 0.100 seconds
    often followed by a second frame with the same timestamp
    (even though it is not reported until the next onFrameAvailable()?)

这是返回结构中的实际时间戳数据。 “真实的？”回调之间耗时变化更大。姿势回调在 0.010 到 0.079 秒之间的任何时间触发，即使姿势时间戳在 0.033 时坚如磐石。图像(帧)回调在 0.025 和 0.040 之间触发 4 次，然后在 0.065 左右暂停一次。这就是在连续调用中返回具有相同时间戳的两个图像的地方。相机好像跳帧了？

因此，要匹配深度、图像和姿势，您确实需要使用相应的时间戳(环形缓冲区？)缓冲多个返回值，然后根据您希望作为主值的任何值将它们匹配起来。姿势时间是最稳定的。

注意:我没有尝试获取特定“中间”时间的姿势，以查看返回的姿势是否插值在 onPoseAvailable() 给出的值之间。

我有 logcat 文件和各种可用的 awk 提取物。我不确定如何发布这些(1000 行)。