c# - 具有空间数据的 Hololens 视频流

Question

我正在使用全息镜头，并且我正在尝试保存具有可用世界/投影矩阵的视频流。我一直在尝试拍摄一系列照片并保存数据，但我找不到保存图像和矩阵的方法。

保存到磁盘时，没有获取照片捕获帧(包含矩阵数据)的选项，保存到内存时，我似乎无法将图像保存到磁盘。我尝试使用以下方法，但这似乎使我的统一程序崩溃:

List<byte> imageBufferList = new List<byte>();
photoCaptureFrame.CopyRawImageDataIntoBuffer(imageBufferList);
byte[] myArrayImage = imageBufferList.ToArray();

然后用它来转换字节数组:

using (MemoryStream mStream = new MemoryStream(byteArrayIn))
return Image.FromStream(mStream);

然后我保存结果。

当我删除内存流时，程序不会崩溃(但它也不会保存我的图像)。

我一直在网上找，但有很多关于它的含糊不清的说法a) 不可能b) 使用内存流(但会崩溃)

有什么建议吗？如果有人知道一种方法来保存每帧的所有矩阵(投影和世界)数据以及视频流的相应帧，那将是一个很大的帮助。

编辑:我也尝试调查 https://github.com/VulcanTechnologies/HoloLensCameraStream但这似乎会给较新的 Unity 版本带来问题。对此有何评论？

阐明我的最终目标:拍摄时，程序要保存所有帧和对应的矩阵，例如:

Frame_01, Frame_02, Frame_03, ... (.jpg/png/...)

World_matrix_01, World_matrix_02, ... (.txt)

Projection_matrix_01, Projection_matrix_02,... (.txt)

Answer 1

Edit: I also tried to look into https://github.com/VulcanTechnologies/HoloLensCameraStream but this seems to give problems with newer Unity versions. Any remarks about this?

我用过它，它在 Unity 2018.3.13f1 中运行良好。您只能在 Debug模式下在 Hololens 中进行测试。