c++ - 将数据从 glReadPixels() 转换为 OpenCV::Mat

Question

我想使用 glReadPixels() 从动画中获取每个 OpenGL 帧，并将数据转换为 OpenCV::Mat。我知道 glReadPixels() 从下到上，从左到右逐行获取数据。另一方面，OpenCV 以不同的方式存储数据。

是否有人知道任何库或任何教程/示例可以帮助我将数据从 glReadPixels 转换为 C++ 中的 OpenCV:Mat？

摘要

 OpenGL frame      ----------------------->        CV::Mat

Data from left to right,                    Data from left to right,
bottom to top.                              top to bottom.

Answer 1

首先，我们创建一个空的(或未初始化的)cv::Mat，以便直接读取数据。这可以在启动时完成一次，但另一方面，当图像已经具有匹配的大小和类型时，cv::Mat::create 并不会真正花费太多。类型取决于您的需要，通常类似于 CV_8UC3 用于 24 位彩色图像。

cv::Mat img(height, width, CV_8UC3);

或

img.create(height, width, CV_8UC3);

那么你必须考虑到 cv::Mat 不必连续存储图像行。每行末尾可能有一个小的填充值，以使行 4 字节对齐(或 8？)。所以你需要弄乱像素存储模式:

//use fast 4-byte alignment (default anyway) if possible
glPixelStorei(GL_PACK_ALIGNMENT, (img.step & 3) ? 1 : 4);

//set length of one complete row in destination data (doesn't need to equal img.cols)
glPixelStorei(GL_PACK_ROW_LENGTH, img.step/img.elemSize());

接下来，矩阵的类型会影响 glReadPixels 的格式和类型参数。如果您想要彩色图像，您必须记住 OpenCV 通常按 BGR 顺序存储颜色值，因此您需要使用 GL_BGR(A) (随 OpenGL 1.2 添加)而不是 GL_RGB(A)。对于一个组件图像，使用 GL_LUMINANCE(对各个颜色组件求和)或 GL_RED、GL_GREEN、...(获取单个组件)。因此，对于我们的 CV_8UC3 图像，将其直接读入 cv::Mat 的最终调用将是:

glReadPixels(0, 0, img.cols, img.rows, GL_BGR, GL_UNSIGNED_BYTE, img.data);

最后，OpenCV 从上到下存储图像。因此，您可能需要在获取它们之后翻转它们，或者首先在 OpenGL 中渲染它们(这可以通过调整投影矩阵来完成，但在这种情况下请注意三角形方向)。要垂直翻转 cv::Mat，可以使用 cv::flip :

cv::flip(img, flipped, 0);

所以要记住 OpenCV:

• 从上到下、从左到右存储图像
• 按 BGR 顺序存储彩色图像
• 可能无法存储紧密排列的图像行