c++ - OpenGL 纹理的 OpenCV 图像加载

Question

我想用 OpenCV 加载图像(jpg 和 png)作为 OpenGL 纹理。

下面是我如何将图像加载到 OpenGL:

glEnable(GL_TEXTURE_2D);
  textureData = loadTextureData("textures/trashbin.png");
  cv::Mat image = cv::imread("textures/trashbin.png");
  if(image.empty()){
      std::cout << "image empty" << std::endl;
  }else{
      glGenTextures( 1, &textureTrash );
      glBindTexture( GL_TEXTURE_2D, textureTrash );
      glTexParameterf(GL_TEXTURE_2D,GL_TEXTURE_MIN_FILTER,GL_LINEAR);
      glTexParameterf(GL_TEXTURE_2D,GL_TEXTURE_MAG_FILTER,GL_LINEAR);
      glTexParameterf( GL_TEXTURE_2D, GL_TEXTURE_WRAP_S , GL_REPEAT );
      glTexParameterf( GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_REPEAT );
      glTexImage2D(GL_TEXTURE_2D,0,3,image.cols, image.rows,0,GL_RGB,GL_UNSIGNED_BYTE, image.data);
  }

图像已加载，因为“image.empty”总是返回 false

下面是我如何使用创建的纹理渲染场景:

  glActiveTexture(GL_TEXTURE0);
  glBindTexture(GL_TEXTURE_2D, textureTrash);
  glm_ModelViewMatrix.top() = glm::translate(glm_ModelViewMatrix.top(),0.0f,-13.0f,-10.0f);
  glUniformMatrix4fv(uniformLocations["modelview"], 1, false, glm::value_ptr(glm_ModelViewMatrix.top()));

  std::cout << "textureShaderID: " << glGetUniformLocation(shaderProgram,"texture") << std::endl;

  glUniform1i(glGetUniformLocation(shaderProgram,"texture"), 0);
  objLoader->getMeshObj("trashbin")->render();

最后是 fragmentShader，我想在其中将纹理应用到我的几何体

#version 330
in vec2 tCoord;

// texture //
// TODO: set up a texture uniform //
uniform sampler2D texture;

// this defines the fragment output //
out vec4 color;

void main() {
  // TODO: get the texel value from your texture at the position of the passed texture coordinate //
  color = texture2D(texture, tCoord);
}

纹理坐标来自顶点缓冲区对象，并从 .obj 文件中正确设置。当我将颜色设置为例如，我也可以在我的场景中看到对象。片段着色器中的红色，或 vec4(tCoord,0,1)；然后对象以不同的颜色着色。

不幸的是，当我想应用纹理时屏幕保持黑色...有人可以帮助我并告诉我为什么保持黑色吗？

Answer 1

如果只查看纹理加载代码，您会忽略许多关于 OpenCV 如何在内存中布置图像的注意事项。我已经在 this answer 中解释了相反的方向(glGetTexImage 到 OpenCV 图像) ，但将在此处针对 CV-GL 方向进行概括:

首先，OpenCV 不一定存储紧密排列的图像行，但可能会将它们对齐到某些字节边界(不知道多少，至少 4 个，但可能 8 个或更多？)。如果幸运的话，它将使用 4 字节对齐，并且 GL 也设置为默认的 4 字节对齐像素存储模式。但为了安全起见，最好手动调整像素存储模式:

//use fast 4-byte alignment (default anyway) if possible
glPixelStorei(GL_UNPACK_ALIGNMENT, (image.step & 3) ? 1 : 4);

//set length of one complete row in data (doesn't need to equal image.cols)
glPixelStorei(GL_UNPACK_ROW_LENGTH, image.step/image.elemSize());

然后你必须考虑到 OpenCV 从上到下存储图像，而 GL 使用从下到上。这可以通过适本地镜像 t 纹理坐标(可能直接在着色器中)来解决，但您也可以在上传之前翻转图像:

cv::flip(image, flipped, 0);
image = flipped;              //maybe just cv::flip(image, image, 0)?

最后但同样重要的是，OpenCV 以 BGR 格式存储彩色图像，因此以 RGB 格式上传它会扭曲颜色。所以在 glTexImage2D 中使用 GL_BGR(需要 OpenGL 1.2，但谁没有呢？)。

这些可能不是您问题的完整解决方案(因为我认为这些错误应该导致图像失真而不是黑色)，但它们绝对是需要解决的问题。

编辑:您的片段着色器是否真的编译成功(在使用纹理的完整版本中)？我问是因为在 GLSL 3.30 中你使用的单词 texture 也是一个内置函数的名称(实际上应该使用它而不是弃用的 texture2D 函数)，因此编译器可能存在一些名称解析问题(并且可能在您的简化着色器中会忽略此错误，因为整个制服将被优化掉，并且已知许多 GLSL 编译器不严格符合标准)。因此，只需尝试为该采样器统一起一个不同的名称即可。