opengl - 使用 GPU 着色器错误进行失真校正

Question

所以我有一台带广角镜头的相机。我知道畸变系数、焦距、光学中心。我想消除从这台相机获得的图像的扭曲。我第一次尝试使用 OpenCV (cv::un Distreact)，效果很好，但速度太慢。

现在我想在 GPU 上执行此操作。 http://willsteptoe.com/post/67401705548/ar-rift-aligning-tracking-and-video-spaces-part-5 中有一个着色器正在执行此操作。

公式可以在这里看到: http://en.wikipedia.org/wiki/Distortion_%28optics%29#Software_correction

所以我去实现了我自己的版本作为 glsl 着色器。我发送的四边形的纹理坐标位于 0..1 之间的角上。我假设到达的纹理坐标是未失真图像的坐标。我计算与纹理坐标相对应的扭曲点的坐标。然后我对扭曲的图像纹理进行采样。

使用此着色器，最终图像中没有任何变化。我通过 cpu 实现发现的问题是，系数项非常接近于零。通过半径平方等，数字变得越来越小。所以我有一个缩放问题 - 我不知道该怎么做!我尝试了一切...我想这是非常明显的事情，因为这种过程似乎对很多人都有效。

为了简单起见，我省略了切向畸变校正。

#version 330 core

in vec2 UV;

out vec4 color;

uniform sampler2D textureSampler;

void main()
{   
    vec2 focalLength = vec2(438.568f, 437.699f);
    vec2 opticalCenter = vec2(667.724f, 500.059f);
    vec4 distortionCoefficients = vec4(-0.035109f, -0.002393f, 0.000335f, -0.000449f);

    const vec2 imageSize = vec2(1280.f, 960.f);

    vec2 opticalCenterUV = opticalCenter / imageSize;

    vec2 shiftedUVCoordinates = (UV - opticalCenterUV);

    vec2 lensCoordinates = shiftedUVCoordinates / focalLength;

    float radiusSquared = sqrt(dot(lensCoordinates, lensCoordinates));
    float radiusQuadrupled = radiusSquared * radiusSquared;

    float coefficientTerm = distortionCoefficients.x * radiusSquared + distortionCoefficients.y * radiusQuadrupled;

    vec2 distortedUV = ((lensCoordinates + lensCoordinates * (coefficientTerm))) * focalLength;

    vec2 resultUV = (distortedUV + opticalCenterUV);

    color = texture2D(textureSampler, resultUV);
}

Answer 1

我发现您的解决方案存在两个问题。主要问题是你混合了两个不同的空间。您似乎通过将光学中心转换到该空间来在 [0,1] 纹理空间中工作，但您没有调整 focalLenght。关键在于，对于这样的畸变模型，焦距是以像素为单位确定的。但是，现在像素不再是 1 个基本单位宽，而是分别为 1/width 和 1/height 单位。

您可以添加vec2 focusLengthUV = focusLength/imageSize，但您会发现当您计算lensCooperatives时，两个部分将相互抵消。将纹理空间 UV 坐标转换为像素坐标并直接使用该空间要方便得多:

vec2 lensCoordinates = (UV * imageSize - opticalCenter) / focalLenght;

(并分别更改 DistortedUV 和 resultUV 的计算)。

到目前为止，我所概述的方法仍然存在一个问题:我之前提到的像素空间的约定。在 GL 中，原点位于左下角，而在大多数像素空间中，原点位于左上角。进行转换时您可能必须翻转 y 坐标。另一件事是像素中心的确切位置。到目前为止，代码假设像素中心位于整数 + 0.5。纹理坐标(0,0)不是左下像素的中心，而是角点。用于畸变的参数可能(我不知道OpenCV的约定)假设像素中心为整数，因此不需要转换pixelSpace = uv * imageSize，您可能需要将其偏移半个像素，例如 pixelSpace = uv * imageSize - vec2(0.5)。

我看到的第二个问题是

float radiusSquared = sqrt(dot(lensCoordinates, lensCoordinates));

这里的 sqrt 不正确，因为 dot(a,a) 已经给出了向量 a 的平方长度。