python - 如何使用相机参数在 OpenGL 中正确设置投影和模型 View 矩阵

Question

我有一组从范围扫描仪中获取的点 (3D)。示例数据可在此处找到:http://pastebin.com/RBfQLm56

我还有以下扫描器参数:

camera matrix
[3871.88184, 0, 950.736938;
  0, 3871.88184, 976.1383059999999;
  0, 0, 1]



distortion coeffs
[0.020208003; -1.41251862; -0.00355229038; -0.00438868301; 6.55825615]



camera to reference point (transform)

[0.0225656671, 0.0194614234, 0.9995559233, 1.2656986283;

  -0.9994773883, -0.0227084301, 0.0230060289, 0.5798922567;

  0.0231460759, -0.99955269, 0.0189388219, -0.2110195758;

  0, 0, 0, 1]

我正在尝试使用 opengl 正确渲染这些点，但渲染看起来不正确。设置 openGL 投影和模型 View 矩阵的正确方法是什么？这就是我目前所做的 -

znear = 0.00001
zfar =  100
K = array([[3871.88184, 0, 950.736938],[0, 3871.88184, 976.1383059999999],[0, 0, 1]])
Rt =array([[0.0225656671, 0.0194614234, 0.9995559233, 1.2656986283],[-0.9994773883, -0.0227084301, 0.0230060289, 0.5798922567],[0.0231460759, -0.99955269, 0.0189388219, -0.2110195758]])
ren.set_projection(K,zfar,znear)
ren.set_projection_from_camera(Rt)

正在使用的函数是:

def set_projection(self,K,zfar,znear):
    glMatrixMode(GL_PROJECTION);
    glLoadIdentity();
    f_x = K[0,0]
    f_y = K[1,1]
    c_x = K[0,2]
    c_y = K[1,2]
    fovY = 1/(float(f_x)/height * 2);
    aspectRatio = (float(width)/height) * (float(f_y)/f_x);
    near = zfar
    far = znear
    frustum_height = near * fovY;
    frustum_width = frustum_height * aspectRatio;
    offset_x = (width/2 - c_x)/width * frustum_width * 2;
    offset_y = (height/2 - c_y)/height * frustum_height * 2;
    glFrustum(-frustum_width - offset_x, frustum_width - offset_x, -frustum_height - offset_y, frustum_height - offset_y, near, far);


def set_modelview_from_camera(self,Rt):
    glMatrixMode(GL_MODELVIEW)
    glLoadIdentity()
    Rx = array([[1,0,0],[0,0,-1],[0,1,0]])
    R = Rt[:,:3]
    U,S,V = linalg.svd(R)
    R = dot(U,V)
    R[0,:]=-R[0,:]
    t=Rt[:,3]
    M=eye(4)
    M[:3,:3]=dot(R,Rx)
    M[:3,3]=t
    M=M.T
    m=M.flatten()
    glLoadMatrixf(m)

然后我只渲染点(粘贴片段):

def renderLIDAR(self,filename):
    glClear(GL_COLOR_BUFFER_BIT|GL_DEPTH_BUFFER_BIT)
    glPushMatrix();

    glEnable(GL_DEPTH_TEST)
    glClear(GL_DEPTH_BUFFER_BIT)
    glPointSize(1.0)
    f = open(filename,'r')
    f.readline() #Contains number of particles
    for line in f:
        line = line.split(' ')
        glBegin(GL_POINTS)
        glColor3f (0.0,1.0,0.0); 
        x = float(line[0])
        y = float(line[1])
        z = float(line[2])
        glVertex3f(x,y,z)
        #print x,y,z
        glEnd()

    glPopMatrix();

Answer 1

你得到的矩阵，尤其是你问题中的最后一个矩阵，在 OpenGL 中是投影和模型 View 的组合，也称为模型 View 投影，即

MVP = P·M

只要您对执行光照计算不感兴趣，就可以在顶点着色器中使用它，即

#version 330

uniform mat4 MVP;
in vec3 position;

void main()
{
    gl_Position = MVP * vec4(position, 1);
}

顺便说一句，OpenGL，可能还有你正在使用的库，正在使用列主要顺序，即内存中元素的顺序是

0 4 8 c
1 5 9 d
2 6 a e
3 7 b f

所以写在源代码里的东西肯定被认为是“转置”的(当然不是)。由于您编写的矩阵遵循相同的方案，因此您可以将其按原样放入制服中。剩下的唯一问题是范围扫描器使用的 NDC 空间的边界。但这可以通过应用额外的矩阵来解决。 OpenGL 使用范围 [-1, 1]^3 所以可能发生的最糟糕的事情是，如果它在另一个流行的 NDC 范围 [0, 1]^3 中，你会看到你的几何体被挤到左上角窗口的手角，如果 Z 轴进入另一个方向，则可能会“由内而外”。试试吧，我会说它已经与 OpenGL 相匹配。

反正要用光照的话，就得分解成projection和modelview部分。说起来容易做起来难，但一个好的起点是对左上角的 3×3 子矩阵进行正交归一化，这会产生模型 View “M”的旋转部分。然后你必须找到一个矩阵 P，当它与 M 左乘时得到原始矩阵。这是一组超定的线性方程组，因此 Gauss-Jordan 方案可以做到。如果我没有完全弄错的话，你已经以相机矩阵的形式得到的是分解的 M 或 P(我会选择 M)。

一旦你明白了，你可能还想将平移部分(第 4 列)也放入模型 View 矩阵中。