opencv - 使用 opencv - traingulatePoints 单位从两个图像中确定 3d 位置

Question

给定一组对应点下注两个任意(即不平行)图像(例如，由 SURF 找到)，我使用以下方法尝试提取点的 3D 位置。

def triangulate(pts1,pts2):
    cameraMatrix = np.array([[1, 0,0],[0,1,0],[0,0,1]])        
    F,m1 = cv2.findFundamentalMat(pts1, pts2) # apparently not necessary

    # using the essential matrix can get you the rotation/translation bet. cameras, although there are two possible rotations: 
    E,m2 = cv2.findEssentialMat(pts1, pts2, cameraMatrix, cv2.RANSAC, 0.999, 1.0)
    Re1, Re2, t_E = cv2.decomposeEssentialMat(E)

    # recoverPose gets you an unambiguous R and t. One of the R's above does agree with the R determined here. RecoverPose can already triangulate, I check by hand below to compare results. 
    K_l = cameraMatrix
    K_r = cameraMatrix
    retval, R, t, mask2, triangulatedPoints = cv2.recoverPose(E,pts_l_norm, pts_r_norm, cameraMatrix,distanceThresh=0.5)

    # given R,t you can  explicitly find 3d locations using projection 
    M_r = np.concatenate((R,t),axis=1)
    M_l = np.concatenate((np.eye(3,3),np.zeros((3,1))),axis=1)
    proj_r = np.dot(cameraMatrix,M_r)
    proj_l = np.dot(cameraMatrix,M_l)
    points_4d_hom = cv2.triangulatePoints(proj_l, proj_r, np.expand_dims(pts1, axis=1), np.expand_dims(pts2, axis=1))
    points_4d = points_4d_hom / np.tile(point_s4d_hom[-1, :], (4, 1))
    points_3d = points_4d[:3, :].T
    return points_3d

我假设我的内在相机矩阵近似于上面的 I。由两种方法(findEssentialMat->decomposeEssentialMat vs recoverPose)确定的 R,t 一致，由两种方法(recoverPose vs triangulatePoints)确定的三角点也一致。我的问题与我看到的值有关，对于 points_3d，x、y 的值通常在 0-50 范围内，z 的值通常在 0-0.03 范围内。据我所知，这些值应该以像素为单位；我选择的相机矩阵=我影响了比例吗？

Answer 1

是的，您对相机矩阵的选择直接影响比例。 OpenCV 中的相机矩阵应包含 fx 和 fy 的值，它们指的是以像素为单位表示的相机焦距(主距离)- see OpenCV Camera model .
如果您将这两个值都设置为 1，您将获得以像素为单位的 3D 点的“较小值”。通常，(显然取决于相机)fx、fy 的值在例如1000。 Here您可以找到一个很好的示例，用于仅使用分辨率和近似视场 (FOV) 来估算网络摄像头的焦距。