python - 有没有一种简单的方法可以将纹理映射到 python 中的不同 "UV"系统？

Question

我真的不知道“UV's”是否是正确的词，因为我来自 Unity 世界并且正在尝试用 python 编写一些东西。我想要做的是拍摄一个人的照片(来自网络摄像头)放置他们的地标/关键特征并改变第二张图像(另一个人的)以在变形时使他们的关键特征在同一个地方/扭曲面部内的皮肤部分以适应第一个输入图像(网络摄像头)的地标的位置。在我这样做之后，我需要把脸放回非网络摄像头输入上。 (我很抱歉这让我听起来像连环杀手，拉伸(stretch)和切割面孔)我知道这可能没有任何意义，但我希望它看起来像 this .

我用 DLIB 完成了面部标志和切割和 OpenCV但我需要一种方法来找到一种方法来获取这些“切割”的脸 block 并“动态地”拉伸(stretch)它们。我所说的动态的意思是，您不只是通过在 1 或 2 个轴上线性调整其大小来放置 mask 。您可以选择蒙版的一个点并进行更改，我想这样做，但我的蒙版是我的剪切 block ，并且该点是该 block 的一部分，需要更改该 block 以符合生成的地标的位置。我知道这是一个很难思考的话题，如果你们需要任何澄清，请询问。我的代码:

import cv2
import numpy as np
import dlib

cap = cv2.VideoCapture(0)

detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")

while True:
    _, frame = cap.read()
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    faces = detector(gray)
    for face in faces:
        x1 = face.left()
        y1 = face.top()
        x2 = face.right()
        y2 = face.bottom()
        cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 3)

        landmarks = predictor(gray, face)



        for n in range(0, 68):
            x = landmarks.part(n).x
            y = landmarks.part(n).y
            cv2.circle(frame, (x, y), 4, (255, 0, 0), -1)

    cv2.imshow("Frame", frame)

    key = cv2.waitKey(1)
    if key == 27:
        break

编辑:不，我不是连环杀手

Answer 1

如果您需要使用 2 组关键点将源图像像橡皮布一样变形，您需要使用 thin plate spline (TPS) ，或者更好的分段仿射变换，如 here .最后一种更类似于纹理光栅化方法(三角形到三角形纹理变换)。