python - 检测视频中的人脸，裁剪它们并以相同的顺序保存所有帧 - opencv python

Question

我正在阅读以缩放记录的分屏视频文件。该视频现在有来自 2 个流的 2 个面孔。将来它应该根据需要使用尽可能多的流。
我设法检测到人脸并裁剪它们并将每个人保存为不同的图片。
但是，我尝试对每一帧中的人脸进行编号，并希望人 0 在所有帧中都保持为 0，但是它会随着帧的变化而变化。有时左边的人是0，另一个人是1，有时反之亦然。
如您所见，我只需要 1 fps。

我的代码如下

import os
import cv2
import numpy as np
face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')


vidcap = cv2.VideoCapture('facing the screen.mp4')
success, image = vidcap.read()
count = 0
sec = 0
try:
    if not os.path.exists('all_frames'):
        os.makedirs('all_frames')
except OSError:
    print('Error: Creating directory of data')
while success:
    time = round(vidcap.get(cv2.CAP_PROP_POS_MSEC),0)
    fps = round(vidcap.get(cv2.CAP_PROP_FPS),0)-1
if count % fps < 1:
    gimg = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    # gimg = np.array(gimg, dtype='uint8')
    faces = face_cascade.detectMultiScale(image, scaleFactor=1.1, minNeighbors=5)
    f=0
    for (x, y, w, h) in faces:
        crop_face = gimg[y-10:y + h+10, x-10:x + w +10]

        cv2.imwrite("./all_frames/frame%dPerson%d.jpg" % (count,f), crop_face)  # save frame as JPEG file
        # cv2.imshow("cropped", crop_face)
        print('Read a new frame: ', count, f, success, time, fps)
        f += 1


success, image = vidcap.read()

count += 1


vidcap.release()
cv2.destroyAllWindows()

有什么建议么？我用相同的号码给同一个人编号的问题是否清楚？

Answer 1

由于分类器返回的结果是x,y,w,h的正则形式，所以我取了识别出最多人脸的那一帧，保存了坐标作为基本引用，对于后来识别的每一张脸，我使用了测量的欧几里得距离它的 x,y 坐标来自基面的 x,y 坐标。存储在基本引用中的人脸的有序编号用于存储和引用新识别的人脸。
请注意，根据现在的代码，前 30 秒仅用于查找已识别的最大面数。因此，其余代码从视频的 sec 31 继续。 (从头开始阅读或将那部分代码写入主进程循环)

该解决方案不会提供有效的代码，因为我稍后将对此进行处理，而是提供对视频中不同面孔执行分析的逻辑，同时增加在整个分析过程中不断引用同一面孔的可能性该视频。

import os
import cv2
import numpy as np
# import tensorflow as tf

def dist(x1,x2,y1,y2):
    return np.sqrt(((x2-x1)**2) - ((y2-y1)**2))

face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')


vidcap = cv2.VideoCapture('4pmeet.mp4')
success, image = vidcap.read()
count = 0
sec = 0
try:
    if not os.path.exists('all_frames'):
        os.makedirs('all_frames')
except OSError:
    print('Error: Creating directory of data')

gimg = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
facesBase = face_cascade.detectMultiScale(image, scaleFactor=1.1, minNeighbors=5)
fnum = 0

min_dist = 100000.0
numf = 0
fps = round(vidcap.get(cv2.CAP_PROP_FPS), 0) - 1
ffc = 0 #count for max faces loop
result_array = np.empty((0, 5))
result_array1 = np.empty((0, 5))
while ffc / fps < 10: #loop to find max faces in the first 30 seconds
    gimg = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    # gimg = np.array(gimg, dtype='uint8')
    faces = face_cascade.detectMultiScale(image, scaleFactor=1.1, minNeighbors=5)

    if len(faces) > numf:
        numf = len(faces)
        facesBase = faces

    success, image = vidcap.read()

    ffc += 1

fb = []
for fa in facesBase:
    print(fa)


while success:
    if count % fps < 1:
        time = round(vidcap.get(cv2.CAP_PROP_POS_MSEC),0)

        for (x, y, w, h) in faces:
            print(faces)
            print(len(faces))
            crop_face = gimg[y-10:y + h+10, x-10:x + w +10]
            distance = 1000000
            for num, face in enumerate(facesBase, start=0):
                d = dist(x, facesBase[num][0], y, facesBase[num][1])
                if d < distance:
                    f = num
                    distance = d

            cv2.imwrite("./all_frames/frame%dPerson%d.jpg" % (count,f), crop_face)  # save frame as JPEG file
            # cv2.imshow("cropped", crop_face)
            print('Read a new frame: ', count, f, success, time, fps)
            # f += 1

            # if len(facesBase) < len(faces):
            #     facesBase = faces

    success, image = vidcap.read()

    count += 1


vidcap.release()
cv2.destroyAllWindows()