python - IP摄像机中的MTCNN_face_detection_alignment滞后，opencv cv2视频捕获帧矩阵背后的约定

Question

我只是试图从通过CV2 VideoCapture读取的帧中检测和识别面部。对于检测，使用Tensorflow实现的面部检测/对齐算法位于
https://github.com/kpzhang93/MTCNN_face_detection_alignment。内置网络摄像头和通过USB连接的外部摄像头，MTCNN人脸检测过程没有延迟。但是，当它来自IP摄像机时，与检测算法相比有很大的滞后。与内置摄像机相比，该算法需要更多时间来处理ip摄像机的单帧。诸如图像分辨率，图像细节之类的参数可能会产生影响。为了进一步理解它，希望了解除分辨率和图像细节之外，所有参数都有哪些影响。

对于内置的网络摄像头和IP摄像机，注意到的帧矩阵值有所不同。 Linux和Windows有所不同。帧矩阵值如何计算？有哪些参数定义帧矩阵值？想知道如何使用Windows OS将内置网络摄像头的帧的帧矩阵值始终设置为0。

内置网络摄像头(Windows)分辨率480.0 640.0。用python打印的框架矩阵video_capture = cv2.VideoCapture(0)
ret, frame = video_capture.read()
print(frame)。

[[[0 0 0]
  [0 0 0]
  [0 0 0]
  ...
  [0 0 0]
  [0 0 0]
  [0 0 0]]

 [[0 0 0]
  [0 0 0]
  [0 0 0]
  ...
  [0 0 0]
  [0 0 0]
  [0 0 0]]

 [[0 0 0]
  [0 0 0]
  [0 0 0]
  ...
  [0 0 0]
  [0 0 0]
  [0 0 0]]

 ...

 [[0 0 0]
  [0 0 0]
  [0 0 0]
  ...
  [0 0 0]
  [0 0 0]
  [0 0 0]]

 [[0 0 0]
  [0 0 0]
  [0 0 0]
  ...
  [0 0 0]
  [0 0 0]
  [0 0 0]]

 [[0 0 0]
  [0 0 0]
  [0 0 0]
  ...
  [0 0 0]
  [0 0 0]
  [0 0 0]]]

IP摄像机分辨率1080.0 1920.0。类似方式，在IP摄像机下方打印框架矩阵

[[[ 85  81  64]
  [ 69  65  48]
  [ 61  57  40]
  ...
  [131  85  19]
  [131  85  19]
  [131  85  19]]

 [[ 74  70  53]
  [ 78  74  57]
  [ 70  66  49]
  ...
  [131  85  19]
  [131  85  19]
  [131  85  19]]

 [[ 72  68  51]
  [ 76  72  55]
  [ 73  69  52]
  ...
  [131  85  19]
  [131  85  19]
  [131  85  19]]

 ...

 [[ 74  74  67]
  [ 74  74  67]
  [ 75  75  68]
  ...
  [ 14  14  18]
  [ 21  21  25]
  [ 34  34  38]]

 [[ 74  74  67]
  [ 74  74  67]
  [ 75  75  68]
  ...
  [ 20  20  24]
  [ 27  27  31]
  [ 28  28  32]]

 [[ 74  74  67]
  [ 75  75  68]
  [ 75  75  68]
  ...
  [ 28  28  32]
  [ 28  28  32]
  [ 21  21  25]]]

Answer 1

由于某些技术原因，您的网络摄像头的前几行/后几行可能为空。您可以尝试为每行打印平均颜色，然后查看，结果可能会是这样:

np.mean( frame, axis=(1,2) )
[ 0, 0, 34, 42, .... 75, 129, 0, 0 ]