python - 在 OpenCV 中从桌面获取输入流

Question

我正在使用 Python 3.5.1 和 OpenCV 3.0.0。

我正在开发一个可以玩游戏的 python 程序，因此它需要在屏幕上“看到”正在发生的事情。如何实现？

import numpy as np
import cv2
cap = cv2.VideoCapture(0)
while(True):
    #work with frames here

是否有一个 int 'a' 使得 cv2.VideoCapture(a) 将桌面屏幕作为视频输入？我尝试制作它，但我采用了一种相当笨拙的方法，我使用以下方法反复捕获屏幕:

import os
os.system('screencapture test.jpg')

然后使用 cv2.imread 打开 test.jpg。这是一个非常慢的方法，在网上搜索我发现了这个问题Screen Capture with OpenCV and Python-2.7它做同样的事情，但效率更高。但事实仍然是，它正在捕获单个屏幕截图并一张一张地处理它们，而不是真正的视频流。我也找到了这个 How to capture the desktop in OpenCV (ie. turn a bitmap into a Mat)?我认为这与我正在尝试的很接近，但是是在 C++ 中，如果有人可以帮助我将其转换为 Python，我将不胜感激。

主要是程序会做类似MarI/O的事情。 ，所以速度是一个问题，感谢任何帮助，对我放轻松，我(相对)是 OpenCV 的新手。

谢谢。

Answer 1

只是更新一下这个问题，以防有人需要解决方案。

截图可以通过使用模块pyautogui来实现

import pyautogui
import matplotlib.pyplot as plt

image = pyautogui.screenshot()
plt.imshow(image)

如果你想以流的形式读取它，

while(True):
    image = pyautogui.screenshot()
    #further processing
    if finished:
        break

根据文档，

On a 1920 x 1080 screen, the screenshot() function takes roughly 100 milliseconds

因此，如果您的应用程序不需要高帧率，则可以使用此解决方案。