python - 如何在Google Colab笔记本中模拟Python按键？

Question

我用 Python 开发了一个 Collab 笔记本，旨在模拟键盘按键的按下，以玩游戏，并将其作为强化学习的一部分进行监控。我尝试过使用一些建议(如 pyautogui、Quartz 等)，但我甚至无法导入这些库。

例如，当我安装 pyautogui 和 Xlib 并尝试导入 pyautogui 时，它给出了 KeyError: 'DISPLAY'。但是，当从终端运行时，pyautogui 在我的本地计算机上运行良好。

同样，在将 (!pip install pynput) pynput 安装到 Collab 笔记本后，当我尝试导入它时，它显示 DisplayNameError: Bad display name ""，我对此一无所知。 p>

我什至尝试了 getkey 模块，但是 from getkey import getkey,keys 但没有运气。

有什么办法可以让它工作吗？另外，谁能解释一下为什么这些模块在我的本地硬件上运行良好，但在 Google Collab 上运行不佳？另外，请建议这些模块的任何替代方案可以在 Collab 上正常工作？

非常感谢。

Answer 1

当您在本地计算机上使用此类模块时，它会与硬件连接以获取鼠标/键盘/显示器事件。

但是，Google Colab 是在 Google Cloud 中的计算机实例上运行的。 Python 无法访问您的键盘/显示器。您仅通过浏览器与 Colab 交互。

另一种方法是使用 JavaScript 获取这些事件并将其传递给 Python。我在这里举了一个如何从 JS 连接到 PY 的例子作为要点。

https://gist.github.com/korakot/d10a43490f3da17d4915cdc1f200b180

我警告你，这很难做到。您必须实现 JS 和 PY 之间来回传递 Action 。

我建议您在本地计算机上执行此操作。如果您喜欢 Colab，您可以使用本地运行时。

https://research.google.com/colaboratory/local-runtimes.html