java - 获取图像中文本的像素位置

Question

我正在做一个研究项目。场景是这样的。

我正在截取桌面的屏幕截图，然后使用 API 对其进行处理以获取桌面上某个文本的位置。例如，假设我在桌面上打开了浏览器并且我在 stackoverflow 上。现在我想搜索logo的位置堆栈溢出 在截图上。然后我想模拟点击它。我使用的是Java平台。

现在我有两个问题:

1)是否有任何免费的 API(OCR)可以用来处理屏幕截图以获取文本位置(或者可以通过一些技巧来完成)并给出良好的结果。

或者您可以建议我使用的任何方式(而不是截屏并处理它)来获取屏幕上任何文本的位置。

2)如何使用后台程序运行的代码模拟屏幕上的点击(我的意思是我已经在 Swing 和其他语言 UI 中完成了它，但这次不同，因为现在我想点击屏幕。

Answer 1

如果我理解正确，您想移动鼠标并单击屏幕。你可以使用 Java 中的机器人类并不难!

例如:

Robot rob = new Robot();
rob.keyPress( KeyEvent.VK_ENTER );

或者无论如何，你可以用它来做很多按钮和 Action 。您找到的所有方法的列表 here .

你的另一个问题我无法回答。我认为没有 API 能够搜索文本并为您提供位置。但我所知道的是机器人类能够捕获屏幕并将其放入 BufferedImage 中。有了它，您可以比较两张图片。

也许你可以使用 this但我不知道它是否是你搜索的。