testing - 通过单击文本实现 GUI 自动化

Question

有许多 GUI 自动化工具允许点击指定的图像(例如著名的 Sikuli)。有什么办法可以点击指定的文字，而不是图片？这样，该工具将:

1. 截图
2. 识别上面的文字
3. 找到文本位置(以某种方式)
4. 向该位置发送点击事件

使用这种方法编写测试(许多界面都有文本按钮、输入等)比为每个元素都制作屏幕截图要容易得多。

我在 Sikuli 中看到了一些 OCR 功能，但它对我不起作用(我尝试调用 click('some-text-here')。

Answer 1

Sikuli 内置的 OCR 功能有很多错误且不稳定。 this 中列出了所有(或至少大部分)相关问题漏洞。然而，几乎没有可能的解决方法，但并不总是适用..

1. 如果文字是已知的，您可以将文字截图，然后作为截图查找。例如，如果您知道此文本的确切字体，则可以在屏幕上自动生成此类文本并将其用作在其他地方定位它的模式。

2. 内置 tesseract基于 OCR，当字体更大、更“胖”和灰度(通常)时，性能明显更好。因此，您可能会在尝试实际识别之前进行一些背景图像处理。我用了ImageMagick调整图像大小和过滤图像以便更好地识别。它可以作为命令行工具在后台运行。例如:

   convert -filter spline -resize 100x -unsharp 10x20 -type 灰度

我知道这不会直接回答您的问题，但这些是您可能考虑采取的最终解决方案的步骤。