objective-c - 是否可以知道鼠标附近显示的是什么文本？

Question

我正计划在 Mac OS X 平台上实现一些功能，例如当鼠标悬停在屏幕上的某些文本/单词上时“在字典中查找”。

即使它们不在我自己的应用程序中，我怎样才能获得屏幕上鼠标附近的显示文本/单词。

我能做的是:

1. 使用 WorkSpace 了解正在运行的应用程序。
2. 使用辅助功能 API 了解屏幕顶部的 UIElement。
3. 如果应用程序使用 NSTextView 之类的东西(我通过检查 UIElement 的“选定文本”属性获取它)，则使用可访问性 API 了解 UIElement 的选定字符串。

我不能做的是:

1. 一些应用程序，如 Safari，使用 WebKit 框架，我可以从辅助功能 API 获得的唯一东西是“值属性”，这是 HTML 的当前内容，以及一些名为“AXTextMarker”的属性。在 Google 或任何文档中都找不到这些属性。
2. 有些应用程序甚至不支持 Accessibility API，我能得到的只是它的屏幕截图。

有什么方法可以调用系统API来识别图片中的文字吗？在 Snow Leopard 中，有一个用于输入中文或日文的手写识别功能，那么它应该是一些 OCR 功能吗？我找不到任何开放的 API。

Answer 1

你可能会做的是:
选择文本后，使用元键 + 键和弦激活字典。如果每当我靠近文本一会儿，就会弹出一本字典，我真的会觉得这非常令人讨厌。特别是因为我阅读了大量的白皮书，其中几乎所有可以想象到的词典都会在大部分时间里窒息和死亡。