android - 具有光学字符识别的增强现实

Question

我已经使用 Qualcomm 的 vuforia 库实现了增强现实程序。现在我想在我的程序中添加光学字符识别功能，以便我可以将文本从一种语言实时翻译成另一种语言。我打算使用 Tesseract OCR 库。但我的问题是如何将 Tesseract 与 QCAR 集成？有人可以建议我正确的方法吗？

Answer 1

您需要访问相机帧，以便将它们发送到 Tesseract。 Vuforia SDK 提供了一种使用 QCAR::UpdateCallback 接口(interface)访问帧的方法(文档 here)。

您需要做的是创建一个实现该协议(protocol)的类，使用 QCAR::registerCallback()(参见 here)将其注册到 Vuforia SDK，然后从那里您每次 Vuforia SDK 处理完一帧时都会收到通知。

此回调将提供一个 QCAR::State 对象，您可以从中访问相机框架(请参阅 QCAR::State::getFrame()< 的文档 here )，并将其发送到 Tesseract SDK。

但是请注意，Vuforia SDK 以相当低的分辨率处理帧(在我测试的许多手机上，它返回 360x240 到 720x480 范围内的帧，更常见的是前者比后者)，这可能不够准确，无法让 Tesseract 检测文本。