c# - 使用 Xamarin 和 Microsoft Speech Service API 执行实时连续语音识别

Question

我在 Bing Speech API 的文档中看到，可以将录音麦克风输入流式传输到 REST 服务 (https://learn.microsoft.com/en-us/azure/cognitive-services/speech/home):

Real-time continuous recognition. The speech recognition API enables users to transcribe audio into text in real time, and supports to receive the intermediate results of the words that have been recognized so far.

但是，我找不到展示如何使用 Xamarin Forms 以跨平台方式实现这一点的示例。

我找到了以下教程:https://developer.xamarin.com/guides/xamarin-forms/cloud-services/cognitive-services/speech-recognition/

但是在这种情况下，发送到 API 的音频流是一个已经存在的音频文件，然而，我想要实现的是流式传输运行该应用程序的设备(Android、iOS、 UWP)。

如有任何见解，我们将不胜感激。

Answer 1

恐怕没有与支持实时 Microsoft Speech API 的 Xamarin 兼容的库。唯一兼容的是使用 REST 协议(protocol)且不提供实时转录的 Bing Speech API。

实时转录需要Speech Service WebSocket protocol这是完全记录的。您可以自己实现此接口(interface)，但要可靠地实现它可能是一项相当复杂的任务。

然而，iOS 有原生库和 Android支持实时流功能。可以看到tutorial for iOS和 tutorial for Android .

然后您可以使用 Xamarin 绑定(bind)库将 native 库绑定(bind)到您的 Xamarin 项目中。对于 Java 库 see this tutorial和 Objective-C 库 see this tutorial .

特别是创建 Objective-C 绑定(bind)可能是一项艰巨的任务，创建一个 Objective-C 库通常更容易充当外观，然后使用 native 库。您将了解外观库的接口(interface)，然后您将能够更轻松地创建绑定(bind)。您还可以考虑要求 Xamarin 团队为您创建绑定(bind)，因为他们维护着一个不断增长的 third-party library bindings on GitHub 集合。 .