botframework - 如何使用直线在 botframework 的音频文件中获取语音？

Question

我在 C# 中为我的聊天机器人使用 botframework channel 直达线，最近我添加了 Bing 语音，用于文本到语音，反之亦然，但是当用户说话时，除了纯文本之外，是否还有音频文件作为消息事件中的附件。

提前致谢。

问候

Answer 1

对于 Webchat channel ，您可以查看来源以了解它是如何使用语音识别的。

特别是，您可以看到所有语音部分都是在将消息发送给机器人之前由网络聊天制作的 (sources):

const startListeningEpic: Epic<ChatActions, ChatState> = (action$, store) =>
    action$.ofType('Listening_Starting')
    .do((action : ShellAction) => {
        var locale = store.getState().format.locale;
        var onIntermediateResult = (srText : string) => { store.dispatch({ type: 'Update_Input', input: srText, source:"speech" })};
        var onFinalResult = (srText : string) => {
                srText = srText.replace(/^[.\s]+|[.\s]+$/g, "");
                onIntermediateResult(srText);
                store.dispatch({ type: 'Listening_Stop' });
                store.dispatch(sendMessage(srText, store.getState().connection.user, locale));
            };
        var onAudioStreamStart = () => { store.dispatch({ type: 'Listening_Start' }) };
        var onRecognitionFailed = () => { store.dispatch({ type: 'Listening_Stop' })};
        Speech.SpeechRecognizer.startRecognizing(locale, onIntermediateResult, onFinalResult, onAudioStreamStart, onRecognitionFailed);
    })
    .map(_ => nullAction)

Web 应用程序上的机器人代码是通过 sendMessage(srText... 调用的，没有音频。