gpt4 book ai didi

ios - 同时使用 SFSpeechRecognizer 和 AVSpeechSythesizer 时如何正确设置 AVAudioSession 和 AVAudioEngine

转载 作者:行者123 更新时间:2023-12-01 16:14:04 24 4
gpt4 key购买 nike

我正在尝试创建一个同时利用 STT(语音到文本)和 TTS(文本到语音)的应用程序。但是,我遇到了一些模糊的问题,非常感谢您的专业知识。

该应用程序包含一个位于屏幕中央的按钮,单击该按钮可使用以下代码启动所需的语音识别功能。

// MARK: - Constant Properties

let audioEngine = AVAudioEngine()



// MARK: - Optional Properties

var recognitionRequest: SFSpeechAudioBufferRecognitionRequest?
var recognitionTask: SFSpeechRecognitionTask?
var speechRecognizer: SFSpeechRecognizer?



// MARK: - Functions

internal func startSpeechRecognition() {

// Instantiate the recognitionRequest property.
self.recognitionRequest = SFSpeechAudioBufferRecognitionRequest()

// Set up the audio session.
let audioSession = AVAudioSession.sharedInstance()
do {
try audioSession.setCategory(.record, mode: .measurement, options: [.defaultToSpeaker, .duckOthers])
try audioSession.setActive(true, options: .notifyOthersOnDeactivation)
} catch {
print("An error has occurred while setting the AVAudioSession.")
}

// Set up the audio input tap.
let inputNode = self.audioEngine.inputNode
let inputNodeFormat = inputNode.outputFormat(forBus: 0)

self.audioEngine.inputNode.installTap(onBus: 0, bufferSize: 512, format: inputNodeFormat, block: { [unowned self] buffer, time in
self.recognitionRequest?.append(buffer)
})

// Start the recognition task.
guard
let speechRecognizer = self.speechRecognizer,
let recognitionRequest = self.recognitionRequest else {
fatalError("One or more properties could not be instantiated.")
}

self.recognitionTask = speechRecognizer.recognitionTask(with: recognitionRequest, resultHandler: { [unowned self] result, error in

if error != nil {

// Stop the audio engine and recognition task.
self.stopSpeechRecognition()

} else if let result = result {

let bestTranscriptionString = result.bestTranscription.formattedString

self.command = bestTranscriptionString
print(bestTranscriptionString)

}

})

// Start the audioEngine.
do {
try self.audioEngine.start()
} catch {
print("Could not start the audioEngine property.")
}

}



internal func stopSpeechRecognition() {

// Stop the audio engine.
self.audioEngine.stop()
self.audioEngine.inputNode.removeTap(onBus: 0)

// End and deallocate the recognition request.
self.recognitionRequest?.endAudio()
self.recognitionRequest = nil

// Cancel and deallocate the recognition task.
self.recognitionTask?.cancel()
self.recognitionTask = nil

}

当单独使用时,这段代码就像一个魅力。但是,当我想使用 AVSpeechSynthesizer 对象读取转录的文本时,似乎没有什么是清楚的。

看了多个Stack Overflow帖子的建议,建议修改

audioSession.setCategory(.record, mode: .measurement, options: [.defaultToSpeaker, .duckOthers])

以下内容

audioSession.setCategory(.playAndRecord, mode: .default, options: [.defaultToSpeaker, .duckOthers])

还是徒劳。在分别运行 STT 和 TTS 后,应用程序仍然崩溃。

我的解决方案是使用这个而不是前面提到的

audioSession.setCategory(.multiRoute, mode: .default, options: [.defaultToSpeaker, .duckOthers])

这让我完全不知所措,因为我真的不知道发生了什么错综复杂的事情。如果有任何相关解释,我将不胜感激!

最佳答案

我也在用 SFSpeechRecognizer 和 AVSpeechSythesizer 开发一个应用程序,对我来说 .setCategory(.playAndRecord, mode: .default) 工作正常,它是我们需要的最佳类别,according to Apple .甚至,我能够在音频引擎运行时 .speak() SFSpeechRecognitionTask 的每个转录,没有任何问题。我的意见是你的程序逻辑中的某个地方导致了崩溃。如果您可以用相应的错误更新您的问题,那就太好了。

关于为什么 .multiRoute 类别有效:我猜 AVAudioInputNode 有问题。如果您在控制台中看到这样的错误

Terminating app due to uncaught exception 'com.apple.coreaudio.avfaudio', reason: 'required condition is false: IsFormatSampleRateAndChannelCountValid(hwFormat)

或者像这样

Terminating app due to uncaught exception 'com.apple.coreaudio.avfaudio', reason: 'required condition is false: nullptr == Tap()

您只需要对代码的某些部分重新排序,例如将 Audio Session 的设置移动到只被调用一次的地方,或者确保输入节点的抽头总是在安装新的之前删除,即使识别任务是否成功完成。也许(我从未使用过它).multiRoute 能够通过 its nature 处理不同的音频流和路由来重用相同的输入节点。

在 Apple 的 WWDC session 之后,我在我的程序中使用的逻辑如下:

设置类别

override func viewDidLoad() { //or init() or when necessarily
super.viewDidLoad()
try? AVAudioSession.sharedInstance().setCategory(.playAndRecord, mode: .default)
}

验证/权限

func shouldProcessSpeechRecognition() {
guard AVAudioSession.sharedInstance().recordPermission == .granted,
speechRecognizerAuthorizationStatus == .authorized,
let speechRecognizer = speechRecognizer, speechRecognizer.isAvailable else { return }
//Continue only if we have authorization and recognizer is available

startSpeechRecognition()
}

开始STT

func startSpeechRecognition() {
let format = audioEngine.inputNode.outputFormat(forBus: 0)
audioEngine.inputNode.installTap(onBus: 0, bufferSize: 1024, format: format) { [unowned self] (buffer, _) in
self.recognitionRequest.append(buffer)
}
audioEngine.prepare()
do {
try audioEngine.start()
recognitionTask = speechRecognizer!.recognitionTask(with: recognitionRequest, resultHandler: {...}
} catch {...}
}

结束STT

func endSpeechRecognition() {
recognitionTask?.finish()
stopAudioEngine()
}

取消STT

func cancelSpeechRecognition() {
recognitionTask?.cancel()
stopAudioEngine()
}

停止音频引擎

func stopAudioEngine() {
audioEngine.stop()
audioEngine.inputNode.removeTap(onBus: 0)
recognitionRequest.endAudio()
}

有了它,我可以在我的代码中的任何地方调用一个 AVSpeechSynthesizer 实例并说出一段话。

关于ios - 同时使用 SFSpeechRecognizer 和 AVSpeechSythesizer 时如何正确设置 AVAudioSession 和 AVAudioEngine,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53147291/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com