- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一个 MacOS Swift 应用程序,可以处理从麦克风录制的音频数据。麦克风具有立体声功能,但我只能录制单声道数据。
在下面的代码中,如果我 let alwaysMono = true
,func setup() 报告事件格式是立体声,但将其覆盖为单声道。一切都适用于单声道输入流。
如果我 let alwaysMono = false
, setup() 将 nChannels 设置为 2。但是 captureOutput 没有得到任何数据。从 UnsafeMutableAudioBufferListPointer 返回的 AudioBuffer 总是有一个 nil mData。如果我不检查 nil mData,程序就会崩溃。
如何获得完整的立体声输入?
编辑:在 captureOutput 中,CMSampleBufferGetAudioBufferListWithRetainedBlockBuffer 返回错误代码 -12737,对应于 kCMSampleBufferError_ArrayTooSmall。我检查了传入 captureOutput 的 sampleBuffer arg,我看不出它有任何明显的错误。但我不知道该找什么。
另一个编辑:我用内置单声道麦克风测试了我的代码,令我惊讶的是它认为它也是立体声,这表明我获取和使用 AVCaptureDevice.activeFormat 的方式显然有问题。我不知道从这里去哪里。
class Recorder: NSObject, AVCaptureAudioDataOutputSampleBufferDelegate {
let alwaysMono = false
var nChannels:UInt32 = 1
let session : AVCaptureSession!
static let realTimeQueue = DispatchQueue(label: "com.myapp.realtime",
qos: DispatchQoS( qosClass:DispatchQoS.QoSClass.userInitiated, relativePriority: 0 ))
override init() {
session = AVCaptureSession()
super.init()
}
static var recorder:Recorder?
static func record() ->Bool {
if recorder == nil {
recorder = Recorder()
if !recorder!.setup(callback:record) {
recorder = nil
return false
}
}
realTimeQueue.async {
if !recorder!.session.isRunning {
recorder!.session.startRunning()
}
}
return true
}
static func pause() {
recorder!.session.stopRunning()
}
func setup( callback:@escaping (()->Bool)) -> Bool {
let device = AVCaptureDevice.default( for: AVMediaType.audio )
if device == nil { return false }
if let format = Recorder.getActiveFormat() {
nChannels = format.mChannelLayoutTag == kAudioChannelLayoutTag_Stereo ? 2 : 1
print("active format is \((nChannels==2) ? "Stereo" : "Mono")")
if alwaysMono {
print( "Overriding to mono" )
nChannels = 1
}
}
if #available(OSX 10.14, *) {
let status = AVCaptureDevice.authorizationStatus( for:AVMediaType.audio )
if status == .notDetermined {
AVCaptureDevice.requestAccess(for: AVMediaType.audio ){ granted in
_ = callback()
}
return false
} else if status != .authorized {
return false
}
}
var input : AVCaptureDeviceInput
do {
try device!.lockForConfiguration()
try input = AVCaptureDeviceInput( device: device! )
device!.unlockForConfiguration()
} catch {
device!.unlockForConfiguration()
return false
}
let output = AVCaptureAudioDataOutput()
output.setSampleBufferDelegate(self, queue: Intonia.realTimeQueue)
let settings = [
AVFormatIDKey: kAudioFormatLinearPCM,
AVNumberOfChannelsKey : nChannels,
AVSampleRateKey : 44100,
AVLinearPCMBitDepthKey : 16,
AVLinearPCMIsFloatKey : false
] as [String : Any]
output.audioSettings = settings
session.beginConfiguration()
if !session.canAddInput( input ) {
return false
}
session.addInput( input )
if !session.canAddOutput( output ) {
return false
}
session.addOutput( output )
session.commitConfiguration()
return true
}
func getActiveFormat() -> AudioFormatListItem? {
if #available(OSX 10.15, *) {
let device = AVCaptureDevice.default( for: AVMediaType.audio )
if device == nil { return nil }
let list = device!.activeFormat.formatDescription.audioFormatList
if list.count < 1 { return nil }
return list[0]
}
return nil
}
func captureOutput(_ captureOutput: AVCaptureOutput,
didOutput sampleBuffer: CMSampleBuffer,
from connection: AVCaptureConnection){
var buffer: CMBlockBuffer? = nil
var audioBufferList = AudioBufferList(
mNumberBuffers: 1,
mBuffers: AudioBuffer(mNumberChannels: nChannels, mDataByteSize: 0, mData: nil)
)
CMSampleBufferGetAudioBufferListWithRetainedBlockBuffer(
sampleBuffer,
bufferListSizeNeededOut: nil,
bufferListOut: &audioBufferList,
bufferListSize: MemoryLayout<AudioBufferList>.size,
blockBufferAllocator: nil,
blockBufferMemoryAllocator: nil,
flags: UInt32(kCMSampleBufferFlag_AudioBufferList_Assure16ByteAlignment),
blockBufferOut: &buffer
)
let abl = UnsafeMutableAudioBufferListPointer(&audioBufferList)
for buff in abl {
if buff.mData != nil {
let count = Int(buff.mDataByteSize)/MemoryLayout<Int16>.size
let samples = UnsafeMutablePointer<Int16>(OpaquePointer(buff.mData))
process(samples:samples!, count:count)
} else {
print("No data!")
}
}
}
func process( samples: UnsafeMutablePointer<Int16>, count: Int ) {
let firstValue = samples[0]
print( "\(count) values received, first is \(firstValue)" )
}
}
最佳答案
这是一个可能有很多地方出错的问题。首先,这取决于您使用的麦克风。它是您 Mac 上的那个吗?如果是这样,那么它通常是单声道。但是,您可以让自己成为一种解决方法来测试它是否有效并且不依赖于 always: bool。尝试将其录制两次,使用单声道获取第一个 channel 并使用第二个 channel 进行第二次录制,使用不同的“双倍”代码进行录制。
我看到的第二件事可能是在 setup func 中显式键入立体声 channel ,以确保它获得它的 2 个 channel 并使用 alwaysMono 和显式 == true 或 false 语句。看看你是否可以在代码的同时打印一些 channel 信息,这样你就知道哪里出了问题。
关于swift - 捕获立体声音频数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64126896/
我正在使用 libspotify 检索音乐以使用某些音频库播放。 Spotify 音乐应为原始 16 位、44100hz、立体声 LPCM。我一直在尝试用 NAudio 播放音乐,但不幸的是它不是立体
我在stackoverflow上找到了以下不可思议的代码。请任何人帮助我添加第二个 channel (立体声) 将有nchannels = 2 必须(以某种方式)增加文件大小,并且必须添加2.数组(即
我试图将我的音频通话强制设为单声道,我愿意使用 PCMU、G.729、OPUS 和 SpeeX 作为我的通话编解码器。 现在我正在使用以下代码在我的 sdp 消息中搜索所选的编解码器: functio
我正在使用 AudioKit 创建一个实验性 iOS 音频应用程序。目前,我正在尝试将 AKStereoInput 的左声道重新路由到 AudioKit.output 的右声道,并将 AKStereo
我目前正在使用 python 处理 .wav 文件,使用 Pyaudio 流式传输音频,使用 python wave 库加载文件数据。 我计划稍后包括处理单个立体声 channel ,关于信号的幅度和
我正在尝试获取空间中几个点的 3D 坐标,但我从 undistortPoints() 和 triangulatePoints() 都得到了奇怪的结果。 由于两个相机的分辨率不同,我分别校准,得到0,3
我正在尝试从具有以下音轨布局的 Prores 中提取只有 2.0 的 Prores 视频(L R 在同一轨道上)。如何使用 FFmpeg 库来做到这一点? 我无法从以下 ffmpeg 库规范 http
我正在使用javasound并具有格式的AudioInputStreamPCM_SIGNED 8000.0 Hz, 16 bit, stereo, 4 bytes/frame, little-endi
我想要与此匹配的 FFmpeg cli 设置(这是手刹预设) 这是预设文件,我不明白这些对ffmpeg是什么。 { "AlignAVStart": false, "AudioCopyM
为了解决我遇到的 5.1 电影的对话非常好的问题,我使用 FFMPEG 将我的 MKV 电影的每个音轨转换为具有音频规范化的 2.0 音轨,从而使视频和字幕保持不变。 该命令如下所示: for /r
我试图理解 YouTube 在他们推荐的上传编码设置中列出的内容,以获得最佳质量。这是链接:https://support.google.com/youtube/answer/1722171#zipp
我有一个包含 16 个音频单声道流的 MXF 文件,我需要将其重新编码为一个 mp4 文件,其中 2<=n<=16 个 channel 合并输入流,例如在输出 channel 1 上输入 channe
我是一名优秀的程序员,十分优秀!