android - 使用 androids 可视化类获取可变频率范围

Question

我想获取智能手机播放的声音的某些频率范围的值，以便我可以通过蓝牙将它们转发到可视化这些范围的设备。这些范围是:
0-63Hz
63-160Hz
160-400Hz
400-1000Hz
1000-2.500Hz
2.500-6.250Hz
6.250-16.000Hz

Audio Session ID 为 0，因此我可以使用智能手机播放的任何声音。

我发现的是可视化器类，我认为我可以使用 getFft 方法实现它。虽然看起来我只能将频率分成具有捕获率的相同大小的部分？或者我在这里完全误解了什么？我尝试只使用采样率作为捕获率，所以我会为每个频率设置一个值，但它只会再次将捕获率设置为 1024。或者这个类可能不是我想要的？
我想我可能会完全错过这里的重点，因此欢迎任何帮助或解释(或其他图书馆的推荐)。

        val visualizer = Visualizer(0)
        visualizer.scalingMode = 0

        visualizer.setDataCaptureListener(object : Visualizer.OnDataCaptureListener {
            override fun onWaveFormDataCapture(
                vis: Visualizer,
                bytes: ByteArray,
                samplingRate: Int
            ) {

            }

            override fun onFftDataCapture(
                visualizer: Visualizer?,
                fft: ByteArray?,
                samplingRate: Int
            ) {
                //if frequency <=63 do something
                //else if frequency <=160 do something ...
            }

        }, Visualizer.getMaxCaptureRate() / 2, false, true)
        visualizer.enabled = true

Answer 1

FFT 计算方式的数学固有的特性是，它将产生大小均匀且计数等于样本大小一半的频率“桶”，并上升到采样率一半的频率。 (FFT 实际上生成的桶等于样本大小，但 Android 的 Visualizer 会在提供结果之前先转储后半部分，因为它们包含前半部分的反射(reflect)，因此对可视化没有用。)

根据硬件功能和普通的旧物理，允许的捕获大小和捕获率的范围将非常有限。此外，这两个属性成反比。如果您的捕获尺寸很大，您的捕获率必须很小。音频以均匀定时振幅的流形式生成(其中间距为 samplingRate )。为简单起见，假设音频流仅为 1024 Hz，每秒产生 1024 个振幅。如果您的捕获率为每秒 1 个，则每次捕获时都收集所有 1024 个振幅，因此您的捕获大小为 1024。如果您的捕获率为每秒 2 个，则每次捕获时将收集 512 个振幅，因此您的捕获大小为 512。

请注意，我不确定您是否设置了捕获大小并且它与您在 setDataCaptureListener 中使用的捕获率不成反比。 ，无论是忽略您设置的大小还是实际重复/删除数据。我总是用 Visualizer.getMaxCaptureRate()作为捕获率。

你可以做的(它不会是精确的)是平均适当的范围，尽管我认为你会希望在平均之前将 log 函数应用于幅度，否则结果看起来不会很好。在将它们可视化以供可视化器对查看者有意义之前，您肯定需要在某个时刻将日志函数应用于量级。

因此，在选择捕获大小后，您可以准备用于收集结果的范围。

private val targetEndpoints = listOf(0f, 63f, 160f, 400f, 1000f, 2500f, 6250f, 16000f)
private val DESIRED_CAPTURE_SIZE = 1024 // A typical value, has worked well for me
private lateinit var frequencyOrdinalRanges: List<IntRange>
//...

val captureSizeRange = Visualizer.getCaptureSizeRange().let { it[0]..it[1] }
val captureSize = DESIRED_CAPTURE_SIZE.coerceIn(captureSizeRange)
visualizer.captureSize = captureSize
val samplingRate = visualizer.samplingRate
frequencyOrdinalRanges = targetEndpoints.zipWithNext { a, b ->
        val startOrdinal = 1 + (captureSize * a / samplingRate).toInt()
        // The + 1 omits the DC offset in the first range, and the overlap for remaining ranges
        val endOrdinal = (captureSize * b / samplingRate).toInt()
        startOrdinal..endOrdinal
    }

然后在你的听众中

override fun onFftDataCapture(
    visualizer: Visualizer,
    fft: ByteArray,
    samplingRate: Int
) {
    val output = FloatArray(frequencyOrdinalRanges.size)
    for ((frequencyOrdinalRange, i) in frequencyOrdinalRanges.withIndex) {
        var logMagnitudeSum = 0f
        for (k in ordinalRange) {
            val fftIndex = k * 2
            logMagnitudeSum += log10(hypot(fft[fftIndex].toFloat(), fft[fftIndex + 1].toFloat()))
        }
        output[i] = logMagnitudeSum / (ordinalRange.last - ordinalRange.first + 1)
    }
    // If you want magnitude to be on a 0..1 scale, you can divide it by log10(hypot(127f, 127f))
    // Do something with output
}

我没有测试以上任何一个，所以可能会有错误。只是试图传达策略。