java - 使用 Java 增加/减少 AudioInputStream 的音频播放速度

Question

Getting into the complex world of audio using Java I am using this library , which basically I improved and published on Github.

库的主要类是StreamPlayer并且代码有注释并且简单易懂。

---

问题是它支持许多功能除了速度增加/降低音频速度。假设当你改变视频速度时 YouTube 会做。

我不知道如何实现这样的功能。我的意思是，当将音频写入 targetFormat 的采样率时我能做什么？我每次都必须一次又一次地重新启动音频....

AudioFormat targetFormat = new AudioFormat(AudioFormat.Encoding.PCM_SIGNED, sourceFormat.getSampleRate()*2, nSampleSizeInBits, sourceFormat.getChannels(),
                nSampleSizeInBits / 8 * sourceFormat.getChannels(), sourceFormat.getSampleRate(), false);

---

播放音频的代码是:

/**
 * Main loop.
 *
 * Player Status == STOPPED || SEEKING = End of Thread + Freeing Audio Resources.<br>
 * Player Status == PLAYING = Audio stream data sent to Audio line.<br>
 * Player Status == PAUSED = Waiting for another status.
 */
@Override
public Void call() {
    //  int readBytes = 1
    //  byte[] abData = new byte[EXTERNAL_BUFFER_SIZE]
    int nBytesRead = 0;
    int audioDataLength = EXTERNAL_BUFFER_SIZE;
    ByteBuffer audioDataBuffer = ByteBuffer.allocate(audioDataLength);
    audioDataBuffer.order(ByteOrder.LITTLE_ENDIAN);

    // Lock stream while playing.
    synchronized (audioLock) {
        // Main play/pause loop.
        while ( ( nBytesRead != -1 ) && status != Status.STOPPED && status != Status.SEEKING && status != Status.NOT_SPECIFIED) {
            try {
                //Playing?
                if (status == Status.PLAYING) {

                    // System.out.println("Inside Stream Player Run method")
                    int toRead = audioDataLength;
                    int totalRead = 0;

                    // Reads up a specified maximum number of bytes from audio stream   
                    //wtf i have written here xaxaxoaxoao omg //to fix! cause it is complicated
                    for (; toRead > 0
                            && ( nBytesRead = audioInputStream.read(audioDataBuffer.array(), totalRead, toRead) ) != -1; toRead -= nBytesRead, totalRead += nBytesRead)

                        // Check for under run
                        if (sourceDataLine.available() >= sourceDataLine.getBufferSize())
                            logger.info(() -> "Underrun> Available=" + sourceDataLine.available() + " , SourceDataLineBuffer=" + sourceDataLine.getBufferSize());

                    //Check if anything has been read
                    if (totalRead > 0) {
                        trimBuffer = audioDataBuffer.array();
                        if (totalRead < trimBuffer.length) {
                            trimBuffer = new byte[totalRead];
                            //Copies an array from the specified source array, beginning at the specified position, to the specified position of the destination array
                            // The number of components copied is equal to the length argument. 
                            System.arraycopy(audioDataBuffer.array(), 0, trimBuffer, 0, totalRead);
                        }

                        //Writes audio data to the mixer via this source data line
                        sourceDataLine.write(trimBuffer, 0, totalRead);

                        // Compute position in bytes in encoded stream.
                        int nEncodedBytes = getEncodedStreamPosition();

                        // Notify all registered Listeners
                        listeners.forEach(listener -> {
                            if (audioInputStream instanceof PropertiesContainer) {
                                // Pass audio parameters such as instant
                                // bit rate, ...
                                listener.progress(nEncodedBytes, sourceDataLine.getMicrosecondPosition(), trimBuffer, ( (PropertiesContainer) audioInputStream ).properties());
                            } else
                                // Pass audio parameters
                                listener.progress(nEncodedBytes, sourceDataLine.getMicrosecondPosition(), trimBuffer, emptyMap);
                        });

                    }

                } else if (status == Status.PAUSED) {

                    //Flush and stop the source data line 
                    if (sourceDataLine != null && sourceDataLine.isRunning()) {
                        sourceDataLine.flush();
                        sourceDataLine.stop();
                    }
                    try {
                        while (status == Status.PAUSED) {
                            Thread.sleep(50);
                        }
                    } catch (InterruptedException ex) {
                        Thread.currentThread().interrupt();
                        logger.warning("Thread cannot sleep.\n" + ex);
                    }
                }
            } catch (IOException ex) {
                logger.log(Level.WARNING, "\"Decoder Exception: \" ", ex);
                status = Status.STOPPED;
                generateEvent(Status.STOPPED, getEncodedStreamPosition(), null);
            }
        }

        // Free audio resources.
        if (sourceDataLine != null) {
            sourceDataLine.drain();
            sourceDataLine.stop();
            sourceDataLine.close();
            sourceDataLine = null;
        }

        // Close stream.
        closeStream();

        // Notification of "End Of Media"
        if (nBytesRead == -1)
            generateEvent(Status.EOM, AudioSystem.NOT_SPECIFIED, null);

    }
    //Generate Event
    status = Status.STOPPED;
    generateEvent(Status.STOPPED, AudioSystem.NOT_SPECIFIED, null);

    //Log
    logger.info("Decoding thread completed");

    return null;
}

如果需要，请随意下载并单独查看该库。 :) 我需要一些帮助... Library link .

Answer 1

简答:

要加快单个人的说话速度，请使用我的 Sonic.java我的 Sonic 算法的 native Java 实现。如何使用它的示例在 Main.Java 中。 . Android 的 AudioTrack 使用了相同算法的 C 语言版本。要加快音乐或电影的速度，请查找基于 WSOLA 的库。

臃肿的回答:

加快语音速度比听起来更复杂。简单地增加采样率而不调整样本会导致扬声器听起来像花栗鼠。我听过的基本上有两种线性加速语音的好方案:基于固定帧的方案，如 WSOLA，以及音高同步方案，如 PICOLA，Sonic 使用它来提高 2 倍的速度。我听过的另一种方案是基于 FFT 的，IMO 应该避免这些实现。我听说有传言说基于 FFT 的可以很好地完成，但据我所知，上次检查时没有可用的开源版本，大概是在 2014 年。

我必须发明一种速度大于 2X 的新算法，因为 PICOLA 只是丢弃整个音高周期，只要您不连续丢弃两个音高周期，它就可以正常工作。对于快于 2X 的速度，Sonic 混合了每个输入音高周期的一部分样本，并保留了每个样本的一些频率信息。这对大多数语音都很有效，尽管某些语言(例如匈牙利语)的词性似乎很短，甚至 PICOLA 也会破坏一些音素。然而，您可以在不破坏音素的情况下删除一个音高周期的一般规则似乎在大多数情况下都很有效。

音高同步方案侧重于一个说话者，通常会使该说话者比固定帧方案更清晰，但会牺牲非语音声音。然而，对于大多数扬声器来说，在低于大约 1.5 倍的速度下很难听到音高同步方案相对于固定帧方案的改进。这是因为像 WSOLA 这样的固定帧算法基本上模拟了像 PICOLA 这样的音高同步方案，当只有一个扬声器并且每帧不需要丢弃超过一个音高周期时。在这种情况下，如果 WSOLA 与扬声器调谐得很好，数学计算结果基本相同。例如，如果它能够及时选择 +/- 一帧的声音片段，那么 50 毫秒的固定帧将允许 WSOLA 为大多数基本音调 > 100 Hz 的扬声器模拟 PICOLA。然而，使用这些设置，WSOLA 会屠杀一个声音低沉的男性，比如 95 Hz。此外，当参数未得到最佳调整时，WSOLA 也会破坏词性，例如在句子结尾处，我们的基本音调会显着下降。此外，WSOLA 通常会在速度超过 2 倍时分崩离析，就像 PICOLA 一样，它开始连续下降多个音高周期。

从积极的方面来看，即使不是高保真度，WSOLA 也会让包括音乐在内的大多数声音变得易于理解。使用 WSOLA 和 PICOLA 等重叠相加 (OLA) 方案，在不引入实质失真的情况下采用非谐波多声部声音并改变速度是不可能的。 要做到这一点，需要分离不同的声音，独立改变它们的速度，并将结果混合在一起。但是，大多数音乐的谐波都足够用 WSOLA 听起来不错。

事实证明，> 2X 时 WSOLA 的质量差是人们很少以高于 2X 的速度收听的原因之一。人们根本不喜欢它。一旦 Audible.com 在 Android 上从 WSOLA 切换到类似 Sonic 的算法，他们就能够将支持的速度范围从 2 倍增加到 3 倍。过去几年我没有在 iOS 上听过，但截至 2014 年，iOS 上的 Audible.com 很难以 3 倍的速度收听，因为他们使用了内置的 iOS WSOLA 库。他们可能从那时起就修复了它。