java - 减少 Java 中麦克风播放音频时的延迟

Question

我正在尝试编写一个程序，其中从计算机的麦克风读取音频，以某种方式进行更改(现在只是为了测试它)，然后通过扬声器播放。事实上，它工作得很好，但是在通过麦克风输入音频和可以听到音频之间存在非常明显的延迟，我正在尝试找到一种方法来减少这种延迟。我知道完全消除延迟几乎是不可能的，但我正在寻找一种方法，至少让它几乎听不见。

代码如下:

package com.funguscow;

import javax.sound.sampled.AudioFormat;
import javax.sound.sampled.AudioSystem;
import javax.sound.sampled.DataLine;
import javax.sound.sampled.SourceDataLine;
import javax.sound.sampled.TargetDataLine;

public class Listen {

    public static void main(String[] args){
        AudioFormat format = new AudioFormat(44100, 16, 2, true, true); //get the format for audio

        DataLine.Info targetInfo = new DataLine.Info(TargetDataLine.class, format); //input line
        DataLine.Info sourceInfo = new DataLine.Info(SourceDataLine.class, format); //output line

        try {
            TargetDataLine targetLine = (TargetDataLine) AudioSystem.getLine(targetInfo);
            targetLine.open(format);
            targetLine.start();

            SourceDataLine sourceLine = (SourceDataLine) AudioSystem.getLine(sourceInfo);
            sourceLine.open(format);
            sourceLine.start();

            int numBytesRead;
            byte[] targetData = new byte[sourceLine.getBufferSize()];

            while (true) {
                numBytesRead = targetLine.read(targetData, 0, targetData.length); //read into the buffer

                if (numBytesRead == -1) break;

                for(int i=0; i<numBytesRead/2; i++){ //apply hard distortion/clipping
                    int j = (((targetData[i * 2]) << 8) & 0xff00) | ((targetData[i * 2 + 1]) & 0xff);
                    j *= 2;
                    if(j > 65535) j = 65535;
                    if(j < 0) j = -0;
                    targetData[i * 2] = (byte)((j & 0xff00) >> 8);
                    targetData[i * 2 + 1] = (byte)(j & 0x00ff);
                }

                sourceLine.write(targetData, 0, numBytesRead); //play
            }
        }
        catch (Exception e) {
            System.err.println(e);
        }
    }

}

由于存在大约 1 秒的延迟，是否可以解决此问题？

Answer 1

我会声明一个带有缓冲区大小的final int。 10 毫秒的延迟等于每帧字节数乘以每秒帧数除以 100。如果立体声 16 位编码(CD 质量)为 44100fps，则为 (4 * 44100)/100 = 1764 字节。

然后，使用该缓冲区大小打开 TargetDataLine 和 SourceDataLine:

targetLine.open(format, BUFFER_SIZE);
sourceLine.open(format, BUFFER_SIZE);

检查各行是否确实使用您指定的大小，并在缓冲区数组的新字节声明中使用经过验证的值。

您还可以在读取和写入中使用该常量。

您可能需要尝试调整该值才能使其达到最佳状态。因此，只定义一次是有意义的，这样您就不必进行多次编辑。该值必须对应于读取或写入整数帧所需的字节数。太高会增加延迟，太低会增加丢失的可能性。

10 毫利斯将是相当不错的性能，特别是如果您不处理过度敲击的声音。

编辑，9/20:今天有人投了赞成票，让我想起了这篇文章。缓冲区问题可能确实是导致 OP 1 秒延迟的主要原因，但减小缓冲区只是一种措施。我最近了解到的另一种可以采取的措施是在输入和编辑/输出之间使用缓冲区。原因是拾音和回放的处理都会突然发生。如果它们直接捆绑在一起，则较慢的过程将决定速度。如果两者之间有缓冲区，则两者都可以稍微弯曲而不会妨碍对方。