java - 为什么我的声音滞后？

Question

我正在开发一个处理声音数据的应用程序系统。第一个应用程序只是从麦克风插孔读取数据并将数据发送到下一个应用程序。主循环重复执行这段代码:

0 : Globals.mySleep(waitTime); // tells the thread to sleep for the proper amount of time for a given data format  
1 : inputLine.read(buffer, 0, bufferSize); // reads sound data from the microphone jack into buffer
2 : if(connections.get(REGISTER) != null) { // if the next application is connected
3 :     DataSlice slice = new DataSlice(buffer, serialIDCounter++, getDeviceName()); // create a slice of data to send, containing the sound data
4 :     try{
5 :         connections.get(REGISTER).sendDataSlice(slice); // send the data to the next application. supposed to block until next application receives the data
6 :         connections.get(REGISTER).flush(); // make sure data gets sent
7 :     } catch (IOException e) {
8 :         // Stream has been broken. Shut Down
9 :         close();
10:     }
11: }

当我启动系统时，它总是落后几秒钟。如果我暂停系统(GUI 应用程序告诉输入应用程序后面的应用程序停止从输入应用程序接收数据，因此输入应用程序应该在暂停时阻塞在第 5 行)，等待，然后再次播放，系统会额外延迟多长时间我刚刚暂停了。例如，如果开始时有 10 秒的延迟，然后暂停 5 秒，然后再次播放，那么它就会延迟 15 秒。

当我将程序作为可运行的 jar 文件运行时会发生这种情况。当我从 Eclipse 运行它时，它不会发生。

我已经在两台运行 Ubuntu Linux 10.04 LTS 的计算机上对此进行了测试。它发生在一个人身上，而不是另一个人身上。虽然另一方面，当我尝试从 Eclipse 运行它时，我确实遇到了一个完全不同的问题。不知道该怎么做。如果你想要一些关于电脑的规范，我很乐意给你。只需告诉我您想要什么规范以及如何获得它们。

谁能告诉我可能导致延迟的原因是什么？谢谢。

--编辑--

根据安德鲁的建议，我创建了一个我认为是 SSCCE 的东西:

import java.awt.event.MouseEvent;
import java.awt.event.MouseListener;

import javax.sound.sampled.*;
import javax.swing.JButton;
import javax.swing.JFrame;
import javax.swing.JPanel;

public class Main implements MouseListener{
    // Class that reads a signal from Line-in source and sends that signal
    // to either a recorder module or the signal-viewing pipeline
    public class PlayThread extends Thread {

        byte[] buffer = new byte[bufferSize];
        boolean playing = false;
        boolean connected = false;

        PlayThread() {}

        public void run() {
            while(true) {
                try {
                    sleep(waitTime);
                    inputLine.read(buffer, 0, bufferSize);
                    if(connected) {
                        while(!playing)
                            sleep(100);
                        int max = 0;
                        for(int i = 0; i < buffer.length; i++) {
                            if(Math.abs(buffer[i]) > max)
                                max = Math.abs(buffer[i]);
                        }
                        System.out.println("Max: " + max);
                    }
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
        }

        public void setPlaying(boolean playing) {
            this.playing = playing;
        }

        public void setConnected(boolean connected) {
            this.connected = connected;
        }
    }

    TargetDataLine inputLine;
    AudioFormat format;
    float sampleRate;
    int sampleSizeBits;
    int channels;
    int waitTime;
    int bufferSize;
    int slicesPerSecond;
    int windowSize = 512;
    PlayThread pThread;

    JFrame gui = new JFrame("Sound Lag");
    JPanel panel = new JPanel();
    JButton play = new JButton("Play"), pause = new JButton("Pause"),
            connect = new JButton("Connect"), disconnect = new JButton("Disconnect");

    Main() {
        sampleRate = 44100;
        sampleSizeBits = 16;
        channels = 2;
        bufferSize = (sampleSizeBits/8)*channels*windowSize;
        slicesPerSecond = (int) ((sampleRate/(float)channels)/(float)windowSize);
        waitTime = (int)((((1000f/sampleRate)/(float)sampleSizeBits)/2f)*8f*(float)bufferSize);

        play.addMouseListener(this);
        pause.addMouseListener(this);
        connect.addMouseListener(this);
        disconnect.addMouseListener(this);

        panel.add(play);
        panel.add(pause);
        panel.add(connect);
        panel.add(disconnect);
        gui.add(panel);
        gui.setVisible(true);
        gui.pack();
        gui.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
    }

    public void read() {
        // Open line from line-in
        format = new AudioFormat(sampleRate, sampleSizeBits, channels, true, true);

        // Obtain and open the lines.
        inputLine = getTargetDataLine();

        pThread = new PlayThread();
        pThread.start();
    }

    private TargetDataLine getTargetDataLine() {
        try {
            DataLine.Info info = new DataLine.Info(TargetDataLine.class, format);
            for (Mixer.Info mi : AudioSystem.getMixerInfo()) {
                TargetDataLine dataline = null;
                try {
                    Mixer mixer = AudioSystem.getMixer(mi);
                    dataline = (TargetDataLine)mixer.getLine(info);
                    dataline.open(format);
                    dataline.start();
                    return dataline;
                }
                catch (Exception e) {}
                if (dataline != null)
                    try {
                        dataline.close();
                    }
                    catch (Exception e) {}
            }
        }
        catch (Exception e) {}
        return null;
    }

    public static void main(String[] args) {
        Main main = new Main();
        main.read();
    }

    @Override
    public void mouseClicked(MouseEvent arg0) {
        if(arg0.getSource() == play) {
            System.out.println("Playing");
            pThread.setPlaying(true);
        }
        else if(arg0.getSource() == pause) {
            System.out.println("Paused");
            pThread.setPlaying(false);
        }
        else if(arg0.getSource() == connect) {
            System.out.println("Connected");
            pThread.setConnected(true);
        }
        else if(arg0.getSource() == disconnect) {
            System.out.println("Disconnected");
            pThread.setConnected(false);
        }
    }

    @Override public void mouseEntered(MouseEvent arg0) {}
    @Override public void mouseExited(MouseEvent arg0) {}
    @Override public void mousePressed(MouseEvent arg0) {}
    @Override public void mouseReleased(MouseEvent arg0) {}
}

此代码生成一个窗口，其中包含四个按钮:播放、暂停、连接和断开连接。如果您按下播放键，就好像程序处于“播放”模式。如果单击连接，就好像声音输入应用程序已连接到下一个模块。
要进行测试，请执行以下操作:
将声音设备连接到麦克风插孔(但不要播放任何东西)。
从此代码创建可运行的 jar 文件。
从终端运行文件。
点击“播放”。
单击“连接”。

此时，您应该会在终端看到一堆较小的数字。

在您的声音设备上，开始播放声音。

您应该立即开始在终端中看到更大的数字。

停止在声音设备上播放声音(应该在终端中返回较小的数字)。
点击“暂停”。
等待 5 秒。
点击“播放”。

开始用音频设备播放声音。

这就是 bug 出现的地方。如果我在 Eclipse 中运行这段代码，我会立即再次获得更大的数字。如果我只是运行 jar 文件，会有 5 秒的延迟，然后我会得到更大的数字。

有什么新想法吗？

Answer 1

它是固定的。每当我想让声音流继续播放时(每当我按下播放键时)，我都会关闭当前流并打开一个新流。

我没有意识到 TargetDataLine 实际上保存了一个声音数据缓冲区，每当调用 read 方法时，它就会被拾取。

当我从 Eclipse 运行应用程序时，它使用的 TargetDataLine 类型与我将其作为可运行的 jar 文件运行时似乎不同。缓冲区之间的大小差异证明了这一点。尽管大小差异只有 2 倍左右，所以我认为问题不在于缓冲区的大小，而在于与获取的 TargetDataLines 有关的其他事情。

奇怪的是，删除 Globals.mySleep(waitTime) 可以修复 SSCCE，但不能修复它应该代表的真实程序。

我尝试了排空和冲洗管线，而不是更换它，但这些似乎都不起作用，尽管我可能用错了。

所以问题是:DataLine 的缓冲区被填满，当程序没有播放时，缓冲区没有被清空，所以当它开始播放时，它继续以通常的播放速率从缓冲区中获取数据，导致它落后。

解决方法是:当程序开始播放时，更换DataLine。

--编辑--

进一步观察表明，当我从 Eclipse 运行时，它似乎使用了与我作为 jar 文件运行时不同的 JRE。我将默认的 java 程序设置为 java-6-sun 而不是 java-6-openjdk，它在 jar 文件中运行良好。

此外，我尝试在另一台计算机上运行替换数据线的方法。在这台电脑上，我的信号出现严重中断。拉一条新的数据线似乎需要更长的时间，所以我决定这行不通。现在，我只是随时从数据线上读取。如果系统暂停，我不会向任何地方发送信号。