c++ - WebRTC 音频处理模块 (APM) 和计算播放设备的回声延迟

Question

我对音频处理很陌生。我创建了一个程序，可以以一种方式录制和流式传输音频，而不会在另一端录制。基本上，它将一个位置记录的任何内容传输到另一个位置。但是，在很多情况下，该程序也会在与录音源相同的位置输出音频。由于音频延迟(取决于许多因素)，这会产生明显的“回声”。

因为我不确定那里是否还有其他东西，所以我正在尝试使用 WebRTC 的音频处理模块进行增益控制和声学回声消除。增益控制似乎工作得很好，但 AEC 并没有真正工作得那么好。我假设这可能是因为我没有设置正确的流延迟，或者这可能不是 AEC 的真正用途。

我正在使用的当前代码读取我从文件中记录的内容，以试图消除回声，至少是第一次出现时。如果我将流延迟设置为 0。我们可以想象当前音频会被完全取消。我尝试了不同的值，但收效甚微。

所以我的问题是，我希望这足够具体，我在这个模型中做错了什么？

void start( char *inFilename, char *outFilename )
{
    FILE *infile = fopen( inFilename, "rb" );
    FILE *outfile = fopen( outFilename, "wb" );

    // Our frame manager
    AudioFrame frame;
    frame._audioChannel = CHANNELS;
    frame._frequencyInHz = SAMPLERATE;
    frame._payloadDataLengthInSamples = SAMPLERATE/100; // Math for 20ms frames

    // Get the size of our frames
    const size_t frameLength = frame._payloadDataLengthInSamples*CHANNELS;


    AudioProcessing* apm = AudioProcessing::Create(0);
    //
    apm->set_sample_rate_hz( SAMPLERATE ); // Super-wideband processing.
    //
    // // Mono capture and stereo render.
    apm->set_num_channels(1, 1);
    apm->set_num_reverse_channels(1);
    //
    apm->high_pass_filter()->Enable(true);
    //
    //apm->echo_cancellation()->set_suppression_level( EchoCancellation::SuppressionLevel::kHighSuppression );
    apm->echo_cancellation()->enable_drift_compensation( false );
    apm->echo_cancellation()->Enable( true );
    //
    apm->noise_suppression()->set_level( NoiseSuppression::Level::kHigh );
    apm->noise_suppression()->Enable( true );
    //
    apm->gain_control()->set_analog_level_limits( 0, 255 );
    apm->gain_control()->set_mode( GainControl::Mode::kAdaptiveDigital );
    apm->gain_control()->Enable( true );
    //
    // apm->voice_detection()->Enable(true);
    //
    // // Start a voice call...

    while( fread(frame._payloadData, sizeof( int16_t ), frameLength, infile )==frameLength )
    {
        //apm->set_stream_delay_ms( 0 );

        apm->AnalyzeReverseStream( &frame );
        //
        // // ... Render frame arrives bound for the audio HAL ...
        //
        // // ... Capture frame arrives from the audio HAL ...
        // // Call required set_stream_ functions.
        // apm->gain_control()->set_stream_analog_level(analog_level);
        //

        apm->set_stream_delay_ms( 300 );

        int err = apm->ProcessStream( &frame );

        fprintf( stdout, "Output %i\n", err );
        //
        // // Call required stream_ functions.
        // analog_level = apm->gain_control()->stream_analog_level();
        // has_voice = apm->stream_has_voice();


        fwrite( frame._payloadData, sizeof( int16_t ), frameLength, outfile );
    }

    //
    // // Repeate render and capture processing for the duration of the call...
    // // Start a new call...
    // apm->Initialize();
    //
    // // Close the application...
    AudioProcessing::Destroy( apm );
    apm = NULL;

    fclose( infile );
    fclose( outfile );
}

使用来自:http://www.freedesktop.org/software/pulseaudio/webrtc-audio-processing/ 的包含和库

Answer 1

我有同样的问题，我试图在 OpenSLES API 手册中找到告诉我有多少流延迟的 API 但失败了。像现在一样，我认为可能需要自己计算流延迟。