javascript - 如何将音频从浏览器流式传输到 WebRTC native C++ 应用程序

Question

到目前为止，我已经成功运行了以下示例:

WebRTC native c++ to browser video streaming example

该示例展示了如何将视频从 native C++ 应用程序 (peerconnection_client.exe) 流式传输到浏览器(我使用的是 Chrome)。这工作正常，我可以在浏览器中看到自己。

我想做的是将音频从浏览器流式传输到 native 应用程序，但我不确定如何操作。谁能给我一些建议吗？

Answer 1

我正在尝试找到一种将视频和音频从浏览器流式传输到我的 native 程序的方法。到目前为止，这是我的方式。

要在没有 gui 的情况下将视频从浏览器流式传输到您的 native 程序，只需按照此处的示例进行操作。 https://chromium.googlesource.com/external/webrtc/+/refs/heads/master/examples/peerconnection/client/

使用AddOrUpdateSink 添加您自己的VideoSinkInterface，您将在回调void OnFrame(const cricket::VideoFrame& frame) 中收到您的帧数据.您可以做任何您想做的事情，而不是像示例那样将框架渲染到 GUI。

在没有真实音频设备的情况下将音频从浏览器流式传输到您的 native 程序。你可以使用假的音频设备。

1. 将文件https://chromium.googlesource.com/external/webrtc/+/master/webrtc/build/webrtc.gni中的变量rtc_use_dummy_audio_file_devices修改为true
2. 调用全局静态函数指定文件名 webrtc::FileAudioDeviceFactory::SetFilenamesToUse("", "file_to_save_audio");
3. 用代码修复 file_audio_device.cc 补丁。 (在我写这个答案时，FileAudioDevice 有一些问题，可能已经修复了)
4. 重新编译你的程序，touch file_to_save_audio 建立webrtc连接后，你会在file_to_save_audio中看到pcm数据。

补丁:

    diff --git a/webrtc/modules/audio_device/dummy/file_audio_device.cc b/webrtc/modules/audio_device/dummy/file_audio_device.cc
index 8b3fa5e..2717cda 100644
--- a/webrtc/modules/audio_device/dummy/file_audio_device.cc
+++ b/webrtc/modules/audio_device/dummy/file_audio_device.cc
@@ -35,6 +35,7 @@ FileAudioDevice::FileAudioDevice(const int32_t id,
     _recordingBufferSizeIn10MS(0),
     _recordingFramesIn10MS(0),
     _playoutFramesIn10MS(0),
+    _initialized(false),
     _playing(false),
     _recording(false),
     _lastCallPlayoutMillis(0),
@@ -135,12 +136,13 @@ int32_t FileAudioDevice::InitPlayout() {
       // Update webrtc audio buffer with the selected parameters
       _ptrAudioBuffer->SetPlayoutSampleRate(kPlayoutFixedSampleRate);
       _ptrAudioBuffer->SetPlayoutChannels(kPlayoutNumChannels);
+      _initialized = true;
   }
   return 0;
 }

 bool FileAudioDevice::PlayoutIsInitialized() const {
-  return true;
+  return _initialized;
 }

 int32_t FileAudioDevice::RecordingIsAvailable(bool& available) {
@@ -236,7 +238,7 @@ int32_t FileAudioDevice::StopPlayout() {
 }

 bool FileAudioDevice::Playing() const {
-  return true;
+  return _playing;
 }

 int32_t FileAudioDevice::StartRecording() {
diff --git a/webrtc/modules/audio_device/dummy/file_audio_device.h b/webrtc/modules/audio_device/dummy/file_audio_device.h
index a69b47e..3f3c841 100644
--- a/webrtc/modules/audio_device/dummy/file_audio_device.h
+++ b/webrtc/modules/audio_device/dummy/file_audio_device.h
@@ -185,6 +185,7 @@ class FileAudioDevice : public AudioDeviceGeneric {
   std::unique_ptr<rtc::PlatformThread> _ptrThreadRec;
   std::unique_ptr<rtc::PlatformThread> _ptrThreadPlay;

+  bool _initialized;;
   bool _playing;
   bool _recording;
   uint64_t _lastCallPlayoutMillis;