Merge pull request #172 from shiguredo/feature/update-sora-cpp-sdk-2025.4.0-canary.8

[WIP] Sora C++ SDK のバージョンを 2025.4.0-canary.8 に上げる

Author: torikizi

CHANGES.md

@@ -11,10 +11,17 @@
 
 ## develop
 
-- [UPDATE] Sora C++ SDK のバージョンを `2025.4.0-canary.1` に上げる
-  - WEBRTC_BUILD_VERSION を `m137.7151.3.0` に上げる
-  - CMAKE_VERSION を `4.0.2` に上げる
-  - @melpon
+- [UPDATE] Sora C++ SDK のバージョンを `2025.4.0-canary.8` に上げる
+  - WEBRTC_BUILD_VERSION を `m138.7204.0.0` に上げる
+    - `ACMResampler` の廃止に伴い、`PushResampler` を利用するように変更
+      - `acm_resampler.h` のインクルードを削除して、`push_resampler.h` をインクルードするように変更
+    - `Resample10Msec` から `Resample` へ変更
+      - `Resample10Msec` で一度に行っていた入力と出力のサンプリングを `webrtc::InterleavedView` を利用してシンプルに行うように変更
+    - PeerConnectionFactoryDependendencies の `audio_processing` は廃止されたので削除
+    - `default_task_queue_factory.h` のインクルードを削除
+    - `dependencies.task_queue_factory` は廃止されたので `env` 経由で取得するように変更
+  - CMAKE_VERSION を `4.0.3` に上げる
+  - @melpon @torikizi
 - [UPDATE] Ubuntu arm64 では Clang 19 に上げる
   - libwebrtc m137 を上げたことで clang 18 ではビルドが通らなくなったため
   - @voluntas

DEPS

@@ -1,5 +1,5 @@
-SORA_CPP_SDK_VERSION=2025.4.0-canary.7
-WEBRTC_BUILD_VERSION=m137.7151.3.0
+SORA_CPP_SDK_VERSION=2025.4.0-canary.8
+WEBRTC_BUILD_VERSION=m138.7204.0.0
 BOOST_VERSION=1.88.0
-CMAKE_VERSION=4.0.2
+CMAKE_VERSION=4.0.3
 OPENH264_VERSION=v2.6.0

src/dummy_audio_mixer.cpp

@@ -10,8 +10,8 @@ struct DummyAudioMixer::SourceStatus {
 };
 
 webrtc::scoped_refptr<DummyAudioMixer> DummyAudioMixer::Create(
-    webrtc::TaskQueueFactory* task_queue_factory) {
-  return webrtc::make_ref_counted<DummyAudioMixer>(task_queue_factory);
+    const webrtc::Environment& env) {
+  return webrtc::make_ref_counted<DummyAudioMixer>(env);
 }
 
 void DummyAudioMixer::Mix(size_t number_of_channels,
@@ -47,14 +47,13 @@ void DummyAudioMixer::RemoveSource(Source* audio_source) {
   audio_source_list_.erase(iter);
 }
 
-DummyAudioMixer::DummyAudioMixer(webrtc::TaskQueueFactory* task_queue_factory)
-    : task_queue_factory_(task_queue_factory) {
+DummyAudioMixer::DummyAudioMixer(const webrtc::Environment& env) : env_(env) {
   /**
    * 通常 webrtc::AudioMixer の Mix は音声出力デバイスのループで呼ばれるが、
    * sora::SoraClientContextConfig::use_audio_device を false にした際に設定される、
    * webrtc::AudioDeviceDummy はループを回さないため、ここでループを作ることとした。
    */
-  task_queue_ = task_queue_factory_->CreateTaskQueue(
+  task_queue_ = env_.task_queue_factory().CreateTaskQueue(
       "TestAudioDeviceModuleImpl", webrtc::TaskQueueFactory::Priority::NORMAL);
 
   handle_ = webrtc::RepeatingTaskHandle::Start(task_queue_.get(), [this]() {

src/dummy_audio_mixer.h

@@ -6,9 +6,9 @@
 // WebRTC
 #include <api/audio/audio_frame.h>
 #include <api/audio/audio_mixer.h>
+#include <api/environment/environment.h>
 #include <api/scoped_refptr.h>
 #include <api/task_queue/task_queue_base.h>
-#include <api/task_queue/task_queue_factory.h>
 #include <rtc_base/synchronization/mutex.h>
 #include <rtc_base/task_utils/repeating_task.h>
 #include <rtc_base/thread_annotations.h>
@@ -29,7 +29,7 @@ class DummyAudioMixer : public webrtc::AudioMixer {
  public:
   struct SourceStatus;
   static webrtc::scoped_refptr<DummyAudioMixer> Create(
-      webrtc::TaskQueueFactory* task_queue_factory);
+      const webrtc::Environment& env);
   ~DummyAudioMixer();
 
   // AudioMixer functions
@@ -41,11 +41,11 @@ class DummyAudioMixer : public webrtc::AudioMixer {
       RTC_LOCKS_EXCLUDED(mutex_);
 
  protected:
-  DummyAudioMixer(webrtc::TaskQueueFactory* task_queue_factory);
+  DummyAudioMixer(const webrtc::Environment& env);
 
  private:
   void ProcessAudio();
-  const webrtc::TaskQueueFactory* task_queue_factory_;
+  const webrtc::Environment env_;
   std::unique_ptr<webrtc::TaskQueueBase, webrtc::TaskQueueDeleter> task_queue_;
   webrtc::RepeatingTaskHandle handle_;
 

src/sora_audio_sink.cpp

@@ -62,16 +62,14 @@ void SoraAudioSinkImpl::OnData(
   bool need_resample =
       output_sample_rate_ != -1 && sample_rate != output_sample_rate_;
   if (need_resample) {
-    int samples_per_channel_int = resampler_.Resample10Msec(
-        static_cast<const int16_t*>(audio_data), sample_rate,
-        output_sample_rate_, number_of_channels,
-        webrtc::AudioFrame::kMaxDataSizeSamples, audio_frame_->mutable_data());
-    if (samples_per_channel_int < 0) {
-      return;
-    }
-    audio_frame_->samples_per_channel_ =
-        static_cast<size_t>(samples_per_channel_int);
-    audio_frame_->sample_rate_hz_ = output_sample_rate_;
+    webrtc::InterleavedView<const int16_t> src(
+        static_cast<const int16_t*>(audio_data), number_of_frames,
+        number_of_channels);
+    webrtc::InterleavedView<int16_t> dst = audio_frame_->mutable_data(
+        webrtc::SampleRateToDefaultChannelSize(output_sample_rate_),
+        number_of_channels);
+    resampler_.Resample(src, dst);
+    audio_frame_->SetSampleRateAndChannelSize(output_sample_rate_);
     audio_frame_->num_channels_ = number_of_channels;
     // channel_layout_ は private になったので一旦コメントアウトする
     // https://webrtc-review.googlesource.com/c/src/+/349322

src/sora_audio_sink.h

@@ -12,7 +12,7 @@
 #include <api/audio/audio_frame.h>
 #include <api/media_stream_interface.h>
 #include <api/scoped_refptr.h>
-#include <modules/audio_coding/acm2/acm_resampler.h>
+#include <common_audio/resampler/include/push_resampler.h>
 #include <rtc_base/buffer.h>
 
 #include "sora_track_interface.h"
@@ -40,14 +40,14 @@ class SoraAudioSinkImpl : public webrtc::AudioTrackSinkInterface,
                     int output_sample_rate,
                     size_t output_channels);
   ~SoraAudioSinkImpl();
-  
+
   // コピーコンストラクタとコピー代入演算子を削除
   // このクラスは WebRTC のオーディオトラックに唯一のシンクとして登録され、
   // 内部バッファやミューテックスなどの同期リソースを管理しているため、
   // コピーやムーブを禁止して所有権を明確にしている
   SoraAudioSinkImpl(const SoraAudioSinkImpl&) = delete;
   SoraAudioSinkImpl& operator=(const SoraAudioSinkImpl&) = delete;
-  
+
   // ムーブコンストラクタとムーブ代入演算子を削除
   SoraAudioSinkImpl(SoraAudioSinkImpl&&) = delete;
   SoraAudioSinkImpl& operator=(SoraAudioSinkImpl&&) = delete;
@@ -90,7 +90,7 @@ class SoraAudioSinkImpl : public webrtc::AudioTrackSinkInterface,
   const int output_sample_rate_;
   const size_t output_channels_;
   std::unique_ptr<webrtc::AudioFrame> audio_frame_;
-  webrtc::acm2::ACMResampler resampler_;
+  webrtc::PushResampler<int16_t> resampler_;
   std::mutex buffer_mtx_;
   std::condition_variable buffer_cond_;
   webrtc::BufferT<int16_t> buffer_;

src/sora_audio_stream_sink.cpp

@@ -193,16 +193,12 @@ void SoraAudioStreamSinkImpl::OnData(
   bool need_resample = output_sample_rate_ != -1 &&
                        tuned_frame->sample_rate_hz() != output_sample_rate_;
   if (need_resample) {
-    int samples_per_channel_int = resampler_.Resample10Msec(
-        tuned_frame->data(), tuned_frame->sample_rate_hz(), output_sample_rate_,
-        tuned_frame->num_channels(), webrtc::AudioFrame::kMaxDataSizeSamples,
-        tuned_frame->mutable_data());
-    if (samples_per_channel_int < 0) {
-      return;
-    }
-    tuned_frame->samples_per_channel_ =
-        static_cast<size_t>(samples_per_channel_int);
-    tuned_frame->sample_rate_hz_ = output_sample_rate_;
+    webrtc::InterleavedView<const int16_t> src = tuned_frame->data_view();
+    webrtc::InterleavedView<int16_t> dst = tuned_frame->mutable_data(
+        webrtc::SampleRateToDefaultChannelSize(output_sample_rate_),
+        tuned_frame->num_channels());
+    resampler_.Resample(src, dst);
+    tuned_frame->SetSampleRateAndChannelSize(output_sample_rate_);
   }
   // Remix して channel 数を揃える
   if (output_channels_ != 0 &&

src/sora_audio_stream_sink.h

@@ -11,7 +11,7 @@
 #include <api/audio/audio_frame.h>
 #include <api/media_stream_interface.h>
 #include <api/scoped_refptr.h>
-#include <modules/audio_coding/acm2/acm_resampler.h>
+#include <common_audio/resampler/include/push_resampler.h>
 
 #include "sora_track_interface.h"
 
@@ -195,7 +195,7 @@ class SoraAudioStreamSinkImpl : public webrtc::AudioTrackSinkInterface,
   SoraTrackInterface* track_;
   const int output_sample_rate_;
   const size_t output_channels_;
-  webrtc::acm2::ACMResampler resampler_;
+  webrtc::PushResampler<int16_t> resampler_;
 };
 
-#endif
+#endif

src/sora_factory.cpp

@@ -7,7 +7,6 @@
 #include <api/create_peerconnection_factory.h>
 #include <api/environment/environment_factory.h>
 #include <api/rtc_event_log/rtc_event_log_factory.h>
-#include <api/task_queue/default_task_queue_factory.h>
 #include <media/engine/webrtc_media_engine.h>
 #include <rtc_base/ssl_adapter.h>
 
@@ -32,6 +31,7 @@
 SoraFactory::SoraFactory(
     std::optional<std::string> openh264,
     std::optional<sora::VideoCodecPreference> video_codec_preference) {
+  auto env = webrtc::CreateEnvironment();
   sora::SoraClientContextConfig context_config;
   context_config.video_codec_factory_config.capability_config.openh264_path =
       openh264;
@@ -48,15 +48,11 @@ SoraFactory::SoraFactory(
   // Audio デバイスは使わない、 use_audio_device を true にしただけでデバイスを掴んでしまうので常に false
   context_config.use_audio_device = false;
   context_config.configure_dependencies =
-      [openh264](webrtc::PeerConnectionFactoryDependencies& dependencies) {
+      [openh264,
+       &env](webrtc::PeerConnectionFactoryDependencies& dependencies) {
         // 通常の AudioMixer を使うと use_audio_device が false のとき、音声のループは全て止まってしまうので自前の AudioMixer を使う
-        dependencies.audio_mixer =
-            dependencies.worker_thread->BlockingCall([&]() {
-              return DummyAudioMixer::Create(
-                  dependencies.task_queue_factory.get());
-            });
-        // アンチエコーやゲインコントロール、ノイズサプレッションが必要になる用途は想定していないため nullptr
-        dependencies.audio_processing = nullptr;
+        dependencies.audio_mixer = dependencies.worker_thread->BlockingCall(
+            [&env]() { return DummyAudioMixer::Create(env); });
       };
   context_ = sora::SoraClientContext::Create(context_config);
   if (context_ == nullptr) {