Meta、リアルタイム音声認識モデル「Muse Voice Transcribe」を発表

Meta、リアルタイム音声認識モデル「Muse Voice Transcribe」を発表

　米Metaは9月1日（現地時間）、 「Muse Voice Transcribe」 を発表した。同社のMeta Superintelligence Labsが手掛ける「Muse Spark」ファミリー初のリアルタイム音声知覚（audio perception）モデルで、流れてくる音声の終わりを待たずに逐次テキストへ変換するストリーミングASR（Automatic Speech Recognition、自動音声認識）に加え、以下の機能を備える。

• 話者の識別（Diarization）：1時間を超える音声と20人以上の話者を、後処理なしでそのまま扱える
• 発話の開始・終了を検出（Endpointing）
• 多言語対応：70以上の言語で学習されており、そのうち日本語を含む25言語は入念に検証済み。初期リリースではこの25言語での利用を推奨
• コードスイッチング：複数の言語の切り替えを認識。文をまたぐ場合にも、1つの文の途中で切り替わる場合にも対応
• バイアシング：あらかじめ言語やキーワード、文脈を与えておくことで、認識精度をさらに高められる

　本モデルの特徴は、音声を80ミリ秒（12.5Hz）ずつのかたまりに区切ってトークンへ変換し、そのかたまりを受け取るたびに「次の音声を聞き続ける」か「テキストのトークンを書き出す」かを自分で判断していること。

音声を80ミリ秒ずつ受け取り、「聞き続ける」か「書き出す」かを判断しながら文字起こしを進める

　“書き出すまでにどれだけ音声を聞いておくか”は、長く待つほど正確になる一方で、逆に応答性が悪化するというトレードオフの関係にある。そこで「Muse Voice Transcribe」はかたまりに分けた音声をテキスト認識する難しさに応じて、この待ち時間を動的に変える。状況に応じて待つか、書き出すかを適切に判断することで、精度と応答性のバランスをとっているわけだ。

　この仕組みは「適応的遅延」（adaptive delay）と呼ばれており、単語誤り率（WER）に対する報酬と、遅延に対する報酬を掛け合わせた強化学習によって獲得させたものだという。

　また、話者の識別とエンドポインティングも、このストリーミング音声認識に特殊なトークンを追加することで実現されている。話者が切り替わりそうな箇所を示すトークンと話者を区別するラベル、あるいは発話の開始と終了を示すトークンをモデルに書き出させるという仕組みで、いずれも音声認識と同時に学習されている。

　性能面でも競合モデルを引き離し、9月1日時点で「Artificial Analysis」のストリーミング音声認識と、公開されている話者識別ベンチマークの双方で首位に立っている。

ストリーミング音声認識の単語誤り率。低いほど高性能

話者識別の平均誤り率。低いほど高性能

単語誤り率と最終的な文字起こしまでの時間。「Muse Voice Transcribe」は従来のパレートフロンティア（トレードオフによる限界）を更新

　「Muse Voice Transcribe」は同日より、「Meta Model API」、Mac版「Meta AI」、コーディングエージェント「Muse Code」で利用できる。