アリババグループのQwen Audioチームが、実運用を前提とした音声合成システム「Qwen-Audio-3.0-TTS」を発表しました。12.5Hzの低フレームレート音声トークナイザーと5段階の学習手法を組み合わせ、16言語と中国語20方言、最長3分の一括長文合成に対応します。
実運用を見据えた音声合成システム「Qwen-Audio-3.0-TTS」
Qwen-Audio-3.0-TTSは、Qwen Audio、Token Foundry、そしてアリババグループによって開発された音声合成システムです。論文で示された狙いは、単一の指標を伸ばすことではなく、実際のプロダクトで求められる複数の要件を同時に押し上げることにあります。具体的には、テキストと生成音声の内容一致（コンテンツ整合性）、参照話者との声質の類似度、韻律の自然さ、音質、制御性、多言語カバレッジ、処理効率、そして頑健性の8つです。これらを同時に前進させ、実運用レベルの音声合成の基盤となることを目指したモデルと位置づけられています。
12.5Hzの低フレームレート音声トークナイザー
技術的な柱の一つが、12.5Hzという低フレームレートの教師あり音声トークナイザーです。自己回帰デコードのコストはフレーム数に比例して増大するため、フレームレートを下げることは推論レイテンシの削減に直結します。一方で情報量を落としすぎると、話している内容や話者の特徴が失われてしまいます。Qwen-Audio-3.0-TTSのトークナイザーは、内容情報と話者情報を保持したままデコードコストを下げる設計とされており、速度と品質のトレードオフに正面から取り組んだ部分といえます。
5段階で進める漸進的な学習パラダイム
学習は、LM（言語モデル）とFM（フローマッチングモデル）を協調的に最適化する漸進的なパイプラインで構成されています。具体的には、LMとFMをそれぞれ独立に事前学習したうえで、高品質データによるアニーリングを伴う統合学習を行い、続いてLMの強化学習、FMの頑健性学習、FMの強化学習へと進みます。この段階的な設計によって、内容の整合性、韻律の自然さ、声の忠実度、知覚品質、頑健性がそれぞれ改善されたと説明されています。
自然言語指示と86種類のインラインタグによる制御
制御性の面では、二つのアプローチが用意されています。一つは自由記述の自然言語による指示です。役割（ロール）、感情、話し方のスタイル、話速、音色、アクセントといった要素を文章で指定でき、たとえば「ゆっくり落ち着いた声で読んで」「急いでいる様子で速く話して」といった指示に沿った音声を生成します。デモページでは、朝の音楽番組のパーソナリティ、ニュース読み上げ、ワークショップの講師といった具体的なシーン設定を与えた例も公開されています。
もう一つが、新たに追加された86種類の細粒度インラインタグです。こちらはフレーズ単位・単語単位でのローカルな制御を担い、感情の切り替わりといった表現の変化に加えて、笑い、呼吸、咳、ため息といった非言語的な音を挿入できます。文章全体のトーンは自然言語指示で決め、細部はタグで詰めるという使い分けが可能になります。
16言語・20方言への対応と最長3分の長文合成
多言語対応は16言語で、うち7言語は新たに追加されたものです。公開デモでは、日本語、韓国語、ドイツ語、スペイン語、フランス語、イタリア語、ロシア語に加えて、新規対応となるアラビア語、インドネシア語、ポルトガル語、タイ語、ベトナム語、マレー語、タガログ語のサンプルが並んでいます。さらに中国語については重慶語、東北語、広東語、上海語、四川語など20の方言地域に対応し、方言の音色を再現するゼロショット音声クローンのサンプルが公開されています。
加えて、数字・略語・記号・固有名詞といった読み上げが難しいテキスト正規化のケースに対応し、最長3分の長文をワンパスで合成できる点も特徴です。話者ファインチューニングの再現可能なプロトコルと、ボコーダーの超解像による48kHz出力も用意され、目的の声への適応と高音質出力を支えます。
ノイズや残響のある参照音声でも安定生成
頑健性も重視されています。ノイズが乗った音声、残響のある音声、電話帯域のように高域がカットされた不明瞭な音声を参照として与えた場合でも、明示的なノイズ除去モードを使わずに生成できるとされています。実環境で収録された素材をそのまま参照に使える点は、実務上の扱いやすさに直結する部分です。
評価結果とリーダーボード首位
評価は、SEED-TTS-Eval、CV3-Eval、指示追従、長文生成、音響的頑健性といった観点で実施されました。その結果、報告された多くの指標で最高性能、あるいは総合で最も強い結果を達成したとしています。さらに、独立系の評価であるArtificial Analysis Text-to-Speech Leaderboardでも1位を獲得したと記載されています。デモページでは、ゼロショット生成、多言語、クロスリンガル、感情表現、方言、音響的頑健性、長文、テキスト正規化、指示による生成、細粒度タグの各カテゴリで、CosyVoice 3.0-0.5B／1.5Bとの比較音源が公開されています。
まとめ
Qwen-Audio-3.0-TTSは、速度、品質、制御性、多言語対応、頑健性を同時に引き上げることを狙った音声合成システムです。自然言語指示と86種類のインラインタグによる二層の制御、16言語と20方言のカバレッジ、劣化した参照音声への耐性は、いずれも実サービスへの組み込みを意識した設計といえます。なお、公開されているデモコンテンツは学術目的であり、技術的能力の提示を意図したものであると注記されています。
