音声AI企業Asyncが公開した「TTS Pronunciation Benchmark」は、商用ストリーミングTTSモデルが数字・日付・通貨・URLなどの非標準テキストをどれだけ正確に読み上げられるかを、世界で初めて体系的に評価した公開ベンチマークです。31カテゴリー・2,200以上の非標準テキストユニットを対象にした評価で、Async Flash v1.0が88.6%のユニットレベル精度を記録し、次点モデルに20ポイント以上の差をつけて首位に立ちました。リアルタイム音声AIの実用性を左右する「テキスト正規化」という見過ごされがちな能力が、今後のTTS選定の重要な指標になりそうです。
なぜ「ストリーミングTTS」の正規化能力が重要なのか
テキスト読み上げ（TTS）システムには、書き言葉を自然な話し言葉に変換する「テキスト正規化」と呼ばれる処理が不可欠です。たとえば「$42.50」は「フォーティーツードルアーズアンドフィフティセンツ」と読まれなければならず、「03/15/2024」は「マーチ フィフティーンス、トゥエンティ トゥエンティフォー」として発話される必要があります。
バッチ処理やREST API型のTTSであれば、事前にLLMでテキストを整形してからモデルに渡すことができます。しかしリアルタイムのWebSocketストリーミング——会話型AIエージェントや音声アシスタント、ライブアプリで使われる接続方式——では、テキストが届いた瞬間に即座に発話しなければなりません。整形処理を挟む時間的余裕はなく、TTSモデル自身がテキスト正規化を担う必要があります。
この「ストリーミング環境下でのテキスト正規化能力」を体系的に評価したベンチマークは、これまで存在しませんでした。AsyncはHugging Face上でインタラクティブなダッシュボードを公開し、すべての音声サンプルを試聴・ダウンロードできる形でデータを完全に開示しています。
評価の設計——31カテゴリー・1,000文以上のリアルワールドテスト
今回のベンチマークでは、実世界の文章1,000以上を収集し、そこに含まれる非標準テキスト（数値・通貨・日付・測定値・URLなど）2,200以上を個別に採点する設計が採用されています。評価対象は4つの商用TTSモデル——Async Flash v1.0、ElevenLabs Flash v2.5、ElevenLabs Multilingual v2、Inworld TTS-1——で、いずれもWebSocketストリーミングのエンドポイントを通じて音声を生成。テキストの前処理やLLMによる書き換えは一切行わず、生のテキストをそのままモデルに送る「実際の本番環境と同一の条件」でテストが実施されました。
採点はGemini 3.1 Proを自動審判として活用し、カテゴリーごとの詳細な採点ルールブックに従って各ユニットを個別評価。自動採点と人間の言語学専門家の評価の一致率は97.4%と高く、わずか3文のみで意見が異なりましたが、いずれもLLMが人間より厳しい基準で採点したケースであり、実際の精度はさらに高い可能性があります。
結果サマリー——Async Flash v1.0が圧倒的なリードを記録
文単位の精度（文内のすべての非標準テキストが正しく読み上げられた場合のみ正解）では、Async Flash v1.0が81.2%を記録。次点のInworld TTS-1が49.8%、ElevenLabs Flash v2.5が40.3%、ElevenLabs Multilingual v2が37.9%と、Asyncが他の3モデルに31ポイント以上の差をつけています。
ユニット単位の精度（非標準テキストを個別に採点）でも、Async Flash v1.0が88.6%でリード。Inworld TTS-1が67.8%、ElevenLabs Flash v2.5が56.4%、ElevenLabs Multilingual v2が52.8%と、20ポイント以上の差が確認されています。
特に差が際立つカテゴリーは測定値（単位）で、Async Flash v1.0が98.2%の正解率を記録する一方、ElevenLabs Multilingual v2はわずか10.4%——約10倍の差があります。同様に、略語・URL・通貨・数式といったカテゴリーでもAsync Flash v1.0が圧倒的な優位性を示しました。
苦手カテゴリーとモデルごとの失敗パターン
すべてのモデルが一様に苦手とするカテゴリーも明らかになっています。パスワードやAPIトークンなどのランダム文字列、科学的記数法（例：10e3）は、どのモデルでも正解率が低く、最高でも40%程度にとどまっています。文字を1つずつ正確に読み上げる必要があるこれらのカテゴリーは、今後のTTSモデル改善における大きな課題といえます。
下位モデルに見られる失敗のパターンは大きく3つに分類されています。第1は「生の数字をそのまま読む」パターン（例：「05/20/2023」を「ゼロファイブ トゥエンティ トゥエンティスリー」と読む）、第2は「部分的な正規化」（月と日は正しく読めても年の一部を省略する）、第3は「不自然なハイブリッド形式」（例：「12:00AM」を「トゥエルブ ハンドレッド エーエム」と読む）です。
精度を犠牲にしない低遅延——Async Flash v1.0の設計思想
注目すべき点は、Async Flash v1.0がこの高い精度を、p95遅延200ms以下というリアルタイム会話に十分なスピードで実現していることです。精度とレイテンシのトレードオフを克服し、実用的な会話型AIエージェントに求められる水準を満たしていることが確認されました。
今回のベンチマークは、多くのTTSデモや一般的なバッチAPI評価では正しい発音に見えるモデルも、ストリーミング環境では大きくパフォーマンスが落ちる可能性を示しています。テキスト正規化をモデル内部に組み込んでいるか、外部の整形処理に依存しているかという設計の違いが、実際の製品品質に直結することが浮き彫りになりました。会話型AIの音声出力品質を評価・選定する際の新たな基準として、このベンチマークが注目されています。
参照元：https://async-vocie-ai-text-to-speech-normalization-benchmark.static.hf.space/index.html