Appleの新音声APIがWhisperを上回る、初の実測ベンチマーク公開

Appleは精度を非公開のまま新音声API「SpeechAnalyzer」を投入しました。私設AIワークスペース「Inscribe」が5,559件の標準テスト音声で旧APIおよびWhisperと比較検証したところ、SpeechAnalyzerが最も高精度で、Whisper Smallをも上回る結果となりました。

結論：SpeechAnalyzerが端末内で最高精度

Appleは、iOS 26およびmacOS 26で従来の音声認識API「SFSpeechRecognizer」を新しい「SpeechAnalyzer」「SpeechTranscriber」へと置き換えました。しかし、いずれについても精度に関する数値を公表していませんでした。そこで、複数の音声認識エンジンを製品に搭載するInscribeが、同一の音声・同一のコードで実測ベンチマークを行い、すべての文字起こし結果を公開しました。

検証には音声認識の標準的なテストデータ「LibriSpeech」の5,559発話が用いられ、すべてApple M2 Pro（32GB、macOS 26.5.1）上で完全に端末内処理として実行されました。指標はWER（単語誤り率、置換・欠落・挿入された単語の割合で、低いほど高精度）です。

test-cleanはクリーンな朗読音声2,620発話、test-otherはより難しくノイズの多い2,939発話です。SpeechAnalyzerは両方で最も低いWERを記録し、Inscribeが搭載する最大モデルであるWhisper Smallをいずれの区分でも上回りました。一方、旧APIのSFSpeechRecognizerはクリーン音声で40MBのWhisper Tinyにも及ばず、最下位となりました。

旧APIから移行すべきか

Inscribeは「移行すべき」と明言しています。新APIは同一音声に対してWERを3.5〜4倍改善しており、クリーン音声で9.02%から2.12%へ、ノイズの多い音声で16.25%から4.56%へと低下しました。精度面でのトレードオフは見当たらず、加えて新APIは句読点や大文字・小文字を含む整った文章を出力するとされています。1時間の会議を旧APIで文字起こしすると、SpeechAnalyzerに比べておよそ4倍の誤った単語が含まれる計算になります。

SpeechAnalyzer対Whisperと処理速度

より意外な結果として、SpeechAnalyzerは両区分でWhisper Smallを明確な差で上回り、しかも音声1秒あたりの処理時間はWhisper Smallの約3分の1でした。英語かつApple製ハードウェア上では、OS標準エンジンが端末内で最も強力な選択肢になったとしています。

ただしWhisperには2つの利点が残ります。対応言語がはるかに多い点（SpeechTranscriberは約30ロケール対応）と、OS 26のApple製品に限らずどこでも動作する点です。処理速度については、5つのエンジンすべてがリアルタイムより高速で、M2 Pro上で約12〜40倍、1時間の音声を端末内で約1.5〜5分で処理できたとされています。なお、精度計測時に開発用の処理を同じマシンで並行させていたため、エンジン別の詳細な処理時間表は現時点では公表されていません。

検証手法と再現性

Inscribeはエンジンの一つを販売する立場であるため、ベンチマークには疑いの目を向けるべきだとしたうえで、2つの仕組みを用意しています。第一に、OpenAIがLibriSpeechでのWhisperのWERを公表しているため、Whisperの測定値がその公表値と一致するかを確認できる点です。6項目すべてでわずかに厳しい方向へ一貫してずれており、これは正直な再現の証だと説明されています。第二に、Apple両エンジンの1発話ごとの文字起こし結果を参照テキストとともに公開し、誰でも採点し直せるようにしています。

手法面では、両エンジンを実際の製品と同じコードで実行し、大文字・小文字や句読点、数字表記を揃える同一の正規化処理を適用し、総誤り数を総単語数で割るコーパスWERを採用しています。さらにSFSpeechRecognizerが既定でAppleのサーバーへ音声を送る仕様であるため、クラウドへ切り替わった場合は処理を停止するよう強制し、完全な端末内処理であることを保証しています。

限界点

この検証は英語の朗読音声に限られます。LibriSpeechは英語の読み上げ音声であ