音声AIリサーチと技術のグローバルリーダーであるElevenLabs（イレブンラボ）は、動画および音声コンテンツの翻訳・吹替をより自然に行う新しいAI吹替モデル『Dubbing v2』を発表しました。オリジナル話者の感情や演技のトーンを保持したまま別言語へ翻訳できる点が最大の特長で、90以上の言語・アクセントに対応します。本記事では、Dubbing v2の主な機能や対応範囲、日本のコンテンツ展開における活用シーンを整理してご紹介します。
「話者本人が多言語で話している」ような体験へ
ElevenLabs（本社：米国ニューヨーク州、CEO：Mati Staniszewski、以下イレブンラボ）は、新しいAI吹替モデル『Dubbing v2』を発表しました。最も大きな進歩は、従来の音声翻訳技術からさらに一歩踏み込み、「感情や演技のトーンをそのまま届ける」クオリティを実現した点にあるとしています。
オリジナル話者が持つ特有のトーン、絶妙な間、話し方、息遣い、そして細やかな感情表現を保持したまま別の言語へと翻訳します。これにより、「機械的に翻訳された音声」という枠を超え、オリジナルの表現に近い、より自然で臨場感のある多言語吹替体験を実現するとしています。
自動的に適用される高度なAI機能
Dubbing v2では、高度なAI技術により以下の機能が自動的かつ包括的に適用されます。
- Voice Cloning（音声クローン）の自動適用：話者本人の声の質を維持したまま別言語へ変換します。
- 複数話者の識別（Speaker separation）：複数の話者を含むコンテンツでも、話者ごとの声の特徴を反映した多言語吹替を支援します。
- BGMや環境音の保持：背景に流れる音楽やその場の環境音を損なうことなく、音声部分のみを自然に翻訳・統合します。
90以上の言語・アクセントに対応、動画と音声の両方をサポート
『Dubbing v2』は、英語や中国語、スペイン語、フランス語といったメジャー言語はもちろん、スワヒリ語やアイスランド語にいたるまで、90以上の言語およびアクセントに対応しています。日本語で制作された動画、ポッドキャスト、講演、教育コンテンツ、企業向け動画などを、海外の視聴者に向けて多言語展開することを支援します。
本機能はイレブンラボのUI上で利用可能で、今後さらにシンプルな編集機能や新しいプロフェッショナル向け編集体験も順次拡充される予定です。また、システムへの組み込みを検討するエンタープライズ向けにはAPI提供も今後予定されており、大規模なコンテンツ制作ワークフローや既存システムへの組み込みについては営業チームを通じて個別に相談を承るとしています。
日本市場の「コンテンツのグローバル展開」を後押し
同社は、本機能の登場により、日本が誇る豊かなコンテンツ資産（IP）の海外展開を大きく後押しするとしています。これまで多言語展開には、翻訳、吹替台本の作成、声優・ナレーターの収録、音声編集、タイミング調整など多くの工程とコストが必要でした。Dubbing v2は、オリジナルの声や演技のニュアンスを活かしながら、日本語コンテンツのグローバル展開をより効率的に支援するとしています。
想定される活用分野は次のとおりです。
- アニメ・ゲーム：適切な権利処理と同意に基づき、キャラクターや出演者の演技・感情表現を活かしながら多言語展開を支援。
- VTuber・YouTubeクリエイター：日本語で制作された動画コンテンツを多言語で展開し、海外視聴者へのリーチ拡大を支援。クリエイター本人の声や話し方のニュアンスを活かす。
- 教育コンテンツ・インバウンド向け動画：教育コンテンツや観光・インバウンド向け動画を多言語化し、海外の学習者や旅行者に届けることを支援。
- グローバル企業の社内研修動画・企業動画：経営陣のメッセージや社内研修、製品紹介などを「らしさ」を保ったまま多言語化し、海外拠点やグローバル顧客に一貫したメッセージを届ける。
イレブンラボについて
イレブンラボは2022年に設立され、AI音声研究と技術のグローバルリーダーとして、企業・開発者・クリエイター・アーティストなど幅広い層に向けた最先端AIオーディオツールを構築しています。現在は企業評価額が110億ドル（約1.5兆円相当）を超え、プラットフォームはFortune 500企業の75%以上を含む数千もの企業に利用されているとしています。高品質なボイスオーバーの大規模生成や、30以上の言語での対話型AI音声エージェントの構築を支援しています。
参照元：https://prtimes.jp/main/html/rd/p/000000045.000160611.html
