エヌビディア、40言語を文字起こしするオープン音声認識モデルを公開

何が起きたのか

10月28日（現地時間）、Nvidiaは音声を文字に変えるAIモデル「Nemotron 3.5 Transcribe」を公開しました。40の言語に対応し、英語とほかの多くの対応言語のあいだで音声を翻訳することもできます。リアルタイムの会話ではなく、録音された音声を処理します。1回に最大1時間の音声を扱え、誰が話しているかの区別もできます。

主な数字と事実

• 全体の大きさは約340億パラメータ（AIが学習で得た設定の数）ですが、1回の処理で使うのは約43億だけです。
• 話者の区別は最大8人まで（TechCrunchによる）。
• 誤り率（低いほど良い）は、英語の公開データセット9種で平均4.71%、ほかの7言語で平均4.62%です。
• 複数人が参加する会議のテストでは15.80%で、これまでの公開記録の最高16.83%を上回りました。
• Nvidiaによると、RTX PRO 6000 GPU 1台で、1秒間に約2,238秒分の音声を処理できます。

しくみのポイント

Nvidiaは「専門家の混合（MoE）」という設計を使っています。仕事ごとに、モデルの一部の専門部分だけが動く仕組みです。そのため、モデル全体は大きくても、必要な計算量を抑えられます。Nvidiaはまた、企業が業界特有の専門用語をモデルに教えるために使える音声データセット「Granary v2」も公開しました。

なぜ大事なのか

音声を文字にする道具は、会議のメモや医療記録などに使われています。このモデルは無料で公開され、商用利用も認められているため、企業が自社のコンピューターで動かせます。市場も混み合ってきました。今月初めには、Mistralが文字起こしモデル「Voxtral 3」を出し、ElevenLabsは音声エージェント向けのリアルタイムモデルを発表しています。

今後注目したいこと

• 第三者の独立したテストで、Nvidiaの精度の数字が確認されるかどうか。
• 実際の会議や医療の現場で、どれくらううまく動くか。
• ほかの企業が新しい音声モデルでどう対抗するか。