Blockの新音声モデル、驚くほど人間らしい

何が起きたのか

Blockの研究所が、新しい音声モデル「Dessa」を公開しました。Dessaは人の話し声だけで学習したとされ、笑い声や間、泣き声などの表現ができます。話すことと聞くことを同時にできる「全二重」のモデルです。会社は、このモデルが自分のパソコン上で動くとも説明しています。

数字と主な事実

• 学習に使ったのは、人の話し声と、NVIDIA製のGPU（画像や音声を計算する部品）1台だけだと説明されています。
• 動作の目安は、MacBook M4 Max以上の一般向けパソコンです。
• Dessaは、ほかの音声AIと同じく、話すことと聞くことを同時にできるとされています。OpenAIの「GPT-Live」も同じ仕組みです。
• 現時点で一般の人は使えません。Blockは安全性を調べる研究者を募集しています。

これまでの音声AIとの違い

多くの音声AIは、まず話を文字に直し、その文字を大きな言語モデル（文章を理解して答えるAI）に渡して答えを作ります。そのあと、その答えを声に変えます。この流れでは、声の感情が途中で消えてしまうことがあります。ElevenLabsなどは、感情を出すために「タグ」と呼ばれる印を使うといわれています。Blockは、感情がモデルの中に最初から組み込まれていると主張しています。

なぜ大事なのか

声の感情を理解できるAIは、もっと自然で親しみやすい会話につながるかもしれません。一方で、人をだますような使われ方をする心配もあります。Blockが安全性の試験を呼びかけたのは、そのためです。Blockはお金に関わるサービスを扱う会社で、小さな店向けの販売ツールも提供しています。端末の中で動く音声AIは、費用を抑えながら新しいサービスを作る助けになる可能性があります。

これから注目したいこと

• 一般の人が使えるようになるかどうか。
• 安全性の試験で、だます使い方がどこまで見つかるか。
• 感情の出し方が、タグを使っているのかどうか。
• Square（Blockの店向けサービス）で、この音声AIがどう使われるか。