JP — ITmedia
ジャック・ドーシー氏率いるBlock、音声だけで学習した全二重音声モデル「Dessa」発表 「人と話しているよう」
AI1分で読めます
米Block（旧Square）が、テキストを使わず人の会話音声だけで学んだ音声AIモデル「Dessa」を研究プレビューとして発表しました。人と話しているような自然な会話を目指しています。
何が起きたのか
米Blockは10月23日（現地時間）、音声だけで学習した「全二重音声モデル」Dessaを発表しました。全二重とは、相手の話を聞きながら同時に自分も話せる方式のことです。Dessaは音声を入力して音声を出力します。ジャック・ドーシー氏は、これまでで最も本物らしい全二重音声モデルだと投稿しました。
主な数字と事実
- 学習に使ったのは米NVIDIAの「GB200 NVL72」1台だけ
- LLMと比べて数百分の1の単語量で言語を習得したとされる
- 「M4 Max」以上を積んだ「MacBook Pro」でローカル実行できる
- デモは英語のみで、対応言語は明らかにされていない
どうやって学んだのか
多くの音声AIは、まず声を文字に変えてから考えます。その過程で、感情や声の調子などの大事な情報が失われます。Dessaは文字を使わず、人の会話音声だけからゼロで学びました。そのため、相づちや割り込みのタイミングを実際の会話から身に付けたとしています。
なぜ大事なのか
Blockは、AIが声の感情をほとんど理解できないことは安全上の問題でもあると述べています。Dessaは、笑いやため息、悲しそうな声なども聞き取り、表現できるとしています。声から気持ちを読み取れるAIは、より自然で安全な対話につながる可能性があります。
今後の注目点
- 利用を始めるためのリンクを近日中に公開する予定
- 一般に使えるようになる時期はまだ不明
- 少数のAI安全性研究者に早期アクセスを提供し、想定外のリスクを探してもらう
- 英語以外の言語に対応するかどうか
用語解説
- Block
- ジャック・ドーシー氏が率いる米国の企業で、旧Squareのこと。決済などのサービスを手がける。
- 全二重音声モデル
- 相手の話を聞きながら、同時に自分も話せるように作られた音声AIのこと。
- LLM
- 大量の文章を学習した大規模言語モデルのこと。文章を理解して作る生成AIの一種。
- GB200 NVL72
- 米NVIDIAが作るAI向けの大型コンピュータのこと。