Dessa：これまでで最も自然な全二重音声モデル

何が起きたのか

Dessaは、人間の会話の音声だけを使って一から学習された音声AIです。テキストや、あらかじめ学習させた別のモデルは使っていません。音声を入れると音声で返事をし、話しながら聞くこともできます。感情や笑い、ため息などもそのまま扱えます。

押さえておきたい数字と事実

• LLM（大規模言語モデル）より数百分の一ほど少ない言葉で言語を覚えたとされています。
• MacBook Pro M4 Max以上のパソコンで、手元で動かせます。
• 返答の処理は実時間より速く動くため、待ち時間が少なくなります。
• デモ動画は、人が話しかけた会話を録音したもので、誰も会話の流れを操作していません。
• GPT-Live-1という別のAIとの会話デモも公開されています。

なぜ音声から学ぶのか

今の音声AIは、まず話し声を文字に変えてからAIに渡すことが多いです。このやり方では、声の高さや間、感情などの情報が消えてしまいます。たとえば同じ言葉でも、どこを強く言うかで意味が変わります。Dessaは、こうした情報をそのまま音から学びます。

なぜ大切なのか

Dessaは、音声AIを人と話すような自然な体験に近づける試みです。感情を聞き取れないAIは、相手の気持ちを誤解するおそれもあると作り手は考えています。また、音だけから学ぶ新しいAIの仕組みは、研究者が言語や学び方の違いを調べる材料にもなります。

これから注目したい点

• 追加の会話の録音が、Xで順次公開される予定です。
• 文字を使わないAIが、言語や事実をどれだけ効率よく覚えられるかの研究結果。
• 新しい言語を学ぶ速さや、文脈に応じた学習能力の検証。
• 実際の製品やサービスに組み込まれるかどうか。