Dessa: 지금까지 만들어진 것 중 가장 자연스러운 풀듀플렉스 음성 모델

무슨 일이 있었나

Block은 'Dessa'라는 음성 AI 모델을 공개했습니다. Dessa는 말을 글자로 바꾸지 않고, 소리를 듣고 소리로 대답합니다. 사람처럼 동시에 듣고 말할 수 있으며, 웃음이나 한숨 같은 감정도 함께 표현합니다. 회사는 Dessa가 사람의 대화 소리만으로 처음부터 학습되었다고 말합니다.

핵심 숫자와 사실

• Dessa는 텍스트나 기존 모델 없이, 사람의 대화 소리만으로 학습되었습니다.
• 회사는 Dessa가 LLM보다 수백 배 적은 단어로 언어를 배웠다고 말합니다.
• 추론 속도는 실시간보다 빠르다고 합니다. 기다리는 어색한 시간이 없습니다.
• MacBook Pro M4 Max 이상 컴퓨터에서 직접(로컬로) 실행할 수 있습니다.

왜 기존 음성 AI는 어색할까

지금의 음성 AI는 보통 말을 먼저 글자로 바꾸고, 그 글자를 읽고 답합니다. 이 과정에서 말투, 망설임, 웃음, 감정 같은 정보가 사라집니다. 그래서 대답이 느리고 기계적으로 들리는 경우가 많습니다.

왜 중요한가

음성은 사람이 가장 자연스럽게 쓰는 대화 방법입니다. Dessa가 감정과 타이밍을 함께 이해한다면, 사람과 AI의 대화가 훨씬 편하고 자연스러워질 수 있습니다. 연구자들에게도 말소리만으로 언어를 배우는 새로운 분야를 열어 줍니다.

앞으로 지켜볼 점

• 회사가 X에 더 많은 녹음 예시를 공개하기로 했습니다.
• 다른 회사의 AI(GPT-Live-1)와 나눈 대화처럼, 실제 성능이 독립적으로 검증될지 지켜볼 필요가 있습니다.
• 연구자들이 말소리만으로 언어와 사실을 얼마나 효율적으로 배우는지 밝혀질 것입니다.