Block의 새 음성 모델, 놀라울 만큼 사람 같다

무슨 일이 있었나요?

Block의 연구소가 Dessa라는 새 음성 모델을 발표했습니다. 이 모델은 사용자의 컴퓨터에서 직접 돌아갈 수 있고, 웃음이나 멈춤, 울음 같은 감정 표현을 자연스럽게 냅니다. Block은 Dessa가 사람의 말소리만으로 학습했고 엔비디아 GPU 한 개를 썼다고 밝혔습니다. Dessa는 말하면서 동시에 듣을 수 있는 '풀듀플렉스' 모델이라고 합니다.

핵심 숫자와 사실

• 학습에 쓴 장비: 엔비디아 GPU 한 개
• 실행 가능한 기기 예: 맥북 M4 Max 이상의 일반 컴퓨터
• 현재 상태: 일반 공개 없음, 안전 연구자들이 테스트 중
• 비교 대상: OpenAI의 GPT-Live, ElevenLabs v4, Fish Audio Drama 3

왜 이런 기술이 어려울까요?

보통 음성 AI는 말을 글자로 바꾼 뒤 큰 언어 모델에 넘겨 답을 얻고, 다시 소리로 바꿉니다. 이 과정에서 목소리의 감정이 사라진다는 문제가 있습니다. 다른 회사들은 '태그'를 붙여 감정을 조절하기도 합니다. Block은 Dessa에는 감정이 모델 안에 이미 들어 있다고 주장하지만, 태그가 쓰이는지는 아직 분명하지 않습니다.

왜 중요한가요?

목소리로 기분을 알아채는 AI는 대화를 더 자연스럽게 만들 수 있습니다. 하지만 사람을 속이는 데 쓰일 위험도 있습니다. 그래서 Block은 안전 연구자들에게 테스트를 부탁했습니다. Block은 금융 사업을 하며 작은 가게에 도움을 주는 회사이고, 이미 Square에서 주문에 음성 AI를 쓰고 있습니다. 기기 안에서 도는 모델이라면 더 많은 곳에 싸게 쓸 수 있습니다.

앞으로 무엇을 지켜볼까요?

• Dessa가 일반 사용자에게 언제 공개될지
• 안전 테스트에서 사람을 속이는 문제가 드러나는지
• 감정 표현이 태그 없이 어떻게 작동하는지 밝혀지는지