Dessa: mô hình giọng nói full-duplex chân thực nhất từng được xây dựng

Dessa là gì?

Dessa là mô hình AI giọng nói mới. Người dùng nói vào, Dessa trả lời bằng giọng nói. Nó không đổi giọng nói thành chữ. Nhóm tạo ra Dessa nói rằng đây là mô hình giọng nói "chân thực nhất" từng được xây dựng. Các đoạn ghi âm trong bài cho thấy Dessa cười đúng lúc, thở dài, thể hiện cảm xúc và tự chọn cách nói của mình.

Những con số và sự kiện chính

• Dessa được huấn luyện từ đầu, chỉ bằng hội thoại của con người, không dùng văn bản hay mô hình được huấn luyện trước.
• Nhóm đưa ra nhận định rằng nó cần ít hơn hàng trăm lần số từ so với các mô hình ngôn ngữ lớn (LLM).
• Dessa chạy được trên dòng MacBook Pro M4 Max trở lên.
• Trong một bản demo, Dessa trò chuyện với GPT-Live-1, một mô hình AI của bên thứ ba. Công ty phát triển GPT-Live-1 không liên kết với Block và không xem xét hay tán thành Dessa.

Tại sao AI giọng nói hiện nay chưa tự nhiên?

Phần lớn trợ lý giọng nói hiện nay trước tiên đổi giọng nói thành chữ, rồi mới xử lý. Cách này làm mất nhiều thông tin, như cảm xúc, giọng mỉa mai hay tiếng cười. Vì vậy các cuộc trò chuyện thường chậm, cứng và hay chờ người nói xong mới đáp.

Vì sao tin này quan trọng?

Nếu AI hiểu được cảm xúc qua giọng nói, cuộc trò chuyện có thể tự nhiên hơn nhiều. Đây cũng mở ra hướng nghiên cứu mới về cách máy học ngôn ngữ từ âm thanh thay vì từ chữ. Tuy nhiên, bài viết chỉ đưa ra các đoạn demo do chính nhóm tạo ra, nên người đọc nên chờ thêm kết quả kiểm chứng độc lập.

Cần theo dõi điều gì?

• Nhóm hứa sẽ chia sẻ thêm nhiều đoạn ghi âm trên X.
• Xem các nhà nghiên cứu khác kiểm chứng những khả năng mà nhóm nêu ra.
• Xem Dessa có được phát hành rộng rãi hay không và người dùng đánh giá ra sao.