Nvidia ra mắt mô hình nhận dạng giọng nói mã mở hỗ trợ 40 ngôn ngữ

Chuyện gì đã xảy ra

Vào ngày 28/10 (giờ địa phương), Nvidia đã phát hành Nemotron 3.5 Transcribe. Đây là mô hình AI "open-weight", nghĩa là ai cũng có thể tải về và chạy trên máy của mình. Mô hình này chuyển giọng nói thành văn bản bằng 40 ngôn ngữ. Nó cũng có thể dịch giọng nói giữa tiếng Anh và hầu hết các ngôn ngữ còn lại. Mô hình chỉ xử lý bản ghi âm, không xử lý giọng nói trực tiếp. Mỗi lần, nó có thể xử lý tối đa một giờ âm thanh và ghi nhãn người nói.

Các con số chính

• Tổng kích thước khoảng 34 tỷ tham số (các cài đặt mà mô hình học được), nhưng mỗi tác vụ chỉ dùng khoảng 4,3 tỷ.
• Ghi nhãn người nói: tối đa 8 người, theo TechCrunch.
• Tỷ lệ lỗi từ (càng thấp càng tốt): trung bình 4,71% trên 9 bộ dữ liệu tiếng Anh, và 4,62% trên 7 ngôn ngữ khác.
• Bài kiểm tra cuộc họp nhiều người nói: 15,80%, tốt hơn mức cao nhất công khai trước đó là 16,83%.
• Tốc độ: khoảng 2.238 giây âm thanh được xử lý mỗi giây trên một GPU RTX PRO 6000, theo Nvidia.

Mô hình hoạt động thế nào

Nvidia dùng thiết kế gọi là mô hình chuyên gia hỗn hợp (MoE). Với mỗi việc, chỉ một số phần chuyên gia trong mô hình được bật lên. Nhờ vậy, khối lượng việc cần làm vẫn thấp dù mô hình rất lớn. Nvidia cũng phát hành Granary v2, một bộ dữ liệu giọng nói. Các công ty có thể dùng bộ dữ liệu này để dạy mô hình các thuật ngữ chuyên ngành.

Vì sao tin này quan trọng

Công cụ chuyển giọng nói thành chữ được dùng để ghi biên bản họp và hồ sơ y tế. Vì mô hình này mở và được dùng miễn phí cho mục đích thương mại, các công ty có thể chạy nó trên máy tính của riêng mình. Thị trường này cũng đang đông đúc. Đầu tháng này, Mistral đã ra mắt mô hình chuyển giọng nói Voxtral 3. ElevenLabs thì vừa ra mắt mô hình thời gian thực cho các trợ lý giọng nói.

Cần theo dõi điều gì

• Các bài kiểm tra độc lập có xác nhận điểm chính xác mà Nvidia đưa ra hay không.
• Mô hình hoạt động tốt đến đâu trong các cuộc họp thật và môi trường y tế.
• Các công ty khác sẽ phản ứng thế nào bằng những mô hình giọng nói mới.