Mercury 3: Diffusion ở quy mô lớn

Chuyện gì đã xảy ra?

Đội Inception vừa ra mắt Mercury 3. Đây là mô hình ngôn ngữ lớn (LLM) dùng kỹ thuật khuếch tán, được họ gọi là mô hình khuếch tán mạnh nhất từng phát hành. Công ty cho biết Mercury 3 vượt qua GPT-6 Luna và Claude Haiku 5.5 trong nhiều bài kiểm tra, đồng thời chạy nhanh hơn từ 4 đến 8 lần.

Các con số chính

• Tốc độ: khoảng 1.068 token mỗi giây trên GPU của NVIDIA. Token là các mảnh chữ nhỏ mà AI đọc và viết.
• Kích thước: lớn hơn Mercury 1 hơn 40 lần.
• Ngữ cảnh: 1 triệu token, tăng từ 260 nghìn token của Mercury 2.5. Ngữ cảnh là lượng chữ AI có thể nhớ cùng lúc.
• Giá: 0,20 USD cho 1 triệu token đầu vào và 0,70 USD cho 1 triệu token đầu ra.
• Giảm giá khi ra mắt: còn 0,10 USD và 0,35 USD. Token được lưu sẵn (cached) giảm 90% giá đầu vào.

Diffusion là gì?

Phần lớn AI hiện nay viết từng từ một, theo thứ tự. Mô hình khuếch tán thì làm việc khác: nó bắt đầu từ một bản nháp lộn xộn rồi sửa dần cho đến khi thành câu hoàn chỉnh. Khi Mercury 1 ra mắt, đây là bằng chứng đầu tiên cho thấy kỹ thuật này có thể dùng trong thương mại. Câu hỏi lớn lúc đó là liệu nó có đua được với các mô hình viết tuần tự trong việc khó hay không. Mercury 3 cho thấy là có thể.

Vì sao điều này quan trọng?

Nhiều ứng dụng AI cần trả lời nhanh, như trợ lý giọng nói, gia sư trực tuyến hay tác nhân tự động lướt web. Mỗi lần chờ AI đều làm chậm cả chuỗi công việc. Nếu AI vừa nhanh vừa giỏi và rẻ hơn, các công ty có thể làm được nhiều việc hơn với chi phí thấp hơn. Các đối tác dùng thử nói rằng học sinh nhận được phản hồi trong khoảng một giây, và ứng dụng tìm kiếm không còn cảm giác bị treo.

Cần theo dõi điều gì?

• Kết quả kiểm tra độc lập có khớp với lời công ty nói hay không.
• Mercury 3 có giữ được tốc độ và chất lượng khi nhiều người dùng cùng lúc hay không.
• Các công ty khác có làm mô hình khuếch tán lớn tương tự không.