Kimi K3.1 đạt 55 điểm trên Artificial Analysis, nằm trên đường Pareto

Chuyện gì đã xảy ra?

Artificial Analysis là nhóm đo kiểm độc lập, chuyên so sánh sức mạnh của các mô hình AI. Nhóm này vừa chấm Kimi K3.1 Pro và thấy mô hình nằm trên "đường Pareto". Đây là vị trí tốt, nghĩa là mô hình cho kết quả cao so với chi phí bỏ ra. Mô hình này có khả năng suy luận, nhận đầu vào là văn bản và hình ảnh, và chỉ trả ra văn bản.

Các con số chính

• Điểm trí tuệ: 55 (trung bình của nhóm so sánh là 27).
• Tốc độ: 77 token mỗi giây, chậm hơn mức trung bình là 81.
• Giá: 2,00 USD cho 1 triệu token đầu vào và 10,00 USD cho 1 triệu token đầu ra. Đây là mức giá vừa phải.
• Chi phí chạy một bài kiểm tra trí tuệ: khoảng 2,11 USD.
• Độ dài trả lời: 150 triệu token, nhiều hơn hẳn mức trung bình là 87 triệu. Nghĩa là mô hình nói rất dài dòng.

Vài khái niệm cần biết

Mô hình AI là chương trình được huấn luyện để hiểu và tạo ra ngôn ngữ. Điểm trí tuệ là một con số tổng hợp từ 10 bài kiểm tra khác nhau, gồm viết code, đọc tài liệu và trả lời câu hỏi khoa học. Token là các mẩu chữ nhỏ mà AI đọc và viết. Cửa sổ ngữ cảnh là lượng thông tin tối đa mô hình có thể nhớ trong một lần làm việc.

Vì sao tin này quan trọng?

Mô hình này cho thấy một nhà phát triển có thể đạt trí tuệ cao với giá không quá đắt. Tuy nhiên, nó chậm và nói rất dài, nên người dùng cần cân nhắc khi chọn. Với học sinh và người dùng bình thường, đây là ví dụ rõ ràng rằng sức mạnh, tốc độ và giá của AI luôn phải đánh đổi với nhau.

Cần theo dõi điều gì?

• Xem mô hình có được đánh giá lại với phiên bản mới hơn hay không.
• Theo dõi xem tốc độ và độ dài trả lời có được cải thiện không.
• So sánh với các mô hình khác có giá tương đương.