Người dùng ngôn ngữ ít phổ biến tốn nhiều tiền hơn cho AI

Chuyện gì đã xảy ra?

Khi dùng ngôn ngữ ít người biết, AI phải xử lý nhiều token hơn so với tiếng Anh hoặc các ngôn ngữ phổ biến khác. Điều này khiến người dùng bị thiệt. Pratyush Choudhury, đồng sáng lập quỹ đầu tư Activate AI ở Ấn Độ, cho rằng cách làm này khiến AI có ít chỗ hơn để nhớ tài liệu và lịch sử trò chuyện.

Các con số chính

• Ngay trong nhóm 20 ngôn ngữ phổ biến nhất trên Internet, ngôn ngữ đắt nhất cần số token gấp 1,5 đến 5 lần ngôn ngữ rẻ nhất.
• Khi mở rộng lên 200 ngôn ngữ, chênh lệch chi phí token trong cùng một mô hình AI tăng tới 17 lần.
• Một nhân viên của Anthropic dùng công cụ Claude Code đã tiêu hơn 150.000 USD chỉ trong một tháng.

Token là gì và vì sao quan trọng?

Token là đơn vị nhỏ mà AI dùng để đọc và xử lý văn bản, hình ảnh hoặc âm thanh. Công cụ tokenizer cắt dữ liệu thô thành các token này. Mỗi mô hình AI chỉ nhớ được một lượng token nhất định trong một phiên làm việc, gọi là cửa sổ ngữ cảnh. Nhóm CLEAR gọi phần chi phí thêm cho ngôn ngữ ít phổ biến là "thuế tokenizer ẩn".

Vì sao điều này quan trọng?

Nếu phải trả nhiều tiền hơn và chờ lâu hơn, người dùng nói tiếng ít phổ biến sẽ khó tiếp cận AI như người nói tiếng Anh. Nhóm CLEAR cho biết lượng token lớn còn làm AI phản hồi chậm hơn và giảm dung lượng ngữ cảnh thực tế. Choudhury đề nghị các phòng thí nghiệm AI lớn công bố bảng đánh giá theo từng ngôn ngữ và cam kết cải thiện cho những ngôn ngữ thiệt thòi nhất.

Cần theo dõi điều gì?

• Các phòng thí nghiệm AI lớn có công bố bảng đánh giá chi phí theo từng ngôn ngữ hay không.
• Các công ty có tiếp tục dùng lượng token làm chỉ số đo hiệu quả làm việc hay không.
• Mẹo "chuyển đổi mô hình", tức giao việc khó cho mô hình đắt và việc dễ cho mô hình rẻ, có được áp dụng rộng rãi hay không.