KR — ZDNet Korea
Selectstar công bố công nghệ tự động chọn mô hình AI, giảm 28% chi phí
AI2 phút đọc
Công ty AI Hàn Quốc SelectStar vừa ra mắt Dabi, một mô hình AI chọn ra mô hình AI phù hợp nhất cho từng câu hỏi. Theo thử nghiệm của chính công ty, cách này giúp giảm chi phí khoảng 28% và tăng độ chính xác.
Chuyện gì đã xảy ra?
SelectStar công bố Dabi, một mô hình AI đặc biệt có nhiệm vụ đánh giá các mô hình AI khác. Dabi đọc câu hỏi, xem câu hỏi khó đến mức nào, rồi chọn một mô hình AI phù hợp để trả lời. Dabi cũng có thể chấm điểm câu trả lời của AI. Nó còn dự đoán xem một AI agent (tác tử AI, tức là AI tự làm việc theo nhiệm vụ) có hoàn thành công việc hay không. Ngoài ra, SelectStar đã mở mã nguồn một plugin định tuyến mô hình cho lập trình viên.
Các con số chính
- Chi phí chạy mô hình thấp hơn khoảng 28% so với chỉ dùng mô hình mạnh nhất.
- Số câu trả lời đúng: 619/870 (71,1%) với Dabi, so với 612/870 (70,3%) khi chỉ dùng mô hình mạnh nhất.
- Trên bài kiểm tra JebiBench (231 câu hỏi): Dabi đạt 89,2%, còn Zeb đạt 86,6%.
- Với câu hỏi khó: Dabi đạt 77,5%, còn Zeb đạt 73,0%.
- Khi chấm câu trả lời tiếng Hàn: Dabi đạt 72,5%, còn Zeb đạt 66,8%.
Định tuyến mô hình là gì?
Hiện nay, dịch vụ AI thường gửi mọi câu hỏi đến cùng một mô hình cố định. Nếu câu hỏi đơn giản mà vẫn gửi đến mô hình mạnh, thì tiền bị lãng phí. Nếu câu hỏi khó mà gửi đến mô hình yếu, câu trả lời có thể sai. Định tuyến mô hình cố gắng giải quyết cả hai vấn đề. Câu dễ được gửi đến mô hình nhỏ, rẻ. Câu khó được gửi đến mô hình mạnh, đắt hơn.
Vì sao điều này quan trọng?
Các công ty chạy dịch vụ AI phải trả tiền cho mỗi lần gọi mô hình. Vì vậy, nếu chi phí giảm, AI có thể trở nên rẻ hơn khi sử dụng. Tuy nhiên, SelectStar cũng nói rằng việc tiết kiệm chỉ có ý nghĩa khi chất lượng câu trả lời vẫn cao. Kết quả này đến từ thử nghiệm của chính công ty và chỉ bao gồm các câu hỏi khó về hỏi đáp tiếng Hàn. Con số chi phí cũng chưa tính chi phí gọi Dabi, nên mức tiết kiệm thực tế khi dùng trong kinh doanh vẫn cần được kiểm chứng.
Điều cần theo dõi
- SelectStar dự định dùng Dabi trong nền tảng tin cậy AI của mình, Datumo Eval, bắt đầu từ tháng 11.
- Các bài kiểm tra độc lập sẽ cho thấy mức tiết kiệm chi phí có đúng ngoài thí nghiệm của công ty hay không.
- Lập trình viên có thể thử plugin mã nguồn mở theo giấy phép Apache License 2.0, giấy phép này cho phép sử dụng thương mại.
Chú giải
- SelectStar
- Công ty AI đến từ Hàn Quốc, phát triển Dabi và nền tảng Datumo Eval.
- Dabi
- Mô hình AI chọn mô hình AI phù hợp nhất cho từng câu hỏi và cũng chấm điểm câu trả lời.
- Datumo Eval
- Nền tảng tin cậy AI của SelectStar, dùng để đánh giá AI.
- AI agent
- Tác tử AI, một AI tự thực hiện nhiệm vụ theo các bước để đạt mục tiêu.
- Apache License 2.0
- Giấy phép phần mềm mã nguồn mở, cho phép người dùng sử dụng, sửa đổi và dùng cho mục đích thương mại.