Hacker News
Năm mô hình Qwen3.8-27B đạt ngang Fable 5 nhờ harness GVS5H
AILần đầu xuất hiện 158 điểm55 bình luận
Một dự án mã nguồn mở tên GVS5H cho thấy việc tổ chức nhiều bản sao của cùng một mô hình AI làm việc cùng nhau có thể giúp chúng giải bài lập trình khó gần bằng một mô hình hàng đầu. Một số mô hình Qwen3.8-27B nhỏ hơn, chạy trên máy riêng, đạt kết quả ngang với Claude Fable 5.
Chuyện gì đã xảy ra?
Nhóm nghiên cứu đưa ra một cách làm gọi là tự điều phối 'kiểu sổ cái'. Ý tưởng là lấy nhiều bản sao mới của cùng một mô hình AI. Một bản sao chia nhỏ bài toán. Các bản sao khác làm việc qua một thư mục dùng chung, nơi lưu kế hoạch, ghi chú và lời giải hiện tại. Cách này không cần huấn luyện lại mô hình. Họ thử trên 100 bài khó mới nhất của bộ đề LiveCodeBench.
Những con số chính
- Qwen3.8-27B tăng từ 66,8% lên 92,4% khi dùng cách điều phối.
- Qwen3.8 Flash Next đạt 93,0%, cao hơn Fable 5 ở mức 90,4%.
- Chi phí của Qwen3.8 Flash Next chỉ bằng khoảng 9% chi phí của Fable 5.
- Có tới 11 mô hình mở và đóng được thử nghiệm.
- Mức tăng cao nhất là 25,6 điểm phần trăm, nhưng một số mô hình không tốt lên hoặc còn kém hơn.
Vì sao cần biết điều này?
Thông thường, muốn làm bài lập trình khó tốt thì phải dùng mô hình lớn, độc quyền và đắt tiền. Mô hình mở là mô hình mà ai cũng có thể tải về và tự chạy. Nếu một mô hình nhỏ chạy trên máy riêng mà làm tốt như vậy, người dùng sẽ tiết kiệm tiền và giữ dữ liệu của mình.
Vì sao điều này quan trọng?
Kết quả cho thấy cách tổ chức việc suy luận, chứ không chỉ kích thước mô hình, cũng có thể tạo ra sự khác biệt lớn. Tuy nhiên, đây là kết quả trên một bộ đề và do nhóm tác giả công bố. Các mô hình khác nhau phản ứng khác nhau, nên cần thêm thử nghiệm độc lập để kiểm chứng.
Cần theo dõi điều gì?
- Các nhà nghiên cứu độc lập có tái hiện được kết quả này không.
- Cách làm này có hiệu quả với các bộ đề và loại bài toán khác không.
- Chi phí thực tế khi chạy trên nhiều bản sao trong thời gian dài.
Chú giải
- LiveCodeBench
- Bộ đề kiểm tra khả năng viết mã lập trình của AI, gồm các bài mới và khó.
- Claude Fable 5
- Một mô hình AI thương mại, dùng làm mốc so sánh trong bài viết.
- Qwen3.8-27B
- Mô hình AI mở với khoảng 27 tỷ tham số, có thể chạy trên máy riêng.
- GVS5H
- Tên dự án mã nguồn mở, có giấy phép MIT, dùng để chạy và đo cách điều phối này.