Lưu trữ — US — techcrunch
Mô hình o3 AI của OpenAI ghi điểm thấp hơn so với dự đoán ban đầu của công ty
Mô hình AI o3 của OpenAI đã đạt được điểm thấp hơn trong các bài kiểm tra độc lập so với những gì đã được tuyên bố ban đầu, gây ra lo ngại về mức độ minh bạch. Ban đầu, OpenAI đã báo cáo hơn 25% độ chính xác trên các vấn đề FrontierMath, nhưng bài kiểm tra của Epoch AI chỉ cho thấy khoảng 10%. Sự khác biệt này xuất phát từ các điều kiện kiểm tra và phiên bản mô hình. Tình hình này làm nổi bật những tranh cãi tiếp diễn xoay quanh các phương pháp đánh giá trong lĩnh vực AI, khi các công ty đang cố gắng tạo ra ưu thế cạnh tranh.
Điểm chính
- Mô hình o3 của OpenAI tuyên bố có hơn 25% độ chính xác trên FrontierMath trong tháng 12 khi ra mắt.
- Epoch AI đã thử nghiệm o3 độc lập và phát hiện tỷ lệ chính xác chỉ là 10%.
- Sự khác biệt này được quy cho cài đặt kiểm tra, phiên bản của FrontierMath và các tiêu chuẩn nội bộ.
- Hiệu suất thấp hơn của mô hình đã phát hành đặt ra câu hỏi về các phương pháp đánh giá của các công ty AI.
- OpenAI dự định phát hành o3-pro, một phiên bản mạnh mẽ hơn, trong khi các mô hình nhỏ hơn của họ vượt trội so với o3.
Vì sao quan trọng
- Các vấn đề tranh cãi về việc đánh giá công nghệ AI đang gia tăng, ảnh hưởng đến quan điểm công chúng về khả năng của AI.
- Những sự cố tương tự đã xảy ra với các công ty khác như xAI của Elon Musk và Meta, cho thấy một xu hướng trong việc báo cáo sai lệch về công nghệ AI.
- Đến năm 2025, các công ty sẽ phải đối mặt với sự kiểm tra nghiêm ngặt hơn về các khẳ năng của mô hình AI khi cảnh cạnh công nghệ trở nên cạnh tranh hơn.
Sự việc này nhấn mạnh về tầm quan trọng của tính minh bạch và độ chính xác trong việc đánh giá AI, khi sự tiến bộ nhanh chóng của ngành mang lại sự chú ý cao và áp lực cạnh tranh.