Lưu trữ — CN — technode
Baidu công bố mã nguồn mở các mô hình ERNIE 4.5, bao gồm kiến trúc MoE đa phương thức
Baidu đã công bố mã nguồn mở mô hình ERNIE 4.5 của mình, bao gồm 10 biến thể trên các nền tảng như Hugging Face. Các mô hình này có kiến trúc tổ hợp chuyên gia đa phương tiện với tổng số tham số lên đến 424 tỷ, được tối ưu hóa bằng PaddlePaddle. Mã nguồn mở theo giấy phép Apache 2.0, được thiết kế cho cả nghiên cứu và ứng dụng thương mại, cung cấp các công cụ cho việc điều chỉnh và triển khai dễ dàng hơn.
Điểm chính
- Baidu đã phát hành loạt ERNIE 4.5, công khai mã nguồn trên Hugging Face, GitHub, và PaddlePaddle.
- Các mô hình bao gồm các biến thể MoE lớn với 47 tỷ và 3 tỷ tham số được kích hoạt, cùng với các mô hình dense có 0.3 tỷ tham số.
- Thiết kế MoE đa modal cho phép chia sẻ tham số giữa các chế độ một cách hiệu quả mà vẫn giữ nguyên không gian riêng biệt.
- Các mô hình giúp cải thiện hiệu suất trong các nhiệm vụ liên quan đến thị giác và ngôn ngữ mà không ảnh hưởng đến hiệu suất văn bản.
- Được huấn luyện với PaddlePaddle, đạt được việc sử dụng FLOPs của mô hình lên đến 47%.
- Phát hành dưới giấy phép Apache 2.0 cho cả nghiên cứu và sử dụng thương mại, với các công cụ như ERNIEKit để triển khai.
Vì sao quan trọng
- Thông báo này phản ánh xu hướng của các mô hình trí tuệ nhân tạo mã nguồn mở trong năm 2025, thúc đẩy sự hợp tác và sáng tạo.
- Các mô hình của Baidu phù hợp với nhu cầu tăng của các ứng dụng trí tuệ nhân tạo đa phương tiện trên nhiều ngành công nghiệp.
- Việc sử dụng MoE và tối ưu tài nguyên đi kèm với xu hướng CNTT tập trung vào việc huấn luyện và triển khai mô hình trí tuệ nhân tạo một cách hiệu quả.
Việc Baidu công bố mã nguồn mở mô hình ERNIE 4.5 đánh dấu một đóng góp quan trọng vào lĩnh vực trí tuệ nhân tạo, nâng cao khả năng đa dạng và hỗ trợ cả nghiên cứu lẫn phát triển thương mại trong bối cảnh công nghệ đang phát triển nhanh chóng.