보관된 글 — CN — technode
Baidu, ERNIE 4.5 시리즈 모델 오픈 소스, 멀티모달 MoE 아키텍처 포함
바이두가 ERNIE 4.5 모델을 오픈 소스로 공개했으며, 허깅페이스와 같은 플랫폼에서 10 가지 변형이 제공됩니다. 이 모델은 총 파라미터 개수가 최대 4240억 개인 멀티모달 익스퍼트 아키텍처를 특징으로 하며, PaddlePaddle을 활용하여 최적화되었습니다. Apache 2.0로 오픈 소스로 제공되며, 연구 및 상용 어플리케이션 모두에 적합하며, 보다 쉬운 파인 튜닝 및 배포를 위한 도구를 제공합니다.
핵심 정리
- 바이두가 ERNIE 4.5 시리즈를 공개했으며, Hugging Face, GitHub 및 PaddlePaddle에서 오픈소스로 제공했습니다.
- 모델에는 470억과 30억 활성화된 파라미터를 가진 대규모 MoE 변형 모델이 포함되어 있습니다.
- 다중 모달 MoE 디자인을 사용하여 전체 모델에서 각 모달리티의 파라미터를 공유하면서도 전용 공간을 유지할 수 있습니다.
- 모델은 텍스트 성능을 희생하지 않고 시각-언어 작업의 성능을 향상시킵니다.
- PaddlePaddle로 훈련되어 모델의 FLOPs 이용률을 최대 47%까지 달성했습니다.
- 연구 및 상용 사용을 위해 Apache 2.0로 배포되었으며, 배포를 위한 ERNIEKit과 같은 도구가 제공됩니다.
왜 중요한가
- 2025년 오픈 소스 AI 모델의 추세를 반영한 이번 릴리스는 협력과 혁신을 촉진하고 있습니다.
- 바이두의 모델은 다양한 산업에서 다중 모달 AI 응용 프로그램에 대한 증가하는 수요와 일치하고 있습니다.
- MoE와 최적화된 자원의 사용은 효율적인 AI 모델 교육과 배포에 초점을 맞춘 IT 트렌드와 일관성이 있습니다.
Baidu가 ERNIE 4.5 모델의 오픈 소스화는 AI 분야에 중요한 기여로 평가되며, 다중 모달 능력을 향상시키고 빠르게 진화하는 기술 분야에서 연구와 상업 개발을 지원합니다.