アーカイブ — CN — technode
Baidu、ERNIE 4.5シリーズモデルをオープンソース化 マルチモーダルMoEアーキテクチャを含む
Baiduは、ERINIE 4.5モデルをオープンソース化しました。Hugging Faceのようなプラットフォーム上で10種類のバリエーションが提供されています。これらのモデルは、合計4240億のパラメータ数を持つマルチモーダルの専門家構造を備え、PaddlePaddleを使用して最適化されています。Apache 2.0のもとオープンソース化されており、研究や商用アプリケーションの両方に設計され、より簡単なファインチューニングや展開のためのツールを提供しています。
要点
- BaiduがERNIE 4.5シリーズをリリースし、Hugging Face、GitHub、およびPaddlePaddleでオープンソース化。
- モデルには、470億および30億のアクティブパラメータを持つ大規模なMoEバリアント、および3億の密なモデルが含まれる。
- マルチモーダルMoEデザインでは、独自のスペースを維持しながら相互モダリティパラメータ共有が可能。
- これらのモデルは、ビジョン-言語タスクの性能を向上させつつ、テキストの性能を損なうことなく機能します。
- PaddlePaddleでトレーニングされ、最大47%のモデルFLOPs利用率を達成。
- 研究および商用目的のためにApache 2.0のライセンスの下でリリースされ、デプロイメント用のERNIEKitなどのツールが提供されています。
なぜ重要か
- 2025年のオープンソースAIモデルのトレンドを反映し、協力とイノベーションを促進しています。
- Baiduのモデルは、さまざまな産業でのマルチモーダルAIアプリケーションへの需要の増加に合致しています。
- MoEの使用と最適化されたリソースの利用は、効率的なAIモデルの訓練と展開に焦点を当てたITトレンドに一致しています。
バイドゥがERNIE 4.5モデルのオープンソース化を行ったことは、AIへの重要な貢献であり、多様なモードの能力を向上させ、急速に進化するテクノロジーの世界において研究と商業開発の両方を支援しています。