アーカイブ — US — turtlesai
MiniMax-M1、AI大手に対抗する1MトークンのオープンソースLLMを発表
MiniMax-M1は、上海のスタートアップ企業MiniMaxが開発した新しいオープンソースのLLMです。1Mトークンのコンテキストウィンドウと低コストのトレーニングを特徴としています。Apache2.0ライセンスの下でリリースされ、ハイブリッドのMixture-of-Expertsアーキテクチャを使用し、LightningAttentionで効率を実現しています。その優れた機能により、OpenAIやGoogleなどのAI巨大企業に対抗しています。
要点
- MiniMax-M1は2025年6月16日にローンチされた、コンテキストウィンドウが1Mトークンで出力トークンが80KのオープンソースLLMです。
- パフォーマンスと計算コストを最適化するためにハイブリッドMixture-of-Expertsアーキテクチャを活用しています。
- 512台のH800 GPU上でCISPOアルゴリズムを使用してトレーニングを行い、約3週間かかり、約$535Kの費用がかかりました。
- DeepSeek-R1と比較してパフォーマンスベンチマークは同等であり、特に大規模なデータ処理において一部の機能で優れています。
- LightningAttentionメカニズムにより、ライバルと比較してFLOPsが大幅に削減された状態で10万トークンの生成が可能です。
- vLLMやTransformersなどのインフラストラクチャをサポートし、チャットボットAPIやメディア生成などさまざまな用途に活用されています。
なぜ重要か
- オープンソースLLMsの台頭がAI技術の民主化に貢献しており、協力的ソフトウェア開発のトレンドを反映しています。
- OpenAIやGoogleなどの企業がプロプライエタリ（独自）モデルを推進する中、MiniMax-M1のローンチが競争の激しい環境での挑戦を示しています。
- 効率的なAIモデルに向かうトレンドは、組織が限られた予算内で効果的なソリューションを探している中、2025年までにコスト効率の良いAI展開に焦点を当てるITトレンドと一致しています。
MiniMax-M1のリリースは、オープンソースAIの世界における画期的な出来事であり、先進技術と効率性、コスト効率を組み合わせ、従来のプレーヤーに挑戦し、LLM機能の新たな基準を打ち立てます。