アーカイブ — US — turtlesai
Reka Flash 3：優れた性能を持つ21B推論モデル
Rekaは、チャットや関数呼び出しなどのタスクに最適な21億パラメータのマルチモーダル言語モデルであるReka Flash 3をオープンソース化しました。これは、プロプライエタリなソリューションと比較して優れた性能を発揮し、最大32,000トークンまでのコンテキストをサポートしており、低遅延のアプリケーションに適しています。効率的である一方で、膨大な知識タスクを処理する際には限界があります。
要点
- Reka Flash 3は210億のパラメータを持つオープンソースモデルです。
- これは、OpenAIのo1-miniなどの独自のモデルと競争力のある性能を示しています。
- 最大32,000トークンのコンテキスト長をサポートするため、さまざまなアプリケーションに適しています。
- 低遅延とローカルデバイスへの展開を最適化されています。
- トレーニングでは、多様なデータでの事前トレーニング、高品質な指示による調整、そして強化学習が行われました。
- AIME-2024で以前のモデルを凌駕し、WMT'23で83.2のCOMETスコアを達成しました。
- MMLU-Proでは65.0のスコアを獲得し、知識集約的なタスクにはウェブ検索と統合する必要があるかもしれません。
- 出力生成中の推論ステップを制御するタグを使用したユニークな推論管理メカニズムを特長としています。
- モデルの圧縮サイズは最大11GBまで縮小可能であり、大きなモデルと比較して効率的です。
- 主に英語用に設計されていますが、一部の多言語機能も備えており、整合性やトレーニングは今後の改善の余地があります。
- 開発者向けにApache 2.0ライセンスの下で、試用版やダウンロード可能なモデルの重みが提供されています。
なぜ重要か
- Reka Flash 3のリリースは、AIのオープンソース化やアクセス可能なモデルへの動向と一致しています。
- 2025年現在、低遅延アプリケーションはエッジコンピューティングを含むAI展開にとって重要です。
- このモデルのマルチタスク能力は、様々なアプリケーションに役立つ汎用言語モデルへの業界の動向を反映しています。
- オープンソースのプロジェクトは、AIの開発スピードや研究者が利用できる先端ツールへのアクセスに大きな影響を与えています。
Reka Flash 3は、革新的な機能と効率性を組み合わせたマルチモーダル言語モデルの大きな進歩を表しており、AI分野でのさらなる探求や潜在的な応用を招くものと言えます。