アーカイブ — US — techcrunch
PrismML、小型LLMがAIの利用方法を変えることを期待
PrismMLは、コンパクトな大規模言語モデル（LLM）「Bonsai 2 27B」を使用して、人工知能の利用を革新しようとしています。このモデルは、サイズを大幅に削減しながら性能を損なうことなく、革新的な方法で圧縮されています。これにより、PCやスマートフォンに収まり、元のベンチマークスコアに近い性能を誇ることができます。カルテックの研究者や投資家の支援を受けている同社は、ユーザーのデバイス上で高度な人工知能への直接アクセスを目指しています。
要点
- PrismMLは2,225万ドルを調達し、性能の低下なしにLLMサイズを削減することを目指しています。
- Bonsai 2 27Bモデルは、Qwen3.8 27Bを5.9 GBに圧縮し、メモリを9倍から10倍削減しました。
- このモデルは、以前のバージョンの95%から、元のベンチマーキングスコアの98%を達成しています。
- 圧縮には、通常の16ビットではなく「三値ウェイト」（+1、-1、0の値）が使用されています。
- 数千億のパラメータを持つ将来のモデルが計画されており、より高度な圧縮への期待があります。
なぜ重要か
- ITの最新トレンドは、モデルの効率性に焦点を当て、AIをエッジデバイスで実行することで、PrismMLの目標と一致しています。
- 圧縮技術は、AIアプリケーションをより利用しやすくし、ユーザーのプライバシーを保護するためにますます重要となっています。
- デバイス内での処理に対する関心は、テクノロジーやデータプライバシーにおける分散化に対する広いトレンドを反映しています。
PrismMLの革新的なLLM圧縮手法は、AIをより利用しやすく効率的にする可能性があり、個人デバイスでの高度なテクノロジーの利用方法を変革する可能性があります。