アーカイブ — US — turtlesai
Windows 98でのLLM：AIがその原点に戻る
研究者たちは、Windows 98 PCでPentium IIプロセッサーと128 MB RAMを使用して、39.31トークン/秒の結果を達成しました。これは、BitNetアーキテクチャのおかげです。このプロジェクトは、AIへのアクセスを民主化し、古いデバイスでも開発を促進することを目的としており、効率的なモデルがAIの機能を拡張できることを示しています。
要点
- LLMベースのLlama 2に基づいたLLMが、Windows 98 PC上でPentium IIプロセッサーを搭載して実行されました。
- このモデルは、わずか128 MBのRAMで39.31トークン/秒の性能を達成しました。
- 研究者たちは、Borland C++ 5.02でコンパイルされた、llama2.cを改変したllama98.cというコードを使用しました。
- BitNetの利用や3進重みつきアーキテクチャの採用により、古いハードウェアでも数百億のパラメーターモデルを実行することが可能です。
- EXO Labsはオープンソースをサポートし、GitHubでコードを公開することで、過去のデバイスでもAIへのアクセスを実現することを目指しています。
なぜ重要か
- プロジェクトは、2025年のITトレンドを活用し、低リソースコンピューティング、AIの民主化、持続可能性に重点を置いています。
- コンピューティングの進化における歴史的重要性を示し、古いハードウェアでも現代のアプリケーションに適していることを示しています。
- AIモデルのアクセシビリティと手頃さの最適化に対する関心の高まりは、テクノロジーの包括性において広いトレンドを反映しています。
古いハードウェアを使用して高度なAIモデルを実行するこの革新的な取り組みは、AI技術をより利用しやすく、持続可能にする方向に大きく進んでおり、遺産システムにおけるコンピューティングの将来的な進歩への道を開いています。