EXPLORINEER
ja

アーカイブ — CN — technode

Huaweiチューリッヒラボ、新しいオープンソース技術でLLMを消費者向けGPUで稼働可能に

華為のチューリッヒ研究所は、SINQというオープンソースの量子化方法を発表しました。この方法は、大規模言語モデルのメモリ要件を大幅に削減し、それを高価なエンタープライズGPUではなく、RTX 4090のような消費者向けGPUで実行できるようにします。このイノベーションは、GitHubとHugging Faceで利用可能であり、精度を維持しながらハードウェアおよびクラウドの計算コストを低減することを目的としています。

要点

  • Huaweiは、新しいオープンソースの量子化手法であるSINQを開発しました。
  • SINQはLLMsのメモリ要件を最大70％削減します。
  • 高価なエンタープライズGPU（Nvidia A100やH100）ではなく、消費者向けGPU（RTX 4090）でLLMsを実行可能にします。
  • ハードウェアおよびクラウドコンピューティングコストを削減します。
  • このプロジェクトはApache 2.0のライセンスのもとで公開され、GitHubとHugging Faceで入手可能です。
  • SINQは、データキャリブレーション手法に近い精度を実現し、速度と精度でRTNやHQQを上回っています。

なぜ重要か

  • 2025年のITトレンドに沿ったこの動向は、強力なツールを中小組織にも利用可能にするAI技術の民主化を促進しています。
  • オープンソースの取り組みは、技術の進歩を加速し、AI開発のコストを削減する上でますます重要になっています。
  • GPUがAI作業でより重要になる中、それらを一般向けのハードウェアでも利用できるようにすることは、テクノロジーへのアクセスの増加のトレンドと一致しています。

HuaweiのSINQのリリースは、AI技術の重要な進歩を示しており、強力なLLMsへの広範なアクセスを可能にすると同時に、コストとリソースの最適化を図っています。これは、テック産業における民主化とオープンソースの協力への現在進行中のトレンドを反映しています。