GPT-4o級モデルが自宅のPCで動いた！ ローカルAIの常識を変える「Strata」 (1/5)

何が起きたのか

9月24日に一般公開された「Strata」は、自分のPCの中でAIを動かす「ローカルLLM」のための技術です。Strataは、AIに必要なデータをVRAM（ビデオカードのメモリ）、RAM（PCのメモリ）、SSD（保存用の記録装置）に分けて置きます。そのため、ビデオカードのメモリが少ないPCでも大きなモデルを動かせます。筆者はRTX 4090搭載PCで試し、動作を確認しました。

数字で見る主な事実

• 対応しているのはAlibabaの「Qwen3.8-Flash-Next」だけ
• 総パラメータ数は125B（1250億）。ただし1回の推論で使うのは6B（60億）
• 筆者のテストで使ったモデル本体は83.86GB
• RTX 4090搭載PCで毎秒約80トークンの速さで文章を出力
• 以前の現実的な選択肢「Qwen3.8-27B」は、ハイエンドPCでも約16～19GBに圧縮した版が必要だった

なぜ今まで難しかったのか

これまでローカルAIで動かせるモデルの大きさは、VRAMの容量やユニファイドメモリ（CPUとGPUで共有するメモリ）の容量で決まっていました。モデルは数十GBにもなるため、一般的なビデオカード搭載PCでは動かせませんでした。MoE（Mixture of Experts）は、仕事に応じて一部の「専門家」だけを使う仕組みです。全体は大きくても、動くときの負担は小さくなります。

なぜ大事なのか

これまでは、高性能なAIを使うには、クラウド（インターネット上のサービス）に頼る必要がありました。Strataが本当に使えるなら、家庭のPCでも賢いAIを動かせるようになります。個人のデータを外に出さずに使えるので、使い方が大きく変わる可能性があります。

これから注目したい点

• 対応するモデルが「Qwen3.8-Flash-Next」だけなのか、ほかのモデルにも広がるか
• 一般的なPCでも同じ速さと賢さが出るか
• ファイルサイズが80GB超と大きいため、保存や配布の負担をどう減らすか