3000万パラメータ：ESP32向けローカルAI言語モデル

何が起きたか

Marinaはゼロから小さなAIチャットモデルを作り、ESP32-S3という小さなチップ上で動かしました。「how are you?」と尋ねると、約12秒後に「I'm doing okay.」と答えました。彼女の動画は10月13日以降、15万8千回以上再生されています。

主な数字と事実

• モデルには約3,000万個のパラメータ（学んだ内容を保存する数値）があります。
• 学習には約3億トークン（単語や単語の一部）が使われました。
• 学習データの大半はAIが作った子ども向けの物語と教育サイトで、約1割は公開されているチャットログでした。
• ほとんどの重みは1つあたり4ビットで保存され、チップのメモリに収まるようにしています。
• 追加メモリ16MBの開発ボードでは、毎秒約1.4トークンを生成します。

他の例との比較

別のESP32プロジェクトesp32-aiも、ほぼ同じ大きさ（2,890万パラメータ）のモデルを持っています。毎秒10トークン近くで、約7倍速いです。ただし、パラメータの大半は一種の単語辞書にあり、実際に計算する部分ははるかに小さいです。作者によれば、質問に答えたり指示に従ったりはできないとのことです。

なぜ重要か

このプロジェクトは、非常に安価で消費電力の小さいチップでも、言語モデルが動くことを示しています。AIのしくみを学ぶのに役立ちます。一方、PocketGPTが覚えておける量は64トークンだけで、答えが間違ったり、同じことを繰り返したり、話がずれたりすることがあります。Marinaも、最新のAIモデルと競うべきものではないと述べています。