DeepSeek V4.1 Flash 1017をUnsloth PRで試す。これはほんとに使える - きしだのHatena

何が書かれているか

筆者は、DeepSeek V4.1 Flash 1017をMac Studio（M3 Ultra）で動かしました。最初は遅かったのですが、Unslothさんの実装（PR）に変えたところ、速度もコードの質も良くなりました。筆者は「ほんとに使えるモデル」と結論づけています。

主な数字

• Unslothさんの実装では、15万トークンまで試して約29トークン/秒で安定しました。
• 10万トークンのとき、以前の実装（vcruz版）は約7トークン/秒まで落ちていました。Unsloth版は約28.9トークン/秒です。
• Pagoda Gardenは約6万トークン、街中戦車は約3.5万トークンのコードを、修正なしで一発で出せました。
• 帆船のモデリングは約4時間半、ほぼ手をかけずに完成しました。

速くなった理由

このモデルは「スパースアテンション」という仕組みを使います。必要な情報だけを計算すればよいはずですが、以前の実装は全部取り出してから不要な部分を隠していました。そのため、長い文章ほど遅くなっていました。筆者が必要な分だけ計算するようにすると速くなり、Unsloth版では同じ上位の情報を使い回して、さらに速くしています。

なぜ大事か

長い文章を扱えないと、エージェント（自動で作業するAI）は使いにくくなります。30万トークンほどを安定して扱えれば、長い作業も任せやすくなります。筆者は、ゲーム作りや3Dモデリングでも高い性能を見せたことから、実用性が高いと感じています。

今後注目したい点

• 筆者は、30万トークンまでの速度は計算上の見積もりで、実測は15万トークンまでであることに注意しています。
• 数人で同時に使う場合、速度を上げるための近似処理がループを招くかもしれないと、筆者は予想しています。
• Unslothさんの実装が、llama.cppの本体に取り込まれるかどうかが気になります。