GVS5Hハーネスを使うと、Qwen3.8-27Bの5つのモデルがFable 5に匹敵

何が起きたのか

GVS5Hは、同じモデルの新しい複製を複数用意して、共有のフォルダで協力させる方法です。複製たちは計画、メモ、今の解答を共有フォルダに書き込みます。この方法を、最新の難しいプログラミング問題100問で試しました。その結果、Qwen3.8系のモデルが、Claude Fable 5に近い、または上回る正解率を出したと書かれています。

主な数字

• Orchestrated Qwen3.8 Flash Nextの正解率は93.0%で、Fable 5の90.4%を上回りました。
• そのときの費用は、Fable 5の約9%でした。
• ローカルで動かしたQwen3.8-27Bは、66.8%から92.4%に上がりました。
• 試したモデルは11個で、すべてで効果が出たわけではありません。変わらないものや悪くなるものもありました。

やさしい説明

正解率は、1回で正しい答えを出せた割合を示します。この記事では、1回目の答えだけを数える指標(pass@1)を使っています。方法の名前にある「ゴリラ対5人」は、5人が肩車をして、ゴリラと同じ高さになるという絵で、5つの複製が力を合わせることを表しています。

なぜ大切なのか

高い性能を出すには、普通は大きくて高価な有料モデルが必要だと考えられてきました。この研究は、学習をやり直さずに、使い方の工夫だけで性能を大きく伸ばせる可能性を示しています。自分の機械で動かせるオープンモデルでも、高い性能に近づけるなら、費用とデータの管理の面で大きな意味があります。

今後の注目点

• 同じ結果が、別の問題集や別の環境でも再現できるかどうか。
• Opus 5など、別の条件で試したモデルの結果が、同じ条件で比べても近いかどうか。
• 効果が出ないモデルがなぜ変わらないのか、その理由の分析が進むかどうか。