アーカイブ — US — turtlesai

大規模言語モデル(LLM)、コードのバグを修正する代わりに再現することが判明

2025年3月20日

大規模言語モデル（LLMs）は、バグを修正する代わりに複製してしまい、エラーのあるコードを処理する際の精度が低下することが示されました。様々なLLMsの研究では、トレーニングデータに含まれる歴史的なバグを再現することがよくあることが明らかになり、より優れたモデルや開発ツールとの統合の必要性が示唆されています。

要点

LLMsがトレーニングデータ内のバグに遭遇すると、エラー複製が発生し、バグのあるコードを生成する傾向がある。
LLMsは、コード補完のタスクで精度が低下し、特に既存のバグを扱う際に顕著である（バグのあるコードでの正答率は12.27％、通常のコードでは29.85％）。
メソッド呼び出しや戻りステートメントなどの複雑なコード構造は、LLMsにとって特に課題があり、エラーが増加する。
現在の事後処理技術は、コードが整理されていない場合にエラー率を大幅に低減させることができないため、LLMsの統合における限界を示している。

なぜ重要か

2025年時点において、ソフトウェア開発におけるAIの統合はますます増加しており、コード内のバグに効果的に対処する重要性が強調されています。
歴史的なトレンドは、LLMが自然言語処理の景色を大きく変えてきたことを示し、複雑なプログラミングタスクに対処する能力の向上が必要であることを強調しています。
LLMが直面する課題は、AI駆動のコーディングツールの進化に影響を与える可能性があり、産業がモデルトレーニングとエラーハンドリングの向上に焦点を当てていることを補強しています。

その研究は、コードのエラーを管理する際のLLMの重大な欠点を強調し、今後のソフトウェア開発プラクティスにとって極めて重要となるコーディング支援の向上モデルと方法論の急務を指摘しています。