Sleepフレームワーク：継続学習でLLMが知識を保持する新しい方法

何が起きたのか

研究チームは、LLMに「スリープ（睡眠）段階」を加える新しい学習の方法を紹介しました。モデルは、ふだんは入力を受け取って処理する「活動（覚醒）段階」で動きます。そして一定の時間には、新しい入力を止めて、記憶を固める「睡眠段階」に入ります。睡眠中は、新しい知識を長期的な記憶に移し、推論の力も高めます。

今のAIが抱える問題

今のLLMは、学習が終わると基本的に変わりません。知識の期限（知識カットオフ日）があり、それ以降の新しい情報は知りにくいのです。モデルに新しいデータで学習をさせ直すと、以前覚えたことを忘れてしまう「破滅的忘却」という問題も起きます。一方で、会話の中だけで情報を扱う方法（文脈内学習）では、その会話が終わると情報が消えてしまいます。

数字で見るポイント

• 長い文脈の知識を最大1000万トークンまで保てると説明されています
• 記憶の整理は、人の脳が休むときの「ノンレム睡眠」にヒントを得ています
• モデルの基本構造やコードは変えず、学習のルールを変えることで実現します

なぜ大切なのか

AIが使われた後も学び続けられるなら、最新の情報に対応しやすくなります。また、以前の知識を忘れにくくなるため、長く使えるAIを作る助けになります。ただし、この研究は発表段階の内容で、実際の製品にどれだけ使えるかはまだ分かりません。

今後注目したいこと

• 実際の大規模モデルで、忘れる問題がどれだけ減るか
• 睡眠段階で作られる「練習用の例」の質
• 新しい知識と古い知識を両立させる仕組みが、現実のサービスで安定して動くか