AIアプリケーションのキルスイッチ・アーキテクチャの仕組み

何が書かれているか

AIエージェントが別のエージェントを起動し、そのエージェントがさらに道具を使ったりプロセスを動かしたりする仕組みがあるとします。このとき、全体を一度に止めるスイッチをどう作るかが問題になります。筆者は、エージェントを「プロセス」と同じものとみなして止めようとするのは誤りだと指摘しています。

なぜ止めるのが難しいのか

コンピューターはプロセスに番号（PID）をその場で付けます。エージェントの数も動いている間に変わるので、狙い撃ちで止めるのは困難です。さらに、支払いを送ったりメールを送ったりした後では、プロセスを止めても、その操作を取り消すことはできません。

記事の主な要点

• 止める仕組みは5つの層（cgroups、ネットワークとアクセスの遮断、権限の確認ポイント、中央の管理層、短期間だけ有効な権限トークン）が組み合わさったものです。
• この設計で保証できるのは、一定時間の後にエージェントが動けなくなることです。即座に止まる仕組みではありません。

なぜ大切か

AIエージェントが実際の支払いやデータ削除などを行うようになると、「押せば全部止まる」と思い込むのは危険です。記事は、本当に安全に止めるには、プロセスを止めるだけでなく、権限を取り上げる設計が必要だと伝えています。