heise+｜GoogleはAIエージェントをプロンプトインジェクションからどう守っているか――インタビュー

何が起きたのか

heise は、ミュンヘンで Google のソフトウェアエンジニア Viviana Sutedjo さんに話を聞きました。彼女はサイバーセキュリティ分野で、AIの安全性を担当しています。インタビューのテーマは、Google がAIエージェントをプロンプトインジェクションからどう守っているか、です。ただし、無料で読める部分は答えの前で終わっています。

プロンプトインジェクションとは

プロンプトインジェクションとは、言葉の工夫でAIをだまし、やってはいけないことをさせる方法です。最初の手口は単純でした。別の言語で頼んだり、つらい話をして制限を越えさせたりしました。名前は、コンピュータの既知の弱点である SQLインジェクション に由来します。今の手口はもっと巧妙です。たとえば、メールの中に隠されたカレンダーの招待があると、メールを要約するAIエージェントがだまされることがあります。

なぜ大事なのか

AIエージェントは、メールを読んだりアプリを使ったりするなど、実際の仕事をこなします。もしエージェントがだまされると、データが漏れたり、悪い人の代わりに動かされたりするおそれがあります。そのため、エージェントを作る会社にとって、守る仕組みを作ることはとても重要な仕事です。

これから注目すべき点

• 全文を読むには heise+ の有料会員登録が必要です。Google がエージェントをどう守っているかが詳しく書かれています。
• AIエージェントの力が強くなるにつれ、新しい種類のプロンプトインジェクション攻撃が出てくるかもしれません。
• Google など他のAI企業が、新しい安全対策を発表するかどうかに注目です。