「ロボットの誤作動かと思ったらハッキングだった」――フィジカルAIのセキュリティ脅威が拡大

何が起きたのか

ガートナーは、フィジカルAIが企業のセキュリティ責任者（CISO）に与える影響についての報告書を出しました。報告書によると、これまでのネットワーク中心のセキュリティでは、フィジカルAIの安全を守るには不十分です。フィジカルAIとは、カメラやセンサーで周りの様子を感じ取り、自分で動くAIのことです。ロボット、ドローン、自動運転車がその例です。

注目すべき数字と事実

• IEEEの研究では、目立たない攻撃によってシステムが経路から最大8メートルずれることがわかりました。
• 同じ攻撃で、システムが実際にはない障害物を「見て」しまうことがあります。
• ネットワークのセキュリティ確認で約15ミリ秒（1000分の15秒）の遅れが出るだけで、リアルタイムの制御が壊れるおそれがあります。
• ガートナーによると、産業用の制御システムの多くは、まだフィジカルAIを大規模には使っていません。

なぜ特別に危ないのか

フィジカルAIは、周りの変化に合わせて動くように作られています。そのため、攻撃者がセンサーのデータを少しずつずらすと、その変化が普通の学習に見えてしまいます。また、AIのモデルは予想外の動きをすることもあります。チャットボットが間違った答えを作るだけなら小さな問題です。しかし、ロボットアームが誤って動いたり、モーターが力を出しすぎたりすると、本当に危険です。

なぜ大切なのか

力を持つ機械がミスをすると、人や工場がけがをするおそれがあります。ガートナーは、ソフトウェアだけではこうした事故を防げないかもしれないと言っています。また、安全装置を正しく付けなかったり、安全な運用をしなかったりした場合、企業が責任を問われることもあります。フィジカルAIが広く使われる前に、セキュリティの担当者が備えておく必要があります。

今後注目すべき点

• 企業が、AIとは別に動くハードウェアの安全スイッチを付けるかどうか。
• リアルタイムの制御を遅らせないようにセキュリティ確認を設計できるかどうか。
• 実際の動きを監視し、おかしいと感じたら安全モードに切り替える別の監視システムが作られるかどうか。
• AIで動く機械が職場で事故を起こした場合の責任のルールがどう変わるか。