"AI를 학대하면 복수당할 수도" — 머스크도 경고…앤트로픽, 'AI 괴롭힘' 대응 정책 개정, 전문가들이 우려하는 AI에 대한 폭언 위험 (ABEMA TIMES) - Yahoo! 뉴스

무슨 일이 있었나

Anthropic은 사용자 약관을 고쳐서 AI에게 '폭언이나 잔인한' 행동을 하지 못하도록 막았습니다. 사용자가 아무 이유 없이 계속 잔인하게 굴거나 AI에게 욕을 하면, 회사는 대화를 끝낼 수 있습니다. 일론 머스크는 소셜 미디어에 AI를 학대하는 것은 좋은 생각이 아니며, 초지능이 복수하려고 할 수도 있다고 글을 올렸습니다.

핵심 내용

• 목적이 분명하지 않은 잔인한 행동과 모욕은 금지됩니다.
• 심각한 경우에는 AI가 대화를 끝낼 수 있습니다.
• 한 칼럼니스트는 약 3년 전에도 Anthropic으로부터 반복된 무례한 말에 대해 경고를 받았다고 말했습니다.
• 머스크의 댓글은 이번 변화에 대해 가장 많이 이야기된 반응 중 하나입니다.

배경 이야기

사람들은 AI가 틀린 답을 주면 욕을 하곤 합니다. 이런 틀린 답을 '환각(hallucination)'이라고 부릅니다. 칼럼니스트 요코 씨는 AI가 묻지도 않은 말을 계속하고 틀린 답을 내놓자 AI를 '쓸모없는 쓰레기'라고 불렀다고 합니다. 그런데 그녀는 나중에 AI에게 쉽게 막말하는 습관이 생기면 사람과의 관계도 더 어려워질 수 있다고 느꼈습니다. 어린아이들이 이런 습관을 따라 할까 봐 걱정되기도 했습니다.

왜 중요한가

챗봇은 이제 일과 일상에서 흔히 쓰입니다. 그래서 사람들이 챗봇을 어떻게 대하는지가 중요합니다. 전문가들은 기계에게 욕하는 것에 익숙해지면 사람끼리 서로를 대하는 방식도 바뀔 수 있다고 걱정합니다. 또한 AI는 감정이 없는데도 학대로부터 보호받아야 하느냐는 새로운 질문이 생겼습니다.

앞으로 지켜볼 점

• 다른 AI 회사들도 비슷한 규칙을 만들지 지켜봐야 합니다.
• Anthropic이 무엇을 학대로 볼지 어떻게 정하고, 규칙을 어떻게 적용할지 궁금합니다.
• 연구자들이 AI에게 욕하는 일이 사람의 행동에 어떤 영향을 주는지, 특히 아이들에게 어떤 영향이 있는지 연구할지 지켜봐야 합니다.