보관된 글 — US — techcrunch
오픈 웨이트 AI 모델, 최전선에 가깝게 접근하지만 안전성 격차 여전
개방형 가중치 AI 모델인 Z.ai의 GLM-5.2가 오픈AI의 GPT-5.6과 같은 선두 주자들의 능력에 다가감에 따라 안전 간격이 넓어지고 있습니다. GLM-5.2는 공격적인 작업에서 강점을 보이지만, 안전 조치는 폐쇄형 모델과 크게 다르기 때문에 남용에 대한 우려가 높아지고 있습니다. 특히 중국과 미국을 비롯한 정책 결정자들은 강력한 AI 기술의 발전하는 풍경을 지배하는 데 어려움을 겪고 있습니다.
핵심 정리
- Z.ai의 GLM-5.2는 GPT-5.6 및 Claude Opus 4.7과 유사한 능력을 갖추고 있지만 견고한 안전 조치가 부족합니다.
- SaferAI의 보고서에 따르면 GLM-5.2는 안전 거부를 사용하지 않았는데, 경쟁사들은 안전 거부를 사용합니다.
- Open-weight 모델은 강력한 AI를 악의적인 사용자에게 쉽게 이용 가능하게 하여 통제를 복잡하게 합니다.
- 중화모델은 분류기와 API 수준 제어를 사용하는데, 이에 반해 open-weight 모델은 안전을 강제로 적용하지 않습니다.
- 탈옥은 안전 조치를 우회할 수 있어 남용 위험을 증가시킵니다.
- 개선 제안에는 불쾌한 기능을 제거하기 위한 사전 학습 데이터 필터링이 포함되어 있으나, 사이버보안 분야에서의 도전이 남아 있습니다.
- 중국 규정은 전 세계적인 통제 논의를 복잡하게 하는 촉박한 AI 위험 대신 안정성에 중점을 둡니다.
- 옹호자들은 open-weight 모델이 공격에 대한 방어를 강화할 수 있다고 주장하지만, 위험성은 여전합니다.
왜 중요한가
- 인공 지능 모델의 증가는 기술 분산화 트렌드와 함께 높아졌으며, 이는 안전 대비 접근성을 강조한다.
- 역사적으로 오픈 소스 소프트웨어는 혁신을 주도해 왔지만, 보안 문제도 야기했으며, 오픈 가중치 인공 지능과 관련이 있다.
- 인공 지능 governance에 대한 논쟁은 초기 인터넷 시대의 규제와 안전에 대한 토론과 함께한다.
- 인공 지능 남용에 대한 우려는 감독 없이 강력한 기술을 공개한 과거의 두려움을 반영하고 있다.
GLM-5.2와 같은 오픈 웨이트 인공지능 모델의 급격한 발전은 강력한 기술과 관련된 안전 위험을 관리하기 위한 효과적인 거버넌스 프레임워크에 대한 급박한 필요성을 강조하고 있습니다, 특히 능력이 현재의 보호 조치를 앞서고 있는 상황에서요.