보관된 글 — CN — technode
Ant Group, 에이전트 및 다중 모달 시스템을 위한 AI 안전 모델 공개
앤트 그룹의 AI 안전 연구소는 자율 에이전트를 위한 오픈 소스 안전 모델 SingGuard-NSFA를 출시했습니다. 이 모델은 데이터 도용과 악성 코드 실행과 같은 위험을 식별합니다. 133개 언어로 185가지 시나리오를 다루며, 다양한 버전을 제공하고 약 50밀리초 내에 위험을 평가합니다.
핵심 정리
- 앤트 그룹이 AI 에이전트의 위험을 탐지하는 안전 모델인 SingGuard-NSFA를 개발했습니다.
- 이 모델은 즉각적인 주입, 데이터 도용, 권한 남용과 같은 위험을 다루고 있습니다.
- 이 모델은 위험을 7가지 주요 범주와 28개 하위 범주로 분류합니다.
- 185가지 시나리오를 포함하고 있으며 133개 언어로 평가를 지원합니다.
- 크기별로 다양한 버전이 있으며(0.8B, 2B, 4B, 9B)
- 단일 위험 판단은 약 50밀리초에 이루어질 수 있습니다.
왜 중요한가
- 202u년 IT 트렌드는 AI 안전 및 거버넌스에 대한 강조가 높아진다는 것과 관련이 있습니다.
- 데이터 무결성 및 보안 침해와 같은 AI 관련 보안 위험에 대한 우려가 더 커지고 있다는 것을 반영합니다.
- 책임 있는 AI 배치 및 안전 기준을 장려하는 글로벌 규제 움직임과 일치합니다.
앤트 그룹이 인공지능 안전 모델을 출시한 것은 자율 시스템의 위험 관리에 있어 중요한 한 걸음을 나아간 것으로, 책임 있는 AI 개발과 거버넌스 측면에서의 전반적인 트렌드와 부합합니다.