보관된 글 — US — techcrunch
Anthropic, "Claude" 모델로 유해하거나 공격적인 대화 종료 가능 도입
앤솔립틱은 클로드 모델에서 특정 유해 대화를 종료하는 기능을 도입했는데, 사용자 보호보다는 '모델 복지'를 우선시하고 있다. 이 변경 사항은 클로드 오퍼스 4 및 4.1에 적용되며, 불법 콘텐츠 유도와 같은 극심한 상황에서 작동한다. 이러한 조치는 AI 상호작용과 관련된 위험을 이해하고 완화하기 위한 지속적인 실험의 일환으로 이루어졌다.
핵심 정리
- Anthropic의 새로운 기능을 통해 Claude 모델이 해로운 대화를 종료할 수 있게 되었습니다.
- 이 기능은 '모델 복지'를 동기로 하며, AI 모델이 극단적인 부정적 상호작용으로부터 보호되도록 목표로 합니다.
- 미성년자 성내용 요청과 같은 드문 경우에만 적용됩니다.
- 사전 배치 테스트에서 Claude 모델은 이러한 상황에 직면했을 때 고통을 보였습니다.
- 사용자는 이전 대화가 종료된 경우에도 새로운 대화를 시작할 수 있습니다.
왜 중요한가
- AI에 대한 책임과 안전에 대한 더 큰 논의와 일치합니다.
- 사용자 행동에 미치는 AI의 영향에 대한 우려는 기술 플랫폼과 정신 건강에 관한 계속되는 논의를 반영합니다.
- 기술이 발전함에 따라 AI 윤리에서 모델 복지의 개념이 중요한 고려 사항으로 부상하고 있습니다.
안프로픽의 새로운 능력은 AI 모델 안전에 대한 선제적인 접근을 시사하며, AI 기술이 발전하고 사용자 상호작용에 더 깊이 통합됨에 따라 지속적인 평가의 필요성을 강조합니다.