US — TechCrunch
Anthropic, AI 모델의 신원을 증명하는 시스템 개발 중
AI2분 읽기
Anthropic은 AI 모델이 어떤 출력을 만들었는지 확인하는 오픈소스 시스템 FlashProve를 개발하고 있습니다. 답변이 정말 사용자가 생각한 모델에서 나왔는지 수학적으로 증명하는 것이 목표입니다.
무슨 일이 있었나요?
Anthropic은 화요일 블로그 글에서 FlashProve라는 시스템을 공개했습니다. 이 시스템은 '증명 가능한 추론'이라고 부르는 기술로, 어떤 결과물이 특정 모델에서 나왔다는 것을 암호학적 증명으로 보여 줍니다. 이메일에 붙는 전자서명이 보낸 사람을 확인해 주는 것과 비슷합니다. 회사 자신이 모델을 바꿔 치기하려 해도 막을 수 있도록 설계되었습니다.
핵심 사실
왜 이런 시스템이 필요할까요?
AI 회사는 비용을 줄이려고 더 싼 모델을 몰래 쓸 수 있습니다. 반대로 성능을 높아 보이게 하려고 더 비싼 모델을 쓸 수도 있습니다. 사용자는 이런 차이를 알기 어렵습니다. 또 개발자나 기업이 '고급 AI가 검토했다'고 주장할 때도, 그 말이 사실인지 확인할 방법이 필요합니다.
왜 중요할까요?
AI 결과를 믿고 쓰는 사람이 늘수록, 결과가 어디서 왔는지 확인하는 일도 중요해집니다. 이 기술이 널리 쓰이면 AI 회사와 사용자 사이의 신뢰를 높일 수 있습니다. 다만 연구는 아직 진행 중이며, Anthropic이나 다른 회사가 이 시스템을 실제로 사용한다는 계획은 아직 없습니다. 연구자들은 다른 사람들이 이 작업을 가져다 발전시켜 주기를 바란다고 밝혔습니다.
앞으로 지켜볼 점
- 다른 연구자들이 FlashProve 코드를 어떻게 발전시키는지
- AI 회사들이 모델 지문을 실제로 공개하는지
- 상용 모델에도 이 방식이 적용될 수 있는지
용어 풀이
- FlashProve
- AI 모델이 만든 결과물을 암호학적으로 증명하려고 Anthropic이 만든 오픈소스 검증 시스템입니다.
- Anthropic
- Claude라는 AI 모델을 만드는 미국의 AI 회사입니다.
- 가중치
- AI 모델이 어떻게 행동할지 정하는 내부 숫자 값입니다.
- 암호학적 증명
- 어떤 주장이 참이라는 것을 수학으로 보여 주는 방법입니다.
- GitHub
- 개발자들이 코드를 올리고 함께 관리하는 온라인 저장소 서비스입니다.
- 오픈소스
- 누구나 코드를 보고, 쓰고, 고칠 수 있도록 공개한 소프트웨어입니다.