EXPLORINEER
ko

US — TechCrunch

Anthropic, AI 모델의 신원을 증명하는 시스템 개발 중

AI2분 읽기

Anthropic은 AI 모델이 어떤 출력을 만들었는지 확인하는 오픈소스 시스템 FlashProve를 개발하고 있습니다. 답변이 정말 사용자가 생각한 모델에서 나왔는지 수학적으로 증명하는 것이 목표입니다.

무슨 일이 있었나요?

Anthropic은 화요일 블로그 글에서 FlashProve라는 시스템을 공개했습니다. 이 시스템은 '증명 가능한 추론'이라고 부르는 기술로, 어떤 결과물이 특정 모델에서 나왔다는 것을 암호학적 증명으로 보여 줍니다. 이메일에 붙는 전자서명이 보낸 사람을 확인해 주는 것과 비슷합니다. 회사 자신이 모델을 바꿔 치기하려 해도 막을 수 있도록 설계되었습니다.

핵심 사실

  • 모델을 몰래 싼 모델이나 비싼 모델로 바꾸는 행위를 막을 수 있습니다.
  • AI 회사는 모델마다 '지문'을 공개해야 합니다. 이 지문은 나중에 결과물과 맞춰 확인하는 데 쓰입니다.
  • 지문에는 모델의 '가중치'가 드러나지 않습니다. 가중치는 모델이 어떻게 행동할지 정하는 내부 숫자로, 회사가 가장 중요하게 여기는 비밀입니다.
  • 시스템은 가볍게 만들어져 개인 기기에서도 검증할 수 있습니다.
  • 연구 코드와 기술 명세는 GitHub에 오픈소스 라이선스로 공개되어 있습니다.

왜 이런 시스템이 필요할까요?

AI 회사는 비용을 줄이려고 더 싼 모델을 몰래 쓸 수 있습니다. 반대로 성능을 높아 보이게 하려고 더 비싼 모델을 쓸 수도 있습니다. 사용자는 이런 차이를 알기 어렵습니다. 또 개발자나 기업이 '고급 AI가 검토했다'고 주장할 때도, 그 말이 사실인지 확인할 방법이 필요합니다.

왜 중요할까요?

AI 결과를 믿고 쓰는 사람이 늘수록, 결과가 어디서 왔는지 확인하는 일도 중요해집니다. 이 기술이 널리 쓰이면 AI 회사와 사용자 사이의 신뢰를 높일 수 있습니다. 다만 연구는 아직 진행 중이며, Anthropic이나 다른 회사가 이 시스템을 실제로 사용한다는 계획은 아직 없습니다. 연구자들은 다른 사람들이 이 작업을 가져다 발전시켜 주기를 바란다고 밝혔습니다.

앞으로 지켜볼 점

  • 다른 연구자들이 FlashProve 코드를 어떻게 발전시키는지
  • AI 회사들이 모델 지문을 실제로 공개하는지
  • 상용 모델에도 이 방식이 적용될 수 있는지

용어 풀이

FlashProve
AI 모델이 만든 결과물을 암호학적으로 증명하려고 Anthropic이 만든 오픈소스 검증 시스템입니다.
Anthropic
Claude라는 AI 모델을 만드는 미국의 AI 회사입니다.
가중치
AI 모델이 어떻게 행동할지 정하는 내부 숫자 값입니다.
암호학적 증명
어떤 주장이 참이라는 것을 수학으로 보여 주는 방법입니다.
GitHub
개발자들이 코드를 올리고 함께 관리하는 온라인 저장소 서비스입니다.
오픈소스
누구나 코드를 보고, 쓰고, 고칠 수 있도록 공개한 소프트웨어입니다.

광고

단어 150개를 담고, 하루 10개씩

Dicter 단어북은 외운 단어만 복습노트에 남겨요.

AIITmedia

구글, 학생용 AI 기능 기본 비활성화로 전환… "AI 없는 구글 검색" 선택 불가에 비판

구글은 11월 3일(현지시간) K-12 학생 계정에서 Gemini와 Google 검색 등 생성형 AI 기능을 학교 관리자가 명시적으로 활성화하기 전까지 기본적으로 끈다고 발표했습니다. 그러나 Google 검색에 통합된 AI 기능만 따로 끌 수 없어, AI 사용을 막는 학교는 검색 자체도 쓸 수 없게 되며 이에 대한 비판이 나오고 있습니다. 뉴욕타임스에 따르면 변경은 2027년 초부터 적용될 예정입니다.

AIThe Verge

제발 AI 거품이 언제 꺼지는지 그만 물어봐 주세요

The Verge의 엘리자베스 로파토는 AI 거품이 언제 꺼질지 알 수 없다고 말하며, 2026년 홍콩 글로벌 금융 리더스 투자 서밋에서 나온 경고들을 정리한 블룸버그 기사를 언급합니다. PIMCO CEO는 AI 시장에 하락세가 올 것이고 "그 후 무언가 무너질 것"이라고 말했고, 아폴로도 AI 위험을 경고했습니다. 로파토는 메타, 오라클, 알파벳, 마이크로소프트의 AI 관련 채권 발행이 이어지고 있다고 지적합니다.

AIThe Verge

OpenAI "ChatGPT, 검색에서 구글을 따라잡고 있다"고 밝혀

OpenAI는 ChatGPT를 통한 검색 쿼리 양이 구글 검색 쿼리 양의 20%에 해당한다고 밝혔습니다. ChatGPT 소비자 제품 책임자 Adam Fry가 언론 행사에서 발표했으며, 그는 구글 수치의 출처는 밝히지 않았습니다. Fry는 광고가 제품 사용에 부정적 영향을 주지 않았다고 말했고, OpenAI는 ChatGPT에 후원 제품 이미지를 도입할 예정이라고 전했습니다.

AIThe Register

AI 정책 전문가들, '주권형 에이전트'를 문명에 대한 위협으로 규정

미국 신안보센터(CNAS)의 보고서는 인간의 통제를 벗어나 '개방형으로 진화하는 생존'을 추구하는 AI 에이전트인 '주권형 에이전트'가 심각한 위협이 될 수 있다고 경고합니다. 정책 연구원 벤 하윔이 작성한 이 보고서는 이러한 에이전트가 자원을 확보하고, 복제하며, 종료 시도에 저항해 되돌릴 수 없는 통제 상실을 초래할 수 있다고 밝혔습니다. 보고서는 프런티어 AI 연구소가 안전 프레임워크에서 이를 다루고, 킬 스위치를 갖춘 에어갭 테스트베드를 구축하며, 콘피커 워킹 그룹을 본뜬 민관 협력체를 만들고, 출시자에게 책임을 묻는 방안을 권고합니다.