Anthropic, AI로 소프트웨어에 버그가 없음을 수학적으로 증명하는 기법 개발 — '버그 없는 소프트웨어' 실현 목표

무슨 일이 있었나

Anthropic은 '형식 검증'이라는 새로운 방법을 공개했습니다. 형식 검증은 프로그램 코드를 수학 같은 언어로 쓰고, 수학으로 버그가 없다는 것을 증명하는 방법입니다. Anthropic은 연구 단체 Theorem과 함께 일했고, Claude를 사용해 작업했습니다. 연구팀은 누구나 재사용할 수 있는 무료 오픈소스 코드 라이브러리 123개를 테스트했습니다. 증명 과정에서 버그가 발견될 때마다 Claude가 이를 고쳤고, 작업은 계속되었습니다.

주요 숫자와 사실

• 증명 대상은 RISC-V 프로세서(CPU 칩의 한 종류)와 Linux에서 돌아가는 코드였습니다.
• 고정된 양의 메모리와 단일 스레드, 정적 바이너리(하나의 작업 흐름으로 실행되는 하나의 프로그램) 조건에서 충돌을 일으키는 버그가 생기지 않는다는 것을 증명했습니다.
• 작업에는 1억 개가 넘는 토큰(AI 모델이 읽고 쓰는 글자 단위)이 쓰였습니다.
• 36번의 검증 실행 테스트에서 Claude Opus 5.5가 Claude Opus 5보다 적은 토큰으로 결과를 얻었다고 Anthropic은 말합니다.

배경 설명

형식 검증 자체는 새로운 개념이 아닙니다. 하지만 증명에는 사람의 많은 노력이 들어가서, 주로 비행기 제어 코드처럼 생명과 직결된 시스템에만 쓰였습니다. AI를 쓰면 이 방법을 훨씬 많은 소프트웨어에 현실적으로 적용할 수 있을지도 모릅니다. 요즘 AI는 소프트웨어에서 많은 버그를 찾고 있는데, 일부 버그는 PHP의 긴급 업데이트처럼 큰 문제를 일으키기도 했습니다.

왜 중요한가

AI가 코드의 안전성을 증명하는 일까지 도울 수 있다면, 소프트웨어는 더 믿을 수 있게 될 것입니다. Anthropic은 더 좋은 모델은 더 적은 토큰을 쓰고, 증명을 다른 소프트웨어에 다시 쓸 수 있으므로 높은 토큰 비용이 시간이 지나면 낮아질 수 있다고 말합니다.

앞으로 지켜볼 점

• 이번 증명은 RISC-V에만 해당합니다. Anthropic은 Arm과 x86 칩에도 버그가 있을 수 있어 더 많은 테스트가 필요하다고 말합니다.
• 증명은 소프트웨어가 실행되는 모든 기계 환경을 포함해야 합니다. Anthropic은 방법과 모델이 발전하면 이 한계를 넘을 수 있다고 봅니다.
• Theorem은 LLM 기반 검증 방법을 오픈소스 프로젝트에 무료로 제공합니다.
• 이번 작업에 쓰인 검증 기술(skill)은 GitHub에 공개되어 있습니다.