LLM이 형식 소프트웨어 검증을 훨씬 더 큰 규모에서 실현 가능하게 만들고 있다

무슨 일이 있었나요?

연구팀은 Claude에게 123개의 오픈소스 라이브러리를 증명하도록 맡겼습니다. Claude는 특정 조건에서 이 프로그램들이 메모리 오류나 실패한 검사 없이 항상 정상적으로 끝난다는 것을 증명했습니다. 이 작업은 컴퓨터가 실제로 읽는 기계어 수준(RISC-V 어셈블리 코드)에서 이루어졌습니다. 연구팀은 이런 규모로 AI를 써서 실제 제품 소프트웨어를 검증한 것은 처음이라고 밝혔습니다.

핵심 숫자와 사실

• 검증한 오픈소스 라이브러리: 123개 중 100개가 넘는 실제 프로젝트
• 증명 조건: 64MB보다 작은 모든 입력, 단일 스레드, 고정된 메모리 양, RISC-V CPU와 Linux OS 환경
• 리눅스 커널에서는 최근 1,000개가 넘는 취약점이 공개되었습니다
• seL4 운영체제 커널은 구현에 2인년, 정형 검증에 20인년이 걸렸습니다

정형 검증이란?

정형 검증은 프로그램을 수학 모델로 바꾼 뒤, 그 프로그램이 정해진 보안 규칙을 항상 지킨다는 것을 증명하는 방법입니다. 증명에 실패하면 규칙을 깨는 버그가 있을 수 있다는 뜻입니다. 이 과정을 반복하면 규칙을 어기는 버그가 없다는 증명에 가까워집니다. 하지만 증명 글은 원래 코드보다 몇 배나 길고, 아주 특별한 전문 기술이 필요해서 지금까지는 항공 장비처럼 매우 중요한 분야에서만 쓰였습니다.

왜 중요한가요?

AI가 버그를 쉽게 찾고 공격에도 쓸 수 있게 되면서, 기존 방어만으로는 부족해졌습니다. 이번 결과는 증명 작업을 AI가 맡아 사람의 시간과 비용을 크게 줄일 수 있음을 보여줍니다. 테스트를 수조 번 해도 찾지 못했던 버그를 Claude가 증명 작업 중에 발견하기도 했습니다. 연구팀은 모델 성능이 좋아질수록 정형 검증이 안전한 소프트웨어 개발의 필수 요소가 될 것이라고 봅니다.

앞으로 지켜볼 점

• 연구팀이 일부 증명과 RISC-V 및 OS 의미 규칙을 공개해, 누구나 증명을 확인하고 재사용할 수 있게 합니다
• 협력사 Theorem이 같은 방식의 작업을 다른 소프트웨어에도 적용하겠다고 제안하고 있습니다
• 이번 증명은 모든 버그를 없앤 것이 아니라 정해진 조건에서의 결과라는 점을 기억해야 합니다