10년 된 CNN이 피부암 진단에서 최첨단 LLM을 능가

무슨 일이 있었나

연구자는 생검(조직을 떼어 검사하는 것)으로 병명이 확인된 피부 병변 200개를 골랐습니다. 같은 사진을 두 개의 최신 LLM과 CNN에 보여 주고 병명을 고르게 했습니다. 그 결과 CNN이 LLM 두 개보다 더 자주 정답을 맞혔습니다. LLM은 사진만 받았고, 다른 정보는 주지 않았습니다.

주요 숫자

• CNN 정답률: 200개 중 125개 (62%)
• LLM 두 개 정답률: 각각 84개 (42%)와 85개 (42%)
• 테스트 대상: 악성 병변 100개(흑색종 30개 포함)와 안전한 병변 100개(점과 지루각화증)
• CNN은 2015년에 나온 구형 모델이며, 약 20분 동안 추가 학습을 시켰습니다

왜 이 실험을 했나

피부과 의사는 점이나 피부 혹을 보고 위험한지 판단합니다. 흑색종은 빨리 퍼질 수 있어 놓치면 위험합니다. 그래서 AI가 이런 판단을 도울 수 있는지 알아보는 연구가 많습니다. 이 실험에서 연구자는 CNN을 일부러 최고 성능 모델이 아닌 오래된 모델로 골랐습니다. 공개된 피부 이미지로만 학습시켰고, 테스트 환자의 사진은 학습에 전혀 쓰지 않았습니다.

이것이 중요한 이유

최신 LLM이 똑똑해 보여도 의료 사진 판단에서는 특화된 작은 모델보다 못할 수 있다는 뜻입니다. 특히 흑색종을 잘못 보고 안전하다고 말하면 환자에게 큰 해가 됩니다. 다만 이 결과는 한 연구자의 실험이고 200개 병변만 쓴 작은 시험입니다. 실제 진료에 쓰려면 더 많은 검증이 필요합니다.

앞으로 지켜볼 점

• 다른 병원과 다른 사진 데이터에서도 같은 결과가 나오는지
• 연구자가 공개한 웹 버전으로 누구나 직접 시험해 볼 수 있다는 점
• LLM 제작사들이 의료 사진 판단 성능을 어떻게 개선하는지