보관된 글 — US — techcrunch
AI 환각의 원인은 잘못된 유인인가?
오픈AI의 새로운 연구는 GPT-5 및 ChatGPT와 같은 대형 언어 모델의 AI 환각이라는 지속적인 문제를 탐구합니다. 연구자들은 환각을 효과적이지 못한 사전 훈련 방법에 귀속시키고, 현재의 평가 모델이 정확성보다는 추측을 유발한다고 말합니다. 그들은 틀린 답변에 대한 벌칙을 포함시켜 환각으로 이끄는 모델링 행동을 감소시키는 것을 제안합니다.
핵심 정리
- 연구자들은 환각을 타당하지만 잘못된 AI 출력으로 정의합니다.
- 예시: 작가의 박사 학위 논문이나 생일에 관한 잘못된 답변.
- 환각은 진위/가틀림 라벨 없이 다음 단어를 예측하는 데 중점을 둔 사전 훈련으로 인해 발생합니다.
- 평가 모델은 잘못된 예측을 인센티브로 삼아 의문 표현 대신 추측을 촉구합니다.
- 제안된 해결책: 평가 기준을 업데이트하여 추측에 대해 더 엄격한 벌과 불확실성 표현에 대한 보상을 도입합니다.
왜 중요한가
- AI 환각은 생성 AI 시스템의 신뢰성에 영향을 미치는 중요한 과제입니다.
- 현재 AI의 트렌드는 정교성과 인식력을 향상시키는 데 초점을 맞추고 있으며, 특히 규제 산업에서 그 중요성을 강조하고 있습니다.
- 디스럽트 2025와 같은 기술 행사들은 AI 개발에서 이러한 과제에 대해 주의를 기울일 필요성을 강조하고 있습니다.
OpenAI의 연구결과에 따르면, AI 환각을 대응하기 위해서는 평가 방법이 진화해야 한다는 것이 강조됩니다. 잘못된 자신감 있는 답변을 벌하는 것에 초점을 옮기는 것은 더 신뢰할 수 있는 AI 시스템으로 더 나아가게 할 수 있으며, 이는 AI가 다양한 분야에 통합되는 과정에서 중요한 단계라고 할 수 있습니다.