보관된 글 — US — techcrunch
OpenAI의 새로운 추론 AI 모델, 환각 현상 증가
OpenAI의 새로운 추론 AI 모델 o3과 o4-mini는 이전 모델과 비교하여 환각률이 증가하고 있어 정확성에 대한 우려가 제기되고 있습니다. 코딩 및 수학 성능 개선에도 불구하고, 해당 모델은 각각 PersonQA에서 33%와 48%의 시간 동안 환각을 보여주었습니다. OpenAI는 이러한 현상이 발생하는 이유에 대한 부족한 이해를 인정하며, 더 많은 연구가 필요하다고 강조하고 있습니다.
핵심 정리
- OpenAI은 o3 및 o4-mini 모델을 출시했습니다. 이 모델들은 과거 모델들보다 발전된 기술을 갖추고 있지만 환각 현상이 더 많이 발생합니다.
- 과거에는 새로운 모델들이 환각 현상을 줄이는 데 약간의 개선을 보였지만, 이번에는 그렇지 않습니다.
- PersonQA 벤치마크에서 o3는 33%의 환각을 발생시켰으며, o4-mini는 48%로 이전 모델들보다 훨씬 많은 환각을 유발했습니다.
- 이 문제들은 훈련에 사용된 강화 학습 방법에서 비롯될 수 있으며, 환각을 강화할 수도 있습니다.
- 그러나 이러한 문제에도 불구하고 o3는 코딩 작업에서 우수한 성능을 보이지만 링크를 잘못 생성하는 경향이 있습니다.
- 환각은 법 등 높은 정확도를 요구하는 분야에서 AI 사용을 복잡하게 만듭니다.
- AI 모델에 웹 검색 기능을 구현하는 것은 환각을 줄이는 데 도움이 될 수 있습니다.
왜 중요한가
- 인공지능 산업은 점점 추론 모델 쪽으로 이동하고 있습니다. 이전 기술들이 수익이 감소함에 따라 새로운 기술에 의존하고 있습니다.
- 환각 현상은 여러 인공지능 응용 프로그램에서 여전히 중요한 문제로 남아 있으며, 신뢰성과 적용 가능성에 영향을 미칩니다.
- 인공지능의 발전은 또한 실시간 데이터 접근의 통합을 탐구하며 정확성을 향상시키고 환각을 줄이는 방향입니다.
OpenAI의 o3 및 o4-mini 모델에서 발생한 환영 현상의 증가율은 산업이 성능 향상을 위해 추론 모델로 전환됨에 따라 이 지속적인 문제를 해결할 시급성을 강조하고 있다.