보관된 글 — US — techcrunch
‘추론’ AI 모델 개선 속도 둔화 예상, 분석 결과 밝혀져
EpochAI의 분석에 따르면, OpenAI의 o3와 같은 추론 AI 모델의 발전은 컴퓨팅 파워의 한계와 높은 영업 비용으로 인해 1년 내에 둔화될 수 있다고 합니다. 현재 표준 훈련에서의 성능 향상은 매년 네 배씩 증가하고, 강화 학습에서의 이득은 3~5개월마다 열 배씩 늘어납니다. AI 산업이 중요한 획기적인 발전을 기대할 수 있는 희망은 이러한 발견으로 인해 억제될 수 있습니다.
핵심 정리
- EpochAI가 분석을 실시한 결과, 이성을 갖춘 AI로부터의 성능 향상이 곧 정체될 것으로 나타났습니다.
- OpenAI의 o3와 같은 모델은 강화 학습 기술을 활용하여 수학 및 프로그래밍 벤치마크를 개선했습니다.
- 강화 학습은 더 많은 컴퓨팅 파워를 사용하지만 시간이 지남에 따라 수익이 줄어드는 경향을 보입니다.
- AI 모델 훈련의 성능 향상은 표준 훈련보다 매년 4배가 증가하는 반면, 강화 학습의 성능 향상은 3~5개월마다 10배씩 증가합니다.
- 추론 모델에 대한 상당한 투자가 오버헤드 비용과 컴퓨팅 한계 때문에 기대한 확장성 있는 결과를 얻지 못할 수 있습니다.
왜 중요한가
- 인공지능 발전의 역사적 트렌드를 반영하는 분석에서는, 초기의 신속한 진전이 포화점을 경험하는 경우가 많다.
- 모아의 법칙에서 보이는 평평한 구간과 같이, 처리 능력의 한계가 인공지능 발전에 곧 영향을 미칠 수 있다.
- 최근 오픈AI와 같은 기관들의 높은 프로파일 모델들에서 볼 수 있는 인공지능 훈련 전략의 중요성이 강조된다.
EpochAI가 강조한 이성을 갖춘 AI 모델 성능의 저하는 AI 산업의 발전 방향에 대한 도전으로 다가올 것이며, 장기 혁신을 지속하기 위해 자원 할당과 연구 전략에 대한 재평가가 필요하다.