보관된 글 — US — techcrunch
Anthropic의 최신 플래그십 AI, 훈련 비용이 그리 높지 않을 수 있어
Anthropic의 Claude 3.7 Sonnet AI 모델은 '수 억 달러 미만'을 사용하여 10^26 FLOP 미만으로 훈련되었으며, 최첨단 모델의 훈련 비용이 감소하고 있음을 나타냅니다. 2023년의 비용이 많이든 OpenAI의 GPT-4나 Google의 Gemini Ultra와는 달리, 미래 모델은 복잡성이 증가하여 훨씬 더 비싸지리라고 예상됩니다.
핵심 정리
- 클로드 3.7 소네트의 훈련 비용은 몇 억 달러로 추정됩니다.
- 훈련에 사용된 FLOPs는 10^26 미만으로 보고되어 있어 계산 요구가 줄어 든 것을 시사합니다.
- 이전 모델인 클로드 3.5와 유사한 비용이 소요되었는데, 훈련 비용이 점차 감소하고 있음을 보여줍니다.
- OpenAI와 구글은 각각 최고 모델에 1억 달러 이상 및 거의 2억 달러 이상을 소비했습니다.
- Anthropic의 CEO는 현재 비용이 낮아지고 있지만, 미래 모델은 수십억까지 급증할 수 있다고 언급했습니다.
- 훈련 비용에는 안전 테스트 및 기본 연구와 같은 관련 비용이 포함되지 않습니다.
왜 중요한가
- 학습 비용이 점점 감소하는 추세는 컴퓨팅 파워의 접근성 향상과 AI 효율성의 발전과 일치한다.
- 역사적으로, AI 산업은 교육 비용의 변동을 경험해왔는데, 선두 모델에 대한 상당한 투자가 2023년에 이루어졌다.
- 보다 복잡한 추론 모델로의 전환이 현재 교육 비용의 감소에도 불구하고 비용을 증가시킬 수 있다.
클로드 3.7 소네트의 소개는 고급 AI 모델의 교육 비용이 상당히 낮아졌음을 보여주지만, 미래 발전 전망에 따르면 앞으로의 개발은 훨씬 큰 투자가 필요할 수 있음을 강조하며, AI 교육 경제의 변화하는 풍경을 강조합니다.