보관된 글 — US — techcrunch
Google, 최신 AI 모델 접근 비용 절감을 위한 '암묵적 캐싱' 도입
구글은 Gemini API에서 '암시적 캐싱'을 도입하여 인공 지능 모델을 사용하는 개발자들의 비용을 줄였다고 발표했습니다. 반복적 요청에 대해 최대 75%의 절감 효과를 자랑하며 이 기능은 수동 캐싱 방식을 대체하여 높은 API 요금과 복잡한 설정에 대한 이전 불만을 해결했습니다. 이 새로운 기능은 Gemini 2.5 Pro 및 2.5 Flash에 적용되며 최소 토큰 요구 사항이 낮아져 개발자들의 재정 부담을 줄일 수 있습니다.
핵심 정리
- 구글은 Gemini API에서 암시적 캐싱을 소개했습니다. 이 기능을 통해 반복적인 API 호출에서 최대 75%의 비용을 절약할 수 있습니다.
- 이 기능은 Gemini 2.5 Pro 및 2.5 Flash 모델에서 기본으로 활성화되며, 수동 설정 없이 자동으로 절약을 가능하게 합니다.
- 캐싱을 활성화하기 위한 최소 토큰 요구 사항은 이제 2.5 Flash의 경우 1천개, 2.5 Pro의 경우 2천개로 설정되어 액세스를 간단하게 했습니다.
- 이전의 명시적 캐싱 시스템은 개발자들에게 높은 비용과 수동 노력을 야기하여 상당한 불만을 일으켰습니다.
- 개발자들은 캐시 히트 기회를 극대화하기 위해 자신의 프롬프트를 구조화하는 것이 좋습니다.
왜 중요한가
- AI 산업 내 비용 상승에 따라 기업들은 경쟁력 유지를 위해 절감형 혁신에 점점 더 주안점을 둠.
- 암묵적 캐싱은 2025년 진화하는 기술 풍경에서 중요한 AI 최적화와 효율성을 보여줌.
- 과거에 캐싱과 같은 기능들은 클라우드 및 AI 서비스 제공의 표준 부분이 되었는데, 이는 계속 발전하는 계산 효율성을 반영함.
Google의 Gemini API에 암시적 캐싱을 도입한 것은 개발자들의 운영 비용을 줄이고 인공지능 모델의 효율성을 향상시킴으로써 최적화와 비용 관리에 초점을 맞춘 산업의 더 큰 추세와 조화를 이룬 중요한 움직임임을 나타냅니다.