EXPLORINEER
vi

Lưu trữ — US — techcrunch

Google ra mắt tính năng 'implicit caching' giúp giảm chi phí truy cập mô hình AI mới nhất

Google đã ra mắt 'implicit caching' trong API Gemini của mình để giảm chi phí cho các nhà phát triển sử dụng các mô hình AI của họ, với khẳng định về việc tiết kiệm lên tới 75% trên các yêu cầu lặp lại. Việc caching tự động này thay thế các phương pháp caching thủ công, giải quyết các phàn nàn trước đó về việc hóa đơn API cao và cài đặt phức tạp. Tính năng mới áp dụng cho Gemini 2.5 Pro và 2.5 Flash, với yêu cầu mã thông báo tối thiểu giảm, tiềm năng giảm gánh nặng tài chính cho các nhà phát triển.

Điểm chính

  • Google đã giới thiệu việc cache ngầm trong API Gemini của mình, cho phép tiết kiệm đến 75% trên các cuộc gọi API lặp đi lặp lại.
  • Tính năng này được kích hoạt mặc định cho các mẫu Gemini 2.5 Pro và 2.5 Flash, tự động tiết kiệm mà không cần cài đặt thủ công.
  • Yêu cầu mã thông báo tối thiểu để kích hoạt cáche hiện đã được đặt thành 1K cho 2.5 Flash và 2K cho 2.5 Pro, giúp đơn giản hóa quy trình truy cập.
  • Các hệ thống cache tường minh trước đây đã gây ra chi phí cao và công sức thủ công cho các nhà phát triển, dẫn đến các phàn nàn đáng kể.
  • Các nhà phát triển được khuyến khích cấu trúc câu lệnh của họ để tối đa hóa cơ hội trúng cache.

Vì sao quan trọng

  • Trong ngành công nghiệp trí tuệ nhân tạo, chi phí đang tăng lên, do đó các công ty ngày càng tập trung vào các đổi mới tiết kiệm chi phí để duy trì tính cạnh tranh.
  • Việc lưu trữ ẩn (implicit caching) phản ánh xu hướng tối ưu và hiệu quả trong lĩnh vực công nghệ tiên tiến năm 2025.
  • Lịch sử cho thấy, các tính năng như lưu trữ đã trở thành một phần tiêu chuẩn của các dịch vụ đám mây và trí tuệ nhân tạo, phản ánh sự tiến bộ liên tục trong hiệu suất tính toán.

Google giới thiệu việc áp dụng caching ngầm trong API Gemini của mình đánh dấu một bước tiến quan trọng hướng đến giảm chi phí vận hành cho các nhà phát triển đồng thời nâng cao hiệu quả sử dụng mô hình AI, phù hợp với xu hướng ngành công nghiệp chung tập trung vào tối ưu hóa và quản lý chi phí.