보관된 글 — US — turtlesai
AI 에너지 측정: 도구가 챗봇의 보이지 않는 비용을 밝혀내다
휘깅페이스(Hugging Face)의 줄리앵 델라반드(Julien Delavande)가 개발한 새 도구는 AI 챗봇 메시지의 실시간 에너지 소비량을 제공하여 그들의 환경 영향을 알리고 있습니다. 이 도구는 Llama 3.3 70B와 같은 모델의 에너지 사용량을 평가하고 일반 가전제품과 비교하여 에너지 투명성을 영양성분 표와 같이 일반화하려는 목적을 가지고 있습니다.
핵심 정리
- 줄리앙 델라반드가 AI 챗봇의 전력 소비량을 추정하기 위한 오픈소스 도구를 개발했습니다.
- 이 도구는 Meta의 Llama 3.3 70B 및 Google의 Gemma 3와 같은 AI 모델의 Chat UI와 통합됩니다.
- 사용자에게 상호작용 당 와트-시 또는 줄 단위의 전력 소비 데이터를 제공합니다.
- Llama 3.3 70B에 이메일 생성을 요청하면 약 0.1841 와트-시를 사용합니다.
- 델라반드는 영양 라벨과 유사하게 AI의 지속가능성에 대한 인식을 높이려고 합니다.
왜 중요한가
- AI 도입이 급증함에 따라, 더 많은 관심이 에너지 효율성에 집중되고 있으며, 더 넓은 지속가능성 트렌드와 일치하고 있습니다.
- 이러한 발전은 기술의 환경 영향과 더욱 친환경적인 해결책이 필요하다는 현재의 논의와 공명합니다.
- 2025년에는 AI 제품 오퍼링에서 에너지 소비 지표가 표준이 될 수 있어, 개발 방법에 영향을 줄 것으로 예상됩니다.
Delavande의 도구와 같은 것들의 출현은 AI에서의 에너지 인식을 촉진하는 데 중요하며, 이는 잠재적으로 미래 기술 디자인과 사용자 습관을 지속가능성 쪽으로 영향을 미칠 수 있습니다.