UK — The Register
퀄컴, 랙 규모 엔비디아 AI 도전자 시승 기회 제공
반도체1분 읽기
퀄컴이 엔비디아의 AI 칩에 맞서는 랙 단위 추론 시스템 'Dragonfly AI200'을 일부 고객이 클라우드에서 써 볼 수 있게 열었습니다. 추론은 AI가 이미 배운 지식을 써서 답을 내는 과정을 말합니다.
무슨 일이 있었나
퀄컴은 선택된 고객에게 'Dragonfly AI200' 시험 사용을 열어 주었습니다. 시험은 클라우드 회사 Cirrascale의 AI 클라우드를 통해 이루어집니다. 이 시스템은 큰 언어 모델과 여러 형태의 데이터를 다루는 AI 모델을 돌리는 용도입니다. 퀄컴은 이 시험이 실제 운영 도입으로 이어질 수 있다고 말합니다. Cirrascale은 11월 17~18일 시카고에서 열린 SC26 행사에서도 이 시스템을 보여 주었습니다.
주요 숫자
- AI200 가속기 카드 한 장에 LPDDR 메모리 768GB가 들어갑니다.
- 액체 냉각 랙 하나에 카드 56장을 넣어 약 43TB 메모리를 제공합니다.
- 시스템은 70억 개에서 10조 개 매개변수까지의 모델을 지원한다고 합니다.
배경 설명
엔비디아는 AI 칩 시장에서 가장 큰 회사입니다. 엔비디아의 Blackwell 기반 NVL72 시스템은 빠르지만 비싼 HBM3e 메모리를 씁니다. 퀄컴은 주로 모바일 기기에 쓰이는 LPDDR 메모리를 골랐습니다. 메모리를 많이 넣는 것이 곧 엔비디아만큼 빠르다는 뜻은 아니라는 점도 기사에서 짚고 있습니다.
왜 중요한가
AI 추론은 데이터센터에서 가장 큰 컴퓨팅 작업 중 하나가 되고 있습니다. 전기와 운영비가 많이 드는 문제를 줄일 수 있다면 더 많은 회사가 AI를 쓸 수 있습니다. 퀄컴은 이번 시험으로 그 주장을 실제 고객 환경에서 확인받을 기회를 얻었습니다.
앞으로 지켜볼 점
- 시험을 한 고객들이 전력과 운영비를 실제로 얼마나 줄였는지
- 시험이 실제 운영 도입 계약으로 이어지는지
- 엔비디아 대비 성능과 비용이 어떻게 비교되는지
용어 풀이
- Cirrascale
- 고객에게 AI 연산 자원을 빌려주는 클라우드 서비스 회사입니다.
- Dragonfly AI200
- 퀄컴이 AI 추론용으로 내놓은 랙 단위 시스템입니다.
- LPDDR
- 전력을 적게 쓰는 메모리 종류로, 보통 휴대폰 같은 모바일 기기에 쓰입니다.
- HBM3e
- 데이터를 아주 빠르게 주고받는 고성능 메모리 종류로, 값이 비쌉니다.