AI 추론이 메모리 병목에 부딪히고 있다. 화웨이는 OceanStor M900으로 해결에 나서려 한다

무슨 일이 있었나

화웨이는 2026년 상하이 HUAWEI CONNECT 행사에서 'OceanStor M900 Context Memory Storage'를 공개했습니다. AI가 긴 대화와 복잡한 추론을 처리하면서 메모리 사용량이 크게 늘어나, 이를 해결하려는 제품입니다. 핵심은 '컨텍스트 메모리'라는 별도의 저장 층을 만드는 것입니다.

주요 수치

• 최대 용량: 화웨이 주장으로 최대 64PB(페타바이트)
• 접근 지연 시간: 약 60마이크로초(100만분의 60초)로 줄어든다고 주장
• 내구성: 하루 최대 24번 드라이브 전체 쓰기, 일반 SSD의 16배라고 주장
• 성능 효과: 일반적인 AI 코딩 작업에서 토큰 처리량이 두 배 가까이 늘고, 첫 토큰이 나오기까지 시간이 절반으로 줄 수 있다고 주장

왜 메모리가 문제인가

AI는 이전에 계산한 내용을 KV 캐시라는 임시 저장 공간에 보관해 두고 재사용합니다. 대화가 길어질수록 이 캐시가 점점 커집니다. GPU 메모리와 시스템 메모리는 빠르지만 비싸고 용량이 작습니다. 일반 저장 장치는 용량은 크지만 CPU를 거쳐야 해서 느리고, 그동안 AI 칩은 데이터를 기다리며 놀게 됩니다.

왜 중요한가

AI 칩이 아무리 빨라도 데이터가 늦게 오면 성능이 떨어집니다. 화웨이는 메모리, 네트워크, 연산을 함께 묶어 생각해야 한다고 말합니다. 앞으로 AI 에이전트가 늘어나면, 얼마나 빨리 문맥을 저장하고 찾아오느냐가 칩 속도만큼 중요해질 수 있습니다.

앞으로 지켜볼 점

• 화웨이가 주장하는 성능과 내구성 수치가 실제 환경에서도 나오는지
• UnifiedBus 같은 고속 연결 기술과 함께 얼마나 널리 쓰이는지
• 다른 저장 장치 업체들도 비슷한 '컨텍스트 메모리' 제품을 내놓는지