보관된 글 — US — techcrunch
Microsoft 연구진, CPU에서 작동 가능한 초효율 AI 모델 개발
마이크로소프트 연구진은 BitNet b1.58 2B4T라는 1비트 AI 모델을 CPU용으로 최적화해 개발했습니다. 이 모델은 비슷한 크기의 AI 모델보다 우수한 성능을 발휘하며 훨씬 빠르고 메모리 사용량도 효율적입니다. 그러나 현재는 사용자 정의 프레임워크가 필요하며 GPU 지원이 없어 보다 넓은 적용 범위에는 제약이 있습니다.
핵심 정리
- BitNet b1.58 2B4T는 20억 개의 파라미터를 갖춘 최대 규모의 1-bit AI 모델입니다.
- MIT 라이선스 하에 공개되어 있으며, 애플의 M2를 비롯한 CPU에서 실행할 수 있습니다.
- 비트넷은 가볍게 하드웨어에서 실행될 수 있도록 설계되어 있으며, 가중치를 -1, 0, 1로 양자화하여 압축할 수 있습니다.
- 이 모델은 4조 개의 토큰을 학습하였고, Meta의 Llama 3.2 1B나 Google의 Gemma 3 1B와 같은 모델들을 특정 벤치마크에서 능가하는 결과물을 얻었습니다.
- 이 모델은 유사한 모델들보다 두 배 빠른 속도로 작동하면서 매우 적은 메모리를 사용합니다.
- 그러나 현재 GPU를 지원하지 않는 Microsoft의 사용자 정의 프레임워크에 의존합니다.
왜 중요한가
- 산업에서 더 효율적인 AI 모델로 나아가는 추세와 함께 발전하고 있는 이 개발은 자원 제약과 보다 넓은 접근성을 고려한 것입니다.
- CPU에서 작동하는 AI 모델을 지향하는 움직임은 에지 디바이스에서 AI를 배포하는 것으로 나타나는 2025년 IT 트렌드 중 하나입니다.
- 과거 GPU에 대한 의존은 병목현상을 일으켰으나 CPU 호환 모델의 발전은 AI 접근을 보다 민주화할 수 있을 것으로 전망됩니다.
BitNet b1.58 2B4T는 AI 모델 효율성에서 상당한 진전을 나타내고 있지만 현재 하드웨어 호환성의 제한은 널리 퍼지는 채택과 기존 인프라에 통합하는 데 어려움을 보여주고 있습니다.