보관된 글 — US — turtlesai
윈도우 98에서의 LLM: AI가 원점으로 돌아왔다
연구자들이 펜티엄 II 프로세서와 128MB RAM이 장착된 Windows 98 PC에서 고급 LLM을 성공적으로 운영하여 BitNet 구조 덕분에 초당 39.31 토큰을 얻었습니다. 이 프로젝트는 AI 액세스의 민주화를 목표로 하며 오래된 장치에서 개발을 촉진함으로써 효율적 모델이 AI 능력을 확장할 수 있는 방법을 선보이고 있습니다.
핵심 정리
- LLM의 기반이 된 Llama 2는 Windows 98 PC에서 Pentium II 프로세서로 구동되었습니다.
- 모델은 RAM이 128MB인 상황에서 초당 39.31 토큰의 성능을 얻었습니다.
- 연구자들은 Borland C++ 5.02로 컴파일된 llama2.c 코드를 수정한 llama98.c를 사용했습니다.
- BitNet의 활용과 삼항 가중 아키텍처를 통해 오래된 하드웨어에서도 70억 개의 매개변수 모델을 실행할 수 있습니다.
- EXO Labs는 오픈 소스를 지원하며 GitHub에서 코드를 제공하여 구식 기기에서도 AI 액세스를 가능하게 하는 것을 목표로 합니다.
왜 중요한가
- 2025년 IT 트렌드에 초점을 맞춘 프로젝트가 시작되었습니다. 이 프로젝트는 저자원 컴퓨팅, AI 민주화, 그리고 지속가능성을 강조합니다.
- 컴퓨팅 발전에서의 역사적 중요성을 강조하여, 오래된 하드웨어가 현대 애플리케이션에 여전히 유용할 수 있는 것을 보여줍니다.
- AI 모델을 접근성과 가격 대비성을 최적화하는 데 대한 관심이 증가하는 것은 기술 포용성의 보다 광범위한 트렌드를 반영합니다.
이전 하드웨어를 사용하여 최신 AI 모델을 실행하는 혁신적인 방법은 AI 기술을 더 접근 가능하고 지속 가능하게 만드는 중요한 변화를 보여주며, 미래의 컴퓨팅 발전을 위한 길을 열어주고 있습니다.