GPT-4o급 모델이 가정용 PC에서 작동했다! 로컬 AI의 상식을 바꿀 'Strata' (1/5)

무슨 일이 있었나요?

2026년 9월 24일에 공개된 'Strata'라는 기술이 화제가 되고 있습니다. 로컬 AI는 인터넷 대신 내 컴퓨터에서 직접 돌아가는 AI입니다. 글쓴이는 RTX 4090을 단 PC에서 Alibaba의 'Qwen3.8-Flash-Next' 모델을 돌려 보았고, 'Singularity(싱귤래리티)'에 대한 보고서를 쓰게 했습니다. 그 결과 초당 약 80토큰의 속도로 글이 나왔습니다.

핵심 숫자

• 전체 파라미터 수는 125B(1250억)이지만, 실제 추론에는 6B(60억)만 쓰입니다.
• 압축해도 파일 크기가 80GB를 넘습니다.
• 글쓴이의 PC는 RTX 4090과 RAM 64GB입니다.
• 실행한 모델 파일은 83.86GB이며, 속도는 초당 약 80토큰입니다.

왜 어려웠을까요?

보통 로컬 AI의 크기는 그래픽카드 메모리(VRAM)나 공유 메모리 용량으로 정해졌습니다. 그래서 큰 모델은 고성능 장비 없이는 돌릴 수 없었습니다. Strata는 필요한 데이터를 VRAM, RAM, SSD에 나누어 저장해 이 벽을 넘었습니다. 다만 글쓴이는 RAM을 거의 다 쓰기 때문에, 이 PC를 서버로 두고 다른 PC에서 접속해 사용했습니다.

왜 중요한가요?

큰 AI를 개인 컴퓨터에서 돌릴 수 있다면, 인터넷 연결이나 클라우드 요금 없이도 AI를 쓸 수 있습니다. 데이터를 밖으로 보내지 않아도 되어 개인정보 측면에서도 장점이 있습니다. 다만 글은 '한 가지 모델에서 시험한 결과'이므로, 모든 PC에서 똑같이 잘 돌아간다고 단정하기는 어렵습니다.