3천만 파라미터: ESP32용 로컬 AI 언어 모델

무슨 일이 있었나

마리나는 아무것도 없는 상태에서 작은 AI 대화 모델을 만들고, 이를 ESP32-S3라는 작은 칩에서 실행했습니다. "how are you?"라고 묻자 거의 12초 뒤에 "I'm doing okay."라고 답했습니다. 그녀의 영상은 10월 13일 이후 15만 8천 회 넘게 조회되었습니다.

핵심 숫자와 사실

• 모델의 파라미터(학습 내용을 저장하는 숫자 값)는 약 3,000만 개입니다.
• 학습에 약 3억 개의 토큰(단어와 단어 조각)을 사용했습니다.
• 학습 텍스트의 대부분은 AI가 만든 어린이 동화와 교육용 웹페이지였고, 약 10분의 1은 공개된 채팅 기록이었습니다.
• 대부분의 가중치는 숫자 하나당 4비트만 사용해 저장해, 칩의 메모리에 들어가도록 했습니다.
• 추가 메모리 16MB가 있는 개발 보드에서 초당 약 1.4개의 토큰을 생성합니다.

다른 프로젝트와 비교

다른 ESP32 프로젝트인 esp32-ai는 비슷한 크기(2,890만 파라미터)의 모델을 갖고 있습니다. 초당 거의 10개의 토큰을 처리해 약 7배 빠릅니다. 하지만 대부분의 파라미터가 일종의 단어 사전에 들어 있어서, 실제로 계산하는 부분은 훨씬 작습니다. 제작자는 이 모델이 질문에 답하거나 지시를 따르지 못한다고 설명합니다.

왜 중요한가

이 프로젝트는 매우 저렴하고 전력을 적게 쓰는 칩에서도 언어 모델이 돌아갈 수 있음을 보여 줍니다. AI의 작동 원리를 배우는 데 유용합니다. 하지만 PocketGPT의 기억 용량은 토큰 64개뿐이고, 답변이 틀리거나 같은 말을 반복하거나 주제에서 벗어날 수 있습니다. 마리나도 이 모델이 최신 AI 모델과 경쟁해서는 안 된다고 말합니다.