30 triệu tham số: Mô hình ngôn ngữ AI chạy cục bộ trên ESP32

Chuyện gì đã xảy ra

Marina tạo một mô hình trò chuyện AI nhỏ từ con số không và cho nó chạy trên chip ESP32-S3, một con chip máy tính nhỏ. Khi được hỏi "how are you?", nó trả lời "I'm doing okay." sau gần 12 giây. Video của cô đã có hơn 158.000 lượt xem kể từ ngày 13 tháng 10.

Số liệu chính

• Mô hình có khoảng 30 triệu tham số (các con số lưu những gì nó đã học).
• Nó được huấn luyện trên khoảng 300 triệu token (từ và phần của từ).
• Phần lớn dữ liệu là truyện thiếu nhi do AI tạo và trang web giáo dục; khoảng một phần mười là lịch sử trò chuyện công khai.
• Hầu hết trọng số chỉ lưu 4 bit mỗi số, nhờ đó mô hình vừa bộ nhớ của chip.
• Trên bo phát triển có thêm 16 MB bộ nhớ, nó tạo khoảng 1,4 token mỗi giây.

So sánh với dự án khác

Một dự án ESP32 khác, esp32-ai, có mô hình cỡ tương tự (28,9 triệu tham số). Nó nhanh hơn khoảng bảy lần, gần 10 token mỗi giây. Tuy nhiên, phần lớn tham số của nó nằm trong một dạng từ điển, nên phần thực sự tính toán nhỏ hơn nhiều. Theo trang dự án, mô hình này không thể trả lời câu hỏi hay làm theo chỉ dẫn.

Vì sao đáng chú ý

Dự án cho thấy mô hình ngôn ngữ có thể chạy trên chip rất rẻ, tiêu thụ ít điện và không cần internet. Điều này hữu ích để học cách AI hoạt động. Nhưng PocketGPT chỉ nhớ được 64 token, và câu trả lời có thể sai, lặp lại hoặc lạc đề. Marina nói rằng nó không nên cạnh tranh với các mô hình AI hiện đại.