Mô hình cấp GPT-4o chạy được trên PC gia đình! 'Strata' có thể thay đổi lẽ thường của AI cục bộ (1/5)

Chuyện gì đã xảy ra?

Ngày 24 tháng 9, Strata được phát hành cho mọi người. Đây là công nghệ để chạy AI ngay trên máy tính của bạn, gọi là LLM cục bộ. Tác giả đã chạy thử mô hình Qwen3.8-Flash-Next của Alibaba trên máy có card RTX 4090. Máy chạy được, và chữ hiện ra nhanh hơn cả nhiều AI trên mạng.

Các con số chính

• Mô hình có tổng 125 tỷ tham số, nhưng mỗi lần chỉ dùng khoảng 6 tỷ tham số.
• File mô hình nén xong vẫn lớn hơn 80 GB.
• Máy RTX 4090 với 64 GB RAM đã chạy được mô hình 83,86 GB.
• Tốc độ viết báo cáo khoảng 80 token mỗi giây (token là một mẩu chữ AI xử lý).

Vì sao đây là chuyện lớn?

Trước đây, kích thước mô hình AI chạy được trên máy cá nhân bị giới hạn bởi bộ nhớ của card đồ họa (VRAM) và bộ nhớ chung. Mô hình lớn thì không chạy nổi. Strata chia dữ liệu ra ba nơi: VRAM, RAM và ổ SSD. Nhờ vậy, máy yếu hơn cũng có thể chạy mô hình lớn hơn.

Vì sao chuyện này quan trọng?

Nếu máy cá nhân chạy được AI mạnh, người dùng không cần gửi dữ liệu lên mạng. Điều này có thể giúp bảo mật thông tin tốt hơn. Nó cũng có thể thay đổi cách mọi người dùng AI tại nhà và nơi làm việc.

Cần theo dõi điều gì?

• Strata hiện chỉ hỗ trợ mô hình Qwen3.8-Flash-Next.
• Liệu máy tính thông thường, không có card mạnh, có chạy được không.
• Chất lượng trả lời của mô hình so với các AI trên mạng như GPT và Claude.