Lưu trữ — US — techcrunch
Nghiên cứu của Microsoft công bố mô hình AI siêu hiệu quả có thể hoạt động trên CPU
Các nhà nghiên cứu của Microsoft đã phát triển mô hình trí tuệ nhân tạo BitNet b1.58 2B4T, một mô hình AI 1 bit được tối ưu hóa cho CPU, có thể vượt trội so với các mô hình AI cùng kích thước trong khi nhanh hơn đáng kể và tiết kiệm bộ nhớ hơn. Tuy có nhiều ưu điểm, nhưng hiện tại nó yêu cầu một framework tùy chỉnh và thiếu hỗ trợ GPU, giới hạn khả năng áp dụng rộng rãi của nó.
Điểm chính
- BitNet b1.58 2B4T là mô hình Trí tuệ Nhân tạo 1-bit quy mô lớn nhất, với 2 tỷ thông số.
- Mô hình này có sẵn dưới giấy phép MIT và có thể chạy trên CPU, bao gồm cả chip M2 của Apple.
- Bitnets được thiết kế để nén, cho phép chúng chạy trên phần cứng nhẹ bằng cách định lượng trọng số thành ba giá trị: -1, 0 và 1.
- Mô hình đã được huấn luyện trên 4 nghìn tỉ token, tạo ra kết quả vượt trội so với các mô hình khác như Llama 3.2 1B của Meta và Gemma 3 1B của Google trong các chỉ số cụ thể.
- Nó hoạt động gấp đôi tốc độ so với các mô hình tương tự trong khi sử dụng bộ nhớ ít hơn đáng kể.
- Tuy nhiên, nó phụ thuộc vào framework tùy chỉnh của Microsoft, hiện tại chưa hỗ trợ GPU.
Vì sao quan trọng
- Các tin tức mới phản ánh xu hướng hiện nay đang dần chuyển sang các mô hình AI hiệu quả hơn trong ngành công nghiệp, đặc biệt là trong bối cảnh hạn chế tài nguyên và khả năng truy cập rộng hơn.
- Sự đẩy mạnh cho các mô hình AI chạy trên CPU thể hiện sự di chuyển ngày càng tăng về việc triển khai AI trên các thiết bị biên, điều này là một xu hướng công nghệ IT quan trọng trong năm 2025.
- Lịch sử cho thấy, sự phụ thuộc vào GPUs đã tạo ra những rào cản; sự tiến bộ trong các mô hình tương thích với CPU có thể làm cho khả năng truy cập AI trở nên phổ biến hơn.
BitNet b1.58 2B4T đại diện cho một bước tiến đáng kể trong hiệu suất mô hình Trí tuệ Nhân tạo, nhưng nhược điểm hiện tại về tương thích phần cứng của nó là một thách thức cho việc áp dụng rộng rãi và tích hợp vào cơ sở hạ tầng hiện có.