CN — TechNode
Tencent phát hành trọng số mô hình Hy4 với ngữ cảnh một triệu token
AI2 phút đọc
Tencent đã công bố trọng số (weights) của mô hình AI chủ lực Hy4, nghĩa là các nhà phát triển có thể tải về và tự chạy mô hình. Mô hình này có thể xử lý văn bản, hình ảnh và video.
Tencent mở mã trọng số Hy4
Hôm thứ Sáu, Tencent đã phát hành trọng số của Hy4, mô hình AI chủ lực của hãng. Nhờ vậy, các nhà phát triển có thể tải mô hình về và tự triển khai. Hy4 ra mắt lần đầu vào ngày 4 tháng 11. Mô hình được cấp phép Apache 2.0, cho phép dùng vào mục đích thương mại và chỉnh sửa.
Các con số chính
- Cửa sổ ngữ cảnh khoảng 1 triệu token (token là đơn vị nhỏ mà AI dùng để đọc và xử lý chữ).
- Phần lõi ngôn ngữ có 770 tỷ tham số (parameter, tức là các con số bên trong mô hình).
- Mỗi token chỉ dùng 49 tỷ tham số được kích hoạt.
- Hy4 hỗ trợ hiểu văn bản, hình ảnh và video.
Mô hình chuyên gia là gì?
Hy4 dùng kiến trúc gọi là mô hình chuyên gia hỗn hợp (mixture-of-experts). Cách này chia mô hình thành nhiều nhóm “chuyên gia”. Với mỗi token, chỉ một phần nhóm được bật lên, nên việc chạy mô hình nhẹ hơn so với việc dùng toàn bộ tham số cùng lúc. Trước đó, Tencent đã mở riêng mô hình nhỏ hơn là Hy4 flash.
Vì sao tin này quan trọng
Khi ai cũng có thể tải và chạy một mô hình lớn, các công ty nhỏ và nhà nghiên cứu có thêm lựa chọn. Tencent nói Hy4 làm tốt hơn bản preview ở việc làm theo hướng dẫn, hiểu văn bản dài và làm các tác vụ kéo dài. Mô hình cũng hỗ trợ làm việc với giao diện đồ họa, dòng lệnh, phát triển giao diện web, làm game và công việc văn phòng.
Cần theo dõi
Chú giải
- Tencent
- Tập đoàn công nghệ lớn của Trung Quốc, làm nhiều dịch vụ như game, mạng xã hội và AI.
- Hy4
- Mô hình AI chủ lực của Tencent, có thể xử lý văn bản, hình ảnh và video.
- mixture-of-experts
- Kiến trúc AI chia mô hình thành nhiều nhóm chuyên gia, mỗi lần chỉ bật một phần.
- vLLM
- Công cụ mã nguồn mở giúp chạy các mô hình ngôn ngữ lớn nhanh và hiệu quả.
- SGLang
- Công cụ mã nguồn mở dùng để triển khai và chạy mô hình ngôn ngữ lớn.