US — TechCrunch
Nvidia ra mắt mô hình mở mới để vận hành tác nhân AI trong doanh nghiệp và trên PC
AI2 phút đọc
Nvidia vừa tung ra các mô hình AI mở (open-weight) mới. Một mô hình lớn dành cho tác tử AI trong doanh nghiệp, còn hai mô hình nhỏ được thiết kế để chạy trên máy tính AI mới.
Chuyện gì đã xảy ra
Nvidia đã ra mắt các mô hình AI mà bất kỳ ai cũng có thể tải về và điều chỉnh. Mô hình lớn nhất, Nemotron 3.5 Super VL, được làm cho các tác tử AI trong doanh nghiệp. Tác tử AI là chương trình AI có thể tự làm việc với ít sự trợ giúp của con người. Nvidia cũng ra mắt hai mô hình Bolt nhỏ hơn, có thể chạy trên máy tính mà không cần gửi dữ liệu lên đám mây.
Con số và sự kiện chính
- Nemotron 3.5 Super VL có 120 tỷ tham số (các thiết lập mà mô hình học được khi huấn luyện).
- Nvidia nói Super VL có thể đạt độ chính xác tương tự mô hình lớn hơn Nemotron 3 Ultra ở một số tác vụ, dù dùng ít tham số hơn.
- Nemotron 3.5 Bolt 74B-A9B 24GB có 74 tỷ tham số và được làm cho các tác vụ tác tử chạy cục bộ.
- Bolt E4B là mô hình nhỏ nhất, nhắm đến tác tử trò chuyện. Mô hình này sẽ ra mắt vào cuối tháng này.
- Super VL và Bolt 74B-A9B có thể dùng ngay bây giờ.
Thông tin nền
Mô hình open-weight cho phép công ty tải mô hình đã huấn luyện về và chạy trên máy tính hoặc trung tâm dữ liệu của riêng mình. Nvidia nói Super VL có thể được huấn luyện thêm bằng dữ liệu riêng của công ty. Nvidia cũng nói mô hình này nhanh hơn một số mô hình cạnh tranh của Anthropic và OpenAI ở một số tác vụ tác tử, như xử lý tài liệu, kế toán và yêu cầu bảo hiểm. Các công ty như EY, Ramp, CrowdStrike, Perplexity và Salesforce được nêu là đơn vị sử dụng.
Vì sao điều này quan trọng
Nhiều công ty muốn có AI mà họ có thể tự chạy và kiểm soát, thay vì chỉ dựa vào dịch vụ bên ngoài. Nvidia cũng muốn bán thêm máy tính AI dùng chip của hãng bằng cách đưa AI chạy ngay trên thiết bị. Điều này có thể giúp người dùng giữ thông tin riêng tư, như sức khỏe và tài chính, không phải lên đám mây. Tuy nhiên, đây là lời khẳng định của Nvidia, nên cần các bài kiểm tra độc lập để xác nhận hiệu năng thực tế.
Điều cần theo dõi
Chú giải
- Nvidia
- Công ty làm chip mạnh gọi là GPU, dùng để huấn luyện và chạy AI.
- Nemotron
- Bộ mô hình AI của Nvidia cho các việc như suy luận, lập trình và toán học.
- RTX Spark
- Chip của Nvidia dùng trong máy tính AI mới, có thể chạy mô hình ngay trên máy.
- DGX Spark
- Hệ thống máy tính nhỏ gọn của Nvidia để chạy mô hình AI trên workstation.