Lưu trữ — US — turtlesai
Pruna AI phát triển mô hình genAI nhỏ hơn, nhanh hơn và hoàn toàn mã nguồn mở.
Pruna AI, một startup châu Âu, đã thu hồi mã nguồn của framework tối ưu hóa cho việc nén mô hình AI, sử dụng các kỹ thuật như caching, pruning, và quantization. Công cụ này tích hợp nhiều phương pháp để giảm kích thước mô hình hiệu quả và tăng tốc độ, đồng thời cung cấp các công cụ đánh giá hiệu suất. Công ty nhằm mục tiêu đưa khả năng tối ưu hóa mô hình AI vào tay cộng đồng và đã có được $6.5 triệu trong vốn hạt giống để tiếp tục đổi mới.
Điểm chính
- Pruna AI đã công bố mã nguồn mở một framework tối ưu hóa cho việc nén AI.
- Framework này sử dụng các kỹ thuật như caching, pruning, quantization, và distillation.
- Nó tự động hóa việc đánh giá hiệu suất sau khi nén để phân tích chất lượng model.
- Nền tảng này cho phép sự kết hợp linh hoạt của các kỹ thuật nén.
- Nó hỗ trợ các mô hình khác nhau bao gồm NLP, diffusion, chuyển văn bản thành lời nói, và thị giác máy tính.
- Pruna AI đã thu vốn hạt giống 6,5 triệu USD từ các nhà đầu tư nổi tiếng.
Vì sao quan trọng
- Phản ánh một xu hướng rộng lớn trong AI đang hướng đến việc triển khai và quản lý mô hình hiệu quả hơn.
- Phù hợp với các xu hướng CNTT đến năm 2025 tập trung vào việc đưa AI đến với đại chúng và các giải pháp công nghệ bền vững.
- Tương tự như những cải tiến lịch sử trong tối ưu AI được thấy với các công ty như OpenAI và Hugging Face.
Khung công cộng của Pruna AI dự kiến sẽ mở rộng việc tối ưu hóa mô hình AI, cung cấp các công cụ giúp tăng cường hiệu quả và sự tiếp cận đồng thời nhấn mạnh về ý nghĩa của việc thực hành AI bền vững.