Nota trình diễn công nghệ tối ưu hóa AI tại hội thảo dành cho nhà phát triển Arm ở Mỹ

Chuyện gì đã xảy ra

Nota cho biết họ đã hỗ trợ các buổi thực hành tại hội thảo 'Arm 크리에이트 2026' ở San Jose, Mỹ. Các nhà phát triển từ nhiều nước đã dùng nền tảng 'Netspresso' của Nota. Họ dùng công cụ 'AI 모델 옵티마이저' để tối ưu mô hình AI, rồi xem kết quả chạy. Công cụ này là một phần chính của cổng AI của Arm và được xây dựng dựa trên công nghệ của Nota.

Các con số chính

• Arm cho biết mô hình AI 'Wide ResNet-50' trên máy tính nhỏ 'Raspberry Pi 5' chạy nhanh hơn 5,9 lần.
• Bộ nhớ dùng để chạy mô hình giảm 74% trên Raspberry Pi 5.
• Trên điện thoại cao cấp 'vivo X300 Pro', độ trễ giải mã của mô hình nhận dạng giọng nói 'Whisper Base' giảm 52%.

Công nghệ hoạt động thế nào

Công cụ dùng hai kỹ thuật chính. Kỹ thuật thứ nhất là lượng tử hóa, tức là làm gọn các số trong mô hình để tính toán nhẹ hơn. Kỹ thuật thứ hai là tối ưu đồ thị, tức là sắp xếp lại các bước tính để chạy hiệu quả hơn. Nhờ vậy, mô hình dùng ít phép tính và ít bộ nhớ hơn. Công cụ cũng giúp đưa mô hình lên nhiều loại phần cứng, từ đám mây, thiết bị biên đến AI vật lý như robot.

Vì sao tin này quan trọng

Nhiều mô hình AI rất lớn và cần nhiều điện và bộ nhớ. Nếu chạy được trên thiết bị nhỏ như điện thoại hay máy tính mini, AI sẽ có mặt ở nhiều nơi hơn. Đây cũng là cơ hội để Nota mở rộng kinh doanh ra thế giới, như CEO Chae Myung-su nói.

Điều cần theo dõi

• Nota sẽ cho nhà phát triển dùng thử công cụ sớm và thu thập phản hồi.
• Nota dự định thu thập thêm ví dụ sử dụng với nhiều mô hình AI và phần cứng khác nhau.
• Nota muốn cải thiện tính năng và cách dùng của nền tảng.