CN — TechNode

SenseTime mã nguồn mở mô hình AI 9 tỷ tham số tái sử dụng các lớp để xử lý sâu hơn

AI2 tháng 11, 20262 phút đọc

SenseTime vừa phát hành SenseNova Loop-9B-Preview, một mô hình AI mã nguồn mở xử lý được cả văn bản và hình ảnh. Điểm đặc biệt là mô hình tái sử dụng cùng một khối lớp để xử lý sâu hơn mà không cần thêm trọng số.

Chuyện gì đã xảy ra

Ngày 30 tháng 10, SenseTime công bố SenseNova Loop-9B-Preview. Đây là mô hình đa phương thức, nghĩa là nó nhận đầu vào dạng văn bản và hình ảnh, rồi tạo ra văn bản. Mô hình được dùng cho việc hiểu tài liệu, viết mã lập trình và các tác vụ có dùng công cụ bên ngoài. Điểm nổi bật là mô hình chạy lại cùng một khối 24 lớp giải mã hai lần. Nhờ vậy, đường tính toán trở nên sâu hơn mà không phải nhân đôi các trọng số của mô hình.

Các con số chính

Mô hình có khoảng 9 tỷ tham số.
Khối 24 lớp giải mã được chạy hai lần.
Dữ liệu huấn luyện hỗ trợ chuỗi dài tới 262.144 token.
Dữ liệu huấn luyện gồm văn bản, hình ảnh, mã nguồn và ví dụ về sử dụng công cụ.
Mã nguồn mở theo giấy phép Apache 2.0.

Bối cảnh cho người mới

Thông thường, muốn mô hình xử lý sâu hơn thì phải thêm nhiều lớp và nhiều trọng số, khiến mô hình nặng hơn. Cách của SenseTime là dùng lại các lớp đã có, giống như đi qua một con đường hai lần để nhìn kỹ hơn. Mã nguồn mở nghĩa là SenseTime công khai trọng số, hướng dẫn chạy mô hình và hướng dẫn huấn luyện, để người khác có thể tải về và dùng thử.

Vì sao tin này quan trọng

Tin này cho thấy có thể làm mô hình AI xử lý sâu hơn mà không làm tăng kích thước trọng số. Điều đó có thể giúp các nhóm nhỏ hơn tiếp cận công nghệ AI mạnh. Việc công bố theo giấy phép Apache 2.0 cũng cho phép nhiều người nghiên cứu, chỉnh sửa và dùng lại mô hình.

Cần theo dõi điều gì

Mô hình này là bản Preview, nên cần xem kết quả thử nghiệm độc lập về độ chính xác.
Xem cộng đồng có dùng và cải tiến mô hình trên nền tảng mã nguồn mở hay không.
Xem hiệu quả thực tế khi xử lý chuỗi rất dài và các tác vụ có dùng công cụ.

Chú giải

SenseTime: Công ty AI của Trung Quốc, phát triển các mô hình và công nghệ thị giác máy tính.
SenseNova Loop-9B-Preview: Mô hình AI đa phương thức khoảng 9 tỷ tham số, được SenseTime công bố dưới dạng bản thử nghiệm.
Mã nguồn mở: Phần mềm hoặc mô hình được công khai để người khác tải về, xem, sử dụng và chỉnh sửa.
Apache 2.0: Giấy phép phần mềm mã nguồn mở cho phép sử dụng, sửa đổi và phân phối lại.

Cùng chủ đề

AIVnExpress2 thg 11

Quản lý Anthropic không còn kiểm tra lập trình khi tuyển dụng

Felix Rieseberg, quản lý tuyển dụng tại Anthropic, cho biết công ty đã ngừng hoàn toàn bài kiểm tra lập trình khi tuyển dụng vì các mô hình Claude hiện viết code giỏi hơn con người. Thay vào đó, ông xem xét hồ sơ năng lực để tìm gu thẩm mỹ, sự thấu cảm và tư duy có nguyên tắc, đồng thời đánh giá cao ứng viên tự xây dựng nguyên mẫu bằng AI. Khảo sát được dẫn trong bài cho thấy AI khiến việc đánh giá năng lực kỹ thuật khó hơn, và các kỹ năng thiết kế hệ thống, gỡ lỗi, cộng tác với AI đang được coi trọng hơn.

AITechNode2 thg 11

Nhóm DeepSeek mã nguồn mở nguyên mẫu nghiên cứu về tác tử lập trình chủ động

Nhóm Harness của DeepSeek đã mã nguồn mở dsh-superagent, một nguyên mẫu nghiên cứu nhận yêu cầu phát triển từ GitHub và tùy chọn từ Feishu, xử lý từng yêu cầu trong phiên làm việc riêng và trả kết quả như pull request về cuộc trò chuyện gốc. Dự án được cấu hình xoay quanh một kho GitHub duy nhất, chuyển các yêu cầu đã được ủy quyền thành mục công việc và có bảng điều khiển web hiển thị những việc cần con người chú ý. Dự án được phát hành theo giấy phép MIT.

AIVnExpress2 thg 11

Người dùng ngôn ngữ ít phổ biến tốn nhiều tiền hơn cho AI

Khi sử dụng ngôn ngữ ít phổ biến, AI tiêu thụ nhiều token hơn, khiến người dùng bất lợi so với người nói tiếng Anh hoặc ngôn ngữ thịnh hành khác. Nghiên cứu của CLEAR gọi đây là "thuế tokenizer ẩn": trong nhóm 20 ngôn ngữ phổ biến nhất Internet, ngôn ngữ đắt nhất cần nhiều token gấp 1,5-5 lần ngôn ngữ rẻ nhất, và khoảng cách tăng lên 17 lần khi mở rộng sang 200 ngôn ngữ.

AI전자신문2 thg 11

Nghi ngờ về lợi nhuận đầu tư AI lan rộng; Phố Wall phòng hộ rủi ro bằng quyền chọn bán và CDS

Phố Wall đang chuẩn bị ứng phó với thua lỗ từ các khoản đầu tư AI khổng lồ khi nghi ngờ về việc lợi nhuận có đạt kỳ vọng hay không ngày càng tăng. Theo Wall Street Journal, nhà đầu tư cá nhân và giám đốc công nghệ đang dùng quyền chọn bán và hợp đồng hoán đổi rủi ro tín dụng (CDS) để phòng trước giảm giá tài sản, đồng thời nhu cầu phòng hộ rủi ro giảm giá phí thuê GPU cũng tăng. CDS của 5 công ty công nghệ lớn, gồm Amazon, Alphabet, Microsoft, Meta và Oracle, đều tăng trong tháng qua, lên mức cao nhất kể từ năm 2021.