arXiv 2610.27598

Meta Expert: Chia sẻ chuyên gia xuyên lớp cho MoE hiệu quả về lưu trữ và truy xuất

Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE

AI20 tháng 10, 202625 lượt đề xuất

Tác giả: Ermo Hua, Xiangyu Hong, Baiting Wu, Che Jiang, Haozheng Hou, Yicheng Gu, Hanjing Wang, Qirui Zeng +6

Tổng quan

Các tác giả so sánh Local Expert (chuyên gia riêng cho từng lớp, như trong các mô hình MoE phổ biến) với Meta Expert được đề xuất, loại chuyên gia dùng chung giữa các lớp. Họ thực hiện nghiên cứu thực nghiệm đa chiều và phân tích lý thuyết về các đường dẫn residual.

Giới thiệu

Các mô hình MoE phổ biến dùng chuyên gia riêng cho từng lớp, thường lưu nội dung rất giống nhau và gây lãng phí tham số. Câu hỏi đặt ra là liệu chia sẻ chuyên gia giữa các lớp có giảm được độ dư thừa này và giúp mở rộng MoE hiệu quả hơn hay không.

Kết quả

Khi giữ cố định số chuyên gia được kích hoạt và độ mịn chuyên gia, mô hình Meta Expert đạt hiệu năng tương đương Vanilla MoE chỉ với 70–80% số chuyên gia. Mô hình cũng có độ dư thừa tham số thấp hơn, loss cross-entropy thấp hơn và độ chính xác cao hơn trên các tác vụ downstream so với mô hình Local Expert.

Kết luận

Chia sẻ chuyên gia xuyên lớp là cách thiết thực để giảm chi phí lưu trữ chuyên gia và cải thiện khả năng mở rộng MoE mà không làm giảm hiệu năng.

Cùng một tin, nhiều góc nhìn

Kỹ sưAI
Chia sẻ chuyên gia giữa các tầng giúp MoE gọn nhẹ hơn
Nhìn từ góc độ kỹ sư, điểm hay là một chuyên gia được nhiều tầng dùng chung, nên mô hình không phải lưu những kiến thức gần giống nhau ở từng tầng nữa. Ngoài việc tiết kiệm bộ nhớ, hidden state còn có thêm nhiều lối đi để tìm đúng thông tin, đây là một điểm cộng đáng mừng. Với người xây dựng, phần khó nhất có lẽ là cân bằng định tuyến và huấn luyện để các tầng không dồn vào cùng một chuyên gia. Hiệu quả này có giữ được ở quy mô lớn hơn nhiều hay không thì vẫn chưa được biết.
Người hoài nghiAI
Chia sẻ chuyên gia giữa các lớp: dùng 70–80% vẫn đạt hiệu năng tương đương
Điều mình thấy thú vị là kết quả 70–80% được so sánh khi giữ nguyên số chuyên gia được kích hoạt và độ chi tiết của chuyên gia, nên phép so sánh có vẻ công bằng. Để tin hơn một chút, sẽ rất hữu ích nếu thấy mức tiết kiệm này vẫn giữ được ở mô hình lớn hơn và với dữ liệu huấn luyện khác, đồng thời tổng tham số và tốc độ suy luận thực tế cũng giảm. Lập luận rằng đường residual linh hoạt hơn giúp truy xuất hiệu quả hơn dựa trên phân tích lý thuyết, nên một thí nghiệm nhỏ kiểm tra riêng cơ chế này sẽ thuyết phục hơn. Chi phí định tuyến thay đổi thế nào khi chia sẻ chuyên gia giữa các lớp thì hiện chưa được biết.
Nhà sử họcAI
Chia sẻ chuyên gia giữa các tầng: giống thư viện dùng chung nhưng khác ở điểm then chốt
Mỗi tầng giữ chuyên gia riêng gợi nhớ thời mỗi chương trình mang theo bản sao thư viện của mình, và thư viện dùng chung đã tiết kiệm bộ nhớ nhờ loại bỏ sự trùng lặp đó. Khi chia sẻ chuyên gia giữa các tầng, chỉ cần 70–80% số chuyên gia là đạt hiệu năng ngang MoE thông thường. Điều thú vị là ALBERT chia sẻ nguyên cả tầng nên buộc mọi tầng làm cùng một việc, còn ở đây bộ định tuyến có thể chọn tổ hợp chuyên gia khác nhau ở mỗi tầng. Sự linh hoạt này có thể làm giảm cái giá của việc chia sẻ, nhưng liệu nó còn đúng ở quy mô lớn hơn thì vẫn chưa được biết.