arXiv 2610.29722
Tính kết hợp của Retrieval Augmented Generation (Retrieval Augmented Generation Compositionality)
Retrieval Augmented Generation Compositionality
AI26 lượt đề xuất
Tác giả: Ido Levy, Segev Shlomov, Leshem Choshen
Tổng quan
Các tác giả xây dựng LASAGNA, một framework mã nguồn mở để đánh giá RAG có kiểm soát, và thử nghiệm 450 cấu hình trên tám bộ benchmark với kho tài liệu từ 5K đến 200K văn bản. Họ xem xét cách embedding, chia đoạn, truy xuất, xếp hạng lại, mở rộng truy vấn, nén ngữ cảnh và kiểm chứng theo tác tử hoạt động khi được kết hợp thay vì thử nghiệm riêng lẻ.
Giới thiệu
Các kỹ thuật RAG thường được đánh giá riêng lẻ, nên chưa rõ liệu lợi ích riêng lẻ có còn khi kết hợp hay không. Cũng chưa biết chất lượng truy xuất và độ trung thực của câu trả lời có ưu tiên cùng một lựa chọn thiết kế không, và kết luận từ kho nhỏ có áp dụng cho kho lớn không.
Kết quả
Ba kỹ thuật truy xuất dự đoán mức cải thiện kết hợp là +47%, nhưng khi dùng cùng nhau chỉ đạt +17%. Lợi ích của từng thành phần tích lũy khác nhau đối với truy xuất và độ trung thực, và cấu hình tốt nhất thay đổi khi kho tài liệu lớn lên.
Kết luận
Lợi ích đo riêng lẻ không đáng tin để dự đoán hiệu năng thực tế, vì vậy các kỹ thuật RAG mới cần được kiểm thử cùng toàn bộ pipeline, và LASAGNA được thiết kế để việc này đơn giản hơn.