arXiv 2610.29722
검색 증강 생성의 합성성(Retrieval Augmented Generation Compositionality)
Retrieval Augmented Generation Compositionality
AI추천 26
저자: Ido Levy, Segev Shlomov, Leshem Choshen
개요
저자들은 통제된 RAG 평가를 위한 오픈소스 프레임워크 LASAGNA를 만들고, 8개 벤치마크와 5K~200K 문서 규모의 코퍼스에서 450개 구성을 테스트했습니다. 임베딩, 청킹, 검색, 재순위화, 질의 증강, 문맥 압축, 에이전트 기반 검증을 개별이 아닌 결합된 상태에서 살펴보았습니다.
소개
RAG 기법들은 대개 하나씩 평가되므로, 개별적으로 얻은 성능 향상이 함께 사용될 때도 유지되는지 불분명합니다. 또한 검색 품질과 답변 충실도가 같은 설계 선택을 선호하는지, 그리고 소규모 코퍼스의 결론이 대규모 코퍼스에도 적용되는지도 알려져 있지 않습니다.
결과
세 가지 검색 기법은 결합 시 +47%의 향상을 예측했지만, 실제로 함께 사용했을 때는 +17%에 그쳤습니다. 구성 요소의 이득은 검색과 충실도에서 서로 다르게 누적되며, 코퍼스가 커질수록 최적의 구성도 달라집니다.
결론
개별적으로 측정한 이득은 실제 성능을 신뢰성 있게 예측하지 못하므로, 새로운 RAG 기법은 전체 파이프라인과 함께 검증되어야 하며 LASAGNA가 이를 돕고자 합니다.