arXiv 2610.29722
検索拡張生成の合成性（Retrieval Augmented Generation Compositionality）
Retrieval Augmented Generation Compositionality
AI推薦26
著者: Ido Levy, Segev Shlomov, Leshem Choshen
概要
著者らは、制御されたRAG評価のためのオープンソースフレームワークLASAGNAを構築し、8つのベンチマークと5K〜200K文書規模のコーパスで450の構成を検証しました。埋め込み、チャンク化、検索、再ランキング、クエリ拡張、文脈圧縮、エージェント型検証を、個別ではなく組み合わせた状態で調べています。
はじめに
RAGの技術は通常一つずつ評価されるため、個別に得られた改善が組み合わせた後も維持されるかは不明です。また、検索品質と回答の忠実性が同じ設計選択を好むのか、小規模コーパスでの結論が大規模でも成り立つのかも分かっていません。
結果
検索に関する3つの技術は組み合わせると+47%の改善が見込まれましたが、実際に一緒に使うと+17%にとどまりました。構成要素の効果は検索と忠実性で異なる積み重なり方をし、コーパスの規模が大きくなると最適な構成も変わります。
結論
単独で測定した効果は実際の性能を確実には予測しないため、新しいRAG技術は完全なパイプラインと併せて検証すべきであり、LASAGNAはそのための実験を簡単にすることを目指しています。