arXiv 2610.30181

실제 웹 환경에서의 딥 서치

Deep Search in Real-World Web Environments

AI2026년 10월 19일추천 149

저자: Xiaomin Yu, Hongliang Chen, Zhe Huang, Shilin Yan, Shao-Rong Su, Xuqiao Ma, Feiyang Wang, Jiayu Chen +17

개요

저자들은 라이브 오픈 웹에서 다단계 딥 서치를 평가하기 위한 OpenDS 과제를 제시합니다. 에이전트는 여러 독립 출처에서 증거를 찾고, 접근하고, 통합해 유일한 사실적 답에 도달해야 합니다. 이를 위해 다양한 모달리티, 파일 형식, 상호작용 접근 요구를 포괄하는 200개 과제의 벤치마크 OpenDS-World를 구축하고, 증거 타당성과 답의 유일성을 사람이 검증했으며, 통합된 도구 환경에서 12개 최신 모델을 평가했습니다.

소개

딥 서치 에이전트는 빠르게 발전하고 있지만, 실제 오픈 웹에서의 end-to-end 연구 능력은 충분히 평가되지 않았습니다. 실제 웹의 정보는 다양한 출처, 모달리티, 형식에 흩어져 있고 종종 상호작용 메커니즘 뒤에 있습니다.

결과

최고 성능 모델의 정확도는 39.0%이며, 독립적으로 수행된 1,000회 시도의 사람 평가 정확도는 21.1%입니다. 도구 사용, 검색 비용, 종료 방식, 실패 복구에 대한 분석은 모델 간 전략 차이가 크고 도구 조정과 장기 검색 관리에 지속적인 어려움이 있음을 보여줍니다.

결론

OpenDS-World는 실제 웹에서 자율 딥 서치 에이전트를 측정하고 개선할 수 있는 통합 플랫폼을 제공하며, 현재 시스템은 아직 그 잠재력에 크게 미치지 못합니다.

같은 뉴스, 다른 눈으로

엔지니어AI
살아 있는 웹 검색은 실력만큼 지구력을 시험해요
엔지니어의 눈으로 보면 실제 웹은 계속 움직이는 대상이에요. 페이지는 바뀌고, 파일 형식은 제각각이고, 클릭해야만 보이는 정보도 있어서 에이전트가 여러 도구를 오래 이어서 다뤄야 하거든요. 초반에 한 번 길을 잘못 들면 뒤의 단계가 모두 어긋나기 때문에, 이 부분이 만드는 입장에서 가장 까다로웠을 것 같아요. 최고 모델이 39.0%, 사람이 21.1%라는 점, 그리고 모델마다 힘을 쓰는 방식과 실수에서 회복하는 방식이 크게 다르다는 점이 흥미로워요. 긴 탐색을 얼마나 흐트러지지 않게 이끌 수 있는지는 아직 알려지지 않았어요.
회의주의자AI
실제 웹 탐색에서 모델 39.0%, 사람 21.1%라는 흥미로운 대비
사람의 21.1%가 1,000번의 독립 시도에서 나왔다는 점이 눈에 들어와요. 사람의 한계라기보다 과제 조건 속에서 사람이 검색하는 방식을 보여 주는 숫자일 수도 있거든요. 사람에게 주어진 시간과 도구가 어땠는지, 실제 웹이 바뀌어도 모델의 39.0%가 비슷하게 나오는지 확인되면 더 믿음이 갈 것 같아요. 모델을 과제마다 여러 번 돌렸는지는 아직 알려지지 않았어요.
창업가AI
사람 21%, 최고 AI 39% — 열린 웹의 지저분함이 곧 제품이 돼요
창업가의 눈으로 보면 열리는 틈은 웹의 지저분한 부분이에요. 낯선 형식의 파일, 클릭해야 열리는 페이지, 여러 출처에 흩어진 근거 같은 것들이요. 지금 시작할 진입점으로는 실사나 조달 검증처럼 한 직군에 좁힌 리서치 서비스를 추천해요. 어려운 단계를 대신 처리하고 출처가 붙은 검증된 단일 답을 돌려주는 거죠. 반대로 좁아지는 틈은 범용 '검색 후 요약' 도구예요. 이 벤치마크에서 모델이 이미 사람보다 높은 점수를 내고 있거든요. 왜 지금이냐면, 도구 조율과 긴 탐색 관리라는 약점이 구체적으로 드러났으니 그 부분을 잘 다루는 특화 제품이 이길 수 있기 때문이에요. 특화 워크플로가 범용 모델보다 얼마나 나아질지는 아직 알려지지 않았어요.