arXiv 2610.30181
Tìm kiếm sâu trong môi trường Web thực tế
Deep Search in Real-World Web Environments
AI149 lượt đề xuất
Tác giả: Xiaomin Yu, Hongliang Chen, Zhe Huang, Shilin Yan, Shao-Rong Su, Xuqiao Ma, Feiyang Wang, Jiayu Chen +17
Tổng quan
Các tác giả giới thiệu tác vụ OpenDS để đánh giá khả năng tìm kiếm sâu nhiều bước trên Web mở đang hoạt động, nơi tác nhân phải tìm, truy cập và tích hợp bằng chứng từ nhiều nguồn độc lập để đi đến một đáp án thực tế duy nhất. Họ xây dựng OpenDS-World, một benchmark gồm 200 tác vụ với nhiều loại phương thức thông tin, định dạng tệp và yêu cầu truy cập tương tác, được con người xác minh về tính hợp lệ của bằng chứng và tính duy nhất của đáp án, rồi đánh giá 12 mô hình tiên tiến trong một môi trường công cụ thống nhất.
Giới thiệu
Các tác nhân tìm kiếm sâu đang tiến bộ, nhưng khả năng nghiên cứu end-to-end trên Web mở thực tế vẫn chưa được đánh giá đầy đủ. Thông tin trên Web thực tế phân tán ở nhiều nguồn, phương thức và định dạng khác nhau, và thường nằm sau các cơ chế tương tác.
Kết quả
Mô hình có hiệu suất cao nhất đạt độ chính xác 39.0%, trong khi đánh giá của con người qua 1.000 lần thử độc lập đạt 21.1%. Các phân tích về cách dùng công cụ, chi phí tìm kiếm, hành vi kết thúc và khả năng phục hồi sau lỗi cho thấy chiến lược nghiên cứu khác nhau đáng kể giữa các mô hình, cùng những thách thức dai dẳng trong phối hợp công cụ và quản lý tìm kiếm dài hạn.
Kết luận
OpenDS-World cung cấp một nền tảng thống nhất để đo lường và cải thiện các tác nhân tìm kiếm sâu tự động trên Web thực tế, nơi các hệ thống hiện nay vẫn còn xa mới đạt tiềm năng.