arXiv 2610.26233
Heartbeat Thinking: Suy luận và thực thi công cụ mang tính suy đoán khi đang lắng nghe trong tác nhân giọng nói thời gian thực
Heartbeat Thinking: Speculative Reasoning and Tool Execution While Listening in Realtime Voice Agents
AI18 lượt đề xuất
Tác giả: Zhenyu Zhang, Kewei Fu, Yongqi Tong, Chenzhi Zheng, Wei Wu, Jiang-Ming Yang, Jianshe Li
Tổng quan
Các tác giả đề xuất Heartbeat Thinking, một phương pháp cho phép tác nhân giọng nói bắt đầu suy luận và gọi công cụ ngay khi người dùng vẫn đang nói. Thay vì dừng quá trình sinh mỗi khi giọng nói được cập nhật, các lần gọi Thinker định kỳ đọc bản chép lời một phần mới nhất và bản ghi chung các kết quả suy luận và công cụ đã hoàn thành, trong khi các lần gọi trước và công cụ đã được kích hoạt vẫn được hoàn tất.
Giới thiệu
Các tác nhân giọng nói dùng công cụ thường khiến người dùng phải chờ sau khi nói xong, dù thông tin cần thiết đã xuất hiện từ trước trong yêu cầu. Các phương pháp suy đoán hiện có có thể cắt ngang lệnh gọi công cụ trước khi đối số hoàn chỉnh, khiến việc chuẩn bị hữu ích bị gắn với các lần cập nhật giọng nói.
Kết quả
Trên FDBench v3, Heartbeat tăng độ phủ công cụ thêm 16 điểm phần trăm và giảm độ trễ phản hồi cuối cùng trung bình 36,4%. Trên SpeechFCEval, FDBench v3 và AudioCRAG, phương pháp này cải thiện độ phủ công cụ suy đoán tổng hợp hoặc việc tái sử dụng truy xuất so với đường cơ sở dựa trên cửa sổ kiểu SHANKS, nhưng ảnh hưởng đến chất lượng tác vụ cuối cùng phụ thuộc vào benchmark.
Kết luận
Việc giữ quá trình tính toán chạy trong lúc người dùng nói biến thời gian lắng nghe thành công việc chuẩn bị có thể tái sử dụng, giúp tác nhân giọng nói nhanh hơn và có năng lực hơn.