Поиск в живом интернете: лучшие ИИ-агенты решают 39% задач, люди — 21%

Агенты глубокого поиска (Deep Search) заметно продвинулись, но их способность проводить исследование от начала до конца в реальном открытом интернете проверена недостаточно. В отличие от статичного поиска по готовой коллекции, в реальном вебе информация разбросана по разным источникам, модальностям и форматам и часто спрятана за сложными механизмами взаимодействия: агенту приходится по ходу работы самому искать, открывать и объединять нужные свидетельства. Чтобы закрыть этот пробел, мы вводим задачу OpenDS, которая оценивает способность агентов вести многошаговый глубокий поиск в живом открытом вебе. Агент должен сам исследовать настоящий интернет, находить и связывать свидетельства из нескольких независимых источников с помощью веб-поиска, работы с браузером и обработки найденного — и в итоге установить единственный фактический ответ.

На основе этой постановки мы собрали OpenDS-World — бенчмарк из 200 сложных задач с разными модальностями, разнородными форматами файлов и требованиями к интерактивному доступу; люди независимо проверили достоверность свидетельств и единственность ответа. Мы оценили 12 передовых моделей в едином окружении инструментов и по единому протоколу. Лучшая модель достигает точности 39,0%, а люди в 1000 независимых попытках — 21,1%. Анализ использования инструментов, стоимости поиска, момента остановки и восстановления после сбоев показывает существенные различия в исследовательских стратегиях моделей, а также устойчивые трудности с координацией инструментов и управлением долгим поиском. OpenDS-World даёт единую платформу для систематической оценки и развития способности агентов к самостоятельному глубокому поиску в реальном открытом вебе.

Читать оригинал: Deep Search in Real-World Web Environments. Это фрагмент (аннотация или ключевая часть). Полный текст по ссылке на источник.

Задача. Агенту дают вопрос из нескольких косвенных подсказок; ответ — один проверяемый факт. Где лежат улики и как до них добраться, не сообщается. Каждая задача начинается с публичного видео, а дальше цепочка ведёт через сайты, PDF, аудио, RSS, таблицы Parquet и т. п.

Как собирали. Из 500 кандидатов в восьми областях (наука, общество, быт, культура, природа, история, экономика, технологии) после проверки десятью рецензентами осталось 200 задач: 787 источников (~3,9 на задачу), 4 модальности, 42 формата, 7 типов доступа (навигация, ввод параметров, переход к моменту в видео, работа с интерфейсом, запросы к данным, скачивание). 82,5% задач требуют минимум двух модальностей.

Условия. Единый набор инструментов: поиск текста, картинок и видео; управление браузером со скриншотами; кадры и субтитры видео. Лимиты: 1 час поиска и 100 вызовов инструментов. Ответы оценивает модель-судья Qwen3.8-27B.

Результаты (точность, %). GPT-6 Astra 39,0; Claude Opus 5.5 38,0; Gemini 3.8 Flash 36,5; Claude Fable 5.1 33,5; GPT-5.6 Sol 28,0; Qwen3.8-Max 25,5; GLM-5.3-Flash 23,5; DeepSeek-V4.1-Flash 20,5; Kimi K3 17,5; GLM-5.3 (только текст) 13,5; DeepSeek-V4-Pro (только текст) 12,5; Qwen3.8-Flash 12,0.

Люди. 50 человек, по 20 задач, обычный браузер без ИИ-инструментов, без ограничения времени: 21,1% верных ответов из 1000 попыток, в среднем 38,8 минуты на попытку. 42,5% задач не решил ни один из пяти человек.

Наблюдения.

• Больше ресурсов ≠ выше точность: GPT-5.6 Sol делает примерно столько же вызовов, сколько GPT-6 Astra (52 против 51), но тратит вдвое меньше времени и решает меньше.
• Сбои инструментов — 3–9% вызовов, но 19–62% времени выполнения.
• Сильные модели при сбое чаще переключаются на другой инструмент (~80%), слабые повторяют тот же с другими аргументами.
• Qwen3.8-Flash упирается в лимит вызовов в 80% задач.

Оговорки. Один набор инструментов и фиксированные лимиты могут по-разному сказываться на разных моделях; оценку ставит одна модель-судья; живой веб меняется со временем. Препринт не прошёл рецензирование.

Представьте детективную загадку: «Найдите город, где родился человек, который в одном видео держит такую-то книгу, а в архиве газеты упомянут вместе с…». Ответ нигде не написан напрямую — его нужно собрать по кусочкам из видео, документов, сайтов и таблиц.

Именно такие 200 загадок исследователи дали ИИ-агентам — программам, которые сами ищут в интернете, открывают страницы, смотрят видео и читают файлы. И для сравнения — людям с обычным браузером.

Что вышло:

• лучший ИИ решил 39% загадок;
• люди без ограничения по времени — только 21%, хотя тратили на каждую попытку около 40 минут;
• почти половину загадок не решил ни один из пяти человек.

Вывод не в том, что ИИ «умнее» людей: задачи специально сделаны очень трудными и утомительными. Важнее другое — даже лучшие агенты чаще ошибаются, чем справляются. Они путаются, когда сайт не открывается или файл в неудобном формате, и не всегда понимают, когда пора остановиться.