Сложная «память» для ИИ-агентов проиграла простому поиску по переписке

Память языковых моделей широко применяется для понимания долгих разговоров. Агентные системы памяти часто используют изменение записей, структурирование, обучаемые стратегии поиска и другие сложные операции. Всегда ли эта сложность нужна? Мы изучаем Raw-RAG — наивный базовый вариант RAG: плотный поиск (dense retrieval) и переранжирование по сырой истории, которые подают свидетельства модели-читателю.

На LoCoMo, LongMemEval, MEME и MemoryAgentBench Raw-RAG занимает первое место среди сравниваемых систем памяти в шести из семи сочетаний «бенчмарк — модель» и опережает сильнейшую агентную систему памяти на 0,13–5,53 пункта. Мы разбираемся, почему поиск по сырой истории остаётся конкурентоспособным. Анализ свидетельств показывает, что более полное покрытие нужных свидетельств может компенсировать их менее эффективное использование. Полезные свидетельства включают и сами значения ответа, и связи и цепочки зависимостей, нужные, чтобы его вывести. Даже полный доступ к преобразованным хранилищам памяти оставляет разрыв в точности по сравнению с сырыми свидетельствами — это подчёркивает, как важно сохранять исходную информацию.

Эти результаты ставят под сомнение необходимость сложной агентной памяти для изученных разговорных задач и делают наивный RAG обязательным базовым вариантом для сравнения.

Читать оригинал: Is Complex Agentic Memory Always Needed? Naive RAG Is Stronger Than We Thought. Это фрагмент (аннотация или ключевая часть). Полный текст по ссылке на источник.

Вопрос. Системы памяти для ИИ-агентов (Mem0, MemOS, MemMachine, EverMemOS и др.) извлекают факты, пишут сводки, строят графы и обновляют записи. Авторы проверяют, даёт ли эта сложность выигрыш по сравнению с простым поиском по исходному тексту разговора.

Raw-RAG — как устроен.

• История разговора (с отметками времени и подписями к картинкам) режется на окна по 256 токенов с перекрытием 32, окна индексируются как есть, без участия LLM.
• По вопросу находятся 128 ближайших окон (косинусная близость), затем кросс-энкодер оставляет 15 лучших.
• Модель-читатель (GPT-4o-mini, GPT-4.1-mini или DeepSeek-V4-Flash) сама разбирается в порядке событий и изменениях.

Результаты. Сравнение с 12 системами на четырёх бенчмарках (LoCoMo, LongMemEval, MEME, MemoryAgentBench): Raw-RAG первый в 6 из 7 сочетаний, отрыв 0,13–5,53 пункта. Например, MemoryAgentBench с DeepSeek-V4-Flash: 53,41 против 47,88 у Memora. Единственный проигрыш: MEME с DeepSeek-V4-Flash (43,19 против 44,71 у MemMachine). Полный контекст без поиска там же даёт 63,17 — то есть все системы памяти, включая Raw-RAG, сильно отстают от него.

Почему работает. Системы различаются в первую очередь тем, находят ли они нужные свидетельства (покрытие на MemoryAgentBench от 19% до 45%), а не тем, как используют найденное (80–90%). У Raw-RAG покрытие самое высокое (45,29%).

Что ломает. Добавление к Raw-RAG «умных» шагов ухудшает результат: извлечение атомарных фактов −19,62 пункта, сводки −5,81, расширение по графу −5,78. Без переранжирования −3,92. Даже идеальный доступ ко всем записям преобразованной памяти остаётся на 7,58–29,38 пункта ниже сырых свидетельств.

Цена. На срезе MEME подготовка и поиск у Raw-RAG занимают 306 с против 1562–9301 с у других систем; на истории в ~1 млн токенов — 0,33 ч против 3,25 ч у ближайшей завершившейся системы.

Ограничения (по авторам). Только офлайн-разговоры на публичных бенчмарках; хранение сырой истории поднимает вопросы приватности и удаления данных; результат зависит от силы модели-читателя. Препринт не прошёл рецензирование.

Чтобы ИИ-помощник помнил, о чём вы говорили месяц назад, разработчики придумывают ему «память». Многие такие системы устроены сложно: помощник сам выписывает важные факты, составляет краткие конспекты, связывает их в схемы и исправляет устаревшее.

Авторы проверили простую альтернативу. Это как если бы вместо конспектов вы хранили всю переписку целиком, а перед ответом на вопрос быстро находили в ней самые подходящие кусочки и перечитывали их.

Оказалось, что простой способ почти всегда работает лучше и в разы быстрее. Причина понятная: когда пишешь конспект, легко выбросить деталь, которая потом окажется важной. А в исходной переписке ничего не потеряно — нужно только уметь найти нужное место.

Что это меняет: прежде чем строить сложную память, стоит сравнить её с этим простым вариантом. Но у хранения всей переписки есть минус — вопросы приватности: такие данные сложнее «забыть» по просьбе пользователя.