Память как основа разума: новый подход к генерации ответов

Автор: Денис Аветисян

Исследователи предлагают принципиально новый способ улучшения способности языковых моделей к рассуждениям и ответам на вопросы, основанный на создании внутренней модели мира и использовании эпизодической памяти.

В основе системы лежит процесс формирования глобальной памяти посредством последовательной интеграции семантических графов, создаваемых из сегментированных фрагментов текста, при котором ответы на вопросы формируются путем извлечения релевантных эпизодов из этой памяти и последующей реконструкции контекста для предоставления наиболее точного ответа.

Представлен Generative Semantic Workspace (GSW) – фреймворк, расширяющий возможности языковых моделей с помощью структурированной, вероятностной памяти для улучшения рассуждений и ответов на вопросы, связанные с длинными, развивающимися повествованиями.

Несмотря на успехи больших языковых моделей, долгосрочное рассуждение и понимание контекста остаются сложной задачей. В статье ‘Beyond Fact Retrieval: Episodic Memory for RAG with Generative Semantic Workspaces’ предлагается новый подход к решению этой проблемы, основанный на создании структурированной, эволюционирующей семантической модели памяти. Предложенная архитектура, Generative Semantic Workspace (GSW), позволяет моделям не просто извлекать факты, но и отслеживать изменения во времени и пространстве, значительно улучшая ответы на сложные вопросы. Не откроет ли это путь к созданию более разумных агентов, способных к длительному планированию и взаимодействию с миром?

Контекстное Ограничение: Узкое Горлышко LLM

Современные большие языковые модели (LLM) совершили революцию в обработке естественного языка, но их функциональность принципиально ограничена фиксированным размером контекстного окна. Это существенно затрудняет решение сложных задач, требующих анализа больших объемов информации и установления долгосрочных зависимостей. Основная причина – квадратичная вычислительная сложность механизмов внимания. По мере увеличения длины последовательности требуемые ресурсы растут экспоненциально, делая обработку длинных текстов практически невозможной. Существующие подходы, такие как дополнение извлечением, часто оказываются хрупкими и неспособными к глубокому пониманию нюансов, добавляя лишь новые слои абстракции поверх старых проблем.

Для извлечения операторов используется запрос к большой языковой модели (LLM), в котором контекст генерируется с помощью метода контекстного разбиения, разработанного Anthropic.

RAG и Структурированные Знания: Шаг Вперед?

Retrieval-Augmented Generation (RAG) – перспективный подход к преодолению ограничений контекстного окна LLM. Вместо полной переподготовки, RAG дополняет LLM релевантными знаниями из внешних источников, позволяя генерировать более точные ответы. Эффективность RAG зависит от способности находить подходящую информацию, обычно путём вычисления семантического сходства между запросом и фрагментами текста, представленными в виде плотных векторных представлений. Однако простого извлечения текста недостаточно. Использование структурированных представлений знаний, таких как графы знаний, значительно повышает точность и возможности логического вывода RAG-систем, снижая количество используемых токенов до 51% по сравнению с традиционными методами.

В рамках разработанной системы QA для GSW сначала выполняется распознавание именованных сущностей во входном запросе, после чего извлеченные сущности сопоставляются с соответствующими экземплярами глав GSW посредством сопоставления строк, что позволяет получить краткие содержания, специфичные для каждой сущности; эти краткие содержания затем ранжируются на основе семантической близости к запросу, определяемой косинусной мерой между их векторными представлениями, что позволяет получить более релевантные ответы от LLM, при этом среднее количество токенов значительно сокращается благодаря лаконичности кратких содержаний и извлечению только релевантных глав.

Генеративное Семантическое Рабочее Пространство: Единый Подход

Генеративное Семантическое Рабочее Пространство (GSW) – унифицированный фреймворк для моделирования мировых знаний в виде структурированной, вероятностной семантики. GSW состоит из Операторского Фреймворка, интерпретирующего локальную семантику, и Примирительского Фреймворка, интегрирующего и обновляющего структурированные представления во времени. Эти фреймворки оперируют сущностями – Акторами, Ролями и Состояниями, обеспечивая надежный механизм для представления и рассуждения о динамических ситуациях. Особенностью GSW является способность к динамическому обновлению семантических представлений, что позволяет адаптироваться к меняющейся информации.

Предлагаемая структура GSW объединяет принципы работы вдохновленных мозгом систем и генеративных семантических моделей для моделирования эпизодической памяти, где гиппокампальная система (DG, CA3, CA1) и неокортикальные области (NC) служат основой для модулей Reconciler (извлечение, рабочее пространство, обновление) и Operator (семантическое извлечение на основе LLM), отражая функции консолидации и прогнозирования, выполняемые неокортикальным комплексом, и индексации, разделения шаблонов и моделирования последовательностей, выполняемые гиппокампальной системой.

Оценка Эпизодической Памяти: Проверка на Прочность

Эпизодическая память – ключевой аспект интеллекта, способность запоминать конкретные события, привязанные к пространственно-временным контекстам. Episodic Memory Benchmark предоставляет строгий метод оценки способности LLM к воспроизведению информации, требуя надежного рассуждения о времени и местоположении событий. GSW, работающая на базе GPT-4o, демонстрирует выдающиеся результаты на этом бенчмарке, достигая F1-score в 0.85, на 15% выше, чем у лучших базовых моделей, и на 20% более высокий Recall в категории 6+ Cues. В конечном счете, все эти «прорывы» – лишь временное облегчение.

В процессе обработки истории фреймворк GSW использует экземпляры операторов, извлеченные из различных фрагментов текста.

К Долгосрочному Рассуждению и Адаптивному Интеллекту: Куда Дальше?

Архитектура GSW предлагает новый подход к представлению знаний для систем искусственного интеллекта, отделяя представление знаний от ограничений фиксированного размера контекстного окна. Структурированный подход обеспечивает эффективное обновление и адаптацию знаний, позволяя ИИ-системам непрерывно обучаться и совершенствовать свое понимание мира. Дальнейшие исследования будут направлены на масштабирование GSW для работы с еще более крупными базами знаний и изучение его применения в сложных задачах, требующих логического вывода и планирования. Особое внимание будет уделено оптимизации алгоритмов поиска и рассуждений в графовой структуре.

Наблюдатель отмечает, что концепция Generative Semantic Workspace (GSW) не нова в своей сути. Стремление к созданию структурированного представления мира внутри языковой модели напоминает старые добрые времена, когда каждая «революционная» технология обещала решить все проблемы. Как однажды заметил Дональд Дэвис: «Проблема не в том, чтобы построить идеальную модель, а в том, чтобы понять, когда она начнет врать». GSW, безусловно, сложен, но, в конечном счете, это лишь ещё один способ заставить систему запоминать детали, пока продакшен не найдёт способ сломать эту элегантную теорию, превратив её в очередной техдолг. И, как всегда, система будет «жива», но страдания её продлятся.

Что дальше?

Предложенная архитектура, с её “Генеративным Семантическим Пространством”, несомненно, добавляет ещё один слой сложности в и без того непрозрачные внутренности больших языковых моделей. Создание “внутренней модели мира” звучит, конечно, красиво, но история показывает, что каждая попытка формализовать здравый смысл заканчивается горами краевых случаев и неожиданными ошибками. В конечном итоге, эта самая “модель мира” станет просто ещё одним местом, где можно закопать баги, а багтрекер – ещё одним томом летописи страданий.

Вопрос в том, насколько хорошо эта структура масштабируется. Сейчас речь идёт о “длинных, развивающихся нарративах”. Но реальность, как известно, редко бывает нарративом. Она хаотична, неполна, и полна противоречий. Попытка втиснуть её в структурированное представление – задача, граничащая с невозможным. И не стоит забывать, что мы не “развёртываем” – мы “отпускаем” эти модели в дикий мир продакшена, где они неизбежно столкнутся с данными, о которых разработчики даже не подозревали.

В перспективе, вероятно, потребуется переосмысление самой концепции памяти для этих моделей. Нужна ли им вообще “эпизодическая память” в том виде, в котором она реализована здесь, или достаточно просто более эффективных механизмов поиска и фильтрации информации? Или, может быть, проблема не в памяти, а в том, что мы пытаемся заставить машину думать, как человек, вместо того, чтобы принять её ограничения и использовать её сильные стороны? Время покажет, но, судя по опыту, каждое “революционное” решение завтра станет техническим долгом.

Оригинал статьи: https://arxiv.org/pdf/2511.07587.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-11-13 00:31

🚀 Квантовые новости