Автор: Денис Аветисян
Исследователи предлагают систему, использующую возможности больших языковых моделей для понимания интересов пользователей, выходящих за рамки истории просмотров.
ReaSeq: парадигма рекомендательных систем, использующая рассуждения и мировые знания для моделирования последовательностей поведения пользователей.
Современные рекомендательные системы часто сталкиваются с ограничениями, обусловленными недостатком знаний о продуктах и неспособностью учитывать интересы пользователей за пределами истории взаимодействий. В статье ‘ReaSeq: Unleashing World Knowledge via Reasoning for Sequential Modeling’ представлен новый подход, использующий большие языковые модели для обогащения представлений о продуктах и моделирования скрытых предпочтений пользователей. Разработанная система ReaSeq демонстрирует значительное улучшение ключевых метрик, включая увеличение IPV, CTR, заказов и GMV, благодаря использованию рассуждений и знаний из внешних источников. Возможно ли, что подобный подход станет стандартом для построения интеллектуальных рекомендательных систем будущего?
За пределами логов: Преодолевая слепоту рекомендательных систем
Традиционные системы рекомендаций, основанные на так называемой “парадигме логов”, сталкиваются с проблемой, известной как “системная слепота”. Эта проблема проявляется в неспособности уловить тонкие нюансы интересов пользователя, ограничиваясь лишь анализом прошлых взаимодействий. Фактически, система видит лишь то, что пользователь уже совершил — какие товары приобрел или какие страницы просмотрел — и не может спрогнозировать желания, основанные на скрытых потребностях или формирующихся интересах. Это приводит к тому, что рекомендации становятся предсказуемыми и не учитывают всего спектра потенциальных предпочтений, что существенно ограничивает их эффективность и способность предлагать действительно релевантный контент.
Ограниченность традиционных систем рекомендаций проявляется в так называемой “информационной бедности”, когда представление о товарах и пользователях сводится лишь к их идентификаторам. Вместо глубокого понимания характеристик продукта — его свойств, назначения, преимуществ — и истинных потребностей пользователя, система оперирует лишь историей взаимодействий. Это приводит к хрупкости и предсказуемости рекомендаций: система способна лишь повторять уже известные предпочтения, не предлагая действительно новых или неожиданных вариантов. Отсутствие контекста и понимания мотивов выбора делает рекомендации поверхностными и неспособными удовлетворить скрытые потребности пользователя, что снижает их эффективность и ценность.
Традиционные системы рекомендаций, опирающиеся исключительно на историю взаимодействия пользователя с товарами, испытывают значительные трудности при решении проблемы “холодного старта” и в поиске действительно новых, неожиданных предложений. Отсутствие информации о предпочтениях новых пользователей или о товарах, с которыми пользователь еще не взаимодействовал, приводит к неэффективным рекомендациям, основанным на усредненных данных или популярных трендах. Более того, системы, ограниченные историческими данными, склонны к повторению уже известных пользователю вещей, лишая его возможности обнаружить товары, которые могли бы заинтересовать его, но остались за пределами его предыдущего опыта. В результате, такие системы оказываются неспособны предложить что-то по-настоящему оригинальное и расширить кругозор пользователя, ограничиваясь предсказуемыми и часто нерелевантными рекомендациями.
Необходимо принципиально изменить подход к формированию рекомендаций, отказавшись от чрезмерной зависимости от исторических данных и включив в процесс внешние знания. Традиционные системы, ориентированные исключительно на прошлые взаимодействия пользователя, зачастую упускают из виду более широкую картину его предпочтений и потребностей. Интеграция дополнительных источников информации — характеристик товаров, контекста использования, экспертных оценок и даже социальных трендов — позволяет создавать более точные, релевантные и неожиданные рекомендации. Такой переход открывает возможности для решения проблемы “холодного старта”, когда информации о новом пользователе или товаре недостаточно, а также для предложения действительно инновационных и интересных вариантов, выходящих за рамки привычных паттернов поведения. В конечном итоге, обогащение рекомендательных систем внешними знаниями способствует более глубокому пониманию потребностей пользователей и повышению их удовлетворенности.
ReaSeq: Рассуждения в основе интеллектуальных рекомендаций
Реализация ReaSeq представляет собой отход от традиционных систем рекомендаций, которые полагаются исключительно на анализ истории взаимодействий пользователя с товарами. Вместо пассивного наблюдения за действиями, ReaSeq активно моделирует потребности пользователя и характеристики товаров. Это достигается путем явного построения логических связей между запросами пользователей и атрибутами товаров, что позволяет системе не просто предсказывать, что пользователю может понравиться, а объяснять, почему конкретный товар соответствует его потребностям. Такой подход позволяет преодолеть ограничения, связанные с неполнотой данных и “холодным стартом”, и формировать более релевантные и обоснованные рекомендации.
В основе ReaSeq лежит представление, усиленное рассуждениями (Reasoning-Enhanced Representation), которое формируется с использованием многоагентной системы (Multi-Agent Framework). Эта система предназначена для извлечения сложной информации как из запросов пользователей, так и из характеристик товаров. В рамках данной системы происходит анализ и синтез данных о потребностях пользователей и атрибутах продуктов, что позволяет создавать более полные и контекстуально-обогащенные представления, используемые для формирования рекомендаций. Многоагентный подход обеспечивает декомпозицию сложной задачи на более простые подзадачи, решаемые отдельными агентами, и последующую интеграцию результатов для получения целостного представления.
В основе ReaSeq лежит фреймворк, использующий методы I2T (Image-to-Text), IUI (User-Item Interaction) и MAKR (Multi-Agent Knowledge Reasoning) для обогащения векторных представлений товаров (item embeddings) контекстуальной информацией. I2T извлекает текстовые описания из визуального контента товаров, расширяя их характеристики. IUI анализирует взаимодействие пользователей с товарами для выявления скрытых предпочтений. MAKR объединяет информацию из I2T и IUI, используя многоагентный подход для вывода новых знаний о товарах и потребностях пользователей. В результате, обогащенные представления позволяют системе рекомендаций более точно сопоставлять товары с запросами пользователей, повышая качество рекомендаций.
Эмбеддинги, обогащенные в рамках ReaSeq, демонстрируют превосходство над традиционными подходами, что подтверждается метрикой SM-HR (Session-based Metric Hit Rate). Данный показатель оценивает способность системы предоставлять релевантные рекомендации в рамках одной сессии взаимодействия, отражая более глубокое понимание текущих потребностей пользователя. Более высокие значения SM-HR свидетельствуют о том, что система эффективно учитывает контекст сессии и предоставляет рекомендации, соответствующие не только историческим предпочтениям, но и текущему запросу, что приводит к повышению точности и релевантности результатов.
Вывод скрытого: Генеративное рассуждение о поведении
Для решения проблемы неполных профилей пользователей, ReaSeq использует механизм Генеративного Рассуждения о Поведении (Generative Behavior Reasoning), направленный на синтез правдоподобных скрытых взаимодействий. Этот подход позволяет системе создавать гипотетические предпочтения, основываясь на анализе поведения других пользователей и общих закономерностях, даже если у конкретного пользователя отсутствует явная история взаимодействий с определенными элементами. Фактически, ReaSeq конструирует вероятностные модели, описывающие потенциальные интересы пользователя, что позволяет формировать более полные и точные представления о его предпочтениях, несмотря на ограниченность исходных данных.
Реализация синтеза правдоподобных скрытых взаимодействий в ReaSeq осуществляется посредством использования `Diffusion Large Language Models (DLLMs)` — моделей, основанных на диффузионных языковых моделях. В частности, применяется модель `LLaDA`, которая генерирует реалистичные паттерны поведения пользователей. LLaDA использует механизм диффузии для создания последовательностей взаимодействий, имитирующих предпочтения и интересы, что позволяет предсказывать потенциальные действия пользователя, даже при отсутствии явных данных о них. Генерация паттернов осуществляется на основе анализа существующих данных и статистических закономерностей, обеспечивая правдоподобность и релевантность синтезированных взаимодействий.
В отличие от традиционных систем рекомендаций, реагирующих исключительно на явленные предпочтения пользователя, ReaSeq использует проактивный подход, предсказывая потенциальные интересы. Это достигается путем анализа существующих данных и генерации вероятных взаимодействий, которые пользователь мог бы оценить, даже если он еще не выразил явного интереса. Такой подход позволяет предлагать пользователю неожиданные, но релевантные рекомендации, расширяя горизонты поиска и повышая вероятность открытия нового контента, соответствующего скрытым потребностям и предпочтениям.
Применение генеративного рассуждения о поведении значительно расширяет спектр потенциальных рекомендаций, особенно для новых или нечасто взаимодействующих пользователей. Традиционные системы рекомендаций полагаются на историю взаимодействий, что ограничивает возможности для пользователей с недостаточными данными. Генеративное рассуждение позволяет предсказывать предпочтения, основываясь на вероятных паттернах поведения, синтезируемых с помощью моделей, таких как LLaDA, что позволяет предлагать релевантный контент даже при отсутствии явных сигналов от пользователя. Это позволяет преодолеть проблему «холодного старта» и обеспечить более персонализированный опыт для всех пользователей, вне зависимости от частоты их активности.
![Двухэтапный процесс рассуждений о генеративном поведении сначала выявляет потенциальные разрывы в логах с помощью правил и модели, а затем использует DLLM-модель для реконструкции замаскированных действий ([M]) во время обучения и заполнения выявленных разрывов ([F]) во время вывода.](https://arxiv.org/html/2512.21257v1/x5.png)
Практическое применение и развертывание на Taobao
Система ReaSeq успешно интегрирована в мобильное приложение Taobao, что демонстрирует ее практическую применимость и масштабируемость в реальных условиях. Внедрение позволило оценить эффективность разработанного подхода в условиях высокой нагрузки и большого количества пользователей платформы. Успешная работа ReaSeq в Taobao подтверждает возможность использования знаний о мире и логических рассуждений для улучшения рекомендательных систем, а также свидетельствует о том, что данная технология может быть эффективно развернута в коммерческих приложениях, ориентированных на миллионы пользователей. Данный опыт служит подтверждением того, что инвестиции в развитие систем, способных к логическому выводу и пониманию контекста, оправданы и могут принести значительные улучшения в пользовательском опыте и ключевых бизнес-показателях.
Для оценки эффективности разработанной системы, был проведен масштабный онлайн A/B тест на платформе Taobao. Результаты этого экспериментального исследования продемонстрировали существенное превосходство новой архитектуры над существующими моделями, используемыми для рекомендаций. Статистически значимые улучшения были зафиксированы по ключевым показателям, включая IPV (Impressions Per Visitor), CTR (Click-Through Rate), количество заказов и GMV (Gross Merchandise Volume). В частности, зафиксировано увеличение IPV и CTR более чем на 6.0
В основе системы, успешно развернутой на платформе Taobao, лежит архитектура GSU-ESU, представляющая собой инновационное сочетание возможностей. Данная архитектура интегрирует представления, обогащенные рассуждениями, полученные с помощью ReaSeq, с традиционной моделью предсказания кликов (CTR), использующей алгоритм DIN. GSU (Graph Semantic Unit) отвечает за формирование семантически насыщенных представлений элементов и пользователей, учитывая связи между ними и внешние знания. ESU (Embedding Semantic Unit) преобразует эти представления в векторные вложения, которые затем используются в качестве входных данных для CTR-модели DIN. Такое сочетание позволяет учитывать более широкий контекст и повышать точность предсказаний, что, в конечном итоге, приводит к увеличению вовлеченности пользователей и росту показателей эффективности платформы.
Полученные результаты подтверждают, что интеграция знаний о мире и возможностей логического вывода существенно повышает эффективность рекомендательных систем в реальных условиях. В ходе развернутого тестирования на платформе Taobao, система продемонстрировала прирост ключевых показателей на впечатляющие величины: более 6.0
Исследование представляет собой попытку преодолеть ограничения традиционных рекомендательных систем, полагающихся исключительно на историю действий пользователя. Авторы предлагают использовать большие языковые модели для вывода интересов, выходящих за рамки явных логов. Это напоминает о стремлении к элегантности и простоте в проектировании систем. Как однажды заметил Брайан Керниган: «Простота — это высшая степень совершенства». Данный подход, фокусирующийся на понимании контекста и использовании мировых знаний, подтверждает эту мысль. Сложность возникает из-за попыток учесть все возможные сценарии, в то время как истинная сила заключается в умении выделить главное и предложить релевантные решения, основываясь на глубинном понимании потребностей.
Что дальше?
Представленная работа, хотя и демонстрирует потенциал использования больших языковых моделей для рекомендательных систем, лишь приоткрывает дверь в область, где истинное понимание пользователя остаётся туманным. Иллюзия предсказания поведения, основанная на экстраполяции логов, уступает место более сложной задаче — моделированию намерений. Однако, само представление о “интересах пользователя” требует пересмотра. Что есть интерес — простое повторение действия, или глубинная потребность, ещё не проявленная в видимом поведении?
Очевидным ограничением остаётся зависимость от качества и полноты внешних знаний. Искусственное наполнение моделей “мировыми знаниями” — процесс трудоёмкий и подверженный ошибкам. Более элегантным решением представляется создание систем, способных самостоятельно извлекать и верифицировать информацию, не полагаясь на заранее заданные базы. Это потребует развития не только алгоритмов обработки естественного языка, но и принципиально новых подходов к представлению и оценке знаний.
В конечном итоге, успех подобных систем будет определяться не столько точностью предсказаний, сколько способностью удивлять. Рекомендация, основанная на чистой статистике, лишена души. Истинная ценность заключается в открытии нового, неожиданного, но при этом релевантного. И это — задача, выходящая далеко за рамки простого моделирования последовательностей.
Оригинал статьи: https://arxiv.org/pdf/2512.21257.pdf
Связаться с автором: https://www.linkedin.com/in/avetisyan/
Смотрите также:
- Нейронные Операторы в Энергетике: Новый Подход к Моделированию
- Восстановление потенциала Шрёдингера: новый численный подход
- Спектральная оптимизация: новый подход к созданию квантовых состояний
- Квантовые Иллюзии и Практический Реализм
- Укрощение квантовой неопределенности: новый подход к моделированию
- Фотонные квантовые вычисления: на пути к практической реализации
- Квантовая оптимизация без ограничений: Новый подход к масштабируемым алгоритмам
- Квантовый сенсор: Оптимизация для быстрых и точных измерений
- Насколько важна полнота при оценке поиска?
- Квантовые ядра в работе: новый взгляд на классификацию данных
2025-12-27 03:50