Обучение с подкреплением и причинность: как добиться надёжных выводов

Автор: Денис Аветисян

Новое исследование показывает, как комбинация обучения с подкреплением и верифицируемых наград может значительно улучшить обобщающую способность моделей при решении задач, требующих причинно-следственного анализа.

Исследование причинно-следственных связей в обучении с подкреплением выявляет способность системы к обобщению, формируя запросы на ассоциации, вмешательства и контрфакты - выраженные, например, как <span class="katex-eq" data-katex-display="false">p(v_i | do(v_j = c))</span> - для анализа обобщения на разных уровнях и выявления потенциальных уязвимостей в архитектуре системы. — Исследование причинно-следственных связей в обучении с подкреплением выявляет способность системы к обобщению, формируя запросы на ассоциации, вмешательства и контрфакты — выраженные, например, как $p(v_i | do(v_j = c))$ — для анализа обобщения на разных уровнях и выявления потенциальных уязвимостей в архитектуре системы.

Работа посвящена изучению обобщающих свойств обучения с подкреплением и верифицируемыми наградами (RLVR) в сочетании с контролируемой тонкой настройкой (SFT) для задач причинно-следственного вывода, демонстрируя преимущества RLVR при наличии базовых возможностей рассуждений у языковой модели и коррекции систематических ошибок.

Несмотря на успехи больших языковых моделей в решении сложных задач, вопрос об их обобщающей способности при обучении с подкреплением и верифицируемыми наградами (RLVR) остается недостаточно изученным. В работе ‘Generalization of RLVR Using Causal Reasoning as a Testbed’ проводится эмпирическое исследование обобщения RLVR в контексте вероятностного вывода по причинно-следственным графикам. Полученные результаты демонстрируют, что RLVR превосходит контролируемое обучение (SFT) в обобщении, но только при определенных комбинациях размера модели и уровня сложности запросов, а также при наличии у модели базовой способности к рассуждениям. Какие механизмы лежат в основе эффективности RLVR и как можно улучшить способность LLM к причинно-следственному выводу?

Пределы Статистического Обучения в Сложных Рассуждениях

Несмотря на значительный прогресс в развитии больших языковых моделей, таких как Qwen2.5-Instruct, способность к сложному рассуждению остается серьезной проблемой. Исследования показывают, что эти модели зачастую оперируют статистическими корреляциями, а не истинным пониманием причинно-следственных связей. Это означает, что, хотя модель может успешно предсказывать результаты на основе наблюдаемых данных, она испытывает трудности при анализе ситуаций, требующих понимания “что, если?”, или при оценке последствий различных действий. Вместо того чтобы выявлять и моделировать базовые принципы, определяющие явления, модель просто запоминает закономерности в данных, что ограничивает её способность к обобщению и адаптации к новым, не встречавшимся ранее сценариям. Таким образом, кажущаяся разумность ответов может быть лишь результатом статистической случайности, а не глубокого понимания сути вопроса.

Традиционное обучение с учителем (SFT) демонстрирует ограниченные возможности в обобщении знаний за пределы непосредственно наблюдаемых данных. Исследования показывают, что модели, обученные таким образом, испытывают трудности при решении задач, требующих контрфактического или интервенционного рассуждения — то есть, способности предсказывать последствия гипотетических изменений или действий. Ограничение связано с тем, что SFT фокусируется на воспроизведении статистических закономерностей в обучающем наборе, а не на построении глубокого понимания причинно-следственных связей. В результате, при столкновении с ситуациями, отличными от тех, что были представлены в данных, модель склонна к ошибкам и не может надежно ответить на вопросы типа «что, если?». Это существенно ограничивает применение таких моделей в задачах, требующих прогнозирования последствий сложных действий или оценки альтернативных сценариев.

Современные подходы к машинному обучению зачастую демонстрируют ограниченные возможности в моделировании сложных взаимосвязей, что существенно влияет на способность отвечать на вопросы типа “что если?”. Отсутствие глубокого понимания причинно-следственных связей приводит к тому, что системы полагаются на статистические корреляции, что делает их уязвимыми при столкновении с новыми или непредсказуемыми ситуациями. Это особенно критично в задачах, требующих принятия решений, поскольку поверхностное понимание закономерностей может привести к неоптимальным или даже ошибочным результатам. Способность надежно прогнозировать последствия различных действий — ключевой аспект разумного поведения — остается серьезной проблемой для существующих моделей, ограничивая их применение в областях, где важна не только точность, но и обоснованность принимаемых решений.

Результаты показывают, что с увеличением размера языковой модели (<span class="katex-eq" data-katex-display="false">LLM</span>) улучшаются как способность к рассуждению (RLVR, красные кривые), так и общая производительность (SFT, синие кривые) при ответах на вопросы, связанные с вмешательством, ассоциациями и контрфактами, при этом способность к рассуждению выигрывает от масштабирования в большей степени, особенно при обучении на том же уровне данных. — Результаты показывают, что с увеличением размера языковой модели ( $LLM$ ) улучшаются как способность к рассуждению (RLVR, красные кривые), так и общая производительность (SFT, синие кривые) при ответах на вопросы, связанные с вмешательством, ассоциациями и контрфактами, при этом способность к рассуждению выигрывает от масштабирования в большей степени, особенно при обучении на том же уровне данных.

Причинно-Следственный Вывод как Основа Надежных Рассуждений

Мы рассматриваем задачу рассуждений как проблему каузальной инференции, используя запросы ассоциативного, интервенционного и контрфактического типов для оценки понимания модели. Ассоциативные запросы выявляют статистические зависимости между переменными, в то время как интервенционные запросы позволяют оценить эффект изменения одной переменной на другую, контролируя все остальные факторы. Контрфактические запросы, в свою очередь, позволяют рассмотреть, как изменился бы результат при альтернативных условиях, что позволяет выявить причинно-следственные связи, а не просто корреляции. Такой подход позволяет оценить не только способность модели обнаруживать закономерности, но и её способность предсказывать результаты при различных воздействиях и в гипотетических сценариях.

Вероятностные графические модели (ВГМ) предоставляют структурированный способ представления вероятностных взаимосвязей между переменными, служа основой для нашей системы рассуждений. ВГМ, такие как байесовские сети и марковские случайные поля, используют графы для визуализации условных зависимостей между переменными, позволяя компактно представлять совместные распределения вероятностей. Каждый узел в графе представляет переменную, а ребра отражают прямые вероятностные зависимости. Формально, совместное распределение вероятностей $P(X_1, X_2, ..., X_n)$ может быть факторизовано на произведение локальных условных вероятностей, определенных структурой графа. Использование ВГМ позволяет эффективно проводить вероятностный вывод, оценивать влияние различных факторов и моделировать неопределенность, что критически важно для построения надежных систем рассуждений.

Использование причинно-следственного вывода позволяет оценить способность модели предсказывать результаты при различных условиях, выходя за рамки простой корреляции между переменными. Традиционные методы машинного обучения часто выявляют статистические зависимости, но не устанавливают причинно-следственные связи. Причинно-следственный подход позволяет задавать интервенционные вопросы («Что произойдет, если мы изменим значение переменной X?»), и оценивать, насколько точно модель предсказывает результат такого изменения. Это особенно важно для задач, где необходимо понимать влияние конкретных факторов на результат, а не просто выявлять их статистическую связь. Оценка способности модели к предсказанию в условиях интервенций позволяет определить, действительно ли модель понимает причинно-следственные механизмы, или же просто запоминает корреляции в обучающих данных.

Модификация графа позволяет определить релевантные узлы для различных типов запросов - ассоциативных, интервенционных и контрфактических - путём удаления зависимостей, вызванных вмешательством, и выделения предков наблюдаемой или запрошенной переменной, как показано на примере запросов <span class="katex-eq" data-katex-display="false">p(v_2|v_5=v_5)</span>, <span class="katex-eq" data-katex-display="false">p(v_5(v_2=c))</span> и <span class="katex-eq" data-katex-display="false">p(v_3(v_2=c)|v_2=v_2)</span>. — Модификация графа позволяет определить релевантные узлы для различных типов запросов — ассоциативных, интервенционных и контрфактических — путём удаления зависимостей, вызванных вмешательством, и выделения предков наблюдаемой или запрошенной переменной, как показано на примере запросов $p(v_2|v_5=v_5)$ , $p(v_5(v_2=c))$ и $p(v_3(v_2=c)|v_2=v_2)$ .

RLVR: Верифицируемое Обучение с Подкреплением для Причинно-Следственного Рассуждения

Мы представляем обучение с подкреплением с верифицируемыми наградами (RLVR) — парадигму постобработки, которая обучает языковые модели отвечать на причинно-следственные запросы. RLVR использует существующую, предварительно обученную языковую модель и дообучает её, используя алгоритмы обучения с подкреплением. Ключевой особенностью является использование награды, основанной на верифицируемости ответа на причинно-следственный вопрос, что позволяет модели не просто генерировать текст, но и обосновывать свои выводы, повышая надежность и точность ответов на сложные вопросы, требующие логического вывода.

В RLVR для оптимизации поведения языковой модели на основе проверяемых вознаграждений используются алгоритмы, такие как GRPO (Gaussian Random Policy Optimization) и DAPO (Distributional Advantage Policy Optimization). GRPO и DAPO позволяют модели эффективно исследовать пространство действий и находить стратегии, максимизирующие суммарное вознаграждение, при этом вознаграждение назначается только за корректные причинно-следственные выводы. Эти алгоритмы используют методы обучения с подкреплением для итеративного улучшения политики модели, гарантируя более точные и надежные результаты рассуждений, особенно в ситуациях, требующих обобщения знаний.

Явное вознаграждение за корректные причинно-следственные выводы в RLVR позволяет моделям обобщать знания за пределы наблюдаемых данных и успешно решать новые задачи рассуждений. Традиционные языковые модели часто ограничены в своей способности экстраполировать за пределы тренировочного набора, поскольку они в основном запоминают паттерны. RLVR, в отличие от этого, фокусируется на обучении модели правильному процессу рассуждений, а не просто на запоминании ответов. Это достигается путем предоставления модели вознаграждения, основанного на истинности ее выводов относительно причинно-следственных связей, что способствует развитию способности к обобщению и решению задач, не встречавшихся ранее.

В рамках моделей RLVR для вычисления ответов применяется стратегия исключения переменных и маргинализации. Этот подход основан на представлении вероятностных распределений в виде фактор-графов, где узлы соответствуют переменным, а ребра — зависимостям между ними. Исключение переменных позволяет последовательно удалять узлы из графа, суммируя значения по соответствующим переменным, что снижает вычислительную сложность. Маргинализация, в свою очередь, используется для вычисления вероятности конкретной переменной путем суммирования вероятностей всех возможных значений остальных переменных. $P(X) = \sum_{Y} P(X, Y)$ Такой метод позволяет эффективно вычислять ответы на причинно-следственные запросы, особенно в сложных сценариях с множеством взаимосвязанных переменных.

Анализ LLM-оценщика (o4-mini) показал, что RLVR эффективно корректирует стратегии маргинализации и устраняет ошибки вывода на выборке из 80 примеров на каждом уровне, при этом подробное описание промптов и примеры стратегий представлены в соответствующих фигурах (figs. 11, 14-17).

Оценка Качества Причинно-Следственного Рассуждения с Использованием Сложных Запросов

Эксперименты, проведенные на датасете RLCausal — включающем в себя полностью определенные причинно-следственные графы — показали превосходство модели RLVR над SFT. Данное сравнение продемонстрировало, что RLVR более эффективно справляется с задачами, требующими понимания причинно-следственных связей, что подтверждается более точными результатами в сложных сценариях. Преимущество RLVR особенно заметно при работе с задачами, где необходимо делать выводы на основе гипотетических ситуаций и понимать влияние различных факторов друг на друга. Полученные данные указывают на перспективность использования RLVR для решения задач, требующих глубокого понимания причинно-следственных связей и способности к логическому выводу.

В ходе исследований оценивалась способность модели рассуждать о гипотетических ситуациях посредством анализа контрфактических, интервенционных и ассоциативных запросов. Контрфактические вопросы позволяют установить, что изменилось бы, если бы определенные условия были иными, интервенционные — исследовать последствия преднамеренных воздействий на систему, а ассоциативные — выявлять связи между различными переменными. Такой подход к оценке позволяет комплексно проверить способность модели к причинно-следственному мышлению, выходя за рамки простого сопоставления корреляций и позволяя оценить, насколько адекватно она предсказывает последствия изменений в исследуемой среде. Анализ ответов на запросы различных типов предоставляет ценную информацию о глубине понимания причинно-следственных связей, продемонстрированной моделью.

Для оценки способности модели к причинно-следственному выводу использовались не только метрики точного совпадения, но и общая вариация (Total Variation Distance — TVD). В отличие от метрики точного совпадения, которая требует абсолютной идентичности предсказанного ответа, TVD измеряет степень близости между распределениями вероятностей, предсказанными моделью. Это позволяет получить более тонкую оценку, учитывающую не только правильность ответа, но и уверенность модели в своем предсказании, а также вероятность альтернативных вариантов. Таким образом, TVD дает возможность оценить, насколько адекватно модель оценивает неопределенность и предоставляет более информативную картину качества ее рассуждений, особенно в сложных сценариях, где существует множество правдоподобных ответов.

Результаты экспериментов демонстрируют, что модель RLVR превосходит SFT в задачах, требующих анализа интервенций и ассоциаций, особенно при использовании моделей с количеством параметров, превышающим 7 миллиардов. При этом RLVR демонстрирует тенденцию к стратегии инкрементальной маргинализации — процессу, при котором сложные вероятностные вычисления разбиваются на более простые шаги. Данный подход оказывается особенно эффективным в более крупных моделях (7B и 32B) и при решении сложных задач, что свидетельствует о способности RLVR более эффективно обрабатывать и анализировать причинно-следственные связи в сложных сценариях.

Анализ точности показал, что с увеличением относительной сложности запроса <span class="katex-eq" data-katex-display="false">V_{rel}</span> точность возрастает, при этом модели, обученные с помощью обучения с подкреплением, демонстрируют более высокую точность по сравнению с моделями, обученными с помощью SFT, особенно при ослаблении порога корректности <span class="katex-eq" data-katex-display="false">t \in (0.01, 0.2]</span>, а ступенчатый характер графиков обусловлен округлением до двух знаков. — Анализ точности показал, что с увеличением относительной сложности запроса $V_{rel}$ точность возрастает, при этом модели, обученные с помощью обучения с подкреплением, демонстрируют более высокую точность по сравнению с моделями, обученными с помощью SFT, особенно при ослаблении порога корректности $t \in (0.01, 0.2]$ , а ступенчатый характер графиков обусловлен округлением до двух знаков.

Исследование обобщения обучения с подкреплением с проверяемыми наградами (RLVR) демонстрирует, что системы не строятся, а скорее вырастают из базовых способностей к рассуждению. Авторы показывают, что RLVR улучшает обобщение, когда большая языковая модель обладает элементарными навыками логического вывода и исправляет систематические ошибки. Это подтверждает идею о том, что каждая зависимость — это обещание, данное прошлому, и архитектурный выбор определяет будущее поведение системы. Как однажды заметил Карл Фридрих Гаусс: «Трудности — это возможности, замаскированные под проблемы». Подобно тому, как Гаусс видел потенциал в сложностях, данная работа раскрывает возможности RLVR для улучшения обобщения в задачах каузального вывода, признавая, что контроль — это иллюзия, требующая SLA — и, следовательно, необходимы механизмы верификации и коррекции.

Что дальше?

Представленная работа, исследуя обобщающую способность обучения с подкреплением и верифицируемыми наградами (RLVR) в контексте причинно-следственных задач, лишь подчеркивает фундаментальную истину: системы — это не инструменты, а экосистемы. Успех RLVR при наличии базовых способностей к рассуждениям у языковой модели не является доказательством её превосходства, а скорее свидетельством того, что даже минимальное приближение к пониманию задачи позволяет смягчить систематические ошибки. Архитектура, в конечном счете, — это способ откладывать хаос, но не избегать его.

Очевидным направлением для будущих исследований является отказ от поиска “лучших практик” — их попросту не существует, есть лишь выжившие. Вместо этого, необходимо сосредоточиться на разработке систем, способных к самодиагностике и адаптации к неожиданным изменениям в причинно-следственных моделях. Особенно важно изучить, как RLVR взаимодействует с различными подходами к представлению неопределенности, а также как эффективно использовать маргинализацию для повышения робастности системы.

Порядок — это кеш между двумя сбоями. В конечном счете, ценность данной работы заключается не в решении конкретной задачи, а в постановке вопроса о том, как создать системы, способные не просто выполнять задачи, но и учиться на своих ошибках, и адаптироваться к неизбежной непредсказуемости реального мира. Иными словами, задача состоит не в создании идеальной архитектуры, а в выращивании экосистемы, способной выдержать шторм.

Оригинал статьи: https://arxiv.org/pdf/2512.20760.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-27 15:26

🚀 Квантовые новости