Обучение без потерь: сохранение знаний в больших языковых моделях.

от

Автор: Денис Аветисян

Модель, обученная с использованием RECAP, не только сохраняет исходный уровень производительности, но и превосходит его на 2%, в то время как производительность модели, ориентированной исключительно на рассуждения, быстро снижается после 100 итераций.
Модель, обученная с использованием RECAP, не только сохраняет исходный уровень производительности, но и превосходит его на 2%, в то время как производительность модели, ориентированной исключительно на рассуждения, быстро снижается после 100 итераций.

В погоне за улучшением способности больших языковых моделей к рассуждениям, часто упускается из виду фундаментальное противоречие: углубление в специализированные навыки нередко происходит за счет утраты общих знаний и универсальности. В работе “Beyond Reasoning Gains: Mitigating General Capabilities Forgetting in Large Reasoning Models” авторы осмеливаются задать неудобный вопрос: возможно ли действительно усилить интеллект системы, если каждое новое достижение в области логики и анализа обходится потерей базовых компетенций, делая её всё более узкоспециализированной и менее приспособленной к непредсказуемости реального мира?

🚀 Квантовые новости

Подключайся к потоку квантовых мемов, теорий и откровений из параллельной вселенной.
Только сингулярные инсайты — никакой скуки.

Присоединиться к каналу

Когда сложность – враг: Преодоление узких мест в языковых моделях

Несмотря на впечатляющий масштаб, современные большие языковые модели (БЯМ) часто демонстрируют затруднения в решении задач, требующих сложного рассуждения. Они, как это ни парадоксально, оказываются неспособны к глубокому и последовательному логическому мышлению. Авторы этой работы отмечают, что простое увеличение числа параметров, эта любимая панацея, не является решением проблемы. Все больше становится очевидным, что необходимы более эффективные методы, позволяющие БЯМ действительно понимать и анализировать информацию.

Текущие модели, как это ни прискорбно, склонны к генерации так называемых «галлюцинаций» – фактических ошибок и выдумок. Эта тенденция подчеркивает ключевую проблему: недостаточно надежное закрепление знаний и неспособность к достоверным выводам. Нельзя строить надежные системы на шатком фундаменте, и БЯМ пока что слишком часто оказываются именно такими системами.

Модель, обученная только на рассуждениях, генерирует длинные цепочки рассуждений для простых визуальных вопросов, в то время как предлагаемая модель производит более лаконичные ответы, особенно в задачах, не связанных с математикой.
Модель, обученная только на рассуждениях, генерирует длинные цепочки рассуждений для простых визуальных вопросов, в то время как предлагаемая модель производит более лаконичные ответы, особенно в задачах, не связанных с математикой.

Вместо того, чтобы добавлять все больше и больше слоев сложности, исследователи предлагают иной подход: сосредоточиться на ясности и эффективности. Они утверждают, что истинное совершенство достигается не тогда, когда нечего добавить, а когда нечего убрать. Излишняя детализация и многословность часто мешают пониманию, а лаконичность и точность, напротив, способствуют ему. Как справедливо заметил один мудрец, «краткость – сестра таланта». Они утверждают, что, упрощая процесс рассуждения и устраняя ненужные элементы, можно значительно повысить производительность и надежность языковых моделей.

Авторы этой работы, словно опытные садовники, стремятся очистить БЯМ от сорняков излишней сложности, чтобы дать возможность расцвести истинному интеллекту. Их подход, в отличие от бесконечного наращивания масштаба, кажется более разумным и перспективным. В конце концов, как известно, «меньше – значит больше».

Обучение логике: Подкрепление правильных шагов рассуждений

Обучение моделей способности рассуждать требует не только достижения правильного ответа, но и демонстрации последовательного, логически обоснованного процесса. В этой связи, обучение с подкреплением с проверяемыми наградами (RLVR) представляет собой новый подход к тренировке моделей, напрямую вознаграждающий корректные шаги рассуждений.

В отличие от традиционных методов, которые оценивают лишь конечный результат, RLVR использует так называемые “Награды за мышление” (Thinking Rewards). Эти награды стимулируют модели демонстрировать звучную логику и последовательность действий, а не просто выдавать правильный ответ случайным образом.

В основе RLVR лежит, разумеется, обучение с подкреплением (Reinforcement Learning). Именно этот механизм позволяет модели ориентироваться в сложном ландшафте наград, постепенно улучшая свою способность рассуждать и достигать более высоких результатов.

В процессе обучения RLVR, динамика вознаграждений по шести метрикам (Next-Token Prediction, Answer-Format, Thinking-Format, IoU, Accuracy и стандартное отклонение Total-Reward) демонстрирует асинхронную сходимость и высокую дисперсию, что обосновывает использование краткосрочных статистических данных для динамической переоценки целей вместо величин за итерацию.
В процессе обучения RLVR, динамика вознаграждений по шести метрикам (Next-Token Prediction, Answer-Format, Thinking-Format, IoU, Accuracy и стандартное отклонение Total-Reward) демонстрирует асинхронную сходимость и высокую дисперсию, что обосновывает использование краткосрочных статистических данных для динамической переоценки целей вместо величин за итерацию.

Процесс обучения требует тщательной настройки вознаграждений, поскольку слишком сильный акцент на конечном результате может привести к упущению важных шагов рассуждений. Напротив, слишком сильный акцент на промежуточных шагах может привести к потере концентрации на конечной цели. Истинное мастерство заключается в достижении баланса между этими двумя крайностями.

В конечном счете, цель RLVR – не просто научить модель выдавать правильные ответы, а научить её мыслить логически и последовательно. Это требует не только разработки новых алгоритмов, но и глубокого понимания того, как работает человеческий разум.

Стабильность и адаптивность: Уточнение алгоритмов RLVR

Обучение с подкреплением на основе проверяемых наград (RLVR) демонстрирует впечатляющие возможности, но его стабильность требует пристального внимания. Алгоритмы, такие как ‘Групповая относительная оптимизация политики’ (Group Relative Policy Optimization), становятся ключевыми для стабилизации процесса обучения, обеспечивая эффективные последовательные награды и снижая склонность к нестабильности. Их применение – не роскошь, а необходимость для достижения надежных результатов.

Однако, простого использования продвинутых алгоритмов недостаточно. Проблема катастрофического забывания, когда модель теряет ранее приобретенные знания при адаптации к новым задачам, требует комплексного подхода. Методы, такие как ‘LwF’ (Learning without Forgetting) и ‘Coreset’, направлены на смягчение этой проблемы. ‘LwF’ сохраняет общие знания путем регуляризации, а ‘Coreset’ – путем эффективного выбора репрезентативного подмножества данных. Оба подхода – инструменты, направленные на поддержание баланса между адаптивностью и сохранением базовых знаний.

В рамках предлагаемого подхода RECAP, наряду с целевой задачей рассуждений, производится выборка данных из общих доменов для сохранения знаний в процессе тонкой настройки, при этом веса целей переоцениваются равномерно в начале, а затем корректируются на основе поведения сходимости каждой отдельной цели, чтобы предотвратить доминирование каких-либо из них и уменьшить вес насыщенных целей.
В рамках предлагаемого подхода RECAP, наряду с целевой задачей рассуждений, производится выборка данных из общих доменов для сохранения знаний в процессе тонкой настройки, при этом веса целей переоцениваются равномерно в начале, а затем корректируются на основе поведения сходимости каждой отдельной цели, чтобы предотвратить доминирование каких-либо из них и уменьшить вес насыщенных целей.

Авторы предлагают подход ‘RECAP’, направленный на динамическую переоценку целей и улучшение ‘скорости сходимости’ за счет продуманного воспроизведения общих данных. В основе лежит принцип простоты: в начале обучения веса целей переоцениваются равномерно, а затем корректируются на основе поведения сходимости каждой отдельной цели. Это позволяет предотвратить доминирование каких-либо из них и уменьшить вес тех, которые уже насытились. Идея проста, но эффективна – отсечь лишнее, чтобы усилить главное.

Метод ‘MoDoMoDo’ также заслуживает внимания, поскольку он позволяет эффективно управлять разнообразными наборами данных в рамках RLVR. Он представляет собой не просто алгоритм, а скорее философию: каждый элемент должен быть на своем месте, каждый ресурс – использован по максимуму. Сложность – враг эффективности. Простота – ключ к успеху.

В конечном счете, успех RLVR зависит не от сложности алгоритмов, а от ясности цели. Простота, элегантность, эффективность – вот три кита, на которых строится надежная система обучения с подкреплением. Отказ от лишнего – вот истинный путь к совершенству.

Надежность и практичность: Защита от ошибок и обмана

Помимо повышения точности рассуждений, разработанный подход RLVR решает практические задачи, такие как обеспечение соответствия формату вывода. Ненужное форматирование – это насилие над вниманием, и система, не способная выдать результат в заданном виде, бесполезна для реальных приложений. Соответствие формату – не самоцель, а необходимое условие для интеграции модели в существующие системы и пользовательские интерфейсы.

Важно отметить, что данный фреймворк не просто оптимизирует поверхность ответов, а фокусируется на целостности самого процесса рассуждений. Это, в свою очередь, снижает уязвимость к так называемым “атакам обхода” (jailbreak attacks). Простое имитирование желаемого вывода без понимания сути – путь к ненадежности. Вместо этого, система, построенная на принципах логического вывода, способна адаптироваться к новым ситуациям и избегать манипуляций.

В процессе обучения в области рассуждений, кривые вознаграждения за формат и точность демонстрируют, что равномерный подход превосходит предлагаемый метод в максимизации вознаграждения за формат, но уступает ему по точности на более поздних этапах, поскольку приоритет смещается в сторону правильных решений, а не форматирования, как только модель научится следовать заданному шаблону.
В процессе обучения в области рассуждений, кривые вознаграждения за формат и точность демонстрируют, что равномерный подход превосходит предлагаемый метод в максимизации вознаграждения за формат, но уступает ему по точности на более поздних этапах, поскольку приоритет смещается в сторону правильных решений, а не форматирования, как только модель научится следовать заданному шаблону.

Оптимизируя напрямую проверяемые параметры рассуждений, RLVR предлагает путь к созданию более надежных и заслуживающих доверия систем искусственного интеллекта. Это не просто улучшение метрик на тестовых наборах данных, но фундаментальный сдвиг в подходе к построению интеллектуальных агентов. Плотность смысла – новый минимализм: каждая операция должна быть направлена на достижение конкретной цели, без излишней сложности и шума.

В конечном итоге, надежность ИИ определяется не способностью имитировать интеллект, а способностью демонстрировать истинное понимание и логическое мышление. RLVR – это шаг в этом направлении, отказ от поверхностных решений в пользу глубокой, принципиальной ясности.

Перспективы развития: От визуального восприятия к глубокому пониманию

Перспективы развития обучения с подкреплением на основе проверяемых наград (RLVR) представляются ясным путем к повышению способности моделей к сложным рассуждениям. Расширение применения RLVR на ‘Визуально-языковые модели’ (Vision-Language Models) открывает захватывающие возможности для мультимодального рассуждения и понимания сложных сценариев, где требуется интеграция визуальной и текстовой информации.

Однако, для достижения подлинного прогресса необходимо преодолеть существующие ограничения. Проблема ‘Коллапса исследования и разнообразия’ (Exploration and Diversity Collapse) требует особого внимания. Необходимо разработать более эффективные стратегии исследования, которые позволят моделям избегать застревания в локальных оптимумах и находить более устойчивые и обобщаемые решения.

В процессе тонкой настройки, модель обучается генерировать цепочку рассуждений внутри тегов <think>…\dots</think> и окончательный ответ в тегах <answer>…\dots</answer>.
В процессе тонкой настройки, модель обучается генерировать цепочку рассуждений внутри тегов …\dots и окончательный ответ в тегах …\dots.

Сочетание RLVR с ‘Супервизированной тонкой настройкой’ (Supervised Finetuning) представляется перспективным направлением. Использование сильных сторон обоих подходов – способности RLVR к оптимизации сложных целей и эффективности супервизированного обучения – может привести к созданию более мощных и эффективных систем рассуждений. В частности, предварительная настройка модели с использованием большого корпуса размеченных данных может обеспечить надежную основу для последующей оптимизации с использованием RLVR.

Важно отметить, что успех этих подходов во многом зависит от тщательного проектирования функций вознаграждения и стратегий исследования. Функции вознаграждения должны быть четко определены и точно отражать желаемое поведение модели. Стратегии исследования должны быть разработаны таким образом, чтобы обеспечить достаточное разнообразие и избежать застревания в локальных оптимумах. Простота и ясность – ключевые принципы при проектировании этих компонентов.

В конечном счете, цель состоит в создании моделей, которые не просто имитируют рассуждения, но и обладают подлинным пониманием и способностью к решению сложных задач. Это требует не только улучшения алгоритмов обучения, но и более глубокого понимания природы интеллекта и рассуждений.

Исследователи столкнулись с типичной проблемой: стремление к улучшению конкретных навыков, в данном случае, рассуждений в моделях vision-language, зачастую приводит к утрате ранее приобретенных знаний – катастрофическому забыванию. Это напоминает попытку вылечить пациента, нанеся ему еще более серьезную рану. Ада Лавлейс метко заметила: «Я верю, что машина может делать все, что мы можем заставить ее делать». В контексте данной работы, это подчеркивает важность осознанного проектирования процесса обучения. Авторы, используя метод RLVR и динамическую перевзвешивание целей, пытаются не просто “заставить” модель учиться новому, но и сохранить ее фундаментальные способности, избежав ненужной сложности и обеспечив ясность в обучении – подход, соответствующий принципу «код должен быть очевиден, как гравитация».

Что дальше?

Исследователи, стремясь обуздать непостоянство больших языковых моделей, предлагают логичное, хотя и не лишеное сложности, решение. Однако, как часто бывает, устранение одной тени порождает другие. Сохранение общих способностей, безусловно, важно, но цена этого сохранения – постоянный пересмотр целей и повторное воспроизведение данных. Неужели мы обречены на вечное движение по кругу, где каждое новое знание требует защиты старого? Вопрос не в том, как сохранить знания, а в том, нужно ли их сохранять в таком виде, чтобы они нуждались в постоянной защите.

Очевидно, что текущий подход, основанный на “воспоминаниях” о прошлых данных, является лишь временной мерой. Более глубокий прорыв потребует переосмысления самой структуры знаний. Возможно, дело не в увеличении объема памяти, а в разработке более элегантных, самоорганизующихся систем, способных к адаптации без потери целостности. Или, возможно, истина в том, что «забывание» — это не ошибка, а необходимый механизм эволюции, позволяющий моделям избавляться от устаревшей информации.

В конечном итоге, эта работа – лишь еще один шаг на пути к созданию действительно разумных машин. Шаг, который, несомненно, породит новые вопросы и новые сложности. И это хорошо. Ибо сложность – это не проклятие, а вызов. И чем сложнее вызов, тем слаще победа – если, конечно, мы помним, что суть победы – не в количестве накопленных знаний, а в ясности понимания.

Оригинал статьи: https://arxiv.org/pdf/2510.21978.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-10-30 00:25