Видеогенерация: новый подход к оценке качества

Автор: Денис Аветисян

Исследователи предлагают инновационный метод оценки качества сгенерированных видео, использующий возможности моделей генерации как основу для формирования вознаграждения.

Предлагается двухэтапный процесс обучения, в котором модель оценки вознаграждения, ориентированная на процесс ($PAVRM$), сначала обучается предсказывать вознаграждение из зашумленных латентных представлений, а затем, посредством обучения с подкреплением в латентном пространстве в случайно выбранные моменты времени, оптимизируется модель генерации видео ($VGM$), что позволяет достичь согласованной генерации видео с учетом заданного процесса.

В статье представлена методика Process Reward Feedback Learning (PRFL) для оптимизации моделей видеогенерации в латентном пространстве, обеспечивающая улучшенное качество движения, снижение потребления памяти и ускоренное обучение.

Несмотря на успехи обучения с подкреплением для выравнивания генерации изображений с предпочтениями человека, применение этих методов к видео остается сложной задачей. В работе ‘Video Generation Models Are Good Latent Reward Models’ показано, что предварительно обученные модели генерации видео естественным образом подходят для моделирования вознаграждения в скрытом пространстве, что позволяет оптимизировать процесс обучения непосредственно в этой области. Предложенный фреймворк Process Reward Feedback Learning (PRFL) значительно улучшает согласованность с человеческими предпочтениями, снижая потребление памяти и время обучения по сравнению с традиционными подходами. Сможет ли оптимизация обучения в скрытом пространстве стать ключевым фактором в создании более реалистичных и динамичных видео, управляемых предпочтениями пользователя?

Вызов видеогенерации: За пределами первоначальной точности

Современные модели генерации видео, такие как Wan2.1-I2V-14B, демонстрируют впечатляющее качество начальных кадров, однако сталкиваются с серьезными трудностями при создании последовательностей большой длительности. Несмотря на высокую детализацию и реалистичность отдельных моментов, поддержание логической связности и соответствия заданным сложным целям на протяжении всего видеоряда представляет собой значительную проблему. Модели зачастую теряют первоначальный замысел, приводя к визуальным несостыковкам, неправдоподобным переходам и отклонению от изначально сформулированного сценария. Это связано с тем, что фокусировка на мгновенном качестве изображения не гарантирует целостность и осмысленность всего видеоконтента, требуя разработки новых подходов к управлению долгосрочной когерентностью и соответствием высоким творческим задачам.

Исследования показывают, что простое увеличение масштаба моделей генерации видео, несмотря на улучшение начального качества изображения, не гарантирует соответствия желаемым результатам или тонкой творческой направленности. Увеличение числа параметров, хотя и позволяет модели запоминать больше информации, не решает фундаментальную проблему согласованности с поставленной задачей и не обеспечивает осмысленное следование сложным инструкциям. Наблюдается, что при достижении определенного порога, дальнейшее увеличение масштаба приносит лишь незначительное улучшение в отношении согласованности повествования или точности воспроизведения нюансов, что подчеркивает необходимость разработки новых методов, ориентированных не только на увеличение мощности модели, но и на улучшение ее способности к пониманию и реализации конкретных творческих целей. Таким образом, перспективные разработки сосредоточены на архитектурах, которые эффективно используют существующие ресурсы для достижения более высокой степени контроля над процессом генерации.

Существующие методы генерации видео зачастую не располагают механизмом для прямой оптимизации на основе высокоуровневых сигналов вознаграждения, что приводит к несоответствию между сгенерированным контентом и задуманным результатом. Вместо того, чтобы явно указывать желаемые характеристики видео, модели полагаются на косвенные методы обучения, что затрудняет достижение сложных и нюансированных целей. Это проявляется в неспособности последовательно поддерживать определенный стиль, тон или сюжетную линию на протяжении всего видео, поскольку отсутствует прямая связь между заданным намерением и процессом генерации. Таким образом, несмотря на впечатляющее качество отдельных кадров, итоговый результат может не соответствовать изначальному видению, подчеркивая потребность в новых подходах, способных более эффективно сопоставлять генерацию видео с высокоуровневыми целями и творческими задачами.

Анализ признаков VGM показал, что хотя модель на основе VLM демонстрирует нестабильную обобщающую способность, признаки VGM из любого слоя DiT достигают точности, сравнимой с базовым уровнем VLM, а дополнительная настройка с учетом временных шагов позволяет полностью раскрыть потенциал VGM, достигая точности 85.46% с пиковой производительностью на ранних этапах (t=0.8).

ReFL: Прямая оптимизация вознаграждения для диффузионных моделей

Метод обучения с обратной связью по награде (ReFL) оптимизирует диффузионные модели, осуществляя обратное распространение сигнала награды непосредственно через процесс шумоподавления. В отличие от традиционных методов, ReFL позволяет формировать генерацию, основываясь на желаемых результатах, оцениваемых функцией награды. Это достигается путем вычисления градиента награды относительно латентных переменных, что позволяет корректировать процесс диффузии и направлять генерацию в сторону более предпочтительных исходов. Таким образом, ReFL обеспечивает прямую связь между функцией награды и генерируемыми данными, позволяя точно настраивать модель для достижения конкретных целей.

В ReFL используется вариационный автоэнкодер (VAE) для декодирования латентных представлений в пиксельное пространство, что обеспечивает стабильную основу для генерации с учетом вознаграждения. VAE преобразует входные данные в сжатое латентное пространство, а затем реконструирует их обратно в пиксельное пространство. Этот процесс позволяет отделить факторы вариации и обеспечивает более плавную и контролируемую генерацию. Использование VAE позволяет стабилизировать процесс обучения, предотвращая проблемы с градиентами, часто возникающие при прямой оптимизации диффузионных моделей, и обеспечивает более надежную основу для внедрения сигналов вознаграждения.

В нашей реализации ReFL ключевую роль играет модель вознаграждения PickScore, позволяющая интерпретировать и реагировать на сложные сигналы вознаграждения. PickScore оценивает качество сгенерированных кадров, анализируя соответствие между сгенерированным изображением и целевым распределением признаков, извлеченных из реальных данных. В отличие от простых скалярных вознаграждений, PickScore предоставляет градиентные сигналы, основанные на различиях в признаках, что позволяет более точно направлять процесс генерации видео. Это обеспечивает возможность оптимизации сложных критериев, таких как эстетика, реалистичность и соответствие определенным требованиям к контенту, эффективно преобразуя субъективные предпочтения в измеримые сигналы для обучения модели.

В отличие от методов постобработки, которые применяются к уже сгенерированному видео, ReFL непосредственно формирует процесс генерации, влияя на каждый шаг диффузионной модели. Это достигается за счет включения сигнала вознаграждения непосредственно в процесс шумоподавления, что позволяет модели оптимизировать выходные данные в соответствии с желаемыми критериями на протяжении всей генерации. В результате, ReFL обеспечивает более согласованное и контролируемое создание видео, поскольку каждое действие модели направлено на максимизацию вознаграждения, а не на корректировку готового результата. Такой подход позволяет избежать артефактов и несоответствий, характерных для методов постобработки, и обеспечивает большую предсказуемость и управляемость генерируемого контента.

В отличие от RGB ReFL, требующего ресурсоемкого декодирования в RGB-пространство и приводящего к задержкам и недостаточной проработке начальных этапов формирования структуры, наша PRFL-модель позволяет проводить оценку награды непосредственно в латентном пространстве, что обеспечивает более эффективное и своевременное обучение.

Оценка ReFL: Сравнение с передовыми методами

В ходе оценки ReFL проводилось сравнение с рядом базовых и альтернативных методов, включая RWR (Reward Weighted Regression), представляющую собой технику постобработки для выравнивания модели. RWR применяется после обучения для корректировки выходных данных модели в соответствии с сигналами вознаграждения. В отличие от этого, ReFL интегрирует процесс выравнивания непосредственно в процесс диффузии, что позволяет оптимизировать генерацию видео на этапе обучения. Сравнение с RWR позволило выявить преимущества ReFL в достижении более тесной связи между сигналами вознаграждения и сгенерированным видеоконтентом, что подтверждается увеличением метрик Dynamic Degree и Human Anatomy.

Результаты экспериментов демонстрируют, что ReFL систематически превосходит метод Reward Weighted Regression (RWR) в согласовании с сигналами вознаграждения и генерации более когерентных видео. Количественная оценка показывает увеличение показателя Dynamic Degree на +56.00 и Human Anatomy на +21.52 (при разрешении T2V 720P), что свидетельствует о значительном улучшении качества генерируемых видео с точки зрения динамики и анатомической корректности.

В ходе оценки ReFL проводилось сравнение с моделями, использующими Vision-Language Models (VLM) для предсказания вознаграждения, такими как VideoAlign и VideoPhy. Обе эти модели полагаются на VLM для интерпретации визуальной информации и соотнесения ее с желаемым результатом, что позволяет формировать сигнал вознаграждения для обучения. Использование VLM в качестве основы для оценки качества видео является распространенным подходом, однако ReFL, интегрируя механизм вознаграждения непосредственно в процесс диффузии, демонстрирует более эффективную оптимизацию генерации видео.

Несмотря на то, что модели на основе Vision-Language Models (VLM) представляют собой жизнеспособный подход к моделированию вознаграждения, прямая интеграция ReFL в процесс диффузии демонстрирует более высокую эффективность в оптимизации генерации видео. В ходе экспериментов с разрешением I2V 720P ReFL достиг средней точности PAURM (Preference Accuracy Using Reward Modeling) в 84.18%, что свидетельствует о превосходстве данного подхода над VLM-основанными моделями в задачах оптимизации, основанных на вознаграждении.

В ходе обучения ReFL продемонстрировал ускорение в 1.4 раза по сравнению с RGB ReFL. При этом, потребление видеопамяти (VRAM) оставалось на уровне 67 ГБ во время декодирования 81 кадра. Данный результат указывает на повышенную эффективность ReFL в плане вычислительных ресурсов, позволяя сократить время обучения и поддерживать приемлемый уровень использования памяти при генерации видео высокой четкости.

Оценка людьми показала, что модель PRFL превосходит другие методы постобработки.

Перспективы развития: К интеллектуальным и креативным видеосистемам

Способность ReFL напрямую оптимизировать на основе сигналов вознаграждения открывает принципиально новые возможности для создания интеллектуальных видеосистем, способных учитывать сложные предпочтения пользователей. Вместо традиционного подхода, где модели обучаются на заранее заданных данных, ReFL позволяет формировать видеоконтент, ориентируясь непосредственно на желаемый результат, будь то определенный стиль, эмоциональная окраска или соответствие конкретным требованиям. Это позволяет создавать видео, которые не просто технически совершенны, но и действительно отвечают индивидуальным вкусам и ожиданиям зрителя, открывая перспективы для персонализированного развлечения, автоматизированного создания контента и даже управления робототехникой с использованием визуальных сигналов.

Предлагаемый подход, основанный на прямом оптимизировании вознаграждения, открывает перспективы для радикальных изменений в различных областях. В сфере создания контента это может привести к автоматизированному производству видеороликов, адаптированных под конкретные запросы и стили, существенно упрощая и ускоряя процесс. Персонализированные развлекательные системы смогут генерировать уникальный видеоконтент, точно соответствующий индивидуальным предпочтениям каждого зрителя, создавая беспрецедентный уровень вовлеченности. Более того, в области роботизированного управления, данный метод позволяет создавать системы, способные генерировать оптимальные траектории и действия для роботов на основе визуальной информации и заданных целей, что особенно важно для сложных и динамичных сред. Таким образом, потенциал для инноваций охватывает широкий спектр приложений, от автоматизации творческих процессов до повышения эффективности и безопасности роботизированных систем.

Дальнейшие исследования ReFL сосредоточены на расширении возможностей модели за счет применения к более масштабным и сложным видеоданным. Особое внимание уделяется разработке инновационных функций вознаграждения, способных учитывать тонкие нюансы творческих целей. Это позволит не только повысить качество генерируемого видео, но и научить модель учитывать субъективные предпочтения и эстетические критерии, что откроет новые перспективы для создания интеллектуальных систем, способных к самостоятельному творчеству и адаптации к индивидуальным запросам пользователей. Успешная реализация этих направлений позволит ReFL выйти за рамки простого воспроизведения заданных параметров и приблизиться к настоящему искусству генерации видеоконтента.

Исследования, проведенные на внутреннем тестовом наборе в разрешении 480P, продемонстрировали значительное повышение эффективности системы ReFL. В частности, зафиксировано увеличение показателя «Динамическая степень» на 46.00%, что свидетельствует о более выразительных и живых движениях в генерируемых видео. Кроме того, наблюдается улучшение в точности отображения «Человеческой анатомии» на 10.49%, подтверждающее способность системы создавать реалистичные и достоверные изображения людей. Эти результаты подчеркивают потенциал ReFL для создания высококачественного видеоконтента, отличающегося как динамичностью, так и анатомической точностью.

Сочетание диффузионных моделей с прямой оптимизацией на основе вознаграждения открывает новые горизонты в области искусственного интеллекта, генерирующего видео. Традиционно, создание видео с помощью ИИ требовало сложных процедур и часто приводило к непредсказуемым результатам. Однако, данный подход позволяет напрямую формировать видеоряд, соответствующий заданным критериям и предпочтениям. Оптимизация на основе вознаграждения позволяет системе “учиться” создавать видео, которое наиболее полно соответствует поставленной задаче, будь то создание реалистичных сцен, стилизованных анимаций или специализированного контента для конкретных приложений. Это не просто генерация пикселей, а целенаправленное создание визуального повествования, которое может быть адаптировано и усовершенствовано в режиме реального времени, значительно расширяя возможности автоматизированного производства видеоматериалов.

Сравнение различных методов постобработки при генерации видео из текста в разрешении 480P демонстрирует появление артефактов (выделены красным), требующих детального рассмотрения для оценки качества.

В представленной работе акцент сделан на оптимизацию вознаграждения непосредственно в латентном пространстве, что позволяет значительно улучшить качество генерируемых видео. Этот подход, известный как Process Reward Feedback Learning (PRFL), обеспечивает более плавные и реалистичные движения, снижает потребление памяти и ускоряет процесс обучения. Как однажды отметила Фэй-Фэй Ли: «Искусственный интеллект — это не только технологии, но и отражение человеческих ценностей». Данное исследование демонстрирует стремление к созданию не просто функциональных алгоритмов, но и алгоритмов, способных генерировать контент высокого качества, что соответствует принципам математической чистоты и непротиворечивости, заявленным в данной работе. Улучшение качества генерации видео посредством оптимизации вознаграждения в латентном пространстве — это воплощение стремления к элегантности в коде.

Куда Ведет Этот Путь?

Представленный подход, оптимизирующий модели вознаграждения непосредственно в латентном пространстве, несомненно, открывает новые перспективы в генерации видео. Однако, не стоит обманываться кажущейся элегантностью. Проблема согласованности движения и долгосрочной когерентности остается нерешенной. Текущие методы, фокусирующиеся на локальной оптимизации, часто приводят к артефактам и нереалистичному поведению в более длинных последовательностях. Настоящая проверка — это не прохождение тестовых наборов, а доказательство устойчивости алгоритма к произвольным входным данным.

Перспективы дальнейших исследований лежат, прежде всего, в области разработки более строгих метрик оценки качества видео. Полагаться лишь на субъективные оценки или упрощенные числовые показатели — значит, игнорировать фундаментальную проблему: как объективно измерить «реалистичность» и «естественность» движения? Кроме того, необходимо исследовать возможности интеграции с другими модальностями, например, с аудио, чтобы создать действительно иммерсивный опыт.

И, наконец, стоит признать, что любое решение, упрощающее задачу генерации видео, неизбежно вносит определенные искажения. Вопрос не в том, чтобы создать «идеальное» видео, а в том, чтобы осознанно управлять этими искажениями, делая их предсказуемыми и контролируемыми. Истинная красота алгоритма проявляется не в трюках, а в непротиворечивости его границ и предсказуемости.

Оригинал статьи: https://arxiv.org/pdf/2511.21541.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-11-28 14:36

🚀 Квантовые новости