RAPO++: Когда «творческий запрос» превращается в техдолг для видеогенерации.

Автор: Денис Аветисян

Рамка RAPO++ оптимизирует генерацию видео из текста, последовательно уточняя запросы пользователя через поиск релевантных данных и последующую адаптацию под конкретный кадр, а затем использует полученные пары запросов для обучения языковой модели, что обеспечивает повышение согласованности, точности и семантической релевантности генерируемого видео без изменения базовой модели.

Все давно устали от того, что генерация видео по тексту часто даёт размытые образы и неспособность удержать сложные сцены в единой, логичной последовательности. Но вот, когда кажется, что все возможности исчерпаны, появляется “RAPO++: Cross-Stage Prompt Optimization for Text-to-Video Generation via Data Alignment and Test-Time Scaling” – подход, который не просто «подправляет» запрос, а переосмысливает его, выстраивая многоступенчатую систему оптимизации, основанную на данных и масштабировании в процессе генерации. И возникает вопрос: действительно ли, учитывая сложность и непоследовательность данных, на которых обучаются эти системы, можно надеяться на создание полностью осмысленной и последовательной видео-реальности, или мы просто учимся всё более искусно маскировать её внутреннюю хаотичность?

🚀 Квантовые новости

Подключайся к потоку квантовых мемов, теорий и откровений из параллельной вселенной.
Только сингулярные инсайты — никакой скуки.

Присоединиться к каналу

Иллюзии Композиционного Понимания

Сейчас все увлечены диффузионными моделями и генерацией видео по текстовому описанию. Идея, конечно, неплохая, но реальность, как всегда, вносит свои коррективы. Все эти «революционные» технологии оказываются просто сложными конструкциями, которые рано или поздно потребуют тонны поддержки. Главная проблема – как заставить модель понимать сложные запросы и сохранять согласованность в генерируемом видео. Да, картинка может быть красивой, но если в ней пять собак вместо трех, о какой согласованности можно говорить?

Оказывается, перевести семантические связи из текста в динамичную визуальную сцену – задача нетривиальная. Модели часто путают отношения между объектами, игнорируют физические законы или просто генерируют визуальный шум, который отдалённо напоминает запрошенное видео. И самое обидное, что сейчас это назовут AI и получат инвестиции. А по факту – это просто сложная система, которая когда-то была простым bash-скриптом.

Генерировать физически правдоподобные и временнó согласованные видео – до сих пор серьёзный вызов. Объекты могут проваливаться сквозь пол, двигаться неестественно или просто исчезать в самый неподходящий момент. А документация, как всегда, врёт, уверяя, что все проблемы решены. Начинаю подозревать, что они просто повторяют модные слова, чтобы оправдать свои ошибки.

Эксперименты с использованием LaVie и 2,2 тыс. запросов T2V показали, что итеративное увеличение количества итераций приводит к последовательному улучшению показателей временной согласованности, качества изображения, соответствия T2V и фактической согласованности, демонстрируя эффективность RAPO++ в повышении производительности генерации.

Оценка «композиционного понимания» в T2V моделях требует не просто метрик визуального качества. Нужны тесты, которые проверяют, насколько хорошо модель понимает отношения между объектами, их действия и взаимодействия. Просто красивая картинка – это ещё не композиционное понимание. Это, скорее, удачный случай. И, поверьте, количество этих «удачных случаев» сильно занижено в рекламных проспектах. Технический долг – это просто эмоциональный долг с коммитами. И нам предстоит его расплачивать.

RAPO++: Ещё Один Шаг к Управляемому Хаосу

Итак, очередная «революционная» технология генерации видео. Честно говоря, удивления нет. Все эти модели – как дети, им нужно постоянное внимание и правки. Исследователи предложили RAPO++, и, если отбросить маркетинговый шум, подход, в принципе, логичный. Главное – понять, что это не панацея, а просто способ немного улучшить то, что и так работает, но работает не всегда предсказуемо.

RAPO++ пытается разобраться с неизбежной двусмысленностью в запросах. Сначала они «причесывают» запросы с помощью так называемой оптимизации на основе извлечения (RAPO). Суть в том, чтобы найти семантически релевантные модификаторы, используя некий «Граф отношений». Звучит сложно, но, по сути, это просто поиск похожих фраз в огромной базе данных. Всё как обычно.

Затем начинается второй этап – оптимизация на основе конкретного примера (SSPO). И вот тут уже интереснее. Они не просто пытаются улучшить запрос один раз, а делают это итеративно, прямо во время генерации видео. То есть, пока модель «рисует» картинку, они одновременно улучшают запрос, чтобы картинка получалась лучше. Как будто дрессировщик постоянно корректирует команды, чтобы собака выполняла трюк правильно. Для оценки и улучшения используются Vision-Language Models (VLM) и даже предсказание оптического потока. Вроде бы неплохо, но кто-то должен следить за тем, чтобы модель не ушла в бесконечный цикл пересчетов.

Качественные сравнения, выполненные с использованием LaVie, демонстрируют, что видео, сгенерированные с помощью RAPO++, отличаются более четкими деталями, плавными временными переходами и лучшим соответствием входному тексту, по сравнению с видео, созданными с использованием исходных запросов.

В конце, как и во всем, что работает хоть сколько-нибудь хорошо, они берут и «перегоняют» все эти итеративные улучшения в знания, которые можно использовать повторно. Они используют метод, который называется LoRA, чтобы немного подстроить большую языковую модель. Это как научить старого пса новым трюкам – не нужно переучивать его с нуля, достаточно небольших корректировок.

В общем, подход логичный, но не стоит забывать, что все эти «революционные» технологии рано или поздно становятся техническим долгом. Всегда найдется какой-нибудь крайний случай, который заставит систему рухнуть. Но, по крайней мере, они пытаются сделать генерацию видео чуть более предсказуемой. И это уже неплохо.

Валидация RAPO++: Эволюция, а не Революция

Исследователи стремились не к революции в генерации видео, а к эволюции. К решению проблем, которые всегда возникают в реальном продакшене. И, судя по результатам, им это удалось. RAPO++, предложенный ими фреймворк, демонстрирует стабильное превосходство над базовыми моделями. Особенно заметно это проявляется в T2V-CompBench, где система показывает улучшенное понимание композиции и более точное представление сцены.

Оценка, проведенная с использованием VBench, подтвердила: видео, генерируемые RAPO++, обладают превосходным визуальным качеством и реализмом. Не то чтобы существующие методы были плохи, просто предложенный подход оказался чуть более эффективным в решении тех задач, которые всегда возникают при попытке заставить машину «видеть» мир, как человек.

Сравнение видео, сгенерированных с использованием LaVie с короткими запросами, а также оптимизаций, выполненных GPT-4 и Open-sora, и метода RAPO, показывает, что видео, созданные с использованием RAPO, демонстрируют значительно более четкие пространственные детали, плавные временные переходы и более тесное семантическое соответствие входному тексту.

Интеграция предсказания оптического потока (Optical Flow Prediction) в процессе SSPO напрямую коррелирует с улучшенной физической правдоподобностью и более плавными динамическими переходами. В конце концов, реалистичное движение – это не просто вопрос разрешения, это вопрос понимания законов физики. И, судя по результатам, система научилась их учитывать.

Эксперименты с использованием моделей LaVie и Latte подтверждают общую применимость RAPO++ к различным архитектурам генерации видео. Это важно, потому что, как известно, каждая новая архитектура приносит с собой новые проблемы. И тот факт, что предложенный подход работает в разных условиях, говорит о его надежности и универсальности.

Всё, что оптимизировано, рано или поздно оптимизируют обратно. Но в данном случае, похоже, что исследователям удалось создать не просто оптимизацию, а эволюцию. Решение, которое, возможно, и не станет идеальным, но точно станет важным шагом вперёд.

В Поисках Искусственного Интеллекта: Ещё Один Шаг в Никуда?

Итак, RAPO++… очередная попытка заставить железо делать то, что раньше казалось уделом фантастов. Если честно, ничего принципиально нового здесь нет – те же LLM, те же diffusion models, просто более хитроумная обёртка. Но, признаться, ребята неплохо поработали. Они создали достаточно надёжный фреймворк для решения основных проблем в Text-to-Video генерации, немного подтолкнув границы того, что достижимо с помощью текущих технологий. И, что важно, они умудрились обойтись без кардинальной перестройки всего и вся.

Способность генерировать видео с улучшенным композиционным пониманием и реализмом, конечно, имеет значительные последствия для различных приложений – от создания контента до образования и моделирования. Но давайте будем реалистами – большинство из этих «революционных» возможностей в конечном итоге сведутся к тому, что маркетологи будут создавать более убедительную рекламу. Что ж, такова жизнь.

Использование больших языковых моделей, таких как GPT-4 и Mistral, в RAPO++ демонстрирует мощь кросс-модального обучения и потенциал для синергетического развития искусственного интеллекта. Хотя, если честно, я всегда подозревал, что LLM – это просто очень дорогие автокомплетеры. Но, ладно, пусть будет так.

Качественные примеры демонстрируют, что RAPO++ испытывает трудности в задачах, связанных с числовым составом, поскольку сгенерированные кадры не соответствуют указанному количеству объектов в запросах, таких как «Пять красочных попугаев сидят на ветке дерева» и «Три величественных жирафа пасутся, поедая листья высоких деревьев в африканской саванне, их длинные шеи тянутся вверх, в стиле Сальвадора Дали», что подчеркивает сохраняющиеся проблемы в точном понимании числовой информации.

Впрочем, не всё так гладко. Как и следовало ожидать, есть свои ограничения. Видно, что у системы всё ещё возникают трудности с задачами, связанными с числовым составом. Ну что поделать, видимо, нейронные сети не умеют считать. Но, что поделать, всё новое – это просто старое с худшей документацией.

В будущем авторы планируют расширить RAPO++ для обработки ещё более сложных запросов и изучить новые методы повышения динамической реалистичности генерируемых видео, используя LLama 3.1 для дальнейшей доработки. Ну что ж, посмотрим, что из этого выйдет. Если честно, я уже привык к тому, что все обещания остаются лишь обещаниями. Но, может быть, в этот раз всё будет по-другому. Хотя, я в этом сильно сомневаюсь.

Эти исследователи, конечно, усложняют. RAPO++ – три стадии оптимизации промптов, LLM fine-tuning, data alignment… Звучит как попытка вылечить похмелье сложным хирургическим вмешательством. Как будто простой bash-скрипт, который генерировал что-то отдалённо похожее на видео, недостаточно хорош. Как говорил Джеффри Хинтон: “Я думаю, что мы сейчас находимся в ситуации, когда люди, которые говорят о нейросетях, как о чём-то, что может думать, не понимают, что это на самом деле”. И вот опять – за красивыми словами скрывается тонна технического долга. Сейчас это назовут AI и получат инвестиции. Впрочем, оптимизация промптов – это всегда попытка заставить машину понять то, что мы сами сформулировать толком не можем. И это, пожалуй, самое печальное.

Что дальше?

Исследователи, конечно, показали, что можно выжать ещё немного пикселей из генеративных моделей, на этот раз путём манипуляций с промптами. RAPO++ — это ещё одна ступенька в бесконечной лестнице оптимизаций, где каждая следующая — лишь временное облегчение неизбежной боли. В конце концов, кто-нибудь обязательно попытается сгенерировать видео, которое сломает даже этот тщательно настроенный конвейер. И сломает, будьте уверены.

Очевидный вопрос: насколько далеко можно зайти, полируя промпты? Скоро мы придем к ситуации, когда для создания двухсекундного ролика потребуется вычислительная мощность, сопоставимая с запуском ракеты. И что тогда? Будем ли мы оптимизировать оптимизаторы? А может, пора признать, что проблема не в промптах, а в самой природе этих моделей, их склонности к галлюцинациям и непониманию базовой физики?

Авторы справедливо говорят о композиционности и временной когерентности. Но давайте будем честны: тесты на когерентность — это форма надежды, а не уверенности. Как только видео станет длиннее двух секунд, любые иллюзии рухнут. Так что да, RAPO++ — это интересно. Но я уже видел, как скрипт удалял прод. И, поверьте, это всегда происходит в понедельник.

Оригинал статьи: https://arxiv.org/pdf/2510.20206.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-10-28 00:23