Видеосинтез без границ: Новая модель для создания роликов по сложным запросам

Исследователи представили OmniWeaving — систему, способную генерировать видеоролики, объединяя различные элементы и используя логические рассуждения для выполнения сложных инструкций.
![Динамика декомпозиции области при фиксированном обучении поддоменов (50 итераций на обновление поддомена) для [latex]n=7,8[/latex] демонстрирует снижение ошибки энергии с каждой итерацией (слева) и в процессе общего обучения (справа), указывая на эффективность предложенного подхода к оптимизации.](https://arxiv.org/html/2603.24523v1/x7.png)




![Процесс создания эталонного набора данных для оценки моделей включает в себя плотное временное аннотирование игровых видеороликов по шести типам объектов, использование отрицательных меток для исключения ложных срабатываний, генерацию пар вопросов-ответов на основе комбинаторных шаблонов и последующую проверку качества, что позволяет проводить детальный анализ галлюцинаций в моделях [latex] QA [/latex].](https://arxiv.org/html/2603.24329v1/x2.png)
