Виртуальная примерка без границ: EVTAR учится у образов

от

Автор: Денис Аветисян

Новая модель позволяет создавать реалистичные изображения одежды на людях, используя любые визуальные референсы.

Модель EVTAR, обученная на данных VFR, демонстрирует возможность реалистичной виртуальной примерки одежды, причем использование дополнительных визуальных ориентиров позволяет добиться более убедительных результатов по сравнению с простой переносом изображения одежды на модель.
Модель EVTAR, обученная на данных VFR, демонстрирует возможность реалистичной виртуальной примерки одежды, причем использование дополнительных визуальных ориентиров позволяет добиться более убедительных результатов по сравнению с простой переносом изображения одежды на модель.

EVTAR – это сквозная модель диффузии, обеспечивающая передовые результаты в виртуальной примерке одежды благодаря использованию дополнительных визуальных референсов и исключению необходимости во внешних моделях.

🚀 Квантовые новости

Подключайся к потоку квантовых мемов, теорий и откровений из параллельной вселенной.
Только сингулярные инсайты — никакой скуки.

Присоединиться к каналу

Несмотря на значительный прогресс в области виртуальной примерки одежды, существующие подходы часто требуют сложных входных данных и трудоемкой предобработки. В данной работе представлена модель EVTAR (End-to-End Try on with Additional Unpaired Visual Reference), реализующая сквозную виртуальную примерку с использованием дополнительных визуальных референсов. EVTAR достигает высокой точности, генерируя реалистичные результаты без необходимости в масках, плотных картах соответствия или ключевых точках тела, опираясь на диффузионные модели и механизм сопоставления потоков. Способна ли предложенная архитектура EVTAR стать основой для создания интерактивных систем виртуальной примерки в реальном времени и персонализированного онлайн-шопинга?

Иллюзия Реальности: Вызовы Виртуальной Примерки

Традиционные методы виртуальной примерки одежды (ViTON) сталкиваются с трудностями при генерации реалистичных изображений, часто приводя к артефактам и потере деталей. Существующие подходы усложняются необходимостью использования дополнительных данных, таких как маски или оценки позы, ограничивая их доступность. Растущий спрос на качественную ViTON обусловлен развитием электронной коммерции и персонализированного шопинга, требуя более эффективных решений. Каждая «революционная» технология виртуальной примерки рано или поздно превратится в долг, который придётся выплачивать исправлениями и оптимизациями.

Модель виртуальной примерки одежды обучается с использованием ткани, эталонного изображения и агностического или эталонного изображения в качестве входных данных для подгонки изображения ткани к целевому человеку.
Модель виртуальной примерки одежды обучается с использованием ткани, эталонного изображения и агностического или эталонного изображения в качестве входных данных для подгонки изображения ткани к целевому человеку.

Растущий спрос на качественную ViTON обусловлен развитием электронной коммерции и персонализированного шопинга, требуя более эффективных решений.

Диффузия и Геометрия: Основа Современной Виртуальной Примерки

Диффузионные модели демонстрируют передовые результаты в задаче ViTON, обеспечивая реалистичные и детализированные изображения. Однако, проблема перекрытия многообразий требует решения. Метод геометрического разделения (Geometric Decoupling) позволяет стабилизировать процесс генерации и избежать артефактов. Альтернативные подходы, такие как Flow Matching, также могут улучшить качество и эффективность диффузионных процессов.

Сравнение на наборе данных VITON демонстрирует, что использование дополнительного эталонного изображения во время вывода или генерация изображения с использованием неmasked изображения человека приводит к улучшению результатов.
Сравнение на наборе данных VITON демонстрирует, что использование дополнительного эталонного изображения во время вывода или генерация изображения с использованием неmasked изображения человека приводит к улучшению результатов.

Альтернативные подходы, такие как Flow Matching, также могут улучшить качество и эффективность диффузионных процессов.

EVTAR: Виртуальная Примерка Без Масок и Ограничений

Представлен EVTAR – сквозная структура для виртуальной примерки одежды, работающая без использования масок. Это упрощает процесс ViTON и повышает доступность технологии. В основе EVTAR лежит масштабируемая Transformer-архитектура DiT и метод Low-Rank Adaptation (LoRA). В качестве входных данных используются Agnostic Images – изображения с замаскированной областью одежды.

Двухэтапная стратегия обучения включает в себя первоначальную тренировку модели на masked изображениях людей для генерации изображений людей в случайной одежде, после чего синтезированные изображения, целевая одежда и дополнительные эталонные изображения используются для обучения end-to-end модели виртуальной примерки одежды.
Двухэтапная стратегия обучения включает в себя первоначальную тренировку модели на masked изображениях людей для генерации изображений людей в случайной одежде, после чего синтезированные изображения, целевая одежда и дополнительные эталонные изображения используются для обучения end-to-end модели виртуальной примерки одежды.

Использование изображений целевой одежды в качестве ориентира позволяет добиться более точного соответствия между виртуальной одеждой и желаемым видом.

Оценка и Анализ Производительности EVTAR

Оценка EVTAR проводилась на наборах данных VITON-HD и DressCode, демонстрируя способность генерировать высококачественные изображения для различных типов одежды. Модель показала эффективность в создании реалистичных результатов виртуальной примерки. Количественная оценка с использованием метрик SSIM, LPIPS, FID и KID подтвердила превосходство EVTAR над существующими методами. Качественное сравнение показало, что EVTAR генерирует более привлекательные и реалистичные результаты, с улучшенной детализацией и текстурой. Интеграция Qwen2.5-VL расширяет возможности системы, предоставляя описательные сведения об изображениях.

Генерация эталонных изображений осуществляется путем создания описания внешности с использованием Qwen2.5-VL, объединения его с соответствующими действиями и нарядами для формирования положительных и отрицательных подсказок, которые затем используются в модели редактирования для генерации фотографий людей в одинаковой одежде.
Генерация эталонных изображений осуществляется путем создания описания внешности с использованием Qwen2.5-VL, объединения его с соответствующими действиями и нарядами для формирования положительных и отрицательных подсказок, которые затем используются в модели редактирования для генерации фотографий людей в одинаковой одежде.

Качественное сравнение показало, что EVTAR генерирует более привлекательные и реалистичные результаты, с улучшенной детализацией и текстурой.

Перспективы и Влияние: Куда Движется Виртуальная Примерка

Разработанный фреймворк EVTAR демонстрирует возможность генерации высококачественных изображений одежды на человеке без использования маски сегментации, упрощая процесс генерации. Эффективность и масштабируемость EVTAR позволяют применять его в различных областях, включая дизайн одежды, создание виртуальных аватаров и дополненную реальность. Перспективные направления дальнейших исследований включают интеграцию EVTAR с другими технологиями искусственного интеллекта, такими как системы персонализированных рекомендаций и инструменты анализа стиля. Каждая новая «революция» в машинном обучении оказывается лишь очередным уровнем абстракции, который рано или поздно потребует переработки.

Качественное сравнение на наборе данных DressCode показывает, что использование дополнительного эталонного изображения во время вывода или генерация изображения с использованием неmasked изображения человека улучшает качество результатов.
Качественное сравнение на наборе данных DressCode показывает, что использование дополнительного эталонного изображения во время вывода или генерация изображения с использованием неmasked изображения человека улучшает качество результатов.

Принципы, лежащие в основе фреймворка, могут быть расширены и применены к другим задачам генерации изображений, расширяя границы возможностей AI в области творчества.

Что дальше?

Представленная работа, безусловно, демонстрирует улучшение в области виртуальной примерки. Однако, стоит признать, что каждая новая «end-to-end» система – это просто более сложный способ накопить технический долг. Улучшение качества генерации, достигнутое за счет использования дополнительных референсных изображений, лишь отодвигает проблему: рано или поздно, производственный процесс найдёт способ сломать даже самую элегантную модель. И тогда потребуются ещё более сложные и ресурсоёмкие решения.

Вместо того, чтобы стремиться к полной автоматизации, возможно, стоит переосмыслить подход. Вместо того, чтобы пытаться «обучить» систему понимать все нюансы человеческого вкуса, можно сосредоточиться на создании инструментов, которые позволят пользователю более точно контролировать процесс генерации. Ведь, если система стабильно выдаёт не то, что нужно, значит, она хотя бы последовательна в своей ошибке.

На горизонте маячат новые архитектуры, новые функции потерь… но, в конечном итоге, всё это – лишь попытки замаскировать фундаментальную сложность задачи. Мы не пишем код — мы просто оставляем комментарии будущим археологам, которые будут гадать, что мы имели в виду, когда говорили о «cloud-native» решениях для виртуальной примерки. Ирония в том, что это, по сути, то же самое, только дороже.

Оригинал статьи: https://arxiv.org/pdf/2511.00956.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-11-07 22:06