ProFuse: Собираем 3D-сцены из разрозненных видов

Автор: Денис Аветисян

Новый подход позволяет создавать семантически согласованные 3D-модели, объединяя информацию из множества изображений без необходимости обучения с использованием рендеринга.

Система ProFuse использует плотный алгоритм сопоставления для выявления геометрических и семантических соответствий между различными видами, группирует искаженные маски в 3D-предложения с общей глобальной характеристикой, и инициализирует компактную гауссовскую сцену на основе триангулированных соответствий, объединяя характеристики предложений без использования рендеринга для обеспечения связности и семантической открытости трехмерного представления.

Эффективное объединение контекста из различных видов для 3D Gaussian Splatting с открытой лексикой.

Несмотря на успехи 3D Gaussian Splatting в реконструкции сцен, обеспечение семантической согласованности в условиях открытой лексики остается сложной задачей. В работе ‘ProFuse: Efficient Cross-View Context Fusion for Open-Vocabulary 3D Gaussian Splatting’ предложен эффективный фреймворк ProFuse, использующий плотную многовидовую переписку и контекстные предложения для укрепления семантической когерентности без необходимости обучения с использованием рендеринга. ProFuse достигает высокой точности понимания 3D-сцен с открытой лексикой, значительно ускоряя процесс семантической привязки. Сможет ли подобный подход открыть новые возможности для интерактивного редактирования и понимания сложных 3D-сред?

Понимание Трехмерных Сцен: Вызовы и Перспективы

Современные методы анализа трехмерных сцен сталкиваются с существенными трудностями при интерпретации запросов, сформулированных на естественном языке, особенно в условиях ограниченного объема обучающих данных. Недостаток размеченных трехмерных сцен и соответствующих текстовых описаний ограничивает способность алгоритмов обобщать знания и точно определять взаимосвязи между объектами в новых, незнакомых средах. Это проявляется в низкой устойчивости систем к вариациям в освещении, перспективе и степени детализации объектов, а также в сложности понимания неоднозначных или сложных языковых конструкций. В результате, даже небольшие изменения в запросе или окружении могут приводить к значительным ошибкам в интерпретации, что подчеркивает необходимость разработки более эффективных и адаптивных подходов к пониманию трехмерных сцен на основе лингвистической информации.

Современные методы обучения систем понимания трехмерных сцен часто полагаются на обучение с использованием рендеринга, что требует значительных вычислительных ресурсов и времени. Этот подход предполагает генерацию большого количества синтетических изображений для обучения модели, что становится особенно проблематичным при работе с комплексными сценами или при необходимости адаптации к новым, ранее не встречавшимся окружениям. Обучение на синтетических данных может привести к расхождениям между виртуальной и реальной средой, снижая производительность системы в реальных условиях. Более того, процесс рендеринга сам по себе является ресурсоемким, ограничивая масштабируемость и возможность быстрого обучения моделей для новых задач и окружений. В связи с этим, исследователи активно ищут альтернативные подходы, позволяющие снизить зависимость от дорогостоящего рендеринга и повысить обобщающую способность систем понимания 3D сцен.

Точное сопоставление лингвистических описаний с конкретными трехмерными объектами и их взаимосвязями остается сложной задачей в области компьютерного зрения. Существующие системы часто испытывают трудности в интерпретации нюансов языка и корректном определении, к какому именно объекту или аспекту сцены относится каждое слово или фраза. Особенно проблематичным является понимание пространственных отношений — например, “слева от”, “над”, “внутри” — и их применение к конкретным объектам в сложной трехмерной среде. Неспособность правильно установить эти связи приводит к неточным результатам и ограничивает возможности систем в выполнении сложных задач, таких как навигация, манипулирование объектами или ответы на вопросы о трехмерной сцене.

Предложенный метод обеспечивает более точный и четкий поиск объектов по семантическим запросам на наборе данных LERF-OVS[15], демонстрируя лучшую согласованность между текстовым запросом и выбранным 3D-контентом.

ProFuse: Регистрационный Подход к Семантическому Пониманию

ProFuse использует подход, основанный на регистрации, который позволяет избежать необходимости в семантическом обучении с использованием рендеринга. Вместо этого, метод напрямую сопоставляет языковые признаки с представлением сцены в виде 3D Gaussian Splatting. Этот подход позволяет устанавливать соответствия между текстовыми описаниями и конкретными областями в 3D-модели без необходимости в промежуточных этапах обучения, требующих визуализации и сравнения с рендерингом. Такая прямая регистрация языковых признаков обеспечивает более эффективное и адаптивное семантическое согласование в 3D-сцене.

Метод ProFuse использует плотную мульти-видовую переписку для установления начальных геометрических и семантических связей между различными видами сцены. Это достигается путем выявления соответствующих точек и признаков на изображениях, полученных с разных углов обзора, и использования этих соответствий для построения представления сцены, которое одновременно учитывает ее геометрию и семантическое содержание. Плотная переписка позволяет точно определить положение и ориентацию камеры для каждого вида, а также установить взаимосвязь между объектами, видимыми на разных изображениях. В результате формируется согласованное представление сцены, необходимое для последующей регистрации языковых признаков и достижения семантической когерентности.

Регистрация языковых признаков непосредственно в представлении 3D Gaussian Splatting позволяет ProFuse достичь повышенной семантической связности и адаптивности. Вместо опоры на обучение с контролем рендеринга, ProFuse выравнивает языковые признаки с 3D Gaussian Splatting, что обеспечивает более точное соответствие между текстом и геометрией сцены. Такой подход позволяет системе эффективно учитывать контекст и семантические связи объектов в 3D-пространстве, улучшая качество генерации и редактирования сцен на основе текстовых запросов и обеспечивая более гибкую адаптацию к различным входным данным.

Для инициализации процесса регистрации, ProFuse использует предварительные 3D-маски контекста, полученные с помощью моделей SAM (Segment Anything Model) и CLIP. SAM генерирует сегментационные маски для различных объектов на изображениях, а CLIP сопоставляет текстовые описания с визуальными признаками. Комбинация этих моделей позволяет выделить релевантные области сцены, соответствующие заданному текстовому запросу, и сформировать начальные маски, которые служат ориентирами для последующей регистрации языковых признаков в 3D-представлении Gaussian Splatting. Эти маски определяют области, в которых необходимо установить соответствие между текстом и геометрией, обеспечивая более точную и эффективную языковую навигацию в 3D-сцене.

Визуализация признаков на наборе данных ScanNet[6] с использованием методов регистрации показывает, что ProFuse обеспечивает более четкие области с более резкими границами и меньшим количеством шумов по сравнению с другими подходами.

Обеспечение Семантической Целостности через Согласованность

ProFuse обеспечивает семантическую целостность 3D-реконструкции посредством двух ключевых механизмов: внутримасковой когезии и межвидовой согласованности. Внутримасковая когезия гарантирует, что признаки, относящиеся к одному и тому же сегменту (маске), семантически согласованы друг с другом, то есть описывают один и тот же объект или его часть. Межвидовая согласованность, в свою очередь, обеспечивает соответствие семантических представлений одного и того же объекта, наблюдаемого с разных точек зрения. Эти механизмы совместно работают для предотвращения семантических несоответствий и повышения точности и надежности процесса 3D-понимания.

В ProFuse, семантическая согласованность достигается за счет двух ключевых механизмов. Внутримасочная когерентность гарантирует, что языковые признаки, принадлежащие одному и тому же сегменту (маске) на изображении, семантически согласованы друг с другом, то есть описывают один и тот же объект или часть объекта. Межвидовая согласованность, в свою очередь, обеспечивает соответствие семантических представлений одного и того же объекта, наблюдаемого с разных точек зрения. Оба этих механизма работают совместно, повышая устойчивость и точность процесса 3D-реконструкции и обеспечивая надежность получаемых результатов.

Применение ограничений на семантическую согласованность внутри маски и между различными точками зрения значительно повышает устойчивость процесса 3D-понимания. Это достигается за счет минимизации семантических несоответствий и повышения точности интерпретации данных, что в свою очередь приводит к более надежным и воспроизводимым результатам 3D-реконструкции. Повышенная устойчивость особенно важна при обработке неполных или зашумленных данных, где стандартные методы могут давать неверные результаты.

Для повышения эффективности и масштабируемости ProFuse использует квантование произведений (Product Quantization), реализованное с помощью библиотеки FAISS, для быстрого поиска ближайших соседей. Данный подход позволяет значительно сократить время обработки данных при реконструкции 3D-сцен, достигая производительности около 5 минут на сцену. Квантование произведений представляет собой метод аппроксимации, позволяющий уменьшить объем данных, необходимых для хранения и поиска векторов признаков, без существенной потери точности. Использование FAISS обеспечивает эффективную реализацию и оптимизацию алгоритма поиска ближайших соседей в больших наборах данных.

Предлагаемый метод формирует признаки контекста, группируя маски объектов в 3D-предложение, вычисляя их массу <span class="katex-eq" data-katex-display="false">\mu(M_i^k)</span> и объединяя взвешенные вложения масок для регистрации с Гауссианами согласно уравнению (8). — Предлагаемый метод формирует признаки контекста, группируя маски объектов в 3D-предложение, вычисляя их массу $\mu(M_i^k)$ и объединяя взвешенные вложения масок для регистрации с Гауссианами согласно уравнению (8).

Валидация и Более Широкие Возможности Применения

Эксперименты, проведенные на датасетах LERF-OVS и ScanNet, наглядно демонстрируют превосходство ProFuse в задачах выбора 3D-объектов и понимания сцен в условиях открытой лексики. Данная система показывает более высокую точность и надежность в идентификации и выделении объектов, даже если их названия не были заранее определены в обучающем наборе данных. Результаты подтверждают способность ProFuse эффективно интерпретировать сложные 3D-сцены и успешно выполнять задачи, требующие семантического понимания окружения, что открывает перспективы для широкого спектра приложений, от робототехники до виртуальной и дополненной реальности.

Проект ProFuse демонстрирует передовые результаты в области понимания трехмерных сцен, управляемого языковыми запросами. В его основе лежит эффективное использование технологии 3D Gaussian Splatting, позволяющей добиться существенного прогресса в интерпретации пространственных данных. В ходе экспериментов ProFuse не только превзошел существующие аналоги по точности, но и продемонстрировал двукратное увеличение скорости обработки по сравнению с предыдущими методами. Это достижение открывает перспективы для создания более быстрых и эффективных систем анализа трехмерных сцен, что имеет ключевое значение для развития робототехники, виртуальной и дополненной реальности, а также интерактивного редактирования 3D-моделей.

В рамках данной работы предложен новый подход к стандартизации оценки понимания облаков точек, основанный на использовании OpenGaussian. Этот метод определяет пространства меток, используя Gaussian Splatting, что позволяет создать унифицированную основу для сравнения различных алгоритмов обработки 3D-данных. В отличие от традиционных подходов, которые часто полагаются на специфические для датасета или задачи определения меток, OpenGaussian обеспечивает более объективную и воспроизводимую оценку. Благодаря этому, исследователи получают возможность более точно сравнивать эффективность различных методов и ускорять прогресс в области понимания и интерпретации трёхмерных сцен, что особенно важно для развития робототехники, виртуальной и дополненной реальности.

Разработанная система открывает принципиально новые возможности для интерактивного редактирования трехмерных сцен, позволяя пользователям манипулировать виртуальными объектами с беспрецедентной точностью и скоростью. Помимо этого, технология имеет значительный потенциал в области роботизированной навигации, обеспечивая роботам более глубокое понимание окружающего пространства и возможность эффективного планирования маршрута в сложных условиях. Не менее перспективным представляется применение в сфере виртуальной и дополненной реальности, где система способна создавать более реалистичные и интерактивные среды, улучшая пользовательский опыт и расширяя возможности для обучения, развлечений и совместной работы.

Предварительная регистрация выполняется путем выбора <span class="katex-eq" data-katex-display="false">KK</span> ближайших соседей для каждого опорного изображения с использованием кластеризации видов, последующего применения предварительно обученного плотного сопоставителя для получения попиксельных преобразований <span class="katex-eq" data-katex-display="false">W_{j\to i}</span> и доверий <span class="katex-eq" data-katex-display="false">\alpha_{j\to i}</span>, а также триангуляции 3D-ядра для инициализации гауссиана на основе преобразований пиксельных пар и сравнения перекрытия (IoU) между опорными и соседними масками для формирования ребер двудольного графа. — Предварительная регистрация выполняется путем выбора $KK$ ближайших соседей для каждого опорного изображения с использованием кластеризации видов, последующего применения предварительно обученного плотного сопоставителя для получения попиксельных преобразований $W_{j\to i}$ и доверий $\alpha_{j\to i}$ , а также триангуляции 3D-ядра для инициализации гауссиана на основе преобразований пиксельных пар и сравнения перекрытия (IoU) между опорными и соседними масками для формирования ребер двудольного графа.

Исследование, представленное в данной работе, демонстрирует, как тщательный анализ многовидовых соответствий и контекстных предложений может значительно улучшить семантическую согласованность в 3D Gaussian Splatting. Этот подход позволяет создавать более точные и полные 3D-модели сцен без необходимости в контролируемом рендеринге. Как заметил Дэвид Марр: «Представление — это не просто описание того, что мы видим, а скорее набор гипотез о том, как устроен мир». В данном случае, ProFuse предлагает элегантное представление о том, как объединить информацию из различных видов, чтобы построить более надежную и семантически богатую 3D-модель, подтверждая важность построения логичных и проверяемых гипотез для понимания сложных систем.

Что дальше?

Представленная работа, несомненно, демонстрирует элегантность подхода к обеспечению семантической согласованности в реконструкции 3D-сцен. Однако, истинное понимание системы требует признания границ применимости. Воспроизводимость наблюдаемых улучшений — ключевой критерий, и дальнейшие исследования должны сосредоточиться на оценке устойчивости метода к вариациям в качестве входных данных и сложности сцен. Если закономерность нельзя воспроизвести или объяснить, её не существует.

Особый интерес представляет вопрос о масштабируемости предложенного подхода. Эффективность, достигнутая в рамках контролируемых экспериментов, не гарантирует её сохранение при переходе к крупномасштабным, динамичным сценам. Умение адаптироваться к неполным данным и неопределенностям — вот истинный тест для любой системы.

В конечном счете, настоящий прогресс заключается не в создании всё более сложных алгоритмов, а в углублении понимания фундаментальных принципов, управляющих восприятием и реконструкцией трехмерного мира. Истинная ценность заключается в простоте и элегантности, а не в сложности и перегруженности.

Оригинал статьи: https://arxiv.org/pdf/2601.04754.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-09 16:39

🚀 Квантовые новости