От мечты к модели: генеративный ИИ для параметрического CAD

Автор: Денис Аветисян


Новая система DreamCAD позволяет создавать редактируемые 3D-модели из изображений, текста и облаков точек, открывая новые возможности для автоматизированного проектирования.

🚀 Квантовые новости

Подключайся к потоку квантовых мемов, теорий и откровений из параллельной вселенной.
Только сингулярные инсайты — никакой скуки.

Присоединиться к каналу
Исследование представляет систему DreamCAD, использующую разреженный Transformer VAE для кодирования данных из сеток, DINOv2 эмбеддингов, нормалей и SDF значений в структурированные латентные представления <span class="katex-eq" data-katex-display="false">z_i</span>, которые затем декодируются в параметрические поверхности (рациональные кривые Безье) с последующей оптимизацией посредством Chamfer loss, позволяя генерировать параметрические поверхности из разреженных вокселей с использованием flood-fill и преобразования в квады, а также осуществлять мультимодальную генерацию CAD моделей из изображений или точек посредством coarse-to-fine flow-matching фреймворка, переходя от грубой воксельной сетки к уточнению параметрических поверхностей.
Исследование представляет систему DreamCAD, использующую разреженный Transformer VAE для кодирования данных из сеток, DINOv2 эмбеддингов, нормалей и SDF значений в структурированные латентные представления z_i, которые затем декодируются в параметрические поверхности (рациональные кривые Безье) с последующей оптимизацией посредством Chamfer loss, позволяя генерировать параметрические поверхности из разреженных вокселей с использованием flood-fill и преобразования в квады, а также осуществлять мультимодальную генерацию CAD моделей из изображений или точек посредством coarse-to-fine flow-matching фреймворка, переходя от грубой воксельной сетки к уточнению параметрических поверхностей.

Представлена система DreamCAD, использующая дифференцируемые параметрические поверхности и латентное пространство для масштабирования мультимодальной генерации CAD-моделей.

Несмотря на значительный прогресс в генеративном моделировании, создание редактируемых и структурированных CAD-моделей остается сложной задачей из-за нехватки размеченных данных и ограничений существующих методов. В данной работе представлена система ‘DreamCAD: Scaling Multi-modal CAD Generation using Differentiable Parametric Surfaces’, новый фреймворк, позволяющий генерировать параметрические CAD-модели из облаков точек, изображений и текста, используя дифференцируемые параметрические поверхности и расширенный набор данных CADCap-1M. DreamCAD отделяет генерацию геометрии и топологии, обеспечивая масштабируемое обучение и высокую точность реконструкции, превосходя существующие решения по ключевым метрикам и пользовательским предпочтениям. Сможет ли предложенный подход открыть новые горизонты для автоматизированного проектирования и создания сложных 3D-моделей?


От пикселей к параметрам: Узкое место CAD-моделирования

Традиционные процессы компьютерного проектирования (CAD) характеризуются значительной трудоемкостью, требующей от специалистов высокой квалификации и обширного ручного труда. Создание даже относительно простых моделей предполагает последовательное построение геометрии, точную настройку параметров и многочисленные итерации для достижения желаемого результата. Этот подход, несмотря на свою зрелость, ограничивает скорость разработки и увеличивает стоимость прототипирования, особенно в случаях, когда требуется большое количество уникальных или кастомизированных изделий. Вследствие этого, предприятия часто сталкиваются с задержками в выводе новых продуктов на рынок и испытывают потребность в автоматизации этапов проектирования для повышения эффективности и снижения издержек.

Существующие методы автоматизированного создания CAD-моделей, такие как прямое воксельное моделирование, часто сталкиваются с трудностями в достижении необходимой геометрической точности и возможности последующего редактирования. В отличие от параметрических моделей, где каждая деталь определяется уравнениями и взаимосвязями, воксельные модели представляют собой дискретизированные объемы, что приводит к ступенчатости поверхностей и затрудняет внесение точных изменений. Несмотря на свою скорость создания, воксельные модели требуют значительных вычислительных ресурсов для сглаживания и преобразования в пригодные для производства форматы, а также ограничивают возможности точной настройки и оптимизации геометрии под конкретные требования. Это создает проблему для приложений, где важны не только скорость создания модели, но и её точность, функциональность и возможность внесения изменений на любом этапе разработки.

Современные производственные процессы и потребительский рынок диктуют всё более высокие требования к скорости разработки и уникальности продукции. Возрастающий спрос на быстрое прототипирование и индивидуализацию дизайна требует кардинального пересмотра традиционных методов создания CAD-моделей. Необходимость оперативно реагировать на изменения в требованиях заказчика и предлагать персонализированные решения делает трудоёмкие и длительные ручные процессы неприемлемыми. В связи с этим, активно ведутся исследования и разработки в области автоматизированного моделирования, направленные на создание систем, способных генерировать сложные геометрические формы с высокой точностью и позволяющих легко вносить изменения в соответствии с потребностями рынка. Переход к новым парадигмам в CAD-моделировании — это не просто технологический прогресс, а необходимость для сохранения конкурентоспособности в условиях динамично развивающейся экономики.

DreamCAD успешно реконструирует точную 3D-геометрию различных объектов - от мебели и механических деталей до потребительских товаров и сложных дизайнерских решений - по одному изображению, достоверно воспроизводя как мелкие структурные элементы, так и сложные механические особенности и общие пропорции.
DreamCAD успешно реконструирует точную 3D-геометрию различных объектов — от мебели и механических деталей до потребительских товаров и сложных дизайнерских решений — по одному изображению, достоверно воспроизводя как мелкие структурные элементы, так и сложные механические особенности и общие пропорции.

DreamCAD: Унифицированная генеративная платформа

DreamCAD представляет собой новую систему для генерации редактируемых параметрических CAD-моделей поверхностей на основе различных входных данных. В отличие от существующих методов, DreamCAD поддерживает создание геометрии из точек, изображений и текстовых описаний. Это достигается за счет унифицированного подхода, позволяющего пользователям задавать желаемую форму и структуру модели различными способами, что расширяет возможности автоматизированного проектирования и прототипирования. Система позволяет создавать сложные формы, используя как точные геометрические данные, так и более абстрактные представления, такие как изображения или текстовые запросы.

В основе DreamCAD лежит итеративный процесс генерации, реализуемый с помощью `Flow Transformer`, который последовательно уточняет геометрию создаваемых параметрических CAD-моделей. Этот процесс начинается с грубого представления формы и, на каждой итерации, `Flow Transformer` применяет трансформации для улучшения детализации и соответствия входным данным. Использование `Flow Transformer` позволяет эффективно обрабатывать сложные зависимости между различными частями геометрии и обеспечивать плавный переход от грубого представления к финальной, детализированной модели. Уточнение геометрии происходит за счет последовательного применения слоев трансформации, каждый из которых вносит вклад в повышение точности и реалистичности создаваемой поверхности.

В основе DreamCAD лежит использование разреженной воксельной сетки (Sparse Voxel Grid) в качестве промежуточного представления геометрии. Это позволяет эффективно обрабатывать сложные формы и поддерживать детализацию. Для обогащения воксельной сетки визуальной информацией используется модель DINOv2, которая извлекает признаки из входных данных (изображений или других визуальных представлений) и передает их в воксельную сетку. Такой подход позволяет системе учитывать визуальные характеристики при генерации и редактировании CAD-моделей, что повышает точность и реалистичность результатов. Использование разреженной воксельной сетки оптимизирует потребление памяти и вычислительные ресурсы, особенно при работе с высокодетализированными объектами.

Модель DreamCAD успешно реконструирует разнообразные трехмерные объекты из текстовых описаний, включая механические детали, инструменты, строительные элементы, дизайнерские решения и потребительские товары.
Модель DreamCAD успешно реконструирует разнообразные трехмерные объекты из текстовых описаний, включая механические детали, инструменты, строительные элементы, дизайнерские решения и потребительские товары.

Соединяя фрагменты: от генерации к топологии

DreamCAD использует параметрические поверхности, представленные в виде Bézier Patch. В отличие от традиционных CAD-систем, генерирующих сразу топологически корректные модели, DreamCAD создает геометрию, требующую последующего этапа восстановления топологии. Это связано с особенностями алгоритмов генерации и необходимостью обеспечения гибкости при моделировании сложных форм. Процесс восстановления топологии необходим для создания валидной CAD-модели, пригодной для дальнейшей обработки, анализа и производства, так как позволяет определить связи между поверхностями и создать четкую структуру ребер и граней.

Процесс восстановления топологии в DreamCAD использует параметрические поверхности, представленные в формате NURBS (Non-Uniform Rational B-Splines). NURBS являются индустриальным стандартом для представления кривых и поверхностей в системах автоматизированного проектирования (CAD), что обеспечивает совместимость с широким спектром программного обеспечения, включая системы моделирования, анализа и производства. Использование NURBS гарантирует возможность беспрепятственного обмена данными и интеграции с существующими CAD-рабочими процессами, а также позволяет использовать стандартные инструменты для редактирования и манипулирования геометрией.

Реализация опирается на SDK OpenCascade для обеспечения надежного обмена данными и манипулирования CAD-моделями. OpenCascade предоставляет широкий набор инструментов для работы с геометрией, топологией и визуализацией, что позволяет эффективно преобразовывать поверхности, созданные в DreamCAD, в структурированные CAD-модели. SDK обеспечивает поддержку различных форматов данных, включая STEP, IGES и другие стандартные CAD-форматы, что гарантирует совместимость с другим программным обеспечением. Функциональность OpenCascade включает в себя алгоритмы для построения, анализа и редактирования сложных геометрических форм, что критически важно для процесса восстановления топологии и создания валидных CAD-моделей.

DreamCAD успешно восстанавливает топологию из патч-базированных выходных данных, преобразуя их в гибридное NURBS CAD-представление <span class="katex-eq" data-katex-display="false"> (NURBS)</span> даже для мультимодальных входных данных.
DreamCAD успешно восстанавливает топологию из патч-базированных выходных данных, преобразуя их в гибридное NURBS CAD-представление (NURBS) даже для мультимодальных входных данных.

CADCap-1M: Эволюция оценки генеративного CAD

Набор данных CADCap-1M, включающий более 11 миллионов CAD-моделей с текстовыми описаниями, представляет собой надежный эталон для оценки генеративных CAD-систем. Масштабность и разнообразие этого набора позволяют проводить всестороннее тестирование и сравнительный анализ различных алгоритмов, выявляя их сильные и слабые стороны в задачах создания трехмерных моделей по текстовым запросам. Возможность количественной оценки качества сгенерированных моделей, благодаря наличию соответствующих описаний, значительно упрощает процесс разработки и совершенствования новых методов автоматизированного проектирования. CADCap-1M не только способствует развитию области, но и открывает перспективы для создания более интеллектуальных и эффективных инструментов для дизайнеров и инженеров.

Набор данных CADCap-1M был создан с использованием мощной языковой модели GPT-5, что демонстрирует значительный прорыв в автоматизации процесса создания описательных подписей к моделям автоматизированного проектирования. Вместо ручного аннотирования, GPT-5 позволила генерировать обширные и точные текстовые описания для более чем 11 миллионов CAD-моделей, значительно ускорив процесс создания обучающих данных. Этот подход не только повысил эффективность, но и открыл новые возможности для обучения моделей генеративного CAD, позволяя им лучше понимать связь между текстовыми описаниями и геометрическими формами. Способность GPT-5 автоматически создавать содержательные подписи подчеркивает потенциал больших языковых моделей в автоматизации сложных инженерных задач и расширении возможностей проектирования.

Разработанная модель DreamCAD, обученная на масштабном наборе данных CADCap-1M, демонстрирует значительное превосходство в генерации высококачественных и редактируемых CAD-моделей по сравнению с существующими подходами. В задачах преобразования облаков точек в CAD-модели, достигнуто снижение метрики Chamfer Distance до 70%, что свидетельствует о более высокой точности и детализации генерируемых объектов. Более того, проведенные оценки, включающие как экспертную оценку специалистов, так и автоматизированный анализ с использованием GPT-моделей, показали, что DreamCAD предпочтительнее в более чем 75% случаев, подтверждая ее способность создавать модели, соответствующие как техническим требованиям, так и эстетическим предпочтениям пользователей.

DreamCAD успешно генерирует CAD-модели по текстовым запросам, созданным GPT-5, демонстрируя способность интерпретировать как структурированные, так и произвольные описания широкого спектра объектов, включая потребительскую электронику, предметы быта, инструменты, механические компоненты и сочленённые конструкции.
DreamCAD успешно генерирует CAD-модели по текстовым запросам, созданным GPT-5, демонстрируя способность интерпретировать как структурированные, так и произвольные описания широкого спектра объектов, включая потребительскую электронику, предметы быта, инструменты, механические компоненты и сочленённые конструкции.

Будущие горизонты: расширение границ генеративного дизайна

Архитектура DreamCAD демонстрирует значительную гибкость, выходящую за рамки генерации 3D-моделей. В частности, ее базовая структура легко адаптируется к решению других задач генеративного моделирования, таких как преобразование текстовых описаний в готовые CAD-модели (Text-to-CAD) и реконструкция трехмерных объектов по облакам точек. Это достигается за счет модульной конструкции, позволяющей заменить или модифицировать отдельные компоненты для обработки различных типов входных данных и генерации различных типов выходных данных. Исследователи полагают, что, используя аналогичные принципы, можно создавать системы, способные автоматически проектировать сложные объекты на основе словесных описаний или восстанавливать геометрию по данным, полученным с помощью 3D-сканеров, открывая широкие перспективы для автоматизации проектирования и обратного инжиниринга.

Интеграция DreamCAD с вариационными автоэнкодерами (VAE) представляется перспективным направлением для существенного улучшения качества и разнообразия генерируемых проектов. VAE, обучаясь сжимать и восстанавливать данные, способны выявлять латентные представления, описывающие основные характеристики дизайна. Объединение этой способности с генеративной моделью DreamCAD позволит не только создавать более правдоподобные и детализированные проекты, но и плавно перемещаться в пространстве возможных решений, исследуя широкий спектр вариаций на заданную тему. Использование латентного пространства VAE как источника случайных величин для генерации новых дизайнов может способствовать созданию более инновационных и неожиданных решений, преодолевая ограничения, свойственные традиционным алгоритмам генеративного дизайна. Таким образом, симбиоз DreamCAD и VAE открывает возможности для создания интеллектуальных систем, способных генерировать высококачественные, разнообразные и адаптируемые проекты, отвечающие специфическим требованиям и предпочтениям пользователей.

Возможность генерации редактируемых параметрических моделей открывает принципиально новые горизонты автоматической оптимизации и персонализации дизайна. В отличие от традиционных методов, где изменения требуют полной переработки модели, параметрический подход позволяет модифицировать отдельные параметры, мгновенно адаптируя форму и характеристики объекта. Это особенно важно для сложных инженерных задач, где требуется достижение оптимальных показателей производительности, прочности или веса. Более того, пользователи смогут настраивать дизайн под индивидуальные предпочтения и требования, создавая уникальные продукты без необходимости привлечения специалистов по моделированию. Такая гибкость значительно ускоряет процесс проектирования и снижает затраты, делая инновации более доступными и эффективными.

DreamCAD успешно восстанавливает чистую параметрическую геометрию из облаков точек, сохраняя мелкие структурные детали, гладкие поверхности и сложные топологии для широкого спектра объектов, включая механические компоненты, мебель и изделия сложной формы.
DreamCAD успешно восстанавливает чистую параметрическую геометрию из облаков точек, сохраняя мелкие структурные детали, гладкие поверхности и сложные топологии для широкого спектра объектов, включая механические компоненты, мебель и изделия сложной формы.

Исследование представляет собой элегантный подход к генерации параметрических CAD-моделей, демонстрируя, как разделение генерации геометрии и топологии позволяет достичь большей гибкости и управляемости. Авторы эффективно используют латентное пространство 3D-форм, что позволяет создавать сложные модели на основе разнообразных входных данных, таких как облака точек, изображения и текст. Этот подход особенно ценен, поскольку он позволяет создавать не просто визуально правдоподобные модели, но и редактируемые, параметрически определенные объекты. Как отметил Ян Лекун: «Машинное обучение — это просто поиск хорошего представления». В данном контексте, латентное пространство, созданное в DreamCAD, и есть такое представление, позволяющее эффективно манипулировать и генерировать сложные геометрические формы.

Куда Далее?

Представленная работа, несмотря на элегантность подхода к разделению генерации геометрии и топологии, лишь приоткрывает дверь в область параметрического CAD, управляемого искусственным интеллектом. Неизбежно возникает вопрос о доказательстве корректности результирующих моделей. Успешная генерация визуально приемлемого объекта — недостаточное условие; необходимо формальное подтверждение соответствия геометрическим и физическим ограничениям, что требует разработки метрик, выходящих за рамки простой визуальной оценки.

Особенно остро стоит проблема обобщения. Обучение в скрытом пространстве 3D-форм, хоть и перспективно, подвержено риску интерполяции между известными образцами. Неизбежно возникнет необходимость в методах, позволяющих экстраполировать, то есть создавать принципиально новые формы, а не просто комбинировать существующие. Иначе говоря, необходимо преодолеть барьер между «обучением на примерах» и настоящим творчеством.

В конечном итоге, истинная проверка ценности DreamCAD, и подобных ему систем, заключается в их способности не просто генерировать модели, но и облегчать процесс их модификации и оптимизации. До тех пор, пока параметры не будут напрямую связаны с функциональными характеристиками, а не только с визуальным обликом, остаётся лишь констатировать: красота — это хорошо, но надежность и предсказуемость — лучше.


Оригинал статьи: https://arxiv.org/pdf/2603.05607.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-03-10 00:47