Генерация текста: новый взгляд на скорость и качество

от

Автор: Денис Аветисян

Исследователи представили архитектуру TiDAR, объединяющую диффузионные и авторегрессионные модели для ускорения генерации текста без потери качества.

🚀 Квантовые новости

Подключайся к потоку квантовых мемов, теорий и откровений из параллельной вселенной.
Только сингулярные инсайты — никакой скуки.

Присоединиться к каналу
Обучение модели TiDAR обеспечивает устойчивое качество генерации при использовании как предсказаний диффузионных моделей, так и авторегрессивных, благодаря сбалансированной архитектуре и высокой способности к детализации, сохраняя при этом сравнимую скорость работы $~$.
Обучение модели TiDAR обеспечивает устойчивое качество генерации при использовании как предсказаний диффузионных моделей, так и авторегрессивных, благодаря сбалансированной архитектуре и высокой способности к детализации, сохраняя при этом сравнимую скорость работы $~$.

TiDAR использует гибридный подход, сочетая преимущества диффузионных моделей для быстрого «мышления» и авторегрессионных моделей для точной генерации последовательностей.

Распространённая дилемма в области языкового моделирования заключается в компромиссе между скоростью генерации и качеством текста. В настоящей работе, представленной под названием ‘TiDAR: Think in Diffusion, Talk in Autoregression’, предложена новая гибридная архитектура, объединяющая преимущества диффузионных и авторегрессионных моделей. TiDAR позволяет достичь значительного ускорения генерации текста при сохранении качества, сопоставимого с традиционными авторегрессионными моделями. Сможет ли эта инновационная архитектура открыть новую эру высокопроизводительного и качественного языкового моделирования?

Преодолевая Узкие Места Последовательной Генерации

Крупные языковые модели, несмотря на вычислительную мощность, ограничены последовательным декодированием, что снижает скорость генерации и глубину рассуждений. Это связано с тем, что модели обрабатывают информацию последовательно, токен за токеном, создавая узкое место. Традиционные авторегрессионные модели не позволяют эффективно распараллеливать вычисления.

В ходе исследования зафиксировано, что задержка декодирования модели Qwen3-32B на NVIDIA H100 остается относительно постоянной при определенном количестве отправленных токенов, после чего переходит в вычислительно-зависимый режим, что используется для параллельного создания и выборки в TiDAR.
В ходе исследования зафиксировано, что задержка декодирования модели Qwen3-32B на NVIDIA H100 остается относительно постоянной при определенном количестве отправленных токенов, после чего переходит в вычислительно-зависимый режим, что используется для параллельного создания и выборки в TiDAR.

Внутренняя задержка требует новых архитектур для раскрытия полного потенциала больших моделей. Подобно тому, как зрелое создание принимает течение времени, иногда мудро наблюдать процесс, а не ускорять его.

TiDAR: Гибридный Подход к Параллельной Генерации

Архитектура TiDAR использует возможности параллельного декодирования моделей диффузии, обеспечивая значительное увеличение скорости – до 5.91x. В основе TiDAR лежит комбинация блочной диффузии и авторегрессии, обеспечивающая баланс между параллелизацией и точностью. Одношаговая диффузия минимизирует вычислительные затраты, максимизируя преимущества генерации на основе диффузии.

Архитектура TiDAR использует однократный проход модели для одновременной выборки токенов из предыдущего шага и предварительной выборки токенов для следующего шага, применяя различные шаблоны внимания для кодирования чистых токенов причинно и маскированных токенов блок-причинно для одношагового диффузионного предварительного выбора, позволяя выбирать соответствующие предложения после принятия префикса и сохраняя кэш KV для переиспользования.
Архитектура TiDAR использует однократный проход модели для одновременной выборки токенов из предыдущего шага и предварительной выборки токенов для следующего шага, применяя различные шаблоны внимания для кодирования чистых токенов причинно и маскированных токенов блок-причинно для одношагового диффузионного предварительного выбора, позволяя выбирать соответствующие предложения после принятия префикса и сохраняя кэш KV для переиспользования.

TiDAR эффективно сочетает преимущества параллельного и последовательного подходов, оптимизируя использование ресурсов и обеспечивая высокую скорость генерации.

Отбор Лучших Кандидатов: Эффективность Селективной Генерации

Архитектура TiDAR использует метод отбора (Rejection Sampling) для выбора высококачественных токенов из диффузионной модели, отсеивая менее вероятные варианты. Сочетание механизмов причинного (Causal Attention) и двунаправленного (Bidirectional Attention) внимания обеспечивает учет контекста и точный выбор. Причинное внимание учитывает контекст, а двунаправленное анализирует информацию из обеих сторон последовательности.

При сравнении TiDAR с AR, AR со спекулятивным декодированием (EAGLE-3) и Block Diffusion на моделях 1.5B и 8B, наблюдается, что TiDAR обеспечивает значительное увеличение скорости декодирования в токенах в секунду по сравнению с базовой моделью AR, при этом количество токенов на NFE также остается на высоком уровне.
При сравнении TiDAR с AR, AR со спекулятивным декодированием (EAGLE-3) и Block Diffusion на моделях 1.5B и 8B, наблюдается, что TiDAR обеспечивает значительное увеличение скорости декодирования в токенах в секунду по сравнению с базовой моделью AR, при этом количество токенов на NFE также остается на высоком уровне.

Использование свободных слотов (Free Token Slots) позволяет эффективно использовать ресурсы для параллельной обработки, обеспечивая ускорение пропускной способности в 4.71x по сравнению с Qwen2.5 1.5B.

Экспериментальное Подтверждение и Прирост Производительности

Архитектура TiDAR демонстрирует превосходные результаты в задачах функциональной корректности (HumanEval) и математического рассуждения (GSM8K). Ключевым аспектом TiDAR является использование внутришагового параллелизма (Within-Step Parallelism), позволяющего снизить задержку без ущерба для качества.

Исследование на моделях 1.5B показало, что TiDAR обеспечивает наилучший баланс между производительностью и эффективностью по сравнению с Block Diffusion и AR, приближаясь к качеству тонко настроенной модели AR при семикратно большем количестве токенов на NFE.
Исследование на моделях 1.5B показало, что TiDAR обеспечивает наилучший баланс между производительностью и эффективностью по сравнению с Block Diffusion и AR, приближаясь к качеству тонко настроенной модели AR при семикратно большем количестве токенов на NFE.

С TiDAR 1.5B достигнуто 7.45 токенов на NFE, а с TiDAR 8B – 8.25 токенов на NFE, что свидетельствует о повышенной эффективности. Подобно тому, как каждое мгновение оставляет свой след, TiDAR создает устойчивый след в эволюции языковых моделей.

Перспективы Развития и Значение для Будущего

Успех TiDAR демонстрирует перспективность гибридных подходов, объединяющих сильные стороны различных парадигм. Дальнейшие исследования, направленные на разработку более эффективных методов сэмплирования и оптимизацию архитектуры, могут привести к еще большему увеличению производительности.

Применение специальной маски обучения с длиной блока 3 позволяет в процессе обучения причинно-следственно обрабатывать чистые входные токены и двунаправленно обрабатывать токены внутри блока, а во время параллельного декодирования используется предварительно инициализированная маска на основе префикса текущего шага.
Применение специальной маски обучения с длиной блока 3 позволяет в процессе обучения причинно-следственно обрабатывать чистые входные токены и двунаправленно обрабатывать токены внутри блока, а во время параллельного декодирования используется предварительно инициализированная маска на основе префикса текущего шага.

Данная работа вносит вклад в создание более масштабируемых, эффективных и способных языковых моделей, способных решать все более сложные задачи. Разработка таких моделей имеет важное значение для развития искусственного интеллекта.

Архитектура TiDAR, представленная в данной работе, демонстрирует элегантное сочетание диффузионных и авторегрессионных моделей. Этот гибридный подход, стремящийся к ускорению генерации текста без ущерба для качества, напоминает о непрерывном стремлении к оптимизации систем. Как однажды заметил Г.Х. Харди: «Математика – это наука о бесконечности». В контексте TiDAR, бесконечность – это потенциал для улучшения языковых моделей, а предложенная архитектура – один из шагов на пути к его реализации. Стремление к параллельному декодированию и эффективному использованию механизмов внимания подчеркивает, что время – не просто метрика, а среда, в которой эволюционируют системы, и в которой важна каждая итерация рефакторинга.

Что же дальше?

Архитектура TiDAR, предложенная в данной работе, представляет собой закономерный этап в эволюции языковых моделей. Она демонстрирует, что синтез, казалось бы, несовместимых подходов – диффузионного и авторегрессионного – может привести к ощутимым улучшениям в скорости генерации текста. Однако, подобно любому новому строительству, TiDAR лишь временно отсрочивает неизбежное старение. Параллельное декодирование, несмотря на свою привлекательность, неизбежно сталкивается с ограничениями, диктуемыми сложностью современных языковых моделей и объёмами данных.

Вопрос не в том, насколько быстро можно генерировать текст, а в том, насколько долго прослужит сама концепция «генерации». По мере насыщения информационного пространства, ценность простого воспроизведения информации будет снижаться. Более перспективным представляется поиск архитектур, способных не только генерировать, но и осмысливать, критически оценивать и адаптироваться к изменяющимся условиям. Улучшения в скорости, вероятно, будут лишь временным облегчением, в то время как фундаментальные ограничения существующих подходов неизбежно проявятся.

Каждая архитектура проживает свою жизнь, а мы лишь свидетели. В конечном счёте, задача состоит не в создании идеальной модели, а в понимании того, как системы эволюционируют и приспосабливаются. Вероятно, следующая волна инноваций будет связана не с усовершенствованием существующих механизмов, а с поиском принципиально новых подходов к моделированию языка и мышления.

Оригинал статьи: https://arxiv.org/pdf/2511.08923.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-11-13 10:21