Искусственный интеллект

Контекст в фокусе: Новый подход к ускорению больших языковых моделей

от

В исследовании динамики обучения механизма маршрутизации слоев с использованием внимания, общая функция потерь разделена на основную задачу языкового моделирования и член регуляризации разреженности, демонстрируя, как модель автоматически различает контекстно-целостные и поисково-интенсивные задачи посредством дифференциации в распределении разреженности [latex]\Omega_{MSR}[/latex] и адаптации коэффициентов λ.

Исследователи предлагают инновационный метод динамической маршрутизации внимания, позволяющий значительно повысить скорость обработки длинных текстов без потери качества.

Диффузия и обучение с подкреплением: новый подход к масштабированию

от

Разработанный конвейер обучения с подкреплением Sol-RL, разделяющий высокопроизводительное исследование FP4 от селективного BF16-роллаута с высоким контрастом, обеспечивает ускорение до 2,4 раза по сравнению с наивным масштабированием, избегая при этом искажений, вызванных квантованием, и внося лишь 2% дополнительных вычислительных затрат.

Исследователи предлагают эффективный метод ускорения обучения моделей диффузии с подкреплением за счет оптимизации процесса развертки и использования квантования.

Наука и патенты: кто виден, тот и цитируем?

от

Исследование показывает, что видимость научных публикаций важна для получения патентов, но открытый доступ не всегда является главным фактором технологической релевантности.

Зрительное внимание нейросети: адаптивная обработка изображений для мультимодальных моделей

от

В отличие от методов адаптивного высокоразрешающего восприятия, полагающихся на заранее заданные правила сравнения или авторегрессивную генерацию кода, предложенная структура Q-Zoom действует непосредственно в промежуточном пространстве признаков за один проход предварительного заполнения, обеспечивая превосходную эффективность и обходя необходимость в избыточном повторном заполнении.

Новый подход позволяет мультимодальным нейросетям эффективно фокусироваться на важных участках изображения, повышая точность и скорость обработки.

Искусственный интеллект как инженер: от изображения к моделированию

от

Многоуровневая архитектура, включающая в себя оркестратор и итеративную обратную связь, обеспечивает извлечение структурированных данных из воспринимаемой информации (изображений, видео, аудио или текста, дополненной метаданными пользователя), их дискретизацию, решение и верификацию, а также интерпретацию результатов в соответствии с нормами проектирования и формирование действенных рекомендаций и предложений по модификации проекта, при этом оркестратор координирует весь процесс, динамически управляя задачами, контролируя качество и направляя обратную связь между слоями, а эволюция агентов на основе инженерных корректировок обеспечивает постоянное улучшение и адаптацию системы, не зависящей от конкретного решателя (FEA, CFD, DEM, SPH, MPM, LBM).

Новая система на базе многоагентных технологий и больших языковых моделей позволяет автоматически выполнять сложные инженерные расчеты, основываясь на входных данных, полученных с помощью сенсоров.

Глубина понимания: где большие языковые модели достигают предела планирования

от

Исследование скрытого планирования с использованием графов-звезд показало, что, несмотря на масштабирование от трансформера с 1,6 миллионами параметров до GPT-4o, максимальная обнаруженная в процессе обучения способность к скрытому планированию увеличивается лишь на две ступени, однако лучшие языковые модели способны обобщить эту стратегию на несколько дополнительных ступеней во время тестирования, достигая до восьми, при этом производительность GPT-5.4 в режиме few-shot рассматривается как нижняя граница потенциала, поскольку тонкая настройка всегда соответствует или превосходит производительность few-shot для всех остальных оцениваемых моделей.

Новое исследование показывает, что современные нейросети испытывают трудности с самостоятельным освоением многоступенчатых стратегий, но успешно решают задачи, если промежуточные шаги рассуждений представлены явно.

Поиск Знаний в Данных: Новый Подход к Анализу

от

Система DataSTORM организует исследовательский процесс в три этапа: первоначальный запуск на основе интернет-исследований, многоагентское исследование для углубленного анализа и, наконец, автоматическое формирование итогового отчета, что позволяет ей функционировать как саморазвивающаяся экосистема, а не как статичный инструмент.

Исследователи представили систему DataSTORM, позволяющую автоматически извлекать и структурировать знания из больших объемов данных, объединяя возможности баз данных и веб-исследований.

Оркестровка ИИ: Операционная система для коллектива агентов

от

В статье представлена Qualixar OS — платформа, позволяющая эффективно управлять и координировать работу сложных систем искусственного интеллекта, состоящих из множества взаимодействующих агентов.