Тёмная сторона точности: как смещение среднего влияет на обучение больших языковых моделей

В ходе обучения модели Qwen3-0.6B наблюдается сопоставимая динамика потерь при использовании как формата BF16, так и комбинации FP4 с Averis, что указывает на эффективность предложенного подхода к снижению вычислительных затрат без существенной потери в производительности.

Новое исследование выявило, что систематическое смещение средних значений активаций может приводить к нестабильности при обучении больших языковых моделей с использованием низкобитной квантизации.

Генерирующие модели: новый подход с использованием тензорных сетей

Исследование демонстрирует, что предложенная модель UMPS способна генерировать результаты, сопоставимые с моделью MPS, обученной на значительно большем наборе данных ([latex]|\mathcal{T}|=300[/latex]) и с максимальным размером связей [latex]r_{\max}=400[/latex], при этом используя существенно меньшее количество слоев [latex]l_{\max}=4[/latex] вместо [latex]l_{\max}=25[/latex].

Исследователи предлагают эффективный метод генерации данных, основанный на унитарных матричных произведениях состояний и оптимизации на римановых многообразиях.

Искусственный интеллект на страже кода: новая оценка качества

Набор данных CR-Bench, включающий контекст Pull Request и многомерную таксономию по категориям, воздействию и серьезности, позволяет объективно оценивать исправления ошибок в реальном программном обеспечении, а метод CR-Evaluator предоставляет возможность количественно измерить производительность и степень принятия агентов по проверке кода разработчиками.

Исследователи представили CR-Bench — комплексный инструмент для оценки эффективности систем автоматической проверки кода, демонстрирующий, что важнее находить действительно критичные ошибки, чем просто выявлять их больше.

Квантовый Автоматизм: Разговор с Вишалом Чатратом

Квантовый Автоматизм: Разговор с Вишалом Чатратом Парадоксально, но для того, чтобы управлять квантовым миром, мы строим все более сложные классические системы автоматизации. Это как пытаться поймать призрак с помощью сложного механизма. Но, как ни странно, именно этот подход может стать ключом к созданию масштабируемых квантовых вычислений. Представьте себе настройку радиоприемника. Чтобы поймать четкий сигнал, нужно … Читать далее

Видео-рассуждения: готовы ли модели выйти за рамки лаборатории?

Набор данных PVRBench, состоящий из UrbanVideo, акцентирующего внимание на навигации и действиях, и VSI-Bench, фокусирующегося на пространственном восприятии, совместно обеспечивает всестороннее покрытие возможностей рассуждений, основанных на видео, в контексте воплощенного интеллекта.

Новое исследование оценивает устойчивость современных моделей компьютерного зрения к реальным визуальным помехам в видео и предлагает решение для повышения их надежности.

Когда интеллект мешает: Почему умные агенты не всегда работают в команде

В ходе исследования, охватившего 20 различных начальных условий и 500 раундов взаимодействия, наблюдалась отчетливая U-образная зависимость эффективности агентов, следующих определенной стратегии, в системах L5 и L4, в то время как агенты, придерживающиеся противоположной стратегии, демонстрировали слабую обратную U-образную зависимость, что указывает на существенные различия в эффективности различных поведенческих моделей.

Новое исследование показывает, что повышение интеллекта в многоагентных системах может приводить к ухудшению коллективных результатов, если не учитывать доступные ресурсы.

В поисках оптимального дерева: новые горизонты GPU-вычислений

Глубина поиска в ширину (BFS) и глубина поиска в глубину с ограничениями связности (GConn RST) сравниваются, демонстрируя зависимость между этими двумя подходами к исследованию пространства состояний.

Исследование показывает, что алгоритмы, основанные на эйлеровых турах, превосходят традиционный обход в ширину при построении корневых остовных деревьев на графических процессорах.

Григорианский хорал в цифре: новый корпус и инструменты для исследований

Данная схема данных PyCantus, упрощенная до атрибутов

Представлен CantusCorpus v1.0 — обширный, стандартизированный набор данных григорианских песнопений, открывающий новые возможности для цифровой и вычислительной музыкологии.

Раскрывая секреты генов: новый подход к предсказанию связывания факторов транскрипции

В работе, предложенной Бай и коллегами, временные свёрточные сети [latex]TCN[/latex] выступают в качестве эффективного инструмента для обработки последовательностей данных, демонстрируя свою применимость в задачах, требующих анализа временных зависимостей.

Исследователи разработали инновационную систему на основе глубокого обучения для более точного определения участков ДНК, с которыми взаимодействуют факторы транскрипции, что позволяет лучше понять регуляцию генов.