Обучение агентов: библиотека навыков для работы с компьютером

Система CUA-Skill, включающая в себя агента, специализирующегося на конкретных навыках, представляет собой архитектуру, позволяющую объединить различные умения и эффективно применять их для решения сложных задач.

Новая разработка позволяет значительно расширить возможности компьютерных агентов, обучая их человеческим приемам работы с интерфейсами и автоматизируя сложные задачи.

Внимание к деталям: новый подход к обработке длинных текстов

Время предварительной обработки для различных механизмов смешивания, измеренное на одной GPU A800-80GB с использованием BFLoat16, демонстрирует, что механизмы со скользящим окном, реализованные с помощью Flash-Attention-2, и Mamba2, использующий библиотеку mamba\_ssm, показывают различные характеристики масштабируемости в зависимости от длины контекста, при этом Mamba2 испытывает нехватку памяти CUDA при длине контекста 256K, что отражено в логарифмической шкале оси Y и подчеркивает важность эффективной реализации для обработки длинных последовательностей.

Исследователи предлагают эффективный метод дистилляции и гибридную архитектуру, позволяющие значительно улучшить производительность при работе с очень длинными последовательностями данных.

ГистоПризма: Визуальный анализ рака с помощью искусственного интеллекта

Архитектура HistoPrism извлекает векторные представления изображений на уровне фрагментов с использованием предварительно обученных моделей патологии, затем вводит общеонкологическое условие посредством модуля кросс-внимания, после чего трансформерный энкодер моделирует контекстуальные связи, чтобы в конечном итоге регрессировать значения экспрессии генов посредством финальной многослойной персептронной сети.

Новая модель позволяет предсказывать активность генов по изображениям тканей, открывая возможности для более глубокого понимания онкологических процессов.

Роботы учатся действовать в реальном времени: новая модель для управления объектами

Динамическая архитектура VLA, насчитывающая 0.4 миллиарда параметров, сочетает в себе облегчённый базовый модуль и эксперта по действиям для обеспечения быстрого управления в замкнутом цикле, при этом непрерывная инференция, за счёт организации конвейера инференционных окон, позволяет выполнять действия без блокировок между последовательными фрагментами, а механизм потоковой передачи действий, учитывающий латентность, обеспечивает временную согласованность выполнения за счёт отмены устаревших действий и приоритезации действий из наиболее свежего фрагмента.

Исследователи представили DynamicVLA — систему, позволяющую роботам более эффективно манипулировать объектами в динамичной среде, преодолевая задержки между восприятием и действием.

Раскрывая скрытый потенциал Android-приложений: AI на страже покрытия кода

В рамках исследования продемонстрировано, что CovAgent, благодаря динамически инструментированным графам обхода, способен достигать функциональных возможностей в мобильном приложении McDonald’s Canada, недоступных существующим автоматизированным системам, таким как LLMDroid, Ape и Fastbot.

Новая система CovAgent использует возможности искусственного интеллекта и динамической инструментации для автоматического тестирования Android-приложений и значительного повышения процента покрытого кода.

Обучение языковых моделей: новый подход к генерации инструкций

Конвейер FineInstructions обеспечивает эффективную генерацию разнообразных синтетических пар «инструкция-ответ» в масштабе, необходимом для предварительного обучения, что позволяет создавать более качественные и адаптивные языковые модели.

Исследователи разработали эффективный метод создания синтетических данных для обучения больших языковых моделей, позволяющий значительно повысить их производительность.

Искусственный интеллект в помощь проектированию: от идеи к JSON-модели

Предварительная обработка данных включает в себя очистку, разделение на фрагменты и последующее распределение по различным наборам данных, предназначенным для обучения модели.

Новое исследование демонстрирует, как генеративные модели можно использовать для автоматического создания JSON-представлений моделей предметной области, значительно упрощая процесс разработки.

Скрытые связи: Как выявлять закономерности в сложных системах

Модели машинного обучения демонстрируют работоспособность в задачах обнаружения эпилептических припадков и прогнозирования оттока клиентов при непосредственном обучении на исходных данных, что указывает на возможность прямого использования необработанной информации для решения критически важных задач.

Новый метод позволяет восстанавливать латентные сетевые структуры по наблюдаемым данным, открывая возможности для прогнозирования и понимания сложных процессов.