Понимание «Обрывов» в Микроархитектуре: Новый Подход к Анализу Производительности

Микротесты, затронутые множеством микроархитектурных особенностей, усложняют анализ, в то время как калибровка по принципу

Исследователи предлагают методику для точного определения вклада отдельных микроархитектурных особенностей в общую производительность системы.

Обучение языковых моделей для высокопроизводительных вычислений: новый подход

В ходе эксперимента наблюдается, что средняя награда, вычисляемая как производительность в GFLOPS за успешный код с вычетом штрафа за неудачу ([latex]Eq.3[/latex]), существенно различается в зависимости от скорости обучения: при [latex]LR=2e-7[/latex] наблюдается стабильная тенденция, в то время как при [latex]LR=5e-7[/latex] динамика вознаграждения демонстрирует более выраженные колебания.

Исследователи продемонстрировали, как усиленное обучение с использованием реальных метрик производительности может значительно улучшить качество кода, генерируемого большими языковыми моделями для задач высокопроизводительных вычислений.

Преобразуем вопросы в графические запросы: новый эталон для проверки моделей

Исследование демонстрирует преобразование естественного языка в запрос к графовой базе данных, где, используя схему графа и сформулированный вопрос, система способна интерпретировать намерения пользователя и транслировать их в структурированный запрос для извлечения информации.

Представлен Text2GQL-Bench — комплексный набор данных и фреймворк для оценки способности моделей понимать естественный язык и генерировать корректные запросы к графовым базам данных.

Ускорение больших языковых моделей: новый подход к архитектуре

В разработанной модели, основанной на архитектуре gpt-oss-120B с 128 экспертами на слой и чередующемся использованием оконного внимания (128 токенов) и глобального внимания, ранние слои Mixture of Experts (MoE) демонстрируют значительно большую важность по сравнению с последующими, что указывает на иерархическую структуру принятия решений в рамках модели.

Исследователи разработали фреймворк Puzzle для оптимизации архитектуры моделей, демонстрируя значительное повышение эффективности вычислений при сохранении точности.

Глюоны, ИИ и простая красота

Глюоны, ИИ и простая красота Знаете, всегда было забавно, как природа прячет невероятную простоту за завесой кажущейся сложности. Как будто она специально усложняет задачу, чтобы мы немного попотенили мозгами. И вот, кажется, искусственный интеллект начинает помогать нам эти сложности преодолевать. Что за глюоны и зачем они ИИ? Представьте себе, что внутри каждого протона и нейтрона, … Читать далее