Понимание «Обрывов» в Микроархитектуре: Новый Подход к Анализу Производительности

от

Микротесты, затронутые множеством микроархитектурных особенностей, усложняют анализ, в то время как калибровка по принципу

Исследователи предлагают методику для точного определения вклада отдельных микроархитектурных особенностей в общую производительность системы.

Обучение языковых моделей для высокопроизводительных вычислений: новый подход

от

В ходе эксперимента наблюдается, что средняя награда, вычисляемая как производительность в GFLOPS за успешный код с вычетом штрафа за неудачу ([latex]Eq.3[/latex]), существенно различается в зависимости от скорости обучения: при [latex]LR=2e-7[/latex] наблюдается стабильная тенденция, в то время как при [latex]LR=5e-7[/latex] динамика вознаграждения демонстрирует более выраженные колебания.

Исследователи продемонстрировали, как усиленное обучение с использованием реальных метрик производительности может значительно улучшить качество кода, генерируемого большими языковыми моделями для задач высокопроизводительных вычислений.

Преобразуем вопросы в графические запросы: новый эталон для проверки моделей

от

Исследование демонстрирует преобразование естественного языка в запрос к графовой базе данных, где, используя схему графа и сформулированный вопрос, система способна интерпретировать намерения пользователя и транслировать их в структурированный запрос для извлечения информации.

Представлен Text2GQL-Bench — комплексный набор данных и фреймворк для оценки способности моделей понимать естественный язык и генерировать корректные запросы к графовым базам данных.

Ускорение больших языковых моделей: новый подход к архитектуре

от

В разработанной модели, основанной на архитектуре gpt-oss-120B с 128 экспертами на слой и чередующемся использованием оконного внимания (128 токенов) и глобального внимания, ранние слои Mixture of Experts (MoE) демонстрируют значительно большую важность по сравнению с последующими, что указывает на иерархическую структуру принятия решений в рамках модели.

Исследователи разработали фреймворк Puzzle для оптимизации архитектуры моделей, демонстрируя значительное повышение эффективности вычислений при сохранении точности.

Глюоны, ИИ и простая красота

от

Глюоны, ИИ и простая красота Знаете, всегда было забавно, как природа прячет невероятную простоту за завесой кажущейся сложности. Как будто она специально усложняет задачу, чтобы мы немного попотенили мозгами. И вот, кажется, искусственный интеллект начинает помогать нам эти сложности преодолевать. Что за глюоны и зачем они ИИ? Представьте себе, что внутри каждого протона и нейтрона, … Читать далее

Резонансы в тандеме: Управление светом в микрорезонаторах

от

Исследование демонстрирует, что гибридные оптические параметрические осцилляторы (OPO) могут быть эффективно сгенерированы в симметричных и асимметричных микрорезонаторных системах, состоящих из трех колец, при монохромной накачке, причем геометрическая асимметрия подавляет конкурирующие каналы генерации гребенки, а дисперсионная структура, характеризуемая полосами супермод S, C и AS, позволяет контролировать режим возбуждения и избежать пересечения мод, обеспечивая тем самым эффективное преобразование энергии и стабильную работу устройства.

Новое исследование демонстрирует возможности контроля и оптимизации параметрических колебаний в связанных кремниевых нитридных микрорезонаторах, открывая путь к компактным источникам квантового света.

Ускорение больших языковых моделей: новый подход к работе с памятью

от

Предлагаемая система обслуживания больших языковых моделей, PAM, ориентирована на ключевые значения (KV) и обеспечивает эффективное развертывание и масштабирование.

Исследователи предлагают инновационную систему обслуживания больших языковых моделей, оптимизирующую использование памяти для повышения производительности и энергоэффективности.