Сжатие без потерь: Новый подход к уменьшению размера больших языковых моделей

Сравнительный анализ распределений выходных сигналов 20-го слоя модели Qwen3-30B-A3B демонстрирует различия в средних μ и дисперсиях [latex] \sigma^2 [/latex] между представлением с плавающей точкой (FP), прямым квантованием (Direct VQ) и разреженным квантованием с использованием Mixture-of-Experts (KBVQ-MoE), выявляя влияние методов квантования на статистические свойства внутренних представлений модели.

Исследователи разработали метод, позволяющий значительно уменьшить размер моделей, состоящих из множества экспертов, практически не теряя при этом точности.

Скрытые различия: Новый метод сравнения искусственных интеллектов

Исследователи разработали способ выявлять принципиальные различия во внутреннем устройстве и поведении различных моделей искусственного интеллекта, даже если они построены на разных архитектурах.

Квантовый Автоматизм: Взгляд изнутри

Квантовый Автоматизм: Взгляд изнутри Знаете, вот что забавно: мы строим машины, которые оперируют принципами неопределенности. И при этом хотим, чтобы эти машины работали предсказуемо. Парадокс, не правда ли? Представьте себе настройку музыкального инструмента. Каждый струна, каждый лад требует точной настройки. Квантовый компьютер – это оркестр, где каждая кубит – это струна. И если хотя бы … Читать далее

Искусственный интеллект осваивает строгие языки программирования

Новое исследование показывает, как мощные языковые модели могут достичь высокой эффективности в формально верифицируемых языках, таких как Idris, благодаря адаптации на основе диагностики компилятора.