Интеллектуальная маршрутизация в коллаборации языковых моделей

Новый подход RouteMoA позволяет значительно повысить эффективность совместной работы нескольких больших языковых моделей за счет динамического выбора наиболее подходящих для решения задачи.



![Трансформеры переосмыслены как линейные операторы, управляемые данными, характеризующиеся тензором внимания высокого порядка [latex]\mathcal{T}[/latex], что позволяет создать единое представление самовнимания, охватывающее всю архитектуру трансформера, включая такие подкомпоненты, как слои FFN, нормализация, слои встраивания и остаточные соединения.](https://arxiv.org/html/2601.17958v1/tensorLens_1.png)


