Оптимизация работы больших языковых моделей: динамическая маршрутизация и каскадирование

В статье представлен обзор современных методов интеллектуального распределения запросов между различными большими языковыми моделями для повышения эффективности и снижения затрат.

![При фиксированном начальном отрезке траектории [latex]\tau < t[/latex], разработанный метод групповой траекторной оптимизации (GRPO) локализует всю вариативность сэмплируемой группы на шаге [latex]t[/latex], обеспечивая более эффективный процесс оптимизации.](https://arxiv.org/html/2602.23440v1/2602.23440v1/images/slate.png)

![Исследование среднего и максимального размера очереди [latex] |Q| [/latex] для трех трансдьюсеров при различных порогах обрезки τ на текстовых данных (параграф 1 WikiText, объемом 833 и 850 байт) и на самой длинной белковой последовательности (P83127, 12 аминокислот) демонстрирует, что трансдьюсеры [latex] f_{\alpha} [/latex] и [latex] f_{\mathrm{dna2aa}} [/latex] с универсальными состояниями ([latex] |R|=0 [/latex] повсеместно) имеют иную динамику очереди по сравнению с трансдьюсером [latex] f_{\mathrm{ptb}} [/latex], имеющим не-универсальные состояния, что требует дополнительного отслеживания остаточного размера [latex] |R| [/latex].](https://arxiv.org/html/2603.05193v1/2603.05193v1/x2.png)
![В разработанной системе DreamWorld, многомодальные признаки, извлеченные экспертными моделями и подвергнутые воздействию шума, объединяются посредством линейных слоев [latex]W_{in}^+[/latex] и [latex]W_{out}^+[/latex] для совместного предсказания внешнего вида и знаний о мире, при этом достоверность генерации обеспечивается за счет функции потерь Dream Loss и механизма Consistency Constraint Annealing, а на этапе вывода внедрённый механизм Multi-Source Inner-Guidance использует внутренние шумовые признаки для направленного управления процессом генерации видео.](https://arxiv.org/html/2603.00466v1/2603.00466v1/x2.png)


![Использование подхода на основе нейронных сетей для решения уравнений (EINNs) позволяет предсказывать критические точки бифуркации в динамической системе [latex] (4) [/latex], причем анализ диаграммы бифуркации, дополненный информацией о линейной устойчивости равновесных точек, выявляет переходы между стабильными и нестабильными состояниями.](https://arxiv.org/html/2603.04420v1/2603.04420v1/x3.png)