Умная маршрутизация запросов к языковым моделям: новый подход
В статье представлен vLLM Semantic Router — система, обеспечивающая интеллектуальную маршрутизацию запросов между различными языковыми моделями и провайдерами для оптимизации затрат, безопасности и производительности.

![В ходе решения медицинской задачи MM-1993 в системе MedXpertQA, промежуточный этап логических рассуждений, сохраненный в переменной [latex]ASSISTANT\_RATIONALE[/latex], позволил получить итоговый ответ, демонстрируя способность модели к последовательному анализу и обоснованию принятых решений.](https://arxiv.org/html/2603.04763v1/2603.04763v1/images/MM-1993-a.jpeg)


![Основываясь на анализе направленной сети символических паттернов, исследование демонстрирует, что определенные подстроки из управляющей последовательности способны обусловить детерминированное поведение целевой последовательности - чем ближе значение взвешенной энтропии к нулю, тем более предсказуемым становится переход, в то время как более высокие значения указывают на возрастающую неопределенность в индуцированных переходах, причем анализ направленности [latex]X \rightarrow Y[/latex] и [latex]Y \rightarrow X[/latex] позволяет сравнить степень детерминизма в обоих направлениях.](https://arxiv.org/html/2603.04473v1/2603.04473v1/causal_network_dual.png)



