Экономичные нейросети: как снизить энергопотребление больших языковых моделей

Новое исследование анализирует существующие методы оптимизации, позволяющие уменьшить затраты энергии при использовании больших языковых моделей в промышленных приложениях.

![В ходе исследования продемонстрировано, что обратная величина [latex]1/p_n(e)[/latex] сходится к истинному порядку [latex]r = 5313[/latex] (обозначен пунктирной линией), причём округление [latex]1/p_n(e)[/latex] позволяет восстановить [latex]r[/latex] после сравнительно небольшого числа шагов диффузии.](https://arxiv.org/html/2601.02518v1/inv_p_identity_1022117.png)


![Оптимизированная посредством адъюнтного метода полностью оптическая нейронная сеть, использующая нелинейные квантовые активационные элементы, встроенные в кремниевую структуру, демонстрирует классификацию нелинейных данных посредством моделирования распределения интенсивности поля [latex] |E|^{2} [/latex], что позволяет переходить от резонансного рассеяния к насыщению и, таким образом, обеспечивать нелинейный отклик при низкой интенсивности.](https://arxiv.org/html/2601.01690v1/x2.png)