Пределы сжатой памяти: Infini-Attention в компактных нейросетях

Новое исследование показывает, как механизм Infini-Attention позволяет улучшить процесс обучения небольших языковых моделей и расширить их возможности в работе с длинными последовательностями.




![Многомасштабный конвейер объединения, представленный в данной работе, обрабатывает изображения низкого и высокого разрешения, извлекая многомасштабные признаки из высокоразрешенного изображения посредством скользящих окон, а затем объединяет их с признаками низкого разрешения посредством общей многомасштабной визуальной кодировки, после чего, используя механизм gating, внедряет объединенные детализированные признаки в выбранные скрытые слои большой языковой модели [latex]LLM[/latex].](https://arxiv.org/html/2512.24022v1/x3.png)

