Память без границ: новый подход к обработке сверхдлинных текстов

Исследователи предлагают инновационный метод, позволяющий языковым моделям эффективно работать с контекстом в 100 миллионов токенов, приближая их к человеческим возможностям восприятия информации.

![Архитектура LGTM разделяет геометрию и текстуру: сеть примитивов [latex]f_{prim}[/latex] предсказывает компактные геометрические параметры [latex]{\bm{\mu}}, {\bm{s}}, {\bm{r}}, {\bm{c}}[/latex] по изображениям низкого разрешения, в то время как сеть текстур [latex]f_{texture}[/latex], обрабатывая изображения высокого разрешения с использованием сетевых блоков патчификации и проективного отображения, формирует карты текстур [latex]{\bm{T}}^{\alpha}, {\bm{T}}^{c}[/latex] для каждого примитива, что позволяет реализовать прямой 4K Gaussian splatting с существенно меньшим количеством примитивов.](https://arxiv.org/html/2603.25745v1/x2.png)

![В представленной работе исследуется структура модели машинного обучения, учитывающей симметрии, где соблюдение групповой эквивариантности обеспечивается соответствием преобразований предсказаний модели и входных данных под действием операций симметрии группы, а количественная оценка ошибок эквивариантности и содержания симметрии в внутренних признаках осуществляется посредством метрик [latex]A_{\alpha}[/latex] и [latex]B_{\alpha}[/latex], основанных на дисперсии преобразованных предсказаний и разложении признаков по группам симметрии, полученном с использованием интеграла Хаара.](https://arxiv.org/html/2603.24638v1/x1.png)



