Сжатый код: как оптимизация влияет на «мышление» языковых моделей

Новое исследование показывает, что методы сжатия, применяемые к большим языковым моделям для генерации кода, неожиданным образом меняют распределение вероятностей токенов и влияют на качество итогового кода.


![В ходе исследования продемонстрировано, что обратная величина [latex]1/p_n(e)[/latex] сходится к истинному порядку [latex]r = 5313[/latex] (обозначен пунктирной линией), причём округление [latex]1/p_n(e)[/latex] позволяет восстановить [latex]r[/latex] после сравнительно небольшого числа шагов диффузии.](https://arxiv.org/html/2601.02518v1/inv_p_identity_1022117.png)