Считаем как люди: как большие языковые модели осваивают счет

Автор: Денис Аветисян

Новое исследование показывает, что крупные языковые модели способны к сложному счету, разбивая задачу на более простые шаги, подобно человеческому мышлению.

В предложенной архитектуре большие языковые модели преодолевают ограничения на подсчет, разделяя сложные задачи на более мелкие подзадачи, в которых информация о количестве накапливается последовательно и локализуется в определенных токенах, а затем передается через остаточные связи и механизмы внимания для агрегации промежуточных результатов и получения окончательного ответа, что позволяет эффективно обрабатывать задачи, требующие длительного подсчета.

Анализ механизмов внимания и причинно-следственных связей позволил выявить стратегию ‘Системы 2’ в больших языковых моделях, обеспечивающую точный подсчет больших чисел.

Несмотря на впечатляющую производительность больших языковых моделей (LLM) в решении сложных задач, их способность к точному счету больших чисел остается ограниченной. В работе ‘Mechanistic Interpretability of Large-Scale Counting in LLMs through a System-2 Strategy’ предложена стратегия, вдохновленная когнитивными процессами «Системы 2», которая разбивает сложные задачи счета на более простые, решаемые LLM подзадачи. Анализ механизмов работы, основанный на анализе внимания и причинно-следственном опосредовании, выявил, как LLM вычисляют и агрегируют промежуточные результаты для достижения высокой точности. Понимание внутренних механизмов «Системы 2» в LLM открывает ли путь к разработке более надежных и интерпретируемых моделей рассуждений?

Пределы Быстрого Восприятия: Ограничения Больших Языковых Моделей

Несмотря на впечатляющие возможности современных больших языковых моделей (БЯМ) в обработке и генерации текста, они демонстрируют неожиданные трудности при выполнении задач, требующих точного количественного определения, например, при подсчете объектов, превышающем определенный порог. Это несоответствие особенно заметно, учитывая огромный масштаб и вычислительную мощность этих моделей. Исследования показывают, что БЯМ часто допускают ошибки в простых арифметических операциях и не способны надежно оперировать с числами, когда требуется высокая точность. Данное ограничение подчеркивает, что способность к языковой обработке не обязательно подразумевает развитые навыки точного счета, и указывает на необходимость более глубокого изучения механизмов, лежащих в основе числового мышления в искусственном интеллекте.

Первоначальные попытки задействовать большие языковые модели (БЯМ) в задачах, требующих точного количественного анализа, опираются на принципы так называемого “System-1 мышления” — быстрого, автоматического ответа, не требующего сознательных усилий. Хотя этот подход и эффективен в простых ситуациях, он обладает ограниченной пропускной способностью и подвержен ошибкам при работе со сложными счетами или большими объемами данных. В отличие от “System-2 мышления”, требующего осознанного анализа и вычислений, System-1 работает на основе интуиции и приближений, что делает его уязвимым при увеличении сложности задачи. Исследования показывают, что даже самые мощные БЯМ испытывают трудности с точным подсчетом объектов, превышающих определенный порог, демонстрируя, что скорость обработки не всегда компенсирует ограниченность ресурсов, доступных для количественного анализа.

Несмотря на впечатляющие масштабы и вычислительные мощности больших языковых моделей (LLM), наблюдаемые ограничения в задачах, требующих точного количественного анализа, вызывают закономерный вопрос о природе их «мышления». Тот факт, что модели, способные генерировать сложный текст и решать разнообразные задачи, испытывают трудности с простым подсчетом, указывает на необходимость более глубокого изучения лежащих в основе этих ограничений когнитивных механизмов. Исследование не сводится к простой нехватке вычислительных ресурсов, а предполагает, что LLM, возможно, используют принципиально иной подход к решению задач, отличный от традиционных методов точного вычисления, и что понимание этих особенностей критически важно для дальнейшего развития искусственного интеллекта и создания действительно «разумных» систем.

В отличие от системы-1, чья производительность резко падает при количестве элементов более 30 из-за ограниченной внутренней памяти, система-2 поддерживает высокую точность, разбивая задачу на подзадачи и агрегируя результаты.

Декомпозиция Сложности: Возникновение System-2 Обработки

Наблюдается, что большие языковые модели (LLM) способны использовать стратегию “System-2 Processing” — более медленный и осознанный подход к решению задач, который заключается в разложении сложных операций, таких как подсчет, на последовательность управляемых подзадач. В отличие от быстрого, интуитивного “System-1 Processing”, данный подход предполагает последовательное выполнение шагов и промежуточных вычислений, что позволяет модели эффективно обрабатывать сложные входные данные и достигать более высокой точности в задачах, требующих длительных вычислений или анализа. Данная стратегия позволяет LLM преодолевать ограничения контекстного окна и успешно оперировать с большими объемами информации.

Стратегия разбиения (Partitioning Strategy) представляет собой ключевой компонент, позволяющий языковым моделям эффективно обрабатывать сложные задачи подсчета. Суть данной стратегии заключается в разделении входной последовательности на меньшие, независимые сегменты, каждый из которых обрабатывается отдельно для подсчета соответствующих элементов. Этот подход позволяет модели избежать ошибок, возникающих при попытке обработать всю последовательность целиком, и значительно повышает точность и надежность результатов, особенно при работе с длинными контекстами. Разделение на сегменты упрощает задачу, позволяя модели концентрироваться на меньших подзадачах и избегать когнитивной перегрузки.

Высокая точность подсчета в больших контекстах достигается благодаря стратегии декомпозиции, которая эффективно реализуется при использовании структурированных входных данных. Структурирование входной последовательности позволяет модели разбивать задачу на более мелкие, независимые сегменты, что значительно упрощает процесс подсчета и снижает вероятность ошибок. Эксперименты показывают, что при наличии четкой структуры входных данных, модель последовательно демонстрирует высокую точность даже при обработке длинных последовательностей, в то время как отсутствие структурирования приводит к существенному снижению производительности и увеличению количества ошибок.

Эксперименты показали, что стабильно высокие результаты при решении задач на подсчет достигаются только при использовании структурированных входных данных и промежуточных шагов рассуждений. Отсутствие структурирования входных данных, например, предоставление неразмеченного текста, или исключение промежуточных шагов, приводящих к конечному результату, закономерно ведет к снижению точности и ошибкам. Система демонстрирует неспособность эффективно обрабатывать неструктурированную информацию и нуждается в четко определенных подзадачах, представленных в виде промежуточных этапов, для обеспечения надежного и точного подсчета в длинных контекстах.

Анализ паттернов внимания показывает, что при использовании стратегии подсчета System-2 модель концентрируется на релевантных токенах, усредненное внимание по слоям 19-23 и всем типам элементов подтверждает эту закономерность.

Выявление Нейронных Механизмов Сознательного Счета

Анализ послойной структуры больших языковых моделей (LLM) выявил, что определённые слои играют ключевую роль в реализации процессов разделения и агрегации, характерных для системы System-2. В частности, установлено, что именно эти слои отвечают за разбиение исходной задачи на более мелкие, управляемые части, а также за последующее объединение результатов для получения итогового ответа. Исследования показали, что функциональность System-2 не распределена равномерно по всей архитектуре LLM, а локализована в конкретных слоях, что позволяет более эффективно выполнять сложные вычислительные задачи, требующие последовательного анализа и обобщения информации.

Для идентификации ключевых активаций и голов внимания, опосредующих процесс преднамеренного счета, применялись методы «Attention Knockout», «Activation Patching» и «Token-Level Probing». «Attention Knockout» заключался в намеренном отключении отдельных голов внимания для оценки их вклада в точность счета. «Activation Patching» подразумевал замену активаций в определенных нейронах на активации из других примеров, что позволяло оценить влияние конкретных активаций на результат. «Token-Level Probing» использовался для анализа активаций на уровне отдельных токенов, позволяя выявить, какие элементы входных данных наиболее сильно влияют на процесс счета. Комбинация этих методов позволила установить, какие конкретно компоненты нейронной сети ответственны за реализацию механизмов разделения и агрегации, необходимых для точного счета.

Анализ каузальной медиации подтвердил, что выявленные компоненты нейронной сети не просто коррелируют с точностью счета, но и каузально вовлечены в реализацию механизма System-2. В ходе экспериментов, направленных на установление причинно-следственных связей, было показано, что манипуляции с ключевыми активациями и головами внимания приводят к предсказуемым изменениям в конечном результате счета. Это указывает на то, что данные компоненты не являются лишь эпифеноменом, а активно участвуют в процессах партиционирования и агрегации, лежащих в основе намеренного счета, осуществляемого языковой моделью.

Механизм внимания играет центральную роль в процессе намеренного счета, осуществляемого языковой моделью. Эксперименты показали, что модель использует внимание для фокусировки на релевантных сегментах (партиях) числового ряда, необходимых для выполнения операции подсчета. Пик активности механизма внимания наблюдается в слоях 19-23 нейронной сети, что указывает на их ключевую роль в процессе разделения и агрегации числовых данных для получения конечного результата. Данный феномен позволяет модели эффективно обрабатывать и суммировать информацию, полученную из различных сегментов входных данных, обеспечивая высокую точность при решении задач, связанных с подсчетом.

Эксперименты по отключению механизмов внимания (attention knockout) показали, что определенные головы внимания, в частности голова 13 в 22-м слое, играют критическую роль на промежуточных этапах и при финальной агрегации при выполнении задачи счета. Отключение данной головы приводило к значительному снижению точности выполнения задачи, что подтверждает ее непосредственное участие в процессах разбиения на части и последующего суммирования, необходимых для корректного счета. Анализ активаций демонстрирует повышенную активность данной головы при обработке отдельных числовых партиций и при формировании итогового результата.

Анализ внимания по слоям для моделей Llama 3.2 8B и Gemma 3 4B выявил, что наибольшее внимание к разделителю (последнему элементу и запятой) проявляется в определенных диапазонах слоев, что указывает на их ключевую роль в обработке разделенных данных.

Влияние на Общее Рассуждение и За Его Пределами

Наблюдения показали, что большие языковые модели (LLM) демонстрируют разделение обработки информации, аналогичное принципам работы человеческого мозга. В частности, LLM проявляют признаки “Системы 1” — быстрой, интуитивной обработки, и “Системы 2” — более медленной, аналитической и требующей сознательных усилий. Эта дуальность обработки, впервые описанная в когнитивной психологии, позволяет моделям решать задачи как посредством мгновенных ассоциаций, так и за счет последовательного, логического вывода. Параллели между архитектурой LLM и биологическими когнитивными системами указывают на универсальные принципы эффективной обработки информации, применимые как к искусственному интеллекту, так и к естественному разуму, что открывает перспективы для создания более эффективных и адаптивных моделей.

Исследование двойственности в обработке информации большими языковыми моделями (LLM), проявляющейся в использовании быстрых, интуитивных механизмов и более медленных, аналитических, открывает возможности для значительного повышения их эффективности. Понимание того, как LLM разделяют задачи между этими двумя режимами обработки, позволяет оптимизировать вычислительные процессы. В частности, возможно сократить потребление энергии и снизить затраты на вычисления, перенаправляя менее сложные задачи в более экономичный режим обработки, а требующие глубокого анализа — в режим, обеспечивающий точность, но потребляющий больше ресурсов. Подобный подход к управлению ресурсами может привести к созданию более устойчивых и доступных LLM, способных решать сложные задачи при минимальном воздействии на окружающую среду.

Исследование выявило, что механизмы, лежащие в основе способности больших языковых моделей к счету — разделение задачи на части, фокусировка внимания и установление причинно-следственных связей — вероятно, применимы к гораздо более широкому спектру сложных когнитивных задач. Не ограничиваясь простым подсчетом объектов, эти принципы могут быть использованы для решения проблем, требующих планирования, логического вывода, анализа ситуаций и даже креативного мышления. Понимание того, как модели разделяют сложные задачи, определяют наиболее важные аспекты и выстраивают логические цепочки, открывает перспективы для создания искусственного интеллекта, способного эффективно решать разнообразные проблемы, с которыми сталкивается человек в повседневной жизни и в профессиональной деятельности. Подобный подход позволяет надеяться на создание более гибких и адаптивных систем, способных к обучению и применению знаний в различных контекстах.

Представленное исследование закладывает основу для разработки новых поколений языковых моделей, в которых принципы последовательного, обдуманного рассуждения будут встроены в саму архитектуру. Вместо полагания исключительно на статистические закономерности, будущие модели смогут выполнять задачи, разбивая их на четкие, логически связанные шаги. Такой подход позволит не только повысить точность и надежность получаемых результатов, но и сделает процесс рассуждения более прозрачным и понятным. Подобная конструкция предполагает создание систем, способных к самоконтролю и коррекции ошибок, что существенно расширит область их применения, от решения сложных научных задач до разработки автономных систем принятия решений.

Тепловая карта показывает, что определённые слои и головы внимания наиболее активно участвуют в передаче численной информации от входных разделов к промежуточным подсчётам.

Исследование демонстрирует, что большие языковые модели способны к решению задач, требующих сложных вычислений, таких как подсчет большого количества элементов. Авторы выявили, что модели используют стратегию, аналогичную ‘Системе 2’ — разбивая задачу на более мелкие, управляемые подзадачи и агрегируя результаты. Этот подход подчеркивает важность не просто ‘рабочего’ решения, но и его внутренней логики и декомпозиции. Как заметил Дональд Дэвис: «Простота — это высшая степень утонченности». Эта фраза прекрасно отражает суть представленной работы: элегантность алгоритма проявляется не в сложности, а в возможности разложить сложную задачу на простые, понятные шаги, обеспечивая тем самым предсказуемость и корректность результата. Анализ механизмов внимания и каузальной медиации позволяет понять, как именно модель достигает этих результатов, демонстрируя красоту математической чистоты в ее работе.

Что дальше?

Представленная работа, хотя и демонстрирует элегантность декомпозиции в процессе счёта большими языковыми моделями, всё же оставляет открытым вопрос о природе самой «системы-2». Не является ли это лишь пост-фактум рационализацией, удобным описанием, а не фундаментальным принципом организации внутренних вычислений? Необходимо более строгое определение этой «системы», возможно, через формальные модели логического вывода, а не только через анализ паттернов внимания.

Истинную ясность принесёт не просто идентификация нейронов, участвующих в счёте, а доказательство их функциональной эквивалентности формальным аксиомам арифметики. Анализ каузальных связей, безусловно, важен, но ограничен возможностями вмешательства в уже обученную модель. Более плодотворным представляется проектирование моделей «с нуля», изначально ориентированных на прозрачность и проверяемость их логических операций.

В конечном счёте, задача состоит не в том, чтобы научить машину считать, а в том, чтобы понять, как вообще возможно чёткое, дедуктивное мышление, и воспроизвести его в искусственной системе. Пока же, любое «объяснение» работы нейронной сети остаётся лишь приближением к истине, элегантным, но всё же несовершенным.

Оригинал статьи: https://arxiv.org/pdf/2601.02989.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-07 19:10

🚀 Квантовые новости