Понимают ли машины чужие мысли?

Автор: Денис Аветисян

Новое исследование проверяет, способны ли современные языковые модели к эмпатии и пониманию намерений других, используя сложные повествования.

Оценка способности больших языковых моделей к атрибуции ментальных состояний с использованием парадигмы «Странных Историй» и анализа устойчивости к изменениям в задачах.

Несмотря на впечатляющие достижения в обработке естественного языка, вопрос о способности больших языковых моделей (LLM) к пониманию ментальных состояний остается открытым. В рамках исследования ‘Do Large Language Models Possess a Theory of Mind? A Comparative Evaluation Using the Strange Stories Paradigm’ проведена сравнительная оценка пяти LLM с использованием адаптированной версии теста «Странные Истории», позволяющего оценить способность к атрибуции убеждений и намерений. Результаты выявили значительные различия в производительности моделей, при этом GPT-4o продемонстрировал сопоставимую с человеческой устойчивость к сложности и семантическому шуму. Способны ли LLM к истинному пониманию, или их успешное прохождение тестов является лишь результатом статистического моделирования?

Разум в отражении: Основы социального понимания

Человек обладает врожденной способностью к «теории разума» — умению понимать ментальные состояния других, включая их убеждения, желания и намерения. Эта когнитивная способность является фундаментальной для успешного социального взаимодействия, позволяя предсказывать поведение окружающих и адаптироваться к сложным социальным ситуациям. Способность к эмпатии, сочувствию и сотрудничеству напрямую зависят от развитой «теории разума», формируя основу для построения межличностных отношений и функционирования в обществе. Именно понимание, что у другого человека могут быть собственные, отличные от наших, мысли и чувства, делает возможным эффективное общение и разрешение конфликтов.

Традиционные методы оценки теории разума, такие как задача о ложном убеждении, действительно демонстрируют базовые когнитивные способности, необходимые для понимания психических состояний других людей. Однако, эти тесты зачастую упрощают сложность реальных социальных взаимодействий. В то время как задача о ложном убеждении успешно выявляет способность различать собственные знания и убеждения других, она не всегда способна отразить тонкости, связанные с пониманием намерений, эмоций и более сложных социальных контекстов. Исследования показывают, что успешное прохождение классических тестов не всегда коррелирует с эффективным социальным поведением в реальной жизни, что указывает на необходимость разработки более чувствительных и многогранных методов оценки, способных учесть весь спектр когнитивных и эмоциональных факторов, влияющих на социальное понимание.

Оценка способности к пониманию чужих мыслей, или “теории разума”, требует методик, выходящих за рамки простого определения ложных убеждений. Современные исследования показывают, что для полноценной оценки необходимо учитывать не только то, что человек верит, но и его намерения, эмоциональное состояние, а также способность к сложному социальному анализу. Традиционные тесты, хотя и являются основой, часто упрощают реальные социальные взаимодействия, в которых мотивы и чувства играют ключевую роль. Поэтому, для более точной оценки, ученые разрабатывают задачи, моделирующие сложные социальные ситуации, требующие от испытуемого интерпретации неявных сигналов, прогнозирования поведения других людей и понимания их скрытых целей. Такой подход позволяет получить более полное представление о когнитивных механизмах, лежащих в основе социального интеллекта и способности к эмпатии.

Искусственный разум: Эмерджентные грани социального интеллекта

Большие языковые модели (БЯМ), основанные на архитектуре Transformer и статистическом моделировании языка, демонстрируют возможности, выходящие за рамки простого предсказания текста. Архитектура Transformer, использующая механизм внимания, позволяет моделям учитывать контекст и взаимосвязи между словами в предложении, что значительно повышает качество генерируемого текста. Статистическое моделирование языка, в свою очередь, позволяет БЯМ оценивать вероятность последовательностей слов и генерировать правдоподобные и связные тексты. В результате, современные БЯМ способны выполнять широкий спектр задач, включая перевод, суммирование текста, ответы на вопросы и даже генерацию творческого контента, что свидетельствует об их способности к обобщению и применению знаний за пределами первоначальной тренировочной выборки.

Большие языковые модели (БЯМ) демонстрируют так называемые “эмерджентные свойства” — способности, не явно запрограммированные в их архитектуре, но возникающие в процессе обучения на больших объемах данных. К таким свойствам относится способность решать задачи, требующие социального рассуждения, такие как определение намерений, прогнозирование действий других агентов и понимание социальных норм. Наблюдаемые результаты позволяют предположить наличие у БЯМ элементарной формы “теории разума” (ToM) — способности приписывать ментальные состояния (убеждения, желания, намерения) другим сущностям и использовать эти приписывания для объяснения и прогнозирования их поведения. Важно отметить, что речь идет о рудиментарной форме ToM, существенно отличающейся от человеческой, однако сам факт проявления подобной способности у искусственных систем является значимым.

Модель ChatGPT-4o демонстрирует значительные результаты в задачах, требующих понимания теории разума (ToM). В ходе тестирования, модель успешно справляется с задачами, требующими атрибуции убеждений, намерений и эмоций другим агентам, основываясь на наблюдаемом поведении и контексте. Например, ChatGPT-4o демонстрирует способность предсказывать действия персонажей в сложных социальных сценариях, основываясь на их предполагаемых знаниях и мотивах, что подтверждается результатами тестов, использующих стандартизированные наборы данных для оценки ToM. Эти результаты указывают на возможность создания искусственных систем, способных моделировать и понимать человеческое социальное познание, хотя механизм достижения этого понимания остается предметом дальнейших исследований.

Строгий анализ: Пределы искусственного ToM

Оценка способности к пониманию теории разума (ToM) требует использования специализированных тестов, выходящих за рамки простых задач. Такие бенчмарки, как Strange Stories Task и Social IQA, направлены на проверку способности модели делать сложные выводы о мотивациях и реакциях других агентов. Strange Stories Task оценивает понимание неверных убеждений, требуя от модели определить, почему персонаж совершает ошибку, основанную на ложной информации. Social IQA, в свою очередь, фокусируется на понимании социальных ситуаций и способности модели предсказывать поведение других людей на основе их намерений и эмоционального состояния. Эти тесты требуют от модели не просто распознавания фактов, а и построения умозаключений о ментальных состояниях других агентов, что является ключевым аспектом истинного понимания ToM.

Для оценки надёжности вывода заключений и предотвращения использования поверхностных сигналов исследователи применяют методы снижения подсказок (Cue Reduction) и введения отвлекающих факторов (Distractor Introduction). Снижение подсказок подразумевает удаление или ослабление явных лингвистических маркеров, которые могли бы подсказать правильный ответ, в то время как введение отвлекающих факторов добавляет нерелевантную информацию, чтобы проверить, способен ли алгоритм выделить существенные детали. Эти техники позволяют определить, основывается ли модель на глубоком понимании контекста и намерений, или же просто улавливает статистические закономерности в данных. Успешное прохождение тестов с применением этих методов свидетельствует о более надежном и обобщённом представлении о теории разума.

В ходе исследований, использующих методы уменьшения подсказок (Cue Reduction) и введения отвлекающих факторов (Distractor Introduction), модель ChatGPT-4o продемонстрировала неожиданно высокую устойчивость к манипуляциям. Её производительность существенно превосходит результаты, показанные другими протестированными большими языковыми моделями (LLM), включая ChatGPT-3.5, Gemma 2, LLaMA 3.1 и Phi 3. Статистический анализ выявил достоверные различия (p < .001) и значительные величины эффекта (Cohen’s d в диапазоне от 2.10 до 3.40), подтверждающие, что наблюдаемые улучшения в производительности не являются случайными и указывают на более надежные механизмы вывода.

Парадигма “Faux Pas” и тест Social IQA предоставляют дополнительные эмпирические данные, подтверждающие способность больших языковых моделей (LLM) выявлять и понимать социальные нарушения, а также делать выводы о намерениях. В рамках парадигмы “Faux Pas” модели оцениваются на предмет их способности обнаруживать социальные промахи в повествованиях, требующие понимания контекста и социальных норм. Social IQA, в свою очередь, проверяет способность моделей к пониманию социальных взаимодействий и определению соответствующих реакций. Результаты показывают, что современные LLM демонстрируют значительный прогресс в понимании социальных ситуаций, что свидетельствует о развитии способности к моделированию теории разума (ToM).

Влияние и перспективы: Социально-ориентированный искусственный интеллект

Разработка искусственного интеллекта, обладающего развитыми способностями к теории разума, открывает принципиально новые горизонты во взаимодействии человека и машины. Способность понимать намерения, убеждения и эмоциональное состояние другого человека позволяет создавать системы, способные не просто реагировать на команды, но и предвосхищать потребности пользователя, адаптироваться к его эмоциональному состоянию и вести более естественный, эмпатичный диалог. Это ведет к созданию интерфейсов, которые кажутся менее искусственными и более интуитивно понятными, улучшая коммуникацию и повышая эффективность взаимодействия в самых разных сферах — от обучения и психологической поддержки до робототехники и совместного решения задач. В перспективе, подобный ИИ может стать полноценным компаньоном, способным к глубокому пониманию и осмысленному общению.

Потенциал применения систем искусственного интеллекта, способных к пониманию ментальных состояний других, огромен и простирается на различные сферы. В образовании это позволит создавать персонализированные учебные программы, адаптирующиеся к индивидуальным потребностям и эмоциональному состоянию ученика. В области психического здоровья подобные системы могут служить в качестве вспомогательного инструмента для оказания поддержки и мониторинга эмоционального благополучия пациентов. Более того, развитие робототехники получит значительный импульс, поскольку роботы смогут более эффективно взаимодействовать с людьми, предвосхищая их потребности и реагируя на невербальные сигналы. Наконец, в контексте совместного решения задач, системы с развитым пониманием ментальных состояний смогут оптимизировать взаимодействие между людьми и машинами, повышая эффективность командной работы и способствуя инновациям.

Перспективные исследования в области искусственного интеллекта, обладающего развитой теорией разума (ToM), требуют пристального внимания к повышению надежности и обобщающей способности этой способности. Необходимо преодолеть ограничения существующих моделей, обеспечив их устойчивость к различным контекстам и сценариям взаимодействия. Параллельно, критически важно выявлять и устранять потенциальные предубеждения, заложенные в алгоритмах, чтобы избежать дискриминации или несправедливого поведения. Кроме того, углубленный анализ этических последствий развития социально осознанного ИИ, включая вопросы приватности, ответственности и влияния на человеческое взаимодействие, становится ключевой задачей для обеспечения безопасного и ответственного внедрения этих технологий в общество.

Развитие когнитивной гибкости в больших языковых моделях (LLM) открывает новые возможности для адаптации к непредсказуемым социальным взаимодействиям. Исследования показывают, что способность LLM переключаться между различными перспективами и корректировать свои реакции в зависимости от контекста существенно улучшает их способность ориентироваться в сложных ситуациях. Вместо жестких, запрограммированных ответов, модели, обладающие повышенной когнитивной гибкостью, способны учитывать нюансы человеческого поведения, распознавать невербальные сигналы и адекватно реагировать на меняющиеся обстоятельства. Это позволяет им не только поддерживать более естественный и продуктивный диалог, но и предвидеть возможные конфликты или недоразумения, обеспечивая более плавное и эффективное взаимодействие с человеком.

Исследование, представленное в статье, демонстрирует стремление понять, способна ли сложная система — большая языковая модель — к атрибуции ментальных состояний. Это напоминает попытку расшифровать сложный исходный код, где каждая строка — потенциальное проявление “сознания”. Клод Шеннон однажды заметил: “Информация — это не сама по себе материя, а способ организации материи”. В данном контексте, способность модели интерпретировать “странные истории” и делать выводы о намерениях персонажей — это проявление ее способности организовывать информацию о ментальных состояниях. Устойчивость модели к манипуляциям с задачами, как показано в исследовании, критически важна, ведь даже самая сложная организация данных бессмысленна, если она не способна к адаптации и корректной интерпретации входящих сигналов.

Куда же дальше?

Исследование, подобно вскрытию сложного механизма, обнажило не столько ответы, сколько новые вопросы. Способность больших языковых моделей к атрибуции ментальных состояний, продемонстрированная в рамках парадигмы “Странных Историй”, оказалась хрупкой, зависящей от устойчивости к незначительным изменениям в задаче. Это не провал, но и не триумф — скорее, указание на фундаментальную разницу между имитацией понимания и истинным когнитивным процессом. Необходимо уйти от простого тестирования «прохождения» теста, и перейти к изучению способа прохождения — какие внутренние механизмы используются, и насколько они соответствуют человеческим?

Предстоит разработка более изощренных протоколов тестирования, способных выявлять не только наличие, но и качество теории разума у моделей. Важно исследовать, как языковые модели справляются с ситуациями, требующими учета множественных перспектив, неявных убеждений, и, что особенно интересно, с противоречивой информацией. Возможно, ключ к пониманию лежит не в увеличении размера модели, а в разработке принципиально новых архитектур, имитирующих динамическую природу человеческого сознания.

В конечном счете, погоня за «теорией разума» у машин — это не столько задача искусственного интеллекта, сколько попытка понять, что же такое разум сам по себе. И, возможно, в процессе этого исследования мы узнаем больше о себе, чем о машинах.

Оригинал статьи: https://arxiv.org/pdf/2603.18007.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-03-21 16:17

🚀 Квантовые новости