Автор: Денис Аветисян
Новое исследование выявило увеличение доли текстов, созданных искусственным интеллектом, в открытом доступе к медицинской литературе.
Анализ показывает значительный рост использования генеративных моделей в медицинских публикациях, при этом авторы редко указывают на использование ИИ.
Несмотря на растущую роль искусственного интеллекта в научной коммуникации, степень его фактического использования в рецензируемой медицинской литературе остаётся не до конца ясной. В работе ‘Rising Prevalence of Detected AI-Generated Text in Medical Literature: Longitudinal Analysis in Open Access Articles’ проведён лонгитюдный анализ публикаций в журнале JAMA Network Open, выявивший увеличение доли текстов, содержащих признаки генерации ИИ, с 0.0% в январе 2022 года до 11.3% в марте 2025 года. Особенно заметна тенденция в отношении приглашённых комментариев и публикаций по глобальному здравоохранению, при этом уровень раскрытия информации об использовании больших языковых моделей авторами остается крайне низким. Какие последствия может иметь широкое распространение ИИ-генерируемого контента для достоверности и надёжности медицинской информации?
Прозрачность в науке: выявление текстов, созданных искусственным интеллектом
Растущее использование больших языковых моделей в академической среде вызывает серьезные опасения относительно подлинности и прозрачности научных работ. Всё чаще исследователи прибегают к помощи искусственного интеллекта для генерации текста, что ставит под вопрос авторство и оригинальность представленных результатов. Этот процесс создает риски для целостности научного знания, поскольку сложно определить, где заканчивается вклад человека и начинается автоматизированная генерация. Необходимость четкого разграничения между человеческим и машинным вкладом становится критически важной для поддержания доверия к научным публикациям и обеспечения достоверности исследований. Подобная тенденция требует разработки эффективных инструментов и методик для выявления текстов, созданных с использованием ИИ, и установления прозрачных правил в отношении использования подобных технологий в академической среде.
В настоящее время многие научные журналы сталкиваются с серьезной проблемой: отсутствие эффективных методов выявления текстов, сгенерированных искусственным интеллектом. Это создает потенциальный кризис доверия к опубликованным исследованиям, поскольку сложно однозначно определить, является ли представленная работа результатом самостоятельного анализа автора или автоматической обработки данных. Неспособность достоверно идентифицировать контент, созданный ИИ, подрывает целостность научной литературы и может привести к распространению недостоверной информации, ставя под сомнение авторитет научных публикаций и затрудняя процесс рецензирования.
Анализ 7251 научной статьи выявил, что 2,7% из них содержат текст, сгенерированный искусственным интеллектом. Этот показатель подчеркивает растущую необходимость в надежных инструментах для обнаружения контента, созданного нейросетями. Обнаружение ИИ-сгенерированного текста становится критически важным для поддержания научной честности и обеспечения достоверности публикуемых исследований. Отсутствие эффективных методов верификации может привести к распространению недостоверной информации и подрыву доверия к научному сообществу, что делает разработку и внедрение соответствующих инструментов первоочередной задачей.
Анализ научной литературы выявил заметную тенденцию к увеличению доли рукописей, подвергшихся влиянию искусственного интеллекта. Если в январе 2022 года доля таких работ составляла незначительные 0,0%, то к марту 2025 года она возросла до 11,3%. Данный скачок свидетельствует о стремительном распространении использования инструментов на базе больших языковых моделей в академической среде и подчеркивает необходимость разработки эффективных методов для выявления и оценки влияния ИИ на научные публикации. Подобная динамика ставит под вопрос целостность научной литературы и требует от издательств и рецензентов повышенного внимания к вопросам оригинальности и прозрачности.
Методология: извлечение и анализ данных рукописей
Для систематического сбора статей из JAMA Network Open были использованы методы веб-скрейпинга, реализованные на языке Python с использованием библиотеки Beautiful Soup. Этот подход позволил автоматизировать процесс извлечения данных непосредственно с веб-сайта журнала, обеспечивая сбор большого объема информации для дальнейшего анализа. Beautiful Soup облегчила парсинг HTML-структуры страниц, позволяя точно идентифицировать и извлекать необходимые элементы, такие как заголовки, текст статей и разделы благодарностей. Скрипты были настроены для обхода страниц журнала и сохранения извлеченных данных в структурированном формате, пригодном для последующей обработки и анализа.
Извлечение данных было сосредоточено на разделах благодарностей, поскольку именно там наиболее вероятно раскрывается информация об использовании искусственного интеллекта, а также на полном тексте рукописей для анализа с помощью инструментов обнаружения ИИ. Разделы благодарностей были выбраны как первичный источник данных о добровольном раскрытии информации об использовании ИИ в процессе исследования и написания статьи. Полный текст рукописей, в свою очередь, подвергался анализу для выявления потенциально сгенерированного ИИ контента, что позволяло провести сопоставление данных о добровольном раскрытии и фактическом использовании ИИ.
Для выявления явных упоминаний об использовании искусственного интеллекта (ИИ) в разделах благодарностей статей, применялось сопоставление с регулярными выражениями. Этот метод позволил создать базовый уровень данных для последующего сравнения с результатами, полученными с помощью коммерческого инструмента обнаружения ИИ. Регулярные выражения были разработаны для идентификации ключевых фраз и паттернов, указывающих на использование ИИ в процессе подготовки рукописи, например, упоминания конкретных инструментов или платформ ИИ, а также описание задач, выполненных с их помощью. Полученный набор данных служил отправной точкой для оценки эффективности и точности коммерческого инструмента, а также для валидации его результатов.
Для анализа полного текста рукописей на предмет потенциально сгенерированного искусственным интеллектом контента был использован коммерческий инструмент обнаружения ИИ, Originality.AI. Этот инструмент применяет алгоритмы машинного обучения для оценки вероятности того, что текст был создан не человеком, а моделью искусственного интеллекта. В процессе анализа Originality.AI оценивает различные лингвистические характеристики текста, включая предсказуемость слов, сложность предложений и наличие паттернов, типичных для генеративных моделей. Результаты анализа представляются в виде оценки вероятности, указывающей на степень вероятности того, что текст был сгенерирован ИИ.
Количественная оценка влияния ИИ: показатели обнаружения и тенденции
Анализ представленных рукописей выявил наличие текста, сгенерированного искусственным интеллектом (ИИ), однако степень его распространенности варьируется. Обнаружение текста, созданного ИИ, было подтверждено в различных типах публикаций, включая приглашенные комментарии, оригинальные исследования и исследовательские письма. При этом, доля текстов, содержащих контент, сгенерированный ИИ, различается в зависимости от предметной области статьи; наибольший процент был зафиксирован в статьях, посвященных глобальному здравоохранению. Важно отметить, что лишь незначительная часть статей (около 0.2%) содержала прямое раскрытие информации об использовании инструментов ИИ при создании текста.
Статистический анализ с использованием критерия хи-квадрат подтвердил существенные различия в долях текстов, сгенерированных искусственным интеллектом, в различных типах публикаций и предметных областях журнала JAMA Network Open. В частности, анализ выявил, что наибольшая доля текстов, содержащих контент, созданный ИИ, наблюдалась в типе публикаций «Приглашенные комментарии» (6.7%), тогда как в «Оригинальных исследованиях» и «Исследовательских письмах» эта доля составляла 2.2% и 1.4% соответственно. Кроме того, в области «Глобальное здравоохранение» было зафиксировано наибольшее количество контента, сгенерированного ИИ (8.6%), что указывает на потенциальные различия в практике использования инструментов ИИ между различными дисциплинами.
Тестирование Манна-Кендалла выявило статистически значимую тенденцию к увеличению частоты обнаружения текстов, сгенерированных ИИ, во времени (p << 0.001). Данный результат указывает на растущее использование инструментов на базе больших языковых моделей (LLM) при создании научных публикаций в JAMA Network Open. Увеличение частоты обнаружения не обязательно отражает увеличение доли полностью сгенерированных ИИ текстов, но свидетельствует о более широком внедрении этих инструментов в процесс написания и редактирования, даже если ИИ используется лишь частично при создании контента.
Анализ показал, что искусственно сгенерированный текст был обнаружен в 6,7% приглашенных комментариев, 2,2% оригинальных исследований и 1,4% исследовательских писем, опубликованных в JAMA Network Open. Данные показатели отражают различную распространенность использования инструментов на базе искусственного интеллекта в различных типах публикаций, что может быть связано со спецификой их содержания, объемом и требованиями к оригинальности. Различия в процентах обнаружения указывают на необходимость дальнейшего изучения причин и последствий использования ИИ в научной коммуникации для каждого типа публикаций.
Анализ выявил, что статьи, посвященные глобальным проблемам здравоохранения, демонстрируют наибольшую долю контента, сгенерированного искусственным интеллектом — 8.6%. При этом, лишь 0.2% от общего числа проанализированных публикаций содержали информацию о применении языковых моделей (LLM) при их создании. Данное несоответствие указывает на значительный разрыв между фактическим использованием инструментов ИИ в написании научных текстов и практикой декларирования этого факта авторами, особенно в сфере глобального здравоохранения.
Анализ показал, что из 15 статей, в которых авторы сообщили об использовании больших языковых моделей (LLM), у 40,0% был установлен процент сгенерированного ИИ текста, превышающий 10%. Одновременно, лишь 3,1% от общего числа 195 статей, в которых был обнаружен сгенерированный ИИ текст, содержали информацию об использовании LLM от самих авторов. Данные свидетельствуют о значительном расхождении между фактическим использованием инструментов ИИ и практикой декларирования этого использования в научных публикациях.
Последствия для академической честности и перспективы развития
Наблюдаемые тенденции в использовании искусственного интеллекта при создании академических текстов подчеркивают острую необходимость в разработке четких и понятных руководств и политик, регулирующих данный процесс. Отсутствие единых стандартов создает значительную неопределенность для студентов и исследователей, что может привести к непреднамеренным нарушениям академической честности. Установление конкретных правил относительно допустимых и недопустимых способов использования ИИ-инструментов, а также требование прозрачности в отношении их применения, позволит избежать двусмысленности и обеспечить справедливость оценки научных работ. Кроме того, разработка этих руководств должна учитывать различные дисциплинарные особенности и специфику исследовательских подходов, обеспечивая гибкость и адаптивность к быстро меняющимся технологиям.
Научные журналы и образовательные учреждения сталкиваются с необходимостью оперативного реагирования на этические и методологические вызовы, порождаемые контентом, сгенерированным искусственным интеллектом. Важно не просто выявлять использование таких инструментов, но и пересматривать существующие принципы академической честности и критерии оценки научных работ. Речь идет о разработке четких политик, определяющих допустимые границы применения ИИ в исследовательском процессе, а также о внедрении новых методов проверки подлинности авторства и оригинальности представленных материалов. Игнорирование этих проблем может привести к снижению доверия к научным публикациям и обесцениванию результатов исследований, поэтому требуется комплексный подход, включающий пересмотр редакционных практик, повышение осведомленности научного сообщества и стимулирование разработки надежных инструментов для выявления сгенерированного ИИ текста.
Несмотря на быстрый прогресс в разработке инструментов обнаружения контента, созданного искусственным интеллектом, существенная работа по повышению их точности остается актуальной. Существующие системы часто демонстрируют неудовлетворительную производительность, выдавая ложные срабатывания, когда оригинальные тексты ошибочно идентифицируются как сгенерированные ИИ. Это особенно критично в академической среде, где неверная атрибуция может привести к несправедливым обвинениям в плагиате и подорвать репутацию исследователей. Необходимы дальнейшие исследования, направленные на совершенствование алгоритмов, учитывающих нюансы авторского стиля, лингвистические особенности и специфику предметной области. Разработка более надежных и точных инструментов позволит более эффективно бороться с недобросовестным использованием ИИ в академической среде, одновременно минимизируя риск ошибочных оценок и обеспечивая справедливую оценку научных работ.
Появление GPT-4o и подобных больших языковых моделей ставит перед академическим сообществом важные вопросы, требующие тщательного осмысления и открытого обсуждения. Эти модели способны генерировать тексты, неотличимые от написанных человеком, что создает новые возможности для исследований, но одновременно и ставит под угрозу традиционные представления об авторстве и оригинальности. Необходимо детально изучить, как подобные инструменты могут быть использованы в научных работах — от помощи в анализе данных и формулировке гипотез до автоматического написания черновиков и подготовки публикаций. Важно разработать четкие этические принципы и методологические рекомендации, определяющие допустимые границы использования таких моделей, чтобы избежать плагиата, фальсификации результатов и других нарушений академической честности. Подобные дискуссии должны включать не только ученых и преподавателей, но и представителей издательств, разработчиков программного обеспечения и студентов, чтобы обеспечить всесторонний и взвешенный подход к этой сложной проблеме.
Исследование демонстрирует растущую сложность оценки подлинности научных публикаций в эпоху генеративного искусственного интеллекта. Отмечаемый дисбаланс между выявленным использованием ИИ и отсутствием соответствующего раскрытия информации авторами указывает на необходимость более строгих механизмов контроля и прозрачности. Барбара Лисков однажды заметила: «Программы должны быть разработаны так, чтобы изменяться с течением времени, не влияя на их основные принципы». Эта мысль перекликается с текущей ситуацией, поскольку медицинская литература должна адаптироваться к новым технологиям, сохраняя при этом фундаментальные принципы научной честности и достоверности. Повышение осведомленности и внедрение инструментов для выявления ИИ-генерируемого контента представляются не как ограничение свободы творчества, а как гарантия надежности и качества научных знаний.
Что дальше?
Наблюдаемый рост доли текстов, сгенерированных искусственным интеллектом, в медицинской литературе, представляется не столько угрозой, сколько зеркалом. Зеркалом, отражающим не недостаток оригинальности, а избыток запросов. Если система не может быть объяснена в одном предложении, она не понята, и, возможно, сама потребность в количестве публикаций требует переосмысления. Разрыв между обнаруженным использованием ИИ и авторскими заявлениями — не этическая проблема, а диагностическая. Необходимо разработать инструменты не для выявления «обмана», а для объективной оценки вклада человека в создание текста.
Будущие исследования должны сосредоточиться не на количестве обнаруженного ИИ-контента, а на его качестве. Имеет ли значение, создан ли текст человеком или машиной, если он не добавляет ничего нового к существующим знаниям? Более того, необходимо исследовать, как использование ИИ влияет на скорость распространения дезинформации в медицинской сфере. Простота — это форма интеллекта, а не ограничение, и истинный прогресс заключается в умении отсеять ненужное.
В конечном счете, вопрос не в том, как бороться с ИИ, а в том, как использовать его для повышения качества и доступности медицинской информации. Сложность — это тщеславие. Необходимо стремиться к ясности и лаконичности, а не к бесконечному наполнению.
Оригинал статьи: https://arxiv.org/pdf/2603.19316.pdf
Связаться с автором: https://www.linkedin.com/in/avetisyan/
Смотрите также:
- Отражения культуры: Как языковые модели рассказывают истории
- Укрощение Бесконечности: Алгебраические Инструменты для Кватернионов и За их Пределами
- Самообучающиеся агенты: новый подход к автономным системам
- Эволюция Симуляций: От Агентов к Сложным Социальным Системам
- Визуальный след: Сжатие рассуждений для мощных языковых моделей
- Взлом языковых моделей: эволюция атак, а не подсказок
- Диффузия против Квантов: Новый Взгляд на Факторизацию
- Генерация изображений: Новый взгляд на скорость и детализацию
- В поисках оптимального дерева: новые горизонты GPU-вычислений
- Квантовые хроники: Последние новости в области квантовых исследований и разработки.
2026-03-23 17:07