Разумный радиолог: ИИ, который мыслит шагами

Автор: Денис Аветисян


Новая система искусственного интеллекта RadAgent позволяет более точно и прозрачно интерпретировать результаты компьютерной томографии грудной клетки, используя инструменты и демонстрируя ход своих рассуждений.

🚀 Квантовые новости

Подключайся к потоку квантовых мемов, теорий и откровений из параллельной вселенной.
Только сингулярные инсайты — никакой скуки.

Присоединиться к каналу
Система RadAgent, функционируя на основе трехмерных томографических данных и запросов, автоматизирует процесс диагностики, последовательно уточняя предварительные выводы посредством итеративного применения диагностических инструментов и накопления доказательств, что обеспечивается структурированным контрольным списком, вдохновленным практикой врачей, и оптимизацией обучения с использованием разработанной схемы вознаграждения и эталонных наборов данных компьютерной томографии грудной клетки.
Система RadAgent, функционируя на основе трехмерных томографических данных и запросов, автоматизирует процесс диагностики, последовательно уточняя предварительные выводы посредством итеративного применения диагностических инструментов и накопления доказательств, что обеспечивается структурированным контрольным списком, вдохновленным практикой врачей, и оптимизацией обучения с использованием разработанной схемы вознаграждения и эталонных наборов данных компьютерной томографии грудной клетки.

Представлен RadAgent — агент, обученный с подкреплением, для поэтапной интерпретации данных компьютерной томографии и генерации отчетов.

Несмотря на значительный прогресс в области искусственного интеллекта для анализа медицинских изображений, существующие системы часто представляют собой «черные ящики», затрудняя проверку и интерпретацию их решений. В данной работе представлена система ‘RadAgent: A tool-using AI agent for stepwise interpretation of chest computed tomography’, использующая подход обучения с подкреплением для создания прозрачного и надежного агента, способного генерировать отчеты по данным компьютерной томографии грудной клетки. RadAgent демонстрирует улучшение точности, надежности и, что особенно важно, объяснимости процесса интерпретации, представляя детальный след последовательных действий и используемых инструментов. Может ли подобный подход стать основой для создания действительно доверительных систем поддержки принятия решений в радиологии и других областях медицинской визуализации?


Вызов Сложности Радиологической Логики

Традиционный анализ компьютерной томографии (КТ) в значительной степени зависит от ручной интерпретации рентгенолога, что делает процесс подверженным субъективным различиям и потенциальным упущениям. Внимательность и опыт специалиста, безусловно, важны, однако высокая нагрузка и сложность изображений могут приводить к вариабельности в интерпретации даже незначительных деталей. Это может приводить к задержкам в постановке диагноза или, что более серьезно, к неверной диагностике, особенно в случаях, требующих выявления тонких изменений или оценки сложных анатомических структур. В результате, потребность в более объективных и надежных методах анализа КТ-изображений становится все более актуальной для повышения качества и безопасности медицинской помощи.

Анализ трехмерных томографических изображений требует от системы не просто распознавания отдельных признаков, а способности к многоступенчатому логическому выводу. В отличие от простой классификации изображений, где алгоритм определяет наличие или отсутствие определенной патологии, извлечение тонких нюансов, необходимых для точной диагностики, предполагает последовательное сопоставление данных, оценку контекста и учет взаимосвязей между различными анатомическими структурами. Система должна не только идентифицировать потенциальные аномалии, но и интегрировать информацию из разных срезов, строить пространственные модели и делать выводы о природе, стадии и возможных причинах выявленных изменений. Такой подход позволяет преодолеть ограничения, присущие традиционным методам, и значительно повысить точность и надежность интерпретации сложных радиологических данных.

Сложность радиологических данных требует применения передовых подходов для эффективной трансформации снимков в клинически значимые отчеты. Традиционные методы анализа, основанные на визуальной оценке, зачастую не позволяют в полной мере извлечь всю необходимую информацию из трехмерных изображений. Для этого разрабатываются системы, способные выполнять многоступенчатое рассуждение, выявляя тонкие признаки и взаимосвязи, которые могут быть упущены при ручном анализе. Эти системы, использующие алгоритмы машинного обучения и искусственного интеллекта, направлены на автоматизацию процесса интерпретации, повышение точности диагностики и, в конечном итоге, улучшение качества медицинской помощи, предоставляя врачам структурированные и понятные отчеты, основанные на объективном анализе данных.

RadAgent демонстрирует значительно более высокую надежность (83.7% против 58.9%) и точность (37.0% против 0.00%) при генерации отчетов КТ по сравнению с базовой 3D VLM, благодаря использованию агентивного диагностического пути и прозрачного промежуточного процесса рассуждений, что подтверждается 95% доверительными интервалами, рассчитанными методом бутстрапа.
RadAgent демонстрирует значительно более высокую надежность (83.7% против 58.9%) и точность (37.0% против 0.00%) при генерации отчетов КТ по сравнению с базовой 3D VLM, благодаря использованию агентивного диагностического пути и прозрачного промежуточного процесса рассуждений, что подтверждается 95% доверительными интервалами, рассчитанными методом бутстрапа.

Агентные Системы: Новый Подход к Анализу КТ

Агентные системы используют большие языковые модели (LLM) для эмуляции человеческого мышления, разбивая сложные аналитические задачи на последовательность управляемых этапов. В отличие от традиционных подходов, где задача решается одномоментно, агентные системы моделируют процесс решения проблемы, подобно тому, как это делает аналитик. LLM выступает в роли «двигателя» рассуждений, определяя необходимые шаги, последовательность их выполнения и интерпретируя результаты на каждом этапе. Это позволяет обрабатывать более сложные запросы и структурировать анализ таким образом, чтобы обеспечить воспроизводимость и прозрачность процесса принятия решений.

Парадигма, не требующая обучения (Training-Free Paradigm), позволяет оперативно внедрять и адаптировать системы анализа клинических данных без необходимости трудоемкой переподготовки моделей. Это достигается за счет использования предварительно обученных больших языковых моделей (LLM) и их способности к выполнению задач посредством последовательности вызовов инструментов (Tool Call Sequences). В динамичной клинической среде, где требования к анализу данных могут быстро меняться, такой подход обеспечивает значительное преимущество, позволяя оперативно реагировать на новые данные и клинические сценарии, избегая задержек, связанных с длительным процессом переобучения моделей. Данная парадигма особенно актуальна для обработки больших объемов данных и автоматизации рутинных задач, что повышает эффективность работы медицинского персонала и снижает вероятность ошибок.

Агентные системы распределяют аналитическую нагрузку посредством предопределенных последовательностей вызовов инструментов (Tool Call Sequences). Этот подход предполагает декомпозицию сложной аналитической задачи на ряд более простых, каждая из которых решается с помощью специализированного инструмента. Определенный порядок вызова этих инструментов обеспечивает структурированный и воспроизводимый процесс анализа, что снижает вероятность ошибок, связанных с человеческим фактором или неоптимальным выбором методов. Использование четко определенных последовательностей также позволяет оптимизировать использование вычислительных ресурсов и повысить общую эффективность анализа, особенно в задачах, требующих обработки больших объемов данных или проведения многоэтапных вычислений.

Обученная RadAgent-политика на валидационном наборе CT-RATE использует комбинацию генерации отчетов, классификации заболеваний и многократных обращений к инструменту 3D CT-Chat VQA для решения задач.
Обученная RadAgent-политика на валидационном наборе CT-RATE использует комбинацию генерации отчетов, классификации заболеваний и многократных обращений к инструменту 3D CT-Chat VQA для решения задач.

RadAgent: Обучение с Подкреплением для Интерпретации 3D КТ

RadAgent использует обучение с подкреплением (Reinforcement Learning) для автоматической оптимизации последовательности действий при анализе 3D КТ-изображений. Вместо предопределенного алгоритма, система самостоятельно определяет оптимальную стратегию обработки данных, направленную на повышение точности диагностики и качества формируемого отчета. Обучение происходит путем максимизации вознаграждения, которое определяется на основе оценки диагностической ценности каждого шага, что позволяет RadAgent адаптироваться к различным клиническим сценариям и повышать эффективность работы радиолога. Система динамически выбирает наиболее подходящие операции обработки для каждого конкретного случая, обеспечивая персонализированный подход к интерпретации КТ-изображений.

Система RadAgent использует обширный инструментарий для обработки трехмерных КТ-изображений. В состав этого инструментария входят функции сегментации, позволяющие выделять интересующие анатомические структуры; инструменты изменения окна (windowing), оптимизирующие визуализацию различных тканей и патологий; и функции извлечения срезов (slice extraction), обеспечивающие доступ к отдельным двумерным изображениям для детального анализа. Комбинация этих функций позволяет RadAgent эффективно обрабатывать КТ-данные и подготавливать их к дальнейшей интерпретации и диагностике.

Для повышения производительности и адаптивности RadAgent используется метод тонкой настройки с применением LoRA (Low-Rank Adaptation). LoRA позволяет оптимизировать модель, добавляя небольшое количество обучаемых параметров к существующим весам, что существенно снижает вычислительные затраты и потребность в объеме видеопамяти по сравнению с полной переобучающей процедурой. Это обеспечивает возможность эффективного обучения и адаптации модели к новым наборам данных или специфическим задачам, не требуя значительных аппаратных ресурсов и времени. LoRA особенно полезна при ограниченных вычислительных возможностях, позволяя добиться значительного улучшения результатов без необходимости масштабного переобучения всей модели.

Для обеспечения надежности RadAgent проходит тщательное тестирование в адверсарных условиях, включающих в себя намеренное внесение шумов, изменение контрастности и моделирование артефактов, характерных для медицинских изображений. Это позволяет оценить устойчивость системы к различным помехам и неблагоприятным факторам, которые могут возникать в реальной клинической практике. Тестирование проводится на специально сформированных наборах данных, содержащих изображения с различной степенью сложности и уровнем шума, что гарантирует высокую точность и надежность работы RadAgent в сложных сценариях и при обработке данных низкого качества.

Обученная система RadAgent демонстрирует значительное улучшение качества генерации отчетов, опережая базовый уровень CT-Chat на 6.0 и 5.4 процентных пункта по макро- и микро-F1 метрикам соответственно на проверочном наборе CT-RATE, что подтверждается результатами на CT-RATE и RadChestCT, а также по F1-оценкам для отдельных патологий.
Обученная система RadAgent демонстрирует значительное улучшение качества генерации отчетов, опережая базовый уровень CT-Chat на 6.0 и 5.4 процентных пункта по макро— и микро-F1 метрикам соответственно на проверочном наборе CT-RATE, что подтверждается результатами на CT-RATE и RadChestCT, а также по F1-оценкам для отдельных патологий.

Проверка Обоснованности и Надежности RadAgent

Аналитический процесс RadAgent структурирован на основе Диагностического Чек-листа, который обеспечивает систематическую оценку ключевых анатомических признаков. Данный чек-лист включает в себя исчерпывающий перечень параметров и критериев, необходимых для выявления и подтверждения диагностических заключений. Использование чек-листа позволяет RadAgent последовательно оценивать каждый релевантный анатомический элемент, минимизируя риск пропусков и обеспечивая полноту анализа. Это способствует повышению точности и надежности генерируемых отчетов, а также облегчает верификацию результатов работы системы специалистами-радиологами.

Для оценки соответствия логики работы агента RadAgent сгенерированному отчёту используется метрика “Faithfulness” (согласованность). В ходе тестирования RadAgent продемонстрировал показатель согласованности в 37.0%, в то время как базовая модель CT-Chat показала результат 0.0%. Данная метрика позволяет оценить, насколько аргументация агента подкрепляет его выводы, повышая доверие к результатам анализа и обеспечивая прозрачность процесса формирования отчёта.

Алгоритм GRPO (Goal-Reward-Prioritization-Optimization) используется в RadAgent для обучения расстановке приоритетов при анализе данных, основываясь на проверяемых, объективных критериях. В отличие от подходов, полагающихся на субъективные оценки, GRPO позволяет системе присваивать больший вес результатам, которые могут быть верифицированы с использованием эталонных данных или экспертных заключений. Это обеспечивает надежность аналитического процесса и минимизирует вероятность ошибок, связанных с неточностями или предвзятостью при интерпретации изображений. Алгоритм позволяет RadAgent фокусироваться на наиболее релевантных признаках и параметрах, что способствует повышению точности и воспроизводимости результатов.

RadAgent использует базовые возможности модели CT-Chat в качестве отправной точки для построения более сложной системы рассуждений и генерации отчетов. CT-Chat предоставляет фундамент для обработки и понимания медицинских изображений и связанных данных, который RadAgent расширяет за счет внедрения алгоритма GRPO, Diagnostic Checklist и метрики Faithfulness. Это позволяет RadAgent не только генерировать отчеты, но и обеспечивать прозрачность и надежность процесса анализа, что недоступно в базовой версии CT-Chat.

Сравнение качества генерации отчетов RadAgent до и после RLand с базовым уровнем CT-Chat на различных наборах данных (CT-RATE валидация, CT-RATE тест, RadChestCT) показывает статистически значимые различия (обозначены звездочками, p < 0.05), подтвержденные двусторонним перестановочным тестом, а также различия в F1-счете для отдельных патологий на тестовом наборе CT-RATE.
Сравнение качества генерации отчетов RadAgent до и после RLand с базовым уровнем CT-Chat на различных наборах данных (CT-RATE валидация, CT-RATE тест, RadChestCT) показывает статистически значимые различия (обозначены звездочками, p < 0.05), подтвержденные двусторонним перестановочным тестом, а также различия в F1-счете для отдельных патологий на тестовом наборе CT-RATE.

Будущее Автоматизированной Отчетности по Компьютерной Томографии

Система RadAgent знаменует собой важный прорыв в автоматизации составления заключений по компьютерной томографии. Благодаря внедрению передовых алгоритмов, она способна существенно снизить нагрузку на врачей-радиологов, высвобождая их время для решения более сложных задач и консультаций. Исследования показывают, что автоматическое формирование предварительных отчетов позволяет значительно сократить время, необходимое для получения диагностических заключений, что особенно важно в экстренных ситуациях. Внедрение RadAgent не только повышает эффективность работы медицинских учреждений, но и способствует более оперативному оказанию помощи пациентам, улучшая общее качество здравоохранения. Система призвана стать надежным помощником радиолога, оптимизируя рабочий процесс и повышая точность диагностики.

Архитектура RadAgent, основанная на модульном дизайне и обучении с подкреплением, представляет собой динамичную систему, способную к постоянной адаптации и совершенствованию. В отличие от статических алгоритмов, эта конструкция позволяет системе непрерывно учиться на новых данных и клинических сценариях, повышая точность и надежность генерируемых отчетов. Обучение с подкреплением позволяет системе самостоятельно выявлять наиболее эффективные стратегии анализа изображений и формулирования заключений, оптимизируя свою работу без необходимости ручной перенастройки. Такой подход гарантирует, что RadAgent не только соответствует текущим стандартам медицинской визуализации, но и сохраняет свою клиническую значимость в долгосрочной перспективе, адаптируясь к меняющимся протоколам и новым открытиям в области радиологии.

Система RadAgent, объединяя передовые возможности логического вывода с трехмерным анализом изображений, открывает новые перспективы в области персонализированной и прогностической медицины. Вместо простого обнаружения аномалий, RadAgent способен анализировать сложные пространственные взаимосвязи внутри изображений КТ, выявлять тонкие признаки, предсказывающие развитие заболеваний на ранних стадиях, и адаптировать диагностические стратегии к индивидуальным особенностям пациента. Такой подход позволяет не только повысить точность диагностики, но и перейти от реактивной медицины к проактивной, позволяя врачам предотвращать развитие заболеваний и оптимизировать планы лечения на основе индивидуального прогноза. Возможность интегрировать данные из различных источников, включая клиническую историю пациента и геномные данные, в процесс анализа изображений, делает RadAgent мощным инструментом для разработки индивидуальных стратегий профилактики и лечения.

Разработанный подход, демонстрируемый в системе RadAgent, обладает потенциалом для масштабного расширения за пределы компьютерной томографии. Инновационная архитектура, сочетающая в себе глубокое обучение и трехмерный анализ изображений, может быть адаптирована для обработки данных, полученных с использованием магнитно-резонансной томографии, ультразвуковых исследований и даже позитронно-эмиссионной томографии. Это открывает перспективы для создания единой платформы, способной автоматизировать анализ медицинских изображений в различных клинических областях — от онкологии и кардиологии до неврологии и травматологии. Подобная унификация не только повысит эффективность диагностики и снизит нагрузку на врачей-радиологов, но и позволит разрабатывать более точные и персонализированные стратегии лечения, основанные на комплексном анализе данных визуализации.

Набор инструментов RadAgent состоит из отдельных модулей, представленных на панелях A-I, предназначенных для решения различных задач.
Набор инструментов RadAgent состоит из отдельных модулей, представленных на панелях A-I, предназначенных для решения различных задач.

Представленная работа демонстрирует стремление к созданию алгоритмов, обладающих не только функциональностью, но и прозрачностью рассуждений. RadAgent, обучаясь стратегии использования инструментов для интерпретации КТ-сканов, подчёркивает важность доказательства корректности каждого шага анализа. Как однажды заметил Линус Торвальдс: «Если вы не пишете код, который можно было бы скомпилировать, то он бесполезен». Аналогично, RadAgent стремится к созданию чёткого и проверяемого процесса интерпретации, избегая «чёрного ящика» и предоставляя возможность отслеживать логику принятия решений, что критически важно для медицинских приложений и повышения доверия к искусственному интеллекту в радиологии.

Куда Далее?

Представленная работа, демонстрируя возможности обучения агента для последовательной интерпретации КТ-изображений, лишь слегка приоткрывает дверь в область автоматизированной радиологической диагностики. За кажущейся эффективностью алгоритмов скрывается фундаментальная проблема: воспроизводимость. До тех пор, пока логика принятия решений не будет формализована и доказана, а не просто подтверждена на тестовом наборе данных, любой агент остаётся чёрным ящиком, потенциально подверженным систематическим ошибкам. Иллюстративным примером служит проблема смещения в данных — даже незначительная предвзятость в обучающей выборке может привести к критическим последствиям в клинической практике.

Будущие исследования должны быть направлены на разработку методов верификации и валидации алгоритмов, способных гарантировать их надёжность и безопасность. Особый интерес представляет интеграция формальных методов и логического вывода в архитектуру агентов. Необходимо отойти от эмпирического подхода к обучению и перейти к созданию систем, способных не только “видеть” патологии, но и “понимать” их причины и механизмы. В конечном итоге, истинная элегантность в решении подобных задач заключается в математической чистоте, а не в простом достижении высокой точности на ограниченном наборе данных.

В хаосе данных спасает только математическая дисциплина. Перспективы развития включают создание самообучающихся агентов, способных адаптироваться к новым данным и исправлять собственные ошибки, а также разработку методов объяснимого ИИ (XAI), позволяющих врачам понимать логику принятия решений агентом. Только в этом случае можно будет говорить о создании действительно надёжного и полезного инструмента для радиологической диагностики.


Оригинал статьи: https://arxiv.org/pdf/2604.15231.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-04-18 09:01