Введение

Профилактика — одно из ключевых направлений современного здравоохранения, включающее обширную совокупность подходов, методологий, процессов, мероприятий, а также нормативно-правовую основу. В Российской Федерации профилактическая медицина представляет собой многоуровневую систему, которая включает разнообразные способы изучения состояния здоровья населения. Скрининг социально значимых заболеваний, прежде всего онкологических, сердечно-сосудистых, инфекционных (туберкулез), обеспечивает возможность эффективного лечения, вносит существенный вклад в снижение летальности и смертности. В этом контексте именно рентгенологические методы играют ключевую роль. Массовые профилактические осмотры включают проведение лучевых исследований органов грудной клетки (флюорографию (ФЛГ) или цифровую рентгенографию (РГ)) у лиц обоих полов и молочной железы (маммографию) у женщин [1—5]. В данной работе мы сосредоточили внимание на ФЛГ и РГ органов грудной клетки.

Особая и бесспорная важность профилактических исследований сочетается со значительной нагрузкой на систему здравоохранения. Неселективный скрининг подразумевает обследование всего населения, т.е. преимущественно здоровых лиц. Порядка 25,0% всех выполняемых в России лучевых исследований — профилактические, а значит абсолютное большинство их результатов не содержит признаков значимой патологии [6, 7]. Колоссальный кадровый ресурс врачей-рентгенологов занят описанием заведомо «нормальных» изображений, что представляет собой крайне рутинную, механистическую процедуру, ведущую к профессиональному выгоранию [8]. На этом фоне в лучевой диагностике сохраняется серьезный дефицит кадров [6, 9].

Еще более усугубляют ситуацию сообщения о недостаточных объемах профилактических мероприятий. Очевидно, требуется увеличение охвата населения соответствующими исследованиями, однако для этого необходимо еще большее количество и без того дефицитных кадров.

Назрела необходимость реализации нового подхода к организации массовых профилактических осмотров, который позволил бы обеспечить требуемые, в том числе нарастающие объемы исследований на фоне снижения нагрузки на систему здравоохранения (вплоть до полного устранения проблемы кадрового дефицита). Инструментом такого нового подхода может стать автоматизация на основе технологий искусственного интеллекта (ИИ) [10—12].

В настоящее время в России допущены к обращению несколько медицинских изделий, предназначенных для автоматизированного анализа результатов лучевых исследований [13—18]. С 2020 г. в Москве проводится крупнейшее в мире многоцентровое проспективное исследование применимости и качества технологий компьютерного зрения в лучевой диагностике, уже позволившее получить принципиально новые знания о реальных возможностях и ограничениях ИИ, а также перейти к системному практическому применению наиболее зрелых инструментов на его основе [19].

Такие результаты позволили сделать следующий шаг. Сформулирована следующая концепция. Лучевые профилактические исследования выполняются в колоссальных объемах, по стандартизированным протоколам сканирования, преимущественно содержат нормальные результаты. Описание таких результатов в высшей степени рутинно и требует значительных, крайне дефицитных, кадровых ресурсов. Достигнутый технологический уровень позволяет реализовать автономную сортировку. Результаты лучевых профилактических исследований анализируются медицинским изделием с ИИ и сортируются на две категории: «норма» и «не норма». Ко второй категории относятся все случаи как именно заболеваний, так и любых отклонений (возрастных изменений, вариантов развития, артефактов и т.д.). Для категории «норма» в соответствии с действующим законодательством [20] формируется электронная медицинская запись в карте пациента. Она сразу становится доступной обследованному лицу и лечащему врачу. Категория «не норма» направляется на описание врачом-рентгенологом, который выполняет интерпретацию и формирует протокол. Исходя из опубликованных данных о выявляемости социально значимых заболеваний при ФЛГ, можно говорить, что к категории «норма» потенциально будет отнесено от 40,0 до 60,0% результатов. Результатом автономной сортировки должны стать: а) устранение проблемы кадрового дефицита врачей-рентгенологов; б) возможность увеличения охвата населения профилактическими исследованиями; в) повышение доступности таких исследований; г) избавление врачей-рентгенологов от рутинных задач, приводящих к профессиональному выгоранию, и «переключение» на сложные, современные модальности; д) значительная экономия финансовых средств за счет того, что тариф на работу медицинского изделия с ИИ будет меньше, чем на работу врача-рентгенолога.

Несомненно, что столь революционный подход требует тщательного и этапного научного доказательства.

Ранее в ретроспективном формате, т.е. на размеченных наборах данных, нами показана потенциальная возможность автономной сортировки результатов ФЛГ. Доказана достижимость 100,0% чувствительности при работе медицинского изделия с ИИ, что гарантирует отсутствие пропуска отклонений на похожих выборках [21, 22].

Цель исследования — проспективно изучить безопасность и качество автономной сортировки результатов профилактических лучевых исследований в реальных клинических условиях.

Материал и методы

Дизайн: проспективное одноцентровое слепое диагностическое исследование.

Работа выполнена на базе ГБУЗ «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы» в период с 01.08.23 по 31.10.23.

Критерии включения: возраст старше 18 лет; пол мужской или женский; наличие в карте пациента направления на проведение и результатов в стандарте DICOM профилактического лучевого исследования (ФЛГ).

Критерии исключения: лучевые исследования иной модальности; ФЛГ, выполненные с диагностической целью; отсутствие подписанного информированного добровольного согласия на участие в исследовании.

В исследование включены результаты 209 497 рентгенографий/ФЛГ.

Использованы медицинские изделия на базе технологий ИИ (ИИ-сервисы) для автоматизированного анализа результатов профилактической ФЛГ (FBM, ООО «ФтизисБиоМед»; Третье мнение ФЛГ, ООО «Платформа третье мнение»; Цельс ФЛГ, ООО «Медицинские скрининг-системы»).

Все ИИ-сервисы настроены на чувствительность 1,0; значение специфичности было несущественно. Настройка ИИ-сервисов осуществлялась путем изменения порога для классификатора разработчиками ИИ-сервисов на собственной тестовой выборке. Необходимо отметить, что каждый разработчик формировал свою уникальную тестовую выборку.

ИИ-сервисы интегрированы в информационную систему в сфере здравоохранения субъекта Российской Федерации — Единый радиологический информационный сервис Единой медицинской информационно-аналитической системы г. Москвы (ЕРИС ЕМИАС). В этой же системе осуществлялась работа врачей-рентгенологов.

В соответствии с методологией STARD 2015 [23] индекс-тестом был ИИ-сервис, интегрированный в ЕРИС ЕМИАС; референс-тестом №1 — протокол, оформленный врачом-рентгенологом при проведении первичной интерпретации результатов ФЛГ; референс-тестом №2 — пересмотр результатов работы ИИ-сервиса и протокола врача квалифицированным экспертом с субспециализацией.

Ход исследования был следующим. После назначения и выполнения ФЛГ результаты исследования сохранялись в ЕРИС ЕМИАС и параллельно маршрутизировались на анализ ИИ-сервисом и описание врачом-рентгенологом. В задачи ИИ-сервиса входила сортировка результатов ФЛГ на категории «норма» и «не норма». Результаты работы ИИ были неизвестны и недоступны врачу-рентгенологу. Далее выполнено сопоставление решений ИИ-сервисов и врачей-рентгенологов о категорировании; при этом использован инструмент для автоматизированного анализа текста протоколов. Случаи с выявленными расхождениями направлялись на экспертный пересмотр.

Использованы описательная статистика, коэффициент межэкспертной согласованности каппа Коэна, критерий Пирсона (χ²). При проведении статистического анализа использовали двусторонний уровень статистической значимости 0,05.

Результаты

Проспективно за период исследования ИИ-сервисами проанализированы результаты 209 497 профилактических исследований органов грудной клетки (РГ и ФЛГ — РГ/ФЛГ), выполненных в амбулаторных условиях в медицинских организациях Департамента здравоохранения г. Москвы.

К категории «норма» при автоматизированном анализе отнесено 55,9% (117 041) случаев, к категории «не норма» — 44,1% (92 456). Подробные данные представлены в таблице.

Итоги работы сервисов искусственного интеллекта для автономной сортировки результатов профилактической рентгенографии/флюорографии

Меньше всего исследований обработал ИИ-1: 13,5% данных от общего объема. Такая ситуация обусловлена техническими ограничениями конкретного сервиса. Участие ИИ-2 и ИИ-3 было примерно в равной доле. Вместе с тем набольшее количество исследований к категории «норма» (62,8%) отнес ИИ-3, менее ¹/₂ — ИИ-2; различия были статистически значимы (p<0,001).

Для каждого случая (n=117041), отнесенного к категории «норма», проведено сопоставление решений ИИ и врача-рентгенолога, который сделал первичное описание. Полное согласие ИИ и врача-рентгенолога зафиксировано в 99,7% (116 667) случаев, расхождения отмечены в 0,3% (374) ситуаций. В целом согласованность решений ИИ и врачей-рентгенологов была высокой — коэффициент каппа Коэна составил 0,994 (95% ДИ 0,986—1,0).

Следующим шагом проведен пересмотр результатов исследований врачом-экспертом с субспециализацией (n=374) с расхождениями. Решение ИИ «норма» подтверждено экспертом в 56,7 % (212) случаях, решение врача «не норма» — в 43,3% (162). В целом согласованность всех решений была также очень высокой.

ИИ допустил неправильную сортировку в 162 случаях. Вместе с тем клинически значимая патология, упущенная ИИ, обнаружена врачом-экспертом только в 47 ситуациях. В 115 случаях эксперт отметил только рентгенологические феномены, не имеющие значения для жизни и здоровья пациента (например, консолидированные переломы, фиброз, пневмосклероз, неосложненная диафрагмальная грыжа и т.д.).

Структура клинически значимых расхождений была следующей: очаги — 76,6% (36 случаев), инфильтрация/консолидация — 8,5% (4), образование — 6,4% (3), диссеминация — 4,3% (2), пневмоторакс или расширение средостения — по 2,1% (по 1).

Таким образом, при автономной сортировке результатов профилактических лучевых исследований органов грудной клетки клинически значимое расхождение ИИ допустил в 47 случаях, что составило 0,02% от общего количества проанализированных исследований (см. рисунок). Полностью же корректно автономная сортировка выполнена в 99,92% (209 335) случаев. Для оценки ложных пропусков ИИ-сервисом воспользуемся показателем FOR — частота ложных пропусков (False Omission Rate), вычисляемым как доля ложноотрицательных случаев (47) от общего количества случаев, отнесенных к «норме» (117 041), и равным 0,04%.

Результаты анализа автономной сортировки исследований, выполненных сервисом искусственного интеллекта.

Обсуждение

Искусственный интеллект в здравоохранении активно изучается как российскими, так и зарубежными учеными. По-прежнему преобладают работы математической, а не клинической направленности; обычно они выполняются на ограниченных наборах данных, только в ретроспективных условиях, а также с игнорированием принципов доказательной медицины и принятых в сфере здравоохранения дизайнов научных работ. Вместе с тем с клинической точки зрения исследуются вопросы диагностической точности, сопоставимости решений ИИ и врача. Примечательны работы по сравнению качества разных алгоритмов. В частности, объектом исследований становятся технологии ИИ для анализа результатов ФЛГ. Отдельным направлением стал радиомический анализ, открывающий совершенно новые перспективы в дифференциальной диагностике, прежде всего онкологических заболеваний [24—27].

Общая особенность подавляющего большинства клинических научных работ в области ИИ — это рассмотрение ИИ сугубо как средства поддержки принятия врачебных решений. В этой парадигме ИИ — лишь опциональный инструмент врача, применяемый более в силу персональных профессиональных предпочтений, нежели при реальной необходимости.

Мы развиваем принципиально иной подход — технологии искусственного интеллекта должны применяться системно, для автоматизации производственных процессов. Конкретной реализацией такого подхода и служит автономная сортировка результатов профилактических лучевых исследований.

При проспективном изучении работы ИИ-сервисов нами получены чрезвычайно высокие значения точности: доля ложных отнесений результатов исследований к категории «норма» составляет 0,08%; причем клинически значимые расхождения фиксируются лишь в 0,02% ситуаций.

Но как соотносится такой результат с точностью врача, которую экзистенциально считают равной 100,0%? В реальной практике мероприятия по контролю и непрерывному улучшению безопасности и качества медицинской помощи являются постоянной и неотъемлемой составляющей деятельности учреждений здравоохранения.

Ранее предпринимались многочисленные попытки оценить точность врача-рентгенолога. В частности, установлено, что уровень чувствительности врачей-рентгенологов при анализе рентгенографий органов грудной клетки изменяется от 53,6 до 95,5% и сильно зависит от опыта врача и вида патологии [28, 29]. Полученные данные, очевидно, лежат в очень больших диапазонах. На этом фоне обеспечение чувствительности ИИ 70,0% уже может создать иллюзию технологического достижения. Однако процитированные и подобные им работы проводятся на малых или даже крайне малых выборках. Типичная группа врачей-рентгенологов не превышает 10 человек, а их стаж и профессиональный опыт крайне гетерогенны.

В целях устранения такого системного недостатка ранее нами проведено специальное исследование для объективного установления показателей точности «усредненного» врача-рентгенолога при анализе результатов профилактической ФЛГ. Суммарно выборка включала 162 специалиста и была сбалансирована по возрасту, стажу, профессиональному опыту. Полученные результаты использованы как эталон для оценки технологий ИИ [22, 30, 31]: показатель FOR для ФЛГ составил 8,6%. При этом в настоящей работе этот же показатель для ИИ-сервисов составил 0,04%.

Таким образом, автономная сортировка результатов профилактических лучевых исследований медицинским изделием на основе ИИ превышает по своей безопасности и точности усредненного врача-рентгенолога.

Более того, согласованность решений всех участников (врача-рентгенолога, выполняющего первичное описание, ИИ-сервиса, эксперта) чрезвычайно высока, так как значение каппы Коэна превышает 0,99.

Гипотеза о возможности автономной сортировки результатов профилактических лучевых исследований как основы нового подхода к организации медицинской помощи, повышению доступности и производительности профилактических мероприятий, ликвидации кадрового дефицита, экономии и более оптимального использования материально-технических ресурсов подтверждена в условиях реальной клинической практики. Следующим шагом должно стать создание ряда медицинских услуг и соответствующих тарифов. Это позволит перейти к апробированию не технологий, но уже самой новой модели организации медицинской помощи. С юридической точки зрения такая апробация может состояться в условиях экспериментального правового режима, а ее результаты станут основой для внесения предложений по развитию и актуализации законодательства Российской Федерации. Тем не менее необходим периодический мониторинг при работе в реальной клинической практике и усиленный контроль качества при подключении нового оборудования и медицинских организаций [31].

Выводы

1. Предложена новая модель организации медицинской помощи на основе автономной сортировки результатов профилактических лучевых исследований медицинским изделием на основе ИИ. Модель подразумевает автоматизированное разделение результатов ФЛГ на две категории: «норма» и «не норма». Для категории «норма» формируется электронная медицинская запись в карте пациента, которая сразу становится доступной обследованному лицу и лечащему врачу. Категория «не норма» направляется на описание врачу-рентгенологу, который выполняет интерпретацию и формирует протокол.

2. В результате проспективного слепого клинического исследования, направленного на изучение реализуемости модели, установлено следующее:

— доля дефектов ИИ (ложных отнесений результатов исследований к категории «норма») составляет 0,08%;

— частота ложных пропусков ИИ значительно ниже (0,04%), чем у врача-рентгенолога (8,6%);

— согласованность решений медицинских изделий на основе ИИ, врачей-рентгенологов, экспертов чрезвычайно высока (каппа Коэна >0,99).

3. Доказана возможность автономной сортировки результатов массовых профилактических исследований с целью повышения доступности и производительности профилактических мероприятий, ликвидации кадровых проблем в области лучевой диагностики, оптимального использования материально-технических ресурсов. Создание медицинских услуг, оказываемых с применением автономного ИИ, и соответствующих экономичных тарифов позволит принципиально реорганизовать в масштабах страны систему медицинской профилактики и получить колоссальный положительный социально-экономический эффект.

Участие авторов: концепция и дизайн исследования — Ю.А. Васильев, И.А. Тыров; сбор и обработка материала — И.М. Шулькин, К.М. Арзамасов; статистический анализ данных — А.В. Владзимирский, К.М. Арзамасов; написание текста — А.В. Владзимирский, И.М. Шулькин, К.М. Арзамасов; редактирование — Ю.А. Васильев, И.А. Тыров, А.В. Владзимирский.

Авторы заявляют об отсутствии конфликта интересов.