Регламент проведения клинических испытаний программного обеспечения с использованием технологий искусственного интеллекта в лучевой диагностике. Опыт центра диагностики и телемедицины

Согласно Национальной стратегии развития искусственного интеллекта (ИИ), изложенной в Указе Президента Российской Федерации от 10.10.2019 №490, здравоохранение является одной из приоритетных областей для внедрения и применения ИИ¹. Так, в Москве в экспериментальном режиме программное обеспечение (ПО) с ИИ стремительно внедряется в лучевую диагностику, что в основном обусловлено принятым в 2019 г. Правительством Москвы решением о проведении исследования в области лучевой диагностики², реализация которого осуществляется на базе ГБУЗ «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы» (ГБУЗ «НПКЦ ДиТ ДЗМ») [1]. Начиная с 2024 г. исследование масштабировано на регионы Российской Федерации. В связи с этим, а также учитывая тот факт, что внедрение медицинского ИИ — одно из перспективных направлений цифровой трансформации сферы здравоохранения, ожидается сохранение тенденции роста числа научных исследований, а также компаний, разрабатывающих медицинское ПО с ИИ [2—4].

В соответствии с российским законодательством ПО с ИИ является медицинским изделием (МИ) (приказ Минздрава России от 06.06.2012 №4н, методические рекомендации Росздравнадзора от 09.06.2020)³. Для его вывода в реальную клиническую практику компании-производителю необходимо провести оценку в рамках клинического исследования (КИ) с целью последующего прохождения процедуры регистрации как МИ и подтверждения его соответствия установленным требованиям в части эффективности и безопасности⁴, ⁵. Следует отметить, что, несмотря на наличие требований к проведению КИ МИ, в том числе ПО с ИИ, как на национальном, так и на международном уровне [5], нет определенных методик и единых точных рекомендаций или протоколов для оценки эффективности и безопасности программного продукта, обеспечивающих прозрачный и понятный подход к проведению КИ. Опираясь на опыт ГБУЗ «НПКЦ ДиТ ДЗМ» в выполнении тестирований и систематизируя мировой практический опыт, мы проанализировали и обосновали необходимость и возможность создания унифицированного структурированного регламента проведения КИ ПО с ИИ, который включает все перечисленные аспекты и основан на нормативно-правовом регулировании, а также основополагающих стандартах⁶, ⁷⁸, ⁹.

В статье описано создание регламента проведения КИ ПО с ИИ для лучевой диагностики на основании мирового опыта и собственного многолетнего опыта ГБУЗ «НПКЦ ДиТ ДЗМ».

Для разработки регламента изучена действующая на 2025 г. нормативно-правовая база для выявления соответствующих требований и стандартов, касающихся проведения КИ и обращения медицинских изделий. Учтен также собственный опыт центра в реализации проектов КИ ПО и опыт реализации проекта по использованию ИИ в медицинских организациях (МО) города Москвы.

Внешняя валидация является одной из форм подтверждения соответствия МИ установленным для него требованиям эффективности и безопасности, а также представляет собой заключительный этап подготовки МИ к государственной регистрации в Российской Федерации. Она должна проводиться при обязательном соблюдении действующего законодательства и регуляторных требований, касающихся всего жизненного цикла ПО и ИИ, которые, в свою очередь, могут включать директивы Европейского союза, правила надлежащей клинической практики, международные и российские стандарты. Следует отметить, что в настоящее время в Российской Федерации регистрация ПО с ИИ может осуществляться как по национальной процедуре в соответствии с приказом Минздрава России от 30.08.2021 №885н¹⁰, так и по правилам, установленным в государствах ЕАЭС, согласно Решению Совета Евразийской экономической комиссии (ЕЭК) от 12.02.2016 №29¹¹.

Начиная с 2028 г., любое новое МИ должно будет в обязательном порядке проходить регистрацию по процедуре ЕАЭС [6].

Вне зависимости от режима регистрации этапы испытаний остаются неизменными, при этом требуется подтверждение клинической связи, проведение аналитической и клинической валидации согласно ГОСТ 59921.1—2022¹². В качестве субъекта исследования должен выступать верифицированный набор данных (НД) согласно ГОСТ Р 59921.5—2022¹³, который может быть предоставлен как производителем, так и медицинской организацией, выполняющей внешнюю валидацию. Важно, чтобы НД не был использован ранее для обучения ПО с ИИ.

Определенные требования при обоих режимах регистрации МИ предъявляются и к МО, проводящей тестирование, которая помимо иных условий должна иметь утвержденные стандартные операционные процедуры (СОП). Они включают соблюдение принципов надлежащей клинической практики, которые изложены в соответствующем руководстве по GCP¹⁴, а также в ГОСТ Р ИСО 14155—2022¹⁵. Вместе с тем для повышения качества проведения испытаний важно следовать международным рекомендациям для ПО с ИИ, представленным в руководствах SPIRIT-AI [5] и CONSORT-AI [7], специально разработанных для формирования документов по КИ ПО с ИИ.

Перечисленные выше условия подчеркивают, что качественное проведение КИ требует учета многих факторов, принимая во внимание инновационность и технологичность ПО с ИИ, а также его принадлежность к МИ. Наличие необходимого оборудования, мультидисциплинарной команды, способной оказать поддержку на всех этапах, опытной медицинской экспертной оценки от врачей, а также соблюдение баланса между нормативными правовыми актами и требованиями к тестированию и валидации технических программных средств — непременные условия качественного проведения клинических испытаний, которых придерживается ГБУЗ «НПКЦ ДиТ ДЗМ».

Регламент проведения КИ представляет собой пошаговые инструкции и схемы для реализации этапов КИ, которые можно разделить на две группы: подготовительные этапы, включающие процессы до начала тестирования, и этапы непосредственного проведения самого испытания. На рис. 1 показана общая схема этапов КИ. Следует учесть, что мониторинги, которые проводятся на протяжении всего исследования параллельно с другими этапами, не включены в данную схему, но будут подробно описаны далее в статье. При этом финансовые этапы, в том числе предварительного формирования коммерческого предложения, а также подписания финальных финансовых документов, не будут рассмотрены в рамках данной статьи.

Рис. 1. Общая схема этапов проведения клинического исследования.

КИ — клиническое исследование; ЭК — этический комитет; ПО — программное обеспечение.

В ходе этого этапа экспертами рассматриваются шаблонное заявление и документация на ПО с ИИ, предоставленные производителем (заказчиком), с целью определения возможности проведения КИ на базе МО¹⁶. Эксперт определяет соответствие полученного комплекта документов требованиям приказа Минздрава России от 30.08.2021 №885н (в случае следования национальному законодательству) или Решению Совета ЕЭК от 12.02.2016 №29 и составляет справку с пояснением относительно возможности или невозможности проведения КИ. После согласования проекта с руководством МО научные сотрудники разрабатывают проект дизайна КИ, производят предварительный расчет объема НД, инженеры оценивают техническую готовность. Результатом этапа является сформированная справка с первоначальным дизайном, рассчитанным объемом выборки и общей информацией о ПО с ИИ для последующего составления коммерческого предложения.

В случае подписания коммерческого предложения формируется проект договора о проведении КИ, который согласовывается со всеми ответственными сотрудниками со стороны МО, а также с заказчиком. Итоговый документ подписывают руководитель МО и заказчик. В соответствии с условиями договора на данном этапе может быть выставлен счет на предоплату сотрудниками бухгалтерии, которые осуществляют контроль процесса оплаты.

Следующий этап после подписания договора — формирование приказа о проведении КИ. Первоначально подготавливается предложение о составе исследовательского коллектива, формируемого с учетом компетентности участников в конкретной области исследования. С этой целью проводится оценка уровня квалификации главного исследователя (ГИ) и других членов команды в соответствии с требованиями, регламентированными СОП «Квалификационные требования и порядок обучения персонала». Такая процедура является одним из обязательных условий для включения МО в перечень организаций, имеющих право проводить КИ МИ в соответствии с Решением Совета ЕЭК от 12.02.2016 №29¹⁷. В ГБУЗ «НПКЦ ДиТ ДЗМ» для проведения испытаний привлекается мультидисциплинарная команда, состоящая из опытных врачей-экспертов, инженеров, научных сотрудников, статистиков. На данном этапе также важно уделить внимание выявлению возможного конфликта интересов между ГИ и соисследователями. В заключение состав исследовательского коллектива согласовывается со всеми ответственными сторонами и утверждается приказом руководителя МО на проведение КИ.

Ответственные сотрудники отдела информационных технологий совместно с заказчиком выполняют инсталляцию ПО, а также, при необходимости, оказывают техническую поддержку и консультации во время всех этапов проведения испытаний. По завершении КИ после подписания акта КИ/отчета о КИ руководителем МО аналогично выполняется деинсталляция ПО совместно с заказчиком согласно его инструкциям.

За установкой ПО следует один из важных и трудоемких этапов — подготовка, согласование и утверждение программы КИ. В соответствии с законодательством Российской Федерации программа КИ разрабатывается сотрудниками МО совместно с производителем на основании предоставленной им документации¹⁸. При формировании программы исследователи действуют согласно методическим рекомендациям по КИ систем ИИ [8] и требованиям к содержанию программы КИ, закрепленным в Решении Совета ЕЭК от 12.02.2016 №29¹⁹, а также в ГОСТ Р ИСО 14155-2022²⁰. При этом в ГБУЗ «НПКЦ ДиТ ДЗМ» имеется собственная СОП «Порядок проведения клинических испытаний», процедуры которой удовлетворяют требованиям законодательства. Программа КИ состоит двух частей: описание МИ и дизайн КИ. Важность составления дизайна требует привлечения всей мультидисциплинарной команды в составе научных сотрудников, статистиков, экспертов и врачей.

После формирования программы КИ происходит ее согласование с группой ГИ, руководством МО, затем с производителем, после чего она подписывается обеими сторонами. Результатом является согласованная и утвержденная программа КИ. Схема этапа представлена на рис. 2.

Рис. 2. Программа клинического исследования.

КИ — клиническое исследование; МО — медицинская организация; ТЗ — техническое задание.

Обозначенный этап является приоритетным с точки зрения соблюдения этических норм при проведении КИ. Несмотря на то, что с позиции национального законодательства получение одобрения центрального регуляторного органа для возможности проведения КИ ПО с ИИ не является обязательным условием, выполнение этической экспертизы имеет ключевое значение для формирования доверия к таким программным продуктам и соблюдения принципов надлежащей клинической практики²¹, ²². С этой целью после утверждения программы КИ главный исследователь предоставляет в этический комитет пакет документов для прохождения этической экспертизы. В соответствующие сроки этический комитет выдает заключение в письменном виде, и в случае положительного решения ГИ имеет право начинать КИ. Любые изменения, вносимые в программу КИ, либо замена ГИ должны быть одобрены ЭК и оформлены в виде дополнений к программе КИ.

Проведение испытаний начинается непосредственно с создания НД, при этом важно обеспечить строгое соответствие этого процесса требованиям Федерального закона от 27.07.2006 №152-ФЗ²³. Помимо нормативных указаний при формировании НД исследователи неукоснительно следуют методическим рекомендациям по регламенту подготовки НД [9], а также ГОСТ Р 59921.5—2022²⁴ и ГОСТ Р 71674—2024²⁵. К процессу привлекаются научные сотрудники, врачи-рентгенологи, медицинские статистики, а также эксперты — опытные врачи-рентгенологи²⁶. Отличительной особенностью создания НД в ГБУЗ «НПКЦ ДиТ ДЗМ» является наличие доступа к большому объему исходных данных, находящихся в Едином радиологическом информационном сервисе Единой медицинской информационно-аналитической системы города Москвы (ЕРИС ЕМИАС).

На данном этапе проводится отбор исследований из общего НД. Объем выборки определяется функциональными возможностями ПО с ИИ. В ходе аналитической валидации осуществляется оценка способности программного обеспечения точно и надежно генерировать выходные данные по результату вычислений. На основании полученных данных формируется протокол аналитической валидации в части соответствия/несоответствия заявляемых возможностей результатам работы ПО.

Следующий этап имеет целью подтверждение способности ПО с ИИ правильно и надежно обрабатывать входные данные и выдавать клинически значимые выходные данные, связанные с целевым использованием ПО с ИИ в рамках установленного производителем функционального назначения²⁷, ²⁸, ²⁹, ³⁰. Группой ГИ проводится тестирование МИ на верифицированном НД, определяется клиническая значимость полученных результатов, рассчитываются показатели эффективности (метрики), в том числе с использованием разработанного ПО [10]. На основании проведенной клинической валидации делается вывод об эффективности МИ в целом. Формируется итоговая таблица с результатами тестирования. Схема этапа представлена на рис. 3.

Рис. 3. Клиническая валидация.

ПО — программное обеспечение.

После проведения тестирования следует этап формирования проектов отчетных документов, в которых отражены результаты, основанные на критической оценке всех полученных данных, в том числе негативных. Содержание документов определяется действующими нормативно-правовыми актами. Так, для КИ, проводимых в соответствии с правилами ЕАЭС, формируется отчет о КИ, тогда как для КИ по национальному законодательству — акт КИ с приложениями, включающими протокол КИ, обобщающие таблицы результатов со статистической обработкой. Важно, что отчетные документы ГБУЗ «НПКЦ ДиТ ДЗМ» включают уникальную форму для анонимизированного и верифицированного НД, которая разработана на основе опыта проведения КИ ПО с ИИ.

После подготовки проектов протокола и акта КИ/отчета о КИ документы передаются научным сотрудникам и медицинскому статистику для внесения дополнений. Затем они согласуются с ответственными сотрудниками группы ГИ, руководителями соответствующих подразделений и подписываются директором ГБУЗ «НПКЦ ДиТ ДЗМ». Каждый документ оформляется на бумажном носителе в трех экземплярах, два из которых передаются производителю для дальнейшего прохождения процедур регистрации МИ.

На протяжении КИ параллельно другим этапам осуществляется их мониторинг специалистом по КИ (монитором) со стороны производителя медицинского изделия. Монитор обеспечивает проверку хода КИ, достоверность полученных данных и выступает лицом, гарантирующим соблюдение этических принципов. Выполнение мониторинга должно осуществляться в соответствии с его планом, утверждаемым в составе программы КИ. Количество мониторинговых визитов может отличаться в зависимости от дизайна и длительности испытаний. При этом первичный мониторинг целесообразно проводить в течение 10 рабочих дней после подписания приказа на КИ, а периодические визиты необходимо выполнять до момента завершения исполнения программы КИ и деинсталляции ПО с ИИ. Таким образом, проводятся следующие визиты:

— 1-й мониторинг для оценки персональной готовности исследователей, проверки их автобиографий, документации, подтверждающей компетенцию членов исследовательской команды;

— 2-й мониторинг, во время которого проверяется и оценивается наличие одобрения ЭК программы КИ, обеспечение исследователей программой КИ, документацией производителя, готовность инсталлированного ПО к работе;

— 3-й мониторинг для проверки процедур по формированию верифицированного НД, обработке данных экспертами и оценке деидентификации персональных данных пациентов и их хранения;

— 4-й мониторинг для проверки работоспособности ПО с ИИ согласно документации производителя;

— 5-й мониторинг (заключительный) для проверки соответствия акта КИ и прилагаемых материалов установленным требованиям, оценки правильности формулирования выводов.

По результатам каждого визита представляется отчет о мониторинге с замечаниями (при наличии), которые должны быть своевременно устранены ГИ и исследовательской командой.

В соответствии с действующим законодательством по завершении испытаний материалы КИ и НД архивируются с соблюдением требуемых сроков хранения³¹, ³². В ГБУЗ «НПКЦ ДиТ ДЗМ» документация по КИ хранится как в бумажном, так и в электронном виде и может быть в любой момент предоставлена по запросу регуляторных органов.

Активное внедрение ПО с ИИ в здравоохранении — относительно новое явление. Технологии ИИ в медицине динамично развиваются и, несомненно, имеют высокий потенциал для улучшения диагностики, построения прогностических моделей, снижения нагрузки на врачей и повышения качества медицинской помощи не только в лучевой диагностике, но и в других областях [11—13].

Для КИ ПО с ИИ в настоящее время разработаны рекомендации по содержанию протокола и отчета о КИ, в частности SPIRIT-AI [5, 14] и CONSORT-AI [7], но нет единых методик проведения тестирования как в России, так и в мире. Одновременно с этим продолжают претерпевать изменения как нормативно-правовая база в данной области, так и стандарты, применяемые в здравоохранении Российской Федерации. В контексте разработки регламента, описанного в статье, вместе с мировым практическим опытом учтен опыт реализации проектов КИ ПО с ИИ в лучевой диагностике, проводимых в ГБУЗ «НПКЦ ДиТ ДЗМ», а также проекта по использованию ИИ в МО города Москвы на основе данных из ЕРИС ЕМИАС. Апробация регламента с применением данных московского региона выполнена в рамках КИ, ее результаты будут опубликованы в отдельных статьях.

Применение собственного практического опыта позволило создать комплексный подход к разработке унифицированного регламента этапов проведения КИ ПО с ИИ в лучевой диагностике и реализовать его на высоком уровне. Регламент соответствует установленным законодательно требованиям, стандартам проведения КИ³³, ³⁴, ³⁵, правилам надлежащей клинической практики, международным рекомендациям International Medical Device Regulators Forum (IMDRF) и при этом учитывает специфику осуществления внешней валидации для медицинского ИИ в лучевой диагностике.

Отличительными особенностями регламента являются наличие пошаговых инструкций и схем всех этапов КИ, четкое распределение ролей и функций участников процесса, подробные требования к выполнению регламента, в том числе законодательно обоснованные. При этом реализация каждого из этапов необходима для оценки безопасности и эффективности ПО с ИИ, что может быть применено как элемент системы менеджмента качества при проведении испытаний для лучевой диагностики.

Отдельно следует отметить ценность данного регламента при его дальнейшем распространении и практическом применении в качестве Московского стандарта для оценки разработок ИИ в сфере лучевой диагностики. Это позволит другим МО Москвы, а затем и Московской области использовать его в своей практике.

Разработанный регламент относится к области лучевой диагностики, однако его основы, при условии внесения необходимых корректировок и доработки отдельных этапов, могут быть применимы при проведении испытаний программного обеспечения в других областях клинической медицины с учетом их особенностей.

Представлен структурированный регламент этапов проведения клинического исследования программного обеспечения с искусственным интеллектом в лучевой диагностике, в рамках выполнения которого оцениваются безопасность, эффективность и качество программного обеспечения. Первоначально предложенный как московский стандарт для оценки разработок на основе искусственного интеллекта и проведения клинического исследования в указанной сфере, он имеет потенциал для регионального внедрения в Российской Федерации благодаря универсальности подходов к проведению таких испытаний. Предлагаемый регламент обеспечит единые стандарты к проведению клинического исследования программного обеспечения с искусственным интеллектом в области лучевой диагностики. Стандартизация проведения этапов клинического исследования, в свою очередь, способствует автоматизации процессов, повышению прозрачности и обеспечению единообразной интерпретации результатов, тем самым снижая риск вероятности пропусков и ошибок со стороны исполнителей. Это дает возможность качественного проведения клинического исследования, следствием чего является вывод безопасного и эффективного продукта на рынок. Внедрение такого программного обеспечения с искусственным интеллектом может повысить уровень доверия к инновационным системам у врачей и пациентов и в результате оказать непосредственное благоприятное влияние на жизнь и здоровье людей, и отрасль здравоохранения в целом.

Участие авторов:

Концепция и дизайн исследования — Омелянская О.В.

Сбор и обработка материала — Зинченко В.В., Третьякова Е.В.,

Статистическая обработка — Заюнчковский С.Ю., Петров Е.А.

Написание текста —Третьякова Е.В., Зинченко В.В.

Редактирование — Васильев Ю.А., Владзимирский А.В., Омелянская О.В.

Авторы заявляют об отсутствии конфликта интересов.

¹Указ Президента Российской Федерации от 10 октября 2019 г. №490 «О развитии искусственного интеллекта в Российской Федерации».

² Приказ Департамента здравоохранения города Москвы от 09.02.2024 №89 «Об утверждении порядка и условий дальнейшего проведения эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения этих технологий в системе здравоохранения».

³Приказ Министерства здравоохранения Российской Федерации №4н от 06.06.2012 «Об утверждении номенклатурной классификации медицинских изделий».

⁴ГОСТ Р 59921.1—2022. Системы искусственного интеллекта в клинической медицине. Часть 1. Клиническая оценка.

⁵ ГОСТ Р 59921.7—2022. Системы искусственного интеллекта в клинической медицине. Алгоритмы анализа медицинских изображений. Методы испытаний. Общие требования.

⁶ ГОСТ Р 59921.7—2022.

⁷ГОСТ Р 59921.5—2022. Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов.

⁸ПНСТ 872—2023. Системы поддержки принятия врачебных решений с применением искусственного интеллекта. Методы клинических испытаний.

⁹ПНСТ 873—2023. Системы искусственного интеллекта в лучевой диагностике. Основные положения.

¹⁰ Приказ Министерства здравоохранения Российской Федерации от 30.08.2021 №885н «Об утверждении порядка проведения оценки соответствия медицинских изделий в форме технических испытаний, токсикологических исследований, клинических испытаний в целях государственной регистрации медицинских изделий».

¹¹ Решение Совета Евразийской экономической комиссии от 12.02.2016 №29 «О правилах проведения клинических и клинико-лабораторных испытаний (исследований) медицинских изделий».

¹² ГОСТ Р 59921.1—2022.

¹³ГОСТ Р 59921.5—2022.

¹⁴ICH Harmonized guideline: Guideline for Good Clinical Practice E6 (R3).

¹⁵ ГОСТ Р ИСО 14155—2022. Клинические исследования медицинских изделий, проводимые с участием человека в качестве субъекта. Надлежащая клиническая практика.

¹⁶ГОСТ Р 59921.6—2021. Системы искусственного интеллекта в клинической медицине. Часть 6. Общие требования к эксплуатации.

¹⁷ Решение Совета Евразийской экономической комиссии от 12.02.2016 №29 «О правилах проведения клинических и клинико-лабораторных испытаний (исследований) медицинских изделий».

¹⁸Приказ Министерства здравоохранения Российской Федерации от 30.08.2021 №885н «Об утверждении порядка проведения оценки соответствия медицинских изделий в форме технических испытаний, токсикологических исследований, клинических испытаний в целях государственной регистрации медицинских изделий».

¹⁹Решение Совета Евразийской экономической комиссии от 12.02.2016 №29 «О правилах проведения клинических и клинико-лабораторных испытаний (исследований) медицинских изделий».

²⁰ГОСТ Р ИСО 14155—2022.

²¹ГОСТ Р ИСО 14155—2022.

²²ПНСТ 961—2024. Системы искусственного интеллекта в здравоохранении. Этические аспекты. https://www.standards.ru/document/7583265.aspx

²³ Федеральный закон от 27.07.2006 №152-ФЗ «О персональных данных».

²⁴ГОСТ Р 59921.5—2022.

²⁵ГОСТ Р 71674—2024. Системы искусственного интеллекта в клинической медицине. Набор данных в формате DICOM для тестирования алгоритмов. Методы обезличивания набора данных и контроля набора данных на отсутствие персональных данных.

²⁶ГОСТ Р 71673—2024. Системы искусственного интеллекта в лучевой диагностике. Алгоритмы анализа медицинских изображений. Методы испытаний на определение точности измерений.

²⁷ ГОСТ Р 59921.7—2022.

²⁸ГОСТ Р 59921.6—2021.

²⁹ГОСТ Р 71673—2024.

³⁰ГОСТ Р 59921.4—2021. Системы искусственного интеллекта в клинической медицине. Часть 4. Оценка и контроль эксплуатационных параметров.

³¹Федеральный закон от 22 октября 2004 г. №125-ФЗ «Об архивном деле в Российской Федерации».

³² Приказ Министерства здравоохранения Российской Федерации №408 от 03 августа 2023 «Об утверждении перечня документов, образующихся в результате деятельности Министерства здравоохранения Российской Федерации и подведомственных ему организаций, с указанием сроков хранения».

³³ГОСТ Р 59921.1—2022.5.

³⁴ГОСТ Р 71674—2024.

³⁵ IMDRF/SaMD WG/N41FINAL:2017. Software as a Medical Device (SaMD); Clinical Evaluation.