Введение
Хронические заболевания вен (ХЗВ) широко распространены в различных географических регионах мира и, часто оставаясь недиагностированными, могут прогрессировать с развитием хронической венозной недостаточности (ХВН). Осложненные формы ХЗВ ассоциируются с необходимостью в длительном, трудоемком и дорогостоящем лечении [1].
Клинические проявления ХЗВ включают телеангиэктазии, варикозно расширенные подкожные вены, ощущения утомляемости, тяжести, отечности и боли в икрах, отеки, трофические изменения кожи, в том числе язвы. В связи с многообразием и индивидуальной изменчивостью симптоматики установление правильного диагноза принципиально значимо для как можно более раннего начала адекватного лечения [2]. С другой стороны, многие пациенты, особенно на ранних стадиях ХЗВ, откладывают визит к врачу. Это приводит к прогрессированию заболеванию, развитию осложнений, в том числе наружных кровотечений, язв, венозного тромбоза.
Технологии на основе искусственного интеллекта (ИИ) или нейронных сетей (НС) стали одной из перспективных областей научных разработок, находящих применение в практическом здравоохранении как для скрининга, так и для диагностики заболеваний. Внедрение ИИ в практику стало возможными благодаря высокой эффективности в анализе больших массивов данных [3]. Использование ИИ с возможностью машинного обучения в анализе изображений с последующим заключением о вероятности наличия патологии демонстрирует впечатляющие результаты. Диагностические инструменты на основе ИИ продемонстрировали сопоставимую заключениями медицинских работников точность при анализе изображений и установлении диагноза, в том числе при заболеваниях вен [4, 5].
Современное здравоохранение опирается на принципы доказательной медицины. Скрининговые и диагностические тесты не являются исключением. Но часто врачи не уделяют достаточно внимания валидированности назначаемых ими тестов, что может сопровождаться диагностическими ошибками [6]. Недостаточная точность может приводить к необоснованному повышению затрат, а также к назначению ненужного или малоэффективного лечения [6]. Это определяет значимость использования как в практике врача, так и на популяционном уровне, тестов с доказанной высокой точностью. Основными наиболее ценными характеристиками, позволяющими получить представление о точности теста, служат его чувствительность (Sn) и специфичность (Sp) [7].
В настоящее время опубликовано лишь незначительное число работ, посвященных возможностям ИИ и НС при ХЗВ [5]. Вместе с тем в силу широкой распространенности этой патологии многие пациенты, если не большинство, обращаются к врачам первичного звена здравоохранения либо вообще не обращаются за медицинской помощью, особенно при неосложненном течении ХЗВ, поэтому так важно создавать инструменты на основе ИИ, которые бы помогали выявлять признаки ХЗВ, акцентируя внимание пациентов на наличии проблемы.
Цель исследования — оценка точности приложения на основе ИИ для выявления симптомов классов C1 и C2 ХЗВ на основе анализа фотографий нижних конечностей.
Материал и методы
Проведено многоцентровое обсервационное поперечное исследование в период с декабря 2022 по июнь 2023 г. в клиниках разных регионов России. В исследовании приняли участие 23 флеболога, каждый из которых должен был включить 20 пациентов.
Когорта пациентов
В исследование включали пациентов, обратившихся за консультацией к флебологу, с подозрением на ХЗВ, в соответствии с порядком распределения по клиническим классам и расчетом необходимого размера выборки (см. ниже). Распределение больных на каждого врача было следующим:
— 6 пациентов с ХЗВ класса C1;
— 4 пациента с ХЗВ класса C2;
— 2 пациента с ХЗВ другого класса, кроме C1 и C2 (т.е. C4—C6);
— 8 пациентов с ХЗВ класса C0s или патологическими изменениями кожи нижних конечностей другой этиологии, кроме ХЗВ.
Критерии включения: возраст старше 18 лет; письменное информированное согласие; наличие симптомов ХЗВ или любого другого патологического изменения кожного покрова нижних конечностей, по поводу которых пациент обратился за консультацией к флебологу; соответствие смартфона, использованного флебологом для получения изображений, и фотографий техническим требованиям.
Критерии невключения: наличие у пациента умственного/психического расстройства, не позволяющего понять цель исследования и предоставить письменное согласие на участие в нем.
Определение диагноза и получение изображений для анализа
Заключение о наличии ХЗВ и клиническом классе делал флеболог на основании результатов осмотра и ультразвукового исследования в соответствии со своей повседневной клинической практикой. Данные вносили в специально разработанную электронную индивидуальную регистрационную карту (ЭИРК).
По завершении клинического обследования врач делал одну фотографию участка нижней конечности либо с телеангиэктазами (у пациентов с C1), либо с варикозным расширением вен (у пациентов с C2), либо участка без объективных симптомов ХЗВ, либо с патологическими изменениями кожного покрова не венозного происхождения. Если у пациента одновременно выявляли симптомы классов C1 и C2, а также ХЗВ других классов, флеболог самостоятельно решал, какой участок поражения зафиксировать фотографией в соответствии с заданным распределением больных для включения в исследование. У пациента без ХЗВ, а также у пациента с любыми другими патологическими изменениями кожного покрова, врач делал одну фотографию соответствующего участка нижней конечности. Полученные фотографии затем загружали в облачное хранилище. Каждая загруженная фотография была лишена персональных данных и имела уникальный идентификационный код (ID), присвоенный пациенту. В ЭИРК врач вносил заключение о наличии или отсутствии на фотографии симптомов C1 или C2.
Оценка изображений с помощью приложения на основе искусственного интеллекта
Для оценки изображений использовали приложение AIVARIX — инструмент на основе ИИ, разработанный российской группой флебологов в содружестве с IT-специалистами. Этот инструмент позволяет выявлять объективные симптомы ХЗВ для более раннего обращения к врачу и получения лечения. После набора необходимого количества пациентов и загрузки всех изображений в облачное хранилище фотографии были проанализированы приложением. Флебологи, участвовавшие в исследовании, не имели непосредственного доступа к приложению и, соответственно, не знали о сделанном им заключении о характере патологии.
По каждой фотографии приложение делало заключение о возможном наличии или отсутствии ХЗВ класса C1 или C2, которое затем сравнивали с заключением врача-исследователя.
Статистический анализ
Описательные данные представлены в виде абсолютных и относительных единиц, среднего с указанием первого и третьего квартилей.
Основными характеристиками, позволяющими оценить точность приложения в распознавании у пациента классов C1 и C2, служат чувствительность и специфичность, расчет которых проводили с использованием двухфакторной таблицы [8]. Для расчета чувствительности и специфичности приложения AIVARIX, выданные им заключения о вероятности наличия у пациента симптомов C1 или C2 по каждому пациенту сопоставляли с диагностическим заключением врача, полученным на основании объективного осмотра и/или инструментального обследования нижних конечностей пациента. Обе указанные величины были первичными переменными в исследовании. Их рассчитывали отдельно для классов C1 и C2. Вычисление (для представления в процентах) производили следующим образом:
чувствительность = [a/(a + c)]∙100;
специфичность = [d/(b + d)]∙100,
где: a — число истинно-положительных случаев наличия C1 или C2; b — число ложноположительный случаев наличия C1 или C2; c — число ложноположительных случаев C1 или C2; d — число истинно отрицательных случаев наличия C1 или C2 классов по CEAP.
Для расчета 95% доверительных интервалов (ДИ) как для чувствительности, так и для специфичности использовали метод Клоппера—Пирсона или Агрести—Кулла. Принимая во внимание высокую распространенность классов C1 и C2 в общей популяции и целесообразность использования приложения AIVARIX в первую очередь для выявления симптомов заболевания в общей популяции, приемлемый уровень чувствительности должен соответствовать величине около 80%, а приемлемая специфичность — 70% или выше [9, 10]. Неприемлемый уровень как чувствительности, так и специфичности был установлен равным 60% и менее.
В качестве дополнительных вторичных переменных производили расчет прогностической ценности положительного (PPV) или отрицательного (NPV) результатов, а также отношения правдоподобия положительного (LR+) или отрицательного (LR–) результатов, выданных приложением. Степень согласованности врачебного заключения в отношении заключения приложения устанавливали путем расчета κ-коэффициента Коэна и процента соответствия. Величина κ-коэффициента от 0,61 до 0,80 соответствовала значительной, а от 0,81 до 1,00 — практически совершенной согласованности между врачом и приложением. О недостаточной согласованности говорили при величине κ ≤0,40 [11].
Принимая во внимание зависимость точности приложения от распространенности в общей популяции той патологии, симптомы которой оно обучено выявлять, представлялось важным дополнительно оценить вероятность наличия у пациента соответствующей патологии при положительном заключении приложения, которая рассчитывалась на основании теоремы Байеса [12]. Расчет указанной вероятности проводили по формуле:
P = (Sn∙Pr) / (Sn ∙ Pr + [1 — Sp]∙[1 – Pr]),
где: Pr — распространенность класса C1 или C2; Sn и Sp — чувствительность и специфичность приложения в отношении симптомов C1 или C2.
Согласно отечественным и международным эпидемиологическим данным [13, 14], доли C1 и C2 в структуре ХЗВ составляют порядка 30 и 20% соответственно, что и учитывали при расчете вероятности по Байесу.
Расчет и обоснование выборки пациентов
При расчете необходимого числа пациентов учитывали два основных параметра, влияющих на размер выборки: распространенность истинно положительных случаев заболевания в популяции исследования (распространенность заболевания) и величину чувствительности и специфичности приложения AIVARIX, которая считалась бы приемлемой. Распространенность ХЗВ в общей популяции Российской Федерации приняли соответствующей данным кросс-секционного эпидемиологического исследования [13], согласно которым показатель составил 69,3%. Данные этой же публикации были приняты в расчет при оценке структуры и распределения классов ХЗВ по CEAP, согласно которым, на долю C1 и C2 классов приходилось порядка 34 и 21% пациентов. Российские данные согласуются с рядом международных эпидемиологических исследований и, в частности, с данными систематического обзора и объединенного анализа данных по распространенности классов ХЗВ [14], в котором показано, что на долю C1 и C2 приходится 26 и 19%, соответственно. Основываясь на указанных данных, было сделано предположение, что суммарно на классы C1 и C2 ХЗВ приходится порядка 50% всех случаев заболевания, а соотношение между C2 и C1 описывается как 2:3. Таким образом, оставшиеся 50% популяции приходится на пациентов с ХЗВ, в которой у пациентов могут отсутствовать объективные симптомы заболевания (класс C0), либо наоборот, присутствовать (классы C3—C6). Принимая во внимание данные по распространенности заболевания и распределение классов внутри нозологии, а также установленный нами приемлемый уровень чувствительности приложения в 80%, а специфичности — в 70%, для обеспечения 80% статистической мощности (значение ошибки 2 рода — 0,2) проводимого анализа и установленный пороговый величины значимости отличий менее 5% (значение ошибки первого рода, α<0,05) необходимое число пациентов для включения в исследование составило 372. Итоговое число с учетом возможного из исследования выбывания 10% пациентов составило не менее 413. При этом распределение между классами ХЗВ по CEAP, необходимое для корректной валидации приложения, согласно расчетам, выглядело следующим образом: половина пациентов для анализа изображений должна быть только с признаками C1 и C2 классов (n=207, при этом 3/5 — C1 (n=124), и 2/5 — C2 (n=83)). Оставшаяся половина пациентов для анализа изображений должна представлять популяцию либо с отсутствием объективных признаков ХЗВ (C0 или же без патологии), либо с признаками, указывающими на C3—C6 классы ХЗВ, в соотношении 4:1 (166 и 41 пациент соответственно).
Регистрация протокола исследования
Протокол исследования был одобрен Межвузовским комитетом по этике (№10 от 20.10.22) и зарегистрирован на платформе ClinicalTrials.gov, идентификатор NCT05612217.
Результаты
Число пациентов, включенных в исследование, составило 433, из них было 332 (76,7%) женщины и 101 (23,3%) мужчина. Средний возраст составил 46,0 (37,0—60,0) лет, средний индекс массы тела — 25,5 (22,5—28,0) кг/м2. Доли пациентов с классами C0S, C1, C2, C3—6 и без симптомов ХЗВ составили: 30,5% (n=132), 29,8% (n=129), 21,2% (n=92), 9,7% (n=42) и 8,8% (n=38) соответственно.
Чувствительность приложения AIVARIX в обнаружении симптомов, указывающих на ХЗВ класса C1 (полная выборка для анализа, 433 пациента, общее число истинно положительных случаев 129) составила 75,19% (95% ДИ 66,82—82,37); специфичность составила 86,51% (95% ДИ 82,15—90,14). PPV и NPV составили соответственно: 70,29% (95% ДИ 61,92—77,76) и 89,15% (95% ДИ 85,03—92,46). Вероятность выявления заболевания по теореме Байеса составила 70,5%.
Чувствительность приложения в обнаружении симптомов, указывающих на ХЗВ класса C2 (полная выборка для анализа, 433 пациента, общее число истинно положительных случаев 92), составила 93,48% (95% ДИ 86,34—97,57); специфичность составила 82,7% (95% ДИ 78,26—86,56). PPV и NPV составили 59,31% (95% ДИ 50,85—67,38) и 97,92% (95% ДИ 95,52—99,23) соответственно. Вероятность выявления заболевания по теореме Байеса составила 57,5%.
Согласованность заключений, сделанных приложением на основе анализа фотографий и врачом-флебологом на основании объективных методов обследования пациента, составила для популяции, включенной в анализ, 74,6%, тогда как величина каппы Коена составила 0,62, что свидетельствует о значительной согласованности заключений врача и приложения на основе ИИ.
Обсуждение
Нами проведено проспективное исследование по оценке возможностей приложения на основе ИИ в выявлении симптомов ХЗВ. Мы сравнили точность приложения AIVARIX в определении признаков клинических классов C1 и C2 ХЗВ в сравнении с заключениями, выполненными специалистами по венозной патологии.
Чувствительность и специфичность приложения для класса C1 составили 75,2 и 86,5%, для класса C2 — 93,5 и 82,7% соответственно, при значительной согласованности заключений врачей и приложения (каппа Коена 0,62).
Применение ИИ в ведении пациентов с сосудистыми заболеваниями — активно развивающееся направление в последние годы. Существуют примеры использования ИИ для оценки морфологии аорты и бляшек при компьютерной томографии [15], для диагностики тромбоэмболии легочной артерии [16, 17], для оценки рисков тромбоза глубоких вен [18], при диагностике венозных заболеваний с помощью пассивной микроволновой радиометрии [19], для мониторинга изменений диабетической стопы посредством приложения FootSnap (требует оценки чувствительности и специфичности) [20]. Машинное обучение под наблюдением человека использовали для разработки инструмента классификации тяжести ХВН на основе фотографий, который продемонстрировал высокую точность [21]. Данный инструмент предназначен для помощи врачу и способствует повышению точности классификации тяжести ХВН, но не предназначен для использования пациентами для выявления признаков заболевания. Другой инструмент оценивает фотографии для целей классификации венозных язв [22].
В доступной нам литературе мы не обнаружили описания инструментов на основе ИИ с подтвержденной высокой чувствительностью и специфичностью, которые бы, как и приложение AIVARIX, оценивали наличие ХЗВ ранних стадий на основе признаков, выявленных на фотографии, и могли бы в том числе использоваться пациентом. Таким образом, мы можем говорить об актуальности приложения и его отличии от других инструментов на основе ИИ.
Полученные результаты, характеризующие точность приложения AIVARIX, необходимо оценивать критически. В этом ключе представляет интерес проанализировать полученные результаты с точки зрения оценки размера продемонстрированного эффекта, оценки полученных доверительных интервалов для таких ключевых показателей точности приложения как чувствительность и специфичность, а также критически оценить прогностическую ценность положительного (PPV) или отрицательного (NPV) результатов теста [8, 12, 23].
С точки зрения продемонстрированного размера эффекта, необходимо принимать во внимание, что тест считается полезным, если сумма чувствительности и специфичности составляет как минимум 1,5 (середина между 1, которая указывает на низкую применимость теста, и 2, указывающей на превосходную точность и применимость теста в практике) [9]. В нашем случае для C1 сумма Sn и Sp составила 1,62, а для C2 — 1,76, что, согласно озвученному выше правилу, позволяет говорить о практической ценности использования приложения AIVARIX для выявления признаков ХЗВ.
С другой стороны, наиболее интуитивно понятными параметрами для интерпретации точности приложения являются PPV и NPV, говорящие нам, с какой вероятностью пациент с положительным, к примеру, результатом тестирования имел бы указанное состояние (PPV) или же какова вероятность того, что у него нет этого состояния при получении отрицательного результата теста. Как для класса C1, так и для класса C2 ХЗВ приложение продемонстрировало высокие значения обоих показателей (PPV и NPV). Прогностическая ценность AIVARIX при получении положительного результата для C1 составила 70,3%, а для C2 — 59,3%. В то же время значения NPV для данных классов CEAP составили 89,2 и 97,9% соответственно. Вместе с тем сложность трактовки величин PPV и NPV заключается в том, что эти показатели очень сильно зависят от так называемой предтестовой вероятности патологического состояния, которое определяется его распространенностью в популяции. Хорошо известно, что чем ниже распространенность, тем более негативное влияние это оказывает на предсказательную способность теста, снижая ее [8, 24]. Приложение AIVARIX — это в первую очередь инструмент, позволяющий предположить наличие симптомов ХЗВ и для которого, принимая во внимание зависимость предсказательных характеристик от распространенности заболевания, важны именно чувствительность и специфичность. Более того, при невысокой распространенности клинического состояния наиболее полезной и важной характеристикой теста является его высокая специфичность [5]. Высокая специфичность, согласно правилу SPin (Specific test when Positive rules IN a disease) говорит об очень высокой избирательности теста в отношении клинического состояния для выявления которого он предназначен [5, 24], т.е. при положительном тесте, характеризующимся высокой специфичностью, согласно правилу Spin, можно быть практически уверенным в наличии заболевания [24, 25]. В нашем случае положительное заключение приложения AIVARIX о наличии симптомов, указывающих на C1 или на C2, с высокой вероятностью будет соответствовать истине, что в первую очередь обусловлено высочайшей его специфичностью в распознавании указанных симптомов: 86,5% (95% ДИ 82,2—90,1) для C1 и 82,7% (95% ДИ 78,3—86,6) для C2. Кроме того, узкие 95% доверительные интервалы для этих показателей дают основание быть еще более уверенными в том, что приложение точно и корректно выявляет симптомы C1 и C2 классов ХЗВ [23].
Заключение
Приложение на основе искусственного интеллекта AIVARIX обладает высокой чувствительностью и специфичностью в распознавании симптомов, характерных для классов C1 и C2 хронических заболеваний вен, что указывает на целесообразность его использования пациентом для своевременного выявления симптомов ХЗВ на ранних стадиях и обращения к врачу.
Группа исследователей:
Агапов А.Б. (Рязань);
Александрова С.М. (Бердск);
Антонов Д.В. (Санкт-Петербург);
Ахметзянов Р.В. (Казань);
Бабкина З.М. (Воронеж);
Василевич В.В. (Омск);
Голованова О.В. (Москва);
Головина В.И. (Москва);
Гужков О.Н. (Ярославль);
Долгов С.И. (Москва);
Камаев А.А. (Рязань);
Киселева Е.И. (Санкт-Петербург);
Крылов А.А. (Рязань);
Кузнецов А.Н. (Москва);
Лагвилава Т.О. (Санкт-Петербург);
Людкова Л.Ф. (Красноярск);
Мжаванадзе Н.Д. (Рязань);
Смирнов И.А. (Ярославль);
Стороженко Н.С. (Краснодар);
Сухоруков Е.А. (Москва);
Сучков И.А. (Рязань);
Фомичев Д.О. (Москва);
Чижиков Н.Н. (Москва).
Участие авторов:
Концепция и дизайн исследования — И.А. Золотухин, Б.Б. Квасников, О.Ж. Линник
Сбор данных — группа исследователей
Анализ данных проводился биостатистическим агентством Sciencefiles
Участие в анализе данных — Б.Б. Квасников, К.Г. Бутова, О.Ж. Линник, И.А. Золотухин
Написание текста — О.Ж. Линник, И.А. Золотухин, Б.Б. Квасников
Редактирование текста и одобрение окончательного варианта статьи —О.Ж. Линник, Б.Б. Квасников, И.А. Золотухин, С.Б. Шияхметов, К.Г. Бутова
Конфликт интересов:
Исследование проведено при поддержке и финансировании АО «Сервье». И.А. Золотухин сообщает о получении гонораров за лекторскую и консультативную поддержку компаний «Сервье», «Иннотек», «Доминанта Сервис», «Биннофарм». Б.Б. Квасников и О.Ж. Линник являются штатными сотрудниками АО «Сервье». С.Б. Шияхметов и К.Г. Бутова принимали участие в разработке приложения AIVARIX.
Conflict of interests:
The study was supported by the JSC Servier. Zolotukhin I.A. reports fees for lectures and consulting support from the companies Servier, Innotek, Dominanta Service, Binnopharm. Kvasnikov B.B. and Linnik O.Zh. are full-time employees of JSC Servier. Shiyakhmetov S.B. and Butova K.G. took part in development of the AIVARIX application.
Благодарности. Авторы статьи выражают благодарность Манвелу Аветисяну и Максиму Федину за участие в разработке приложения AIVARIX.
Acknowledgment. The authors express their gratitude to Manvel Avetisyan and Maxim Fedin for their participation in development of the AIVARIX application.
* От лица специалистов, принимавших участие в исследовании AIVARIX.
On behalf of specialists who took part in the AIVARIX study