Введение

Ультразвуковое исследование (УЗИ) стало основным из всех методов диагностики заболеваний щитовидной железы (ЩЖ) из-за его высокой информативности и неинвазивности. Однако трактовка ультразвуковых изображений во многом зависит от опыта врача, и заключения специалистов могут существенно различаться. Диагностические ошибки, встречающиеся в практике даже экспертов, могут привести как к возможности пропустить рак ЩЖ, так и к неоправданному выполнению тонкоигольной аспирационной биопсии (ТАБ). Благодаря способности обрабатывать пиксельные рисунки и таким образом извлекать информацию из изображений, программы искусственного интеллекта (ИИ) особенно хорошо подходят для анализа цифровых данных УЗИ и компьютерной томографии. Таким образом, использование ИИ может помочь в верификации патологии ЩЖ.

В настоящее время используется два принципиально разных алгоритма ИИ: машинное обучение (МО) и глубокое обучение (ГО). Алгоритмы МО обычно полагаются на инженерные функции, которые описывают выявленные в областях интереса закономерности, используя параметры на основе заранее введенных экспертных знаний. В медицинской сфере распространены следующие алгоритмы МО: методы опорных векторов, байесовские классификаторы и др. [1, 2]. Такие алгоритмы МО ограничены своей зависимостью от функций, определенных экспертами, и не могут адаптироваться к изменениям в различных методах визуализации, а также учитывать изменения соотношения «сигнал/шум».

В отличие от алгоритмов МО, алгоритмы ГО не требуют заранее определенных функций и областей интересов, установленных людьми, поскольку они могут автоматически анализировать информацию и обучаться на основе необработанных данных [3]. В практике могут использоваться различные виды ГО, но наиболее частой архитектурой является так называемая сверточная нейронная сеть, суть которой состоит в многослойной обработке изображений с фрагментацией его на клетки и последующем умножении отдельных фрагментов изображения с использованием матриц математическим методом, который называется «свертка» [4].

Одной из первых доступных систем ИИ для оценки изображений ЩЖ на основе технологии ГО стала программа S-Detect. В данной системе используется модель сверточной нейронной сети, которая обучена на основе различных признаков унифицированной ультразвуковой оценки узловых образований ЩЖ Thyroid Imaging Reporting & Data System (TI-RADS). Она позволяет проводить автоматическую стратификацию узлов на основе известных ультразвуковых признаков: эхогенности, границ, пространственной ориентации, формы. После выбора области интереса программа определяет соответствующую классификации TI-RADS категорию узла.

Проведен ряд исследований эффективности системы S-Detect при дифференциации злокачественных и доброкачественных образований ЩЖ [5—21]. В нескольких исследованиях оценивалась диагностическая эффективность системы S-Detect для выявления злокачественных узлов. При этом Y.J. Choi и соавт. указали, что разница в чувствительности системы S-Detect по сравнению с УЗИ-специалистами с 20-летним стажем была статистически незначимой (88,4 и 90,7%, p>0,05), в то время как специфичность (94,9 и 74,9%, p>0,05) и дискриминационная способность (AUROC 0,92 и 0,83, p>0,05) системы S-Detect уступали опытным специалистам [5]. Напротив, результаты теста S-Detect, проведенного S. Gitto и соавт., не показали статистически значимой разницы в специфичности между программным обеспечением и специалистами по ультразвуковой диагностике с 5-летним опытом работы (66,7 и 81,3%, p>0,05) [6]. Y.J. Yoo и соавт. обнаружили, что диагностическая эффективность системы S-Detect сравнима с эффективностью врача — специалиста по УЗИ с 10-летним стажем, и может улучшить диагностическую чувствительность и прогностическую ценность отрицательного результата у специалистов с небольшим опытом работы [21]. E.Y. Jeong и соавт. доказали, что врачи экспертного уровня, выполняющие УЗИ, имели более высокую чувствительность и точность, чем менее опытные специалисты при использовании системы S-Detect [20]. Метаанализ, проведенный W.J. Zhao и соавт., показал, что данная система имела сравнимую с опытным врачом, выполняющим УЗИ, чувствительность, но отличалась более низкой специфичностью [19].

Таким образом, анализ эффективности использования специализированных систем ИИ в ультразвуковой диагностике узловых образований ЩЖ является актуальной задачей, позволяющей определить роль и место ИИ на современном этапе развития информационных технологий.

Цель исследования — проанализировать использование системы искусственного интеллекта S-Detect в стратификации узловых образований щитовидной железы по сравнению с данными, полученными врачом ультразвуковой диагностики.

Материал и методы

В НКЦ №2 ФГБНУ «РНЦХ им. акад. Б.В. Петровского» с февраля по июль 2024 г. проанализированы результаты УЗИ 80 пациентов с узловыми образованиями ЩЖ. Всем пациентам выполнено УЗИ ЩЖ с оценкой узлов по классификации EU TI-RADS на УЗ-аппарате с линейным датчиком ML 6—15 (6—15 mHz) опытным экспертом со стажем работы более 15 лет. После этого каждому пациенту повторно выполнено УЗИ ЩЖ на аппарате с линейным датчиком L3—12A и ИИ. В настройках аппарата выставлено соотношение чувствительности и специфичности в равных пропорциях и использована классификация EU TI-RADS. Пример заключения, выданного программой S-Direct, приведен на рис. 1.

Рис. 1. Пример заключения, сделанного программой искусственного интеллекта S-Direct.

После УЗИ всем пациентам проведена ТАБ исследованных узловых образований с оценкой полученных цитологических результатов по классификации Bethesda (2023).

Статистическая обработка полученных данных выполнена с использованием программы Microsoft Excel 2019 с установленным модулем обработки данных XLSTAT версии 2023.3.1.1416.

Для оценки чувствительности, специфичности и проведения ROC-анализа полученные результаты классифицированы, как указано в табл. 1.

Таблица 1. Критерии оценки результатов ультразвукового исследования

Примечание. УЗИ — ультразвуковое исследование; ТАБ — тонкоигольная аспирационная биопсия.

В табл. 1 представлен алгоритм сравнения результатов УЗИ с результатами проведенной ТАБ. При выставлении по данным УЗИ IV—V категории по EU TI-RADS и получении при ТАБ заключения о наличии категории IV—VI по Bethesda результат расценивался как истинно положительный. При совпадении данных УЗИ II—III балла по EU TI-RADS и ТАБ II категория по Bethesda результату присваивалось значение истинно отрицательного. Случаи гипердиагностики по данным УЗИ считались ложноположительными, не диагностированные случаи опухолей ЩЖ IV—VI по Bethesda — ложноотрицательными. Результаты УЗИ, описанные специалистом и системой ИИ, оценивались независимо друг от друга.

Результаты

Полученные результаты определения чувствительности, специфичности, прогностической ценности и других параметров УЗИ, выполненного специалистом и системой ИИ, приведены в табл. 2, 3. Обращает на себя внимание, что ИИ не использовал отдельное значение III, IV по TI-RADS, поэтому в таблице их нет. При этом для стратификации узловых образований ИИ использует группы категорий или II или III—V по EU TI-RADS. Таким образом, III категория по EU TI-RADS, выставленная врачом, соответствует низкому риску злокачественности узла, определяемую как 2—4%, и, напротив, ИИ III категорию относит к группе потенциально рисковых новообразований.

Таблица 2. Результаты ROC-анализа ультразвукового исследования, выполненного искусственным интеллектом

Таблица 3. Результаты ROC-анализа ультразвукового исследования, выполненного специалистом

В табл. 2 представлены результаты анализа УЗИ, выполненного системой ИИ. Визуализируются высокие показатели чувствительности, специфичности и диагностической ценности. Достаточно высокое количество ложноположительных результатов указывает на то, что система ИИ склонна к гипердиагностике.

В табл. 3 можно видеть результаты анализа УЗИ, выполненного специалистом. По сравнению с ИИ, у врача было несколько большее количество ложноотрицательных значений.

На рис. 2 приведены две ROC-кривые результатов УЗИ, выполненных экспертом и ИИ. Основной параметр AUC (Area under the cure) — площадь под кривой — имеет высокое значение: 0,79 у специалиста и 0,81 у ИИ. Это свидетельствует о большой эффективности УЗИ как метода диагностики узловых образований ЩЖ. При этом AUC результатов УЗИ специалиста и ИИ статистически значимо не отличались друг от друга (при p<0,001).

Рис. 2. ROC-анализ результатов ультразвукового исследования, выполненного экспертом (слева) и системой искусственного интеллекта (справа).

Низкое стандартное отклонение, высокие значения нижней и верхней границ измерений для 95% результатов, которые приведенные в табл. 4, свидетельствуют о высокой диагностической ценности стратификации узловых новообразований и врачом, и ИИ.

Таблица 4. Значение площади под ROC-кривой при выполнении ультразвукового исследования специалистом и искусственным интеллектом

Примечание. УЗИ — ультразвуковое исследование; ИИ — искусственный интеллект.

На рис. 3 приведены графики соотношения ложноположительных и ложноотрицательных результатов. При УЗИ, выполненных и специалистом, и ИИ, присутствовали как ложноотрицательные (недиагностированные случаи опухолей ЩЖ), так и ложноположительные (гипердиагностика) результаты. Большое количество ложноположительных результатов, как у специалиста, так и у системы ИИ, объясняется тем, что в исследование вошли только пациенты, у которых выполнялась морфологическая верификация узловых образований, а это заведомо рисковые категории EU TI-RADS, по результатам чего и выставлены показания к ТАБ.

Рис. 3. Сравнение ложноотрицательных и ложноположительных результатов оценки ультразвукового исследования, выполненного экспертом (слева) и системой искусственного интеллекта (справа).

На рис. 4 приведен сравнительный анализ диагностической ценности УЗИ в зависимости от категории EU TI-RADS.

Рис. 4. Сравниение диагностической ценности при выставлении разных категорий по TI-RADS.

Обращает внимание, что при УЗИ, выполненном специалистом, наибольшую диагностическую ценность имели заключения со стратификацией V по EU TI-RADS, а полученные ИИ — II категории. Таким образом, специалист более точно мог определять узлы, похожие на злокачественные новообразования, тогда как ИИ более точно устанавливал правильный диагноз в случае доброкачественных образований ЩЖ, что позволяет использовать метод для первичного скрининга.

В табл. 5 приведены результаты вычисления разницы между площади под ROC-кривой и значения 0,5 (диагностически незначимым).

Таблица 5. Сравнение площади под ROC-кривой с 0,5

Примечание. * — сравнение AUC (площади под ROC кривой) с 0,5 показывает, насколько данный метод классификации отличается от случайно выпадающих значений.

Значение ДИ 95% 0,192—0,387 для специалиста и 0,224—0,395 для ИИ при p<0,0001 свидетельствуют о крайне высокой диагностической ценности УЗИ в обоих случаях. Причем разница AUC между специалистом и ИИ — 0,29 и 0,31 — была статистически незначимой.

Заключение

Данные проведенного анализа свидетельствуют, что на современном этапе развития информационных технологий система искусственного интеллекта не показывает существенных преимуществ в стратификации новообразований щитовидной железы перед врачом ультразвуковой диагностики с большим стажем работы. Наш опыт использования программы искусственного интеллекта S-Direct показал ее особую эффективность для скрининга узлов щитовидной железы, что, по всей вероятности, может помочь в уменьшении зависимости результатов ультразвуковой диагностики от опыта врача. Если системой искусственного интеллекта узел классифицирован как II по EU TI-RADS, то это со значительной долей вероятности позволяло исключить рак щитовидной железы, что верифицировано морфологически. При этом система искусственного интеллекта, так же как и врач, склонна к гипердиагностике при узловых образованиях, классифицируемых как TI-RADS IV-V. Учитывая постоянный рост объема данных, следует отметить, что искусственный интеллект является одним из перспективных направлений развития ультразвуковой диагностики и в дальнейшем позволит снизить нагрузку на врачей-специалистов, взяв на себя ряд рутинных функций первичного скрининга. Дальнейшее совершенствование применения искусственного интеллекта в ультразвуковой диагностике лежит в сфере автоматизации выполнения самого исследования. Однако чтобы разумно использовать возможности искусственного интеллекта, врачи должны учитывать ограничения используемых в нем алгоритмов. Необходимо осознавать, что технологии глубокого обучения являются «черным ящиком» и в принципе не могут объяснить выдаваемое системой заключение, что лишает программу творческой интеллектуальной составляющей врачебного мышления, присущей только человеку. Таким образом, мы считаем, что в настоящее время искусственный интеллект не может заменить собой доминирующую роль врача, однако его совершенствование и дальнейшее внедрение в диагностическую практику неизбежны. На данном этапе развития искусственный интеллект может быть использован в качестве системы поддержки принятия правильного решения в определенных диагностических ситуациях, особенно молодыми специалистами.

Авторы заявляют об отсутствии конфликта интересов.