Сайт издательства «Медиа Сфера»
содержит материалы, предназначенные исключительно для работников здравоохранения. Закрывая это сообщение, Вы подтверждаете, что являетесь дипломированным медицинским работником или студентом медицинского образовательного учреждения.

Андрей Иванович Крюков

ГБУЗ города Москвы «Научно-исследовательский клинический институт оториноларингологии им. Л.И. Свержевского» Департамента здравоохранения города Москвы

Евгений Вениаминович Гаров

ГБУЗ города Москвы «Научно-исследовательский клинический институт оториноларингологии им. Л.И. Свержевского» ДЗМ

Сударев П.А.

ГБУЗ города Москвы «Научно-исследовательский клинический институт оториноларингологии им. Л.И. Свержевского» Департамента здравоохранения города Москвы

Виктория Николаевна Зеленкова

ГБУЗ города Москвы «Научно-исследовательский клинический институт оториноларингологии им. Л.И. Свержевского» Департамента здравоохранения города Москвы

Киселюс В.Э.

ГБУЗ города Москвы «Научно-исследовательский клинический институт оториноларингологии им. Л.И. Свержевского» Департамента здравоохранения города Москвы

Шевырина Н.Г.

ООО «Рубедо»

Коротаева В.А.

ООО «Рубедо»

Петрашко У.Э.

ГБУЗ города Москвы «Научно-исследовательский клинический институт оториноларингологии им. Л.И. Свержевского» Департамента здравоохранения города Москвы

Оценка эффективности искусственной нейронной сети, разработанной с целью классификации отоэндоскопических изображений

Авторы:

Крюков А.И., Гаров Е.В., Сударев П.А., Зеленкова В.Н., Киселюс В.Э., Шевырина Н.Г., Коротаева В.А., Петрашко У.Э.

Подробнее об авторах

Прочитано: 1113 раз


Как цитировать:

Крюков А.И., Гаров Е.В., Сударев П.А. и др. Оценка эффективности искусственной нейронной сети, разработанной с целью классификации отоэндоскопических изображений. Вестник оториноларингологии. 2025;90(3):9‑12.
Kryukov AI, Garov EV, Sudarev PA, et al. Performance evaluation results of an artificial neural network developed for the purpose of classifying otoendoscopic images. Russian Bulletin of Otorhinolaryngology. 2025;90(3):9‑12. (In Russ.)
https://doi.org/10.17116/otorino2025900319

Рекомендуем статьи по данной теме:

Введение

На сегодняшний день исследователи прикладывают огромные усилия к разработке вопросов автоматизации здравоохранения, что необходимо для создания комфортных условий работы врача, исключения фактора человеческой ошибки и предоставления медицинской помощи всем, кому она необходима даже в самых отдаленных местностях, где имеется сильная нехватка кадров. Поэтому большую популярность набирает тема исследования искусственного интеллекта (ИИ) и создания искусственных нейросетей (ИНС) в медицине [1].

Подвидом ИИ является машинное обучение — это математическая модель, обучающаяся решать только ту задачу, которую ей ставит разработчик. Она способна эффективно находить зависимость между признаками объектов и эффективно их классифицировать [2].

Машинное обучение нашло применение в обработке данных, полученных при эндоскопии. В оториноларингологии данная технология имеет ценность в связи с тем, что, во-первых, эндоскопия является одним из наиболее важных методов исследования и диагностики того или иного заболевания, а во-вторых, врачам порой сложно верно оценить эндоскопическую картину из-за отсутствия должного опыта и навыка, что приводит к потенциальным ошибкам в определении тактики ведения пациентов [3].

Навык отоэндоскопии является важным не только для врачей-оториноларингологов, но и для специалистов первичного звена. Однако правильно интерпретировать отоскопическую картину часто бывает затруднительно.

Например, по данным F. Folino и соав. (2024), соответствие в установлении диагноза острого среднего отита (ОСО) у врачей-педиатров и работников скорой неотложной помощи составляло 72,4%. В 27,6% случаев диагноз ОСО был неверным, что приводило к лишним затратам в сфере здравоохранения и необоснованному назначению антибактериальной терапии [4].

Несмотря на то что активно ведется изучение использования машинного обучения для классификации отоскопической картины, метод применения инструментов ИИ для лечения заболеваний наружного или среднего уха все еще находится на ранних стадиях развития. Однако исследования уже показывают хорошие результаты. Например, H. Myburgh и соавт. (2016) предложен автоматизированный подход в установлении ОСО с диагностической точностью, достигающей 80,6% [5].

Ведется активная работа по расширению классов видеоотоскопических изображений для распознавания ИНС. В исследовании M. Viscaino и соавт. (2020) для машинного обучения использованы отоскопические данные, касающиеся четырех нозологических единиц: серной пробки, тимпаносклероза, хронического среднего отита, вариантов нормы. Средняя точность определения данных состояний с использование ИНС составила 93,8% [6]. В исследовании X. Zeng и соавт. (2021) количество распознаваемых нозологических единиц расширено до восьми: норма, холестеатома уха, хронический гнойный средний отит, кровотечение из наружного слухового прохода (НСП), серная пробка, наружный отомикоз, экссудативный средний отит (ЭСО), кальциноз барабанной перепонки (БП). Точность классификации нозологий достигла 95,59% [7].

Результаты этих исследований свидетельствуют о том, что использование ИНС может существенно помочь клиницистам в интерпретации отоскопических изображений и ранней диагностике заболеваний уха, значительно уменьшить риск ошибки врача при выявлении патологии данной области.

Цель исследования — разработать и обучить искусственную нейронную сеть классификации изображений, полученных при проведении отоэндоскопического исследования человека.

Материал и методы

Работа выполнена в рамках гранта №2112-1/22 «Использование нейросети (алгоритмов искусственного интеллекта) для контроля и повышения качества диагностики и лечения заболеваний структур гортани и уха на основе цифровой технологии», грантодатель АНО «Московский центр инновационных технологий в здравоохранении» (Москва, Россия).

Работа включала несколько этапов: это набор фотобанка эндоскопических изображений; создание дерева диагнозов; разработка системы разметки изображений; загрузка и разметка изображений; подтверждение разметки; обучение нейросети; оценка результатов обучения.

Наиболее популярными нейронными сетями для работы с изображениями в настоящее время являются сверточные. Их архитектура схожа со структурой зрительной коры головного мозга человека и позволяет распознавать сложные структуры из массива мелких элементов, видимых глазом. В работе применена сверточная нейросеть ResNet 101, содержащая 101 слой нейронов. Нейросеть предобучена на датасете ImageNet и имеет способность распознавать визуальные признаки. Методика обучения представляла собой обучение с учителем. Для обновления весов модели использовался метод обратного распространения ошибки.

Все собранные эндоскопические изображения имели округлый край на черном фоне и приведены к размеру 512×512 px. Количество шума и визуальная четкость БП и стенок НСП должны были быть достаточными для быстрой разметки признаков патологии или нормы и присвоения определенного класса.

Набор фотобанка осуществлялся с помощью оборудования, сертифицированного для выполнения отоэндоскопии во время амбулаторного приема. Применение микроскопов для формирования изображений оказалось неэффективным из-за ограниченного обзора, который формирует оптика. Все изображения должны были содержать изображения БП и НСП для последующей эффективной диагностики достаточного количества визуальных признаков патологии и нормы. Технически изображения получены с помощью эндоскопического оборудования Karl Storz (Германия) и «Оптимед» (Российская Федерация). Общее количество изображений уха, набранных с 2022 по 2023 г., составило 8791. Отбор изображений выполнен лично участниками исследования во время проведения осмотров пациентов. Все изображения имеют обезличенный статус и не могут являться средством идентификации конкретного пациента.

Для приведения медицинского видения к техническому алгоритму сформировано дерево диагнозов. Оно применялось для понимания точности работы нейросети на той или иной группе патологии и постановки задач по дополнительной разметке данных, исходя из текущих возможностей ИНС дифференцировать патологию внутри группы или между группами. Вначале нейронная сеть обучена определять нормальное состояние БП и НСП и классифицировать данный результат как «норму». В случае выявления «не нормы» следующим этапом алгоритма классификации являлось определение принадлежности к «патологии» или «послеоперационным изменениям». К «послеоперационным изменениям» отнесены 2 категории: послеоперационная полость и неотимпанальная мембрана. Группу «патология» составили 2 подгруппы в зависимости от степени обозримости БП. При достаточной визуализации БП дальнейшая классификация строилась на основании наличия в ней дефекта. К патологии с сохраненной целостностью БП отнесены ОСО (стадии до формирования перфорации), ЭСО, атрофия БП, адгезивный средний отит, а также общая подгруппа, включающая рубцовые, склеротические, тимпаносклеротические изменения БП. К патологии, характеризующейся наличием перфорации, отнесены следующие классы: «шунт», «дефект натянутого отдела», «дефект ненатянутого отдела», «дефект обоих отделов БП». К группе заболеваний, при которых БП плохо обозрима или вовсе не визуализируется, отнесены: «экзостозы и новообразования», «серная пробка», «инородное тело», «диффузный наружный отит», «обтурация патологическим содержимым».

Для дальнейшей работы выделены 11 классов состояния уха, которые достаточно точно можно определить и различить по визуальным признакам. Так, классу 1 соответствует «норма». К остальным 10 классам отнесены «адгезивный средний отит», «инородное тело наружного слухового прохода», «дефект натянутого отдела БП», «диффузный наружный отит», «неотимпанальная мембрана», «серная пробка», «шунт», «экзостозы и новообразования наружного слухового прохода», «экссудативный средний отит», «дефект ненатянутого отдела БП» (табл. 1).

Таблица 1. Классы отоэндоскопических изображений

Класс

Количество изображений

Норма

3439

Дефект натянутого отдела барабанной перепонки

1242

Адгезивный средний отит

728

Инородное тело наружного слухового прохода

537

Неотимпанальная мембрана

574

Серная пробка

535

Шунт

494

Экссудативный средний отит

399

Экзостозы и новообразования наружного слухового прохода

380

Диффузный наружный отит

269

Дефект ненатянутого отдела барабанной перепонки

194

Всего изображений

8791

Результаты

Для оценки эффективности работы ИНС во время тестирования проведена оценка основных метрик: True positive (TP), False positive (FP), True negative (TN), False negative (FN). Исходя из полученных данных, проведен расчет показателей Specificity (TNR), Precision (PPV), Recall (TPR), Accuracy (ACC) и F1-score (табл. 2). Метрики рассчитаны по следующим формулам:

TNR=TN/(TN+FP) (1)

PPV=TP/(TP+FP) (2)

TPR=TP/(TP+FN) (3)

ACC=(TP+TN)/(TP+TN+FP+FN) (4)

F1-score=2(PPV·TPR)/(PPV+TPR) (5)

Таблица 2. Метрики оценки модели обучения

Класс

TP

FP

TN

FN

TNR

PPV

TPR

ACC

F1-score

Адгезивный средний отит

24

8

244

6

0,968

0,750

0,800

0,950

0,774

Инородное тело наружного слухового прохода

26

3

242

4

0,988

0,897

0,867

0,975

0,881

Дефект натянутого отдела барабанной перепонки

30

15

238

0

0,941

0,667

1,000

0,947

0,800

Диффузный наружный отит

17

4

251

13

0,984

0,810

0,567

0,940

0,667

Неотимпанальная мембрана

25

9

243

5

0,964

0,735

0,833

0,950

0,781

Норма

30

11

238

0

0,956

0,732

1,000

0,961

0,845

Серная пробка

26

5

242

4

0,980

0,839

0,867

0,968

0,852

Шунт

28

3

240

2

0,988

0,903

0,933

0,982

0,918

Экзостозы и новообразования наружного слухового прохода

24

1

244

6

0,996

0,960

0,800

0,975

0,873

Экссудативный средний отит

26

2

242

4

0,992

0,929

0,867

0,978

0,897

Дефект ненатянутого отдела барабанной перепонки

12

1

256

18

0,996

0,923

0,400

0,934

0,558

Оценка полученных данных демонстрирует высокие значения TNR для всех определяемых классов (выше 0,94). Значения показателя PPV вариабельны и колеблются от 0,667 (дефект натянутого отдела) до 0,967 (экзостозы и новообразования). Наибольшая амплитуда колебаний результатов выявлена для показателя TPR: от 0,4 для дефекта ненатянутого отдела БП до 1,0 для нормы дефекта натянутого отдела. Столь низкое значение для класса дефекта ненатянутого отдела может быть связано с двумя факторами: 1) недостаточное количество загруженных изображений (194 снимка); 2) трудность определения четких визуальных признаков в силу наличия патологии на участке небольшого размера (pars flacida).

Далее на основании ответов ИНС мы построили ROC-кривую (рисунок на цв. вклейке) и рассчитали значение точности распознавания. В ходе нашего тестирования нейросеть показала точность модели 91,2% в распознавании различных нозологических классов, касающихся заболеваний среднего уха и НСП. Наименее точной данная модель была для диагностики диффузного наружного отита — 79%. Все остальные нозологические классы определены с точностью выше 82%. По нашему мнению, меньший уровень правильно классифицированных изображений с наружным отитом связан с небольшим количеством загруженных изображений.

ROC-кривая эффективности модели обучения искусственной нейронной сети.

Заключение

Разработанная сверточная нейронная сеть продемонстрировала достаточно высокие значения метрик при проведении тестирования. Наибольшей сложностью в обучении мы считаем создание объемного фотобанка, включающего высококачественные изображения патологически измененных структур уха, видимых при выполнении отоэндоскопии. Дальнейшее наполнение датасета и разнообразие клинических случаев — классов позволят проводить более точную настройку весов и с большей точностью классифицировать изображения. Развитие и внедрение данной разработки позволят повысить точность диагностики заболеваний уха, важность выполнения эндовидеоотоскопии. Перспективными вариантами расширения возможностей нашей разработки могут стать интеграция в систему помощи принятия врачебного решения, а также применение в качестве системы внутреннего и внешнего контроля качества диагностики заболеваний уха. Однако следует отметить, что установление диагноза проводится не только на основании визуальных признаков патологии. Не менее важными остаются иные клинические данные, анамнез заболевания и жалобы пациента. В связи с этим искусственный интеллект может быть наделен возможностью выдавать заключение, или «компьютерное мнение», однако право на установление диагноза, назначение рекомендаций и лечения, так же как и ответственность, по закону сохраняются за врачом.

Авторы заявляют об отсутствии конфликта интересов.

Литература / References:

  1. Mehta N, Pandit A, Shukla S. Transforming healthcare with big data analytics and artificial intelligence: a systematic mapping study. Journal of Biomedical Informatics. 2019;100:103311. https://doi.org/10.1016/j.jbi.2019.103311
  2. Paderno A, Gennarini F, Sordi A, Montenegro C, Lancini D, Villani FP, Moccia S, Piazza C. Artificial intelligence in clinical endoscopy: Insights in the field of videomics. Frontiers in Surgery. 2022;9:933297. https://doi.org/10.3389/fsurg.2022.933297
  3. Wolleswinkel-van den Bosch JH, Stolk EA, Francois M, Gasparini R, Brosa M. The health care burden and societal impact of acute otitis media in seven European countries: results of an Internet survey. Vaccine. 2010;28 Suppl 6:G39-52.  https://doi.org/10.1016/j.vaccine.2010.06.014
  4. Folino F, Caruso M, Bosi P, Aldè M, Torretta S, Marchisio P. Acute otitis media diagnosis in childhood: still a problem in 2023? Italian Journal of Pediatrics. 2024;50(1):19.  https://doi.org/10.1186/s13052-024-01588-y
  5. Myburgh HC, van Zijl WH, Swanepoel D, Hellström S, Laurent C. Otitis Media Diagnosis for Developing Countries Using Tympanic Membrane Image-Analysis. EBioMedicine. 2016;5:156-60.  https://doi.org/10.1016/j.ebiom.2016.02.017
  6. Viscaino M, Maass JC, Delano PH, Torrente M, Stott C, Auat Cheein F. Computer-aided diagnosis of external and middle ear conditions: A machine learning approach. PLoS One. 2020;15(3):e0229226. https://doi.org/10.1371/journal.pone.0229226
  7. Zeng X, Jiang Z, Luo W, Li H, Li H, Li G, Shi J, Wu K, Liu T, Lin X, Wang F, Li Z. Efficient and accurate identification of ear diseases using an ensemble deep learning model. Scientific Reports. 2021;11(1):10839. https://doi.org/10.1038/s41598-021-90345-w

Подтверждение e-mail

На test@yandex.ru отправлено письмо со ссылкой для подтверждения e-mail. Перейдите по ссылке из письма, чтобы завершить регистрацию на сайте.

Подтверждение e-mail

Мы используем файлы cооkies для улучшения работы сайта. Оставаясь на нашем сайте, вы соглашаетесь с условиями использования файлов cооkies. Чтобы ознакомиться с нашими Положениями о конфиденциальности и об использовании файлов cookie, нажмите здесь.