Сайт издательства «Медиа Сфера»
содержит материалы, предназначенные исключительно для работников здравоохранения. Закрывая это сообщение, Вы подтверждаете, что являетесь дипломированным медицинским работником или студентом медицинского образовательного учреждения.
Оценка эффективности искусственной нейронной сети, разработанной с целью классификации отоэндоскопических изображений
Журнал: Вестник оториноларингологии. 2025;90(3): 9‑12
Прочитано: 1113 раз
Как цитировать:
На сегодняшний день исследователи прикладывают огромные усилия к разработке вопросов автоматизации здравоохранения, что необходимо для создания комфортных условий работы врача, исключения фактора человеческой ошибки и предоставления медицинской помощи всем, кому она необходима даже в самых отдаленных местностях, где имеется сильная нехватка кадров. Поэтому большую популярность набирает тема исследования искусственного интеллекта (ИИ) и создания искусственных нейросетей (ИНС) в медицине [1].
Подвидом ИИ является машинное обучение — это математическая модель, обучающаяся решать только ту задачу, которую ей ставит разработчик. Она способна эффективно находить зависимость между признаками объектов и эффективно их классифицировать [2].
Машинное обучение нашло применение в обработке данных, полученных при эндоскопии. В оториноларингологии данная технология имеет ценность в связи с тем, что, во-первых, эндоскопия является одним из наиболее важных методов исследования и диагностики того или иного заболевания, а во-вторых, врачам порой сложно верно оценить эндоскопическую картину из-за отсутствия должного опыта и навыка, что приводит к потенциальным ошибкам в определении тактики ведения пациентов [3].
Навык отоэндоскопии является важным не только для врачей-оториноларингологов, но и для специалистов первичного звена. Однако правильно интерпретировать отоскопическую картину часто бывает затруднительно.
Например, по данным F. Folino и соав. (2024), соответствие в установлении диагноза острого среднего отита (ОСО) у врачей-педиатров и работников скорой неотложной помощи составляло 72,4%. В 27,6% случаев диагноз ОСО был неверным, что приводило к лишним затратам в сфере здравоохранения и необоснованному назначению антибактериальной терапии [4].
Несмотря на то что активно ведется изучение использования машинного обучения для классификации отоскопической картины, метод применения инструментов ИИ для лечения заболеваний наружного или среднего уха все еще находится на ранних стадиях развития. Однако исследования уже показывают хорошие результаты. Например, H. Myburgh и соавт. (2016) предложен автоматизированный подход в установлении ОСО с диагностической точностью, достигающей 80,6% [5].
Ведется активная работа по расширению классов видеоотоскопических изображений для распознавания ИНС. В исследовании M. Viscaino и соавт. (2020) для машинного обучения использованы отоскопические данные, касающиеся четырех нозологических единиц: серной пробки, тимпаносклероза, хронического среднего отита, вариантов нормы. Средняя точность определения данных состояний с использование ИНС составила 93,8% [6]. В исследовании X. Zeng и соавт. (2021) количество распознаваемых нозологических единиц расширено до восьми: норма, холестеатома уха, хронический гнойный средний отит, кровотечение из наружного слухового прохода (НСП), серная пробка, наружный отомикоз, экссудативный средний отит (ЭСО), кальциноз барабанной перепонки (БП). Точность классификации нозологий достигла 95,59% [7].
Результаты этих исследований свидетельствуют о том, что использование ИНС может существенно помочь клиницистам в интерпретации отоскопических изображений и ранней диагностике заболеваний уха, значительно уменьшить риск ошибки врача при выявлении патологии данной области.
Цель исследования — разработать и обучить искусственную нейронную сеть классификации изображений, полученных при проведении отоэндоскопического исследования человека.
Работа выполнена в рамках гранта №2112-1/22 «Использование нейросети (алгоритмов искусственного интеллекта) для контроля и повышения качества диагностики и лечения заболеваний структур гортани и уха на основе цифровой технологии», грантодатель АНО «Московский центр инновационных технологий в здравоохранении» (Москва, Россия).
Работа включала несколько этапов: это набор фотобанка эндоскопических изображений; создание дерева диагнозов; разработка системы разметки изображений; загрузка и разметка изображений; подтверждение разметки; обучение нейросети; оценка результатов обучения.
Наиболее популярными нейронными сетями для работы с изображениями в настоящее время являются сверточные. Их архитектура схожа со структурой зрительной коры головного мозга человека и позволяет распознавать сложные структуры из массива мелких элементов, видимых глазом. В работе применена сверточная нейросеть ResNet 101, содержащая 101 слой нейронов. Нейросеть предобучена на датасете ImageNet и имеет способность распознавать визуальные признаки. Методика обучения представляла собой обучение с учителем. Для обновления весов модели использовался метод обратного распространения ошибки.
Все собранные эндоскопические изображения имели округлый край на черном фоне и приведены к размеру 512×512 px. Количество шума и визуальная четкость БП и стенок НСП должны были быть достаточными для быстрой разметки признаков патологии или нормы и присвоения определенного класса.
Набор фотобанка осуществлялся с помощью оборудования, сертифицированного для выполнения отоэндоскопии во время амбулаторного приема. Применение микроскопов для формирования изображений оказалось неэффективным из-за ограниченного обзора, который формирует оптика. Все изображения должны были содержать изображения БП и НСП для последующей эффективной диагностики достаточного количества визуальных признаков патологии и нормы. Технически изображения получены с помощью эндоскопического оборудования Karl Storz (Германия) и «Оптимед» (Российская Федерация). Общее количество изображений уха, набранных с 2022 по 2023 г., составило 8791. Отбор изображений выполнен лично участниками исследования во время проведения осмотров пациентов. Все изображения имеют обезличенный статус и не могут являться средством идентификации конкретного пациента.
Для приведения медицинского видения к техническому алгоритму сформировано дерево диагнозов. Оно применялось для понимания точности работы нейросети на той или иной группе патологии и постановки задач по дополнительной разметке данных, исходя из текущих возможностей ИНС дифференцировать патологию внутри группы или между группами. Вначале нейронная сеть обучена определять нормальное состояние БП и НСП и классифицировать данный результат как «норму». В случае выявления «не нормы» следующим этапом алгоритма классификации являлось определение принадлежности к «патологии» или «послеоперационным изменениям». К «послеоперационным изменениям» отнесены 2 категории: послеоперационная полость и неотимпанальная мембрана. Группу «патология» составили 2 подгруппы в зависимости от степени обозримости БП. При достаточной визуализации БП дальнейшая классификация строилась на основании наличия в ней дефекта. К патологии с сохраненной целостностью БП отнесены ОСО (стадии до формирования перфорации), ЭСО, атрофия БП, адгезивный средний отит, а также общая подгруппа, включающая рубцовые, склеротические, тимпаносклеротические изменения БП. К патологии, характеризующейся наличием перфорации, отнесены следующие классы: «шунт», «дефект натянутого отдела», «дефект ненатянутого отдела», «дефект обоих отделов БП». К группе заболеваний, при которых БП плохо обозрима или вовсе не визуализируется, отнесены: «экзостозы и новообразования», «серная пробка», «инородное тело», «диффузный наружный отит», «обтурация патологическим содержимым».
Для дальнейшей работы выделены 11 классов состояния уха, которые достаточно точно можно определить и различить по визуальным признакам. Так, классу 1 соответствует «норма». К остальным 10 классам отнесены «адгезивный средний отит», «инородное тело наружного слухового прохода», «дефект натянутого отдела БП», «диффузный наружный отит», «неотимпанальная мембрана», «серная пробка», «шунт», «экзостозы и новообразования наружного слухового прохода», «экссудативный средний отит», «дефект ненатянутого отдела БП» (табл. 1).
Таблица 1. Классы отоэндоскопических изображений
| Класс | Количество изображений |
| Норма | 3439 |
| Дефект натянутого отдела барабанной перепонки | 1242 |
| Адгезивный средний отит | 728 |
| Инородное тело наружного слухового прохода | 537 |
| Неотимпанальная мембрана | 574 |
| Серная пробка | 535 |
| Шунт | 494 |
| Экссудативный средний отит | 399 |
| Экзостозы и новообразования наружного слухового прохода | 380 |
| Диффузный наружный отит | 269 |
| Дефект ненатянутого отдела барабанной перепонки | 194 |
| Всего изображений | 8791 |
Для оценки эффективности работы ИНС во время тестирования проведена оценка основных метрик: True positive (TP), False positive (FP), True negative (TN), False negative (FN). Исходя из полученных данных, проведен расчет показателей Specificity (TNR), Precision (PPV), Recall (TPR), Accuracy (ACC) и F1-score (табл. 2). Метрики рассчитаны по следующим формулам:
TNR=TN/(TN+FP) (1)
PPV=TP/(TP+FP) (2)
TPR=TP/(TP+FN) (3)
ACC=(TP+TN)/(TP+TN+FP+FN) (4)
F1-score=2(PPV·TPR)/(PPV+TPR) (5)
Таблица 2. Метрики оценки модели обучения
| Класс | TP | FP | TN | FN | TNR | PPV | TPR | ACC | F1-score |
| Адгезивный средний отит | 24 | 8 | 244 | 6 | 0,968 | 0,750 | 0,800 | 0,950 | 0,774 |
| Инородное тело наружного слухового прохода | 26 | 3 | 242 | 4 | 0,988 | 0,897 | 0,867 | 0,975 | 0,881 |
| Дефект натянутого отдела барабанной перепонки | 30 | 15 | 238 | 0 | 0,941 | 0,667 | 1,000 | 0,947 | 0,800 |
| Диффузный наружный отит | 17 | 4 | 251 | 13 | 0,984 | 0,810 | 0,567 | 0,940 | 0,667 |
| Неотимпанальная мембрана | 25 | 9 | 243 | 5 | 0,964 | 0,735 | 0,833 | 0,950 | 0,781 |
| Норма | 30 | 11 | 238 | 0 | 0,956 | 0,732 | 1,000 | 0,961 | 0,845 |
| Серная пробка | 26 | 5 | 242 | 4 | 0,980 | 0,839 | 0,867 | 0,968 | 0,852 |
| Шунт | 28 | 3 | 240 | 2 | 0,988 | 0,903 | 0,933 | 0,982 | 0,918 |
| Экзостозы и новообразования наружного слухового прохода | 24 | 1 | 244 | 6 | 0,996 | 0,960 | 0,800 | 0,975 | 0,873 |
| Экссудативный средний отит | 26 | 2 | 242 | 4 | 0,992 | 0,929 | 0,867 | 0,978 | 0,897 |
| Дефект ненатянутого отдела барабанной перепонки | 12 | 1 | 256 | 18 | 0,996 | 0,923 | 0,400 | 0,934 | 0,558 |
Оценка полученных данных демонстрирует высокие значения TNR для всех определяемых классов (выше 0,94). Значения показателя PPV вариабельны и колеблются от 0,667 (дефект натянутого отдела) до 0,967 (экзостозы и новообразования). Наибольшая амплитуда колебаний результатов выявлена для показателя TPR: от 0,4 для дефекта ненатянутого отдела БП до 1,0 для нормы дефекта натянутого отдела. Столь низкое значение для класса дефекта ненатянутого отдела может быть связано с двумя факторами: 1) недостаточное количество загруженных изображений (194 снимка); 2) трудность определения четких визуальных признаков в силу наличия патологии на участке небольшого размера (pars flacida).
Далее на основании ответов ИНС мы построили ROC-кривую (рисунок на цв. вклейке) и рассчитали значение точности распознавания. В ходе нашего тестирования нейросеть показала точность модели 91,2% в распознавании различных нозологических классов, касающихся заболеваний среднего уха и НСП. Наименее точной данная модель была для диагностики диффузного наружного отита — 79%. Все остальные нозологические классы определены с точностью выше 82%. По нашему мнению, меньший уровень правильно классифицированных изображений с наружным отитом связан с небольшим количеством загруженных изображений.
ROC-кривая эффективности модели обучения искусственной нейронной сети.
Разработанная сверточная нейронная сеть продемонстрировала достаточно высокие значения метрик при проведении тестирования. Наибольшей сложностью в обучении мы считаем создание объемного фотобанка, включающего высококачественные изображения патологически измененных структур уха, видимых при выполнении отоэндоскопии. Дальнейшее наполнение датасета и разнообразие клинических случаев — классов позволят проводить более точную настройку весов и с большей точностью классифицировать изображения. Развитие и внедрение данной разработки позволят повысить точность диагностики заболеваний уха, важность выполнения эндовидеоотоскопии. Перспективными вариантами расширения возможностей нашей разработки могут стать интеграция в систему помощи принятия врачебного решения, а также применение в качестве системы внутреннего и внешнего контроля качества диагностики заболеваний уха. Однако следует отметить, что установление диагноза проводится не только на основании визуальных признаков патологии. Не менее важными остаются иные клинические данные, анамнез заболевания и жалобы пациента. В связи с этим искусственный интеллект может быть наделен возможностью выдавать заключение, или «компьютерное мнение», однако право на установление диагноза, назначение рекомендаций и лечения, так же как и ответственность, по закону сохраняются за врачом.
Авторы заявляют об отсутствии конфликта интересов.
Литература / References:
Подтверждение e-mail
На test@yandex.ru отправлено письмо со ссылкой для подтверждения e-mail. Перейдите по ссылке из письма, чтобы завершить регистрацию на сайте.
Подтверждение e-mail
Мы используем файлы cооkies для улучшения работы сайта. Оставаясь на нашем сайте, вы соглашаетесь с условиями использования файлов cооkies. Чтобы ознакомиться с нашими Положениями о конфиденциальности и об использовании файлов cookie, нажмите здесь.