Введение

Искусственный интеллект в настоящее время рассматривается как полезный инструмент в медицине и активно внедряется в различные ее области. Для реализации искусственного интеллекта используются искусственные нейронные сети (ИНС). В оториноларингологии подобные системы используют цифровые фотографические изображения, полученные при эндоскопическом обследовании пациентов, например при видеоларингоскопии [1—3]. Своевременная диагностика заболеваний гортани, в особенности предраковых поражений, является важной задачей, стоящей перед врачом-оториноларингологом. Известно, что диагностика патологии гортани и интерпретация ларингоскопической картины представляет значительные трудности для практического врача. С этим в том числе связана и высокая частота выявления рака гортани на поздних стадиях [4, 5]. Все это подтверждает важность своевременной диагностики и правильной интерпретации результатов эндоскопического обследования пациентов с заболеваниями гортани.

Одной из возможностей улучшить качество диагностики оториноларингологической патологии на современном уровне является применение ИНС, которые могут быть использованы для анализа результатов ларингоскопии в дополнение к клинической оценке, сделанной врачами, ИНС предоставляют дополнительные подсказки, что может помочь повысить точность диагностики и снизить риск врачебной ошибки.

В мировой научной литературе встречаются крупные сообщения об исследованиях, проводимых с целью анализа применения искусственного интеллекта для выявления нормы и патологии голосовых складок на эндоскопических изображениях. Так, W.K. Cho и соавт. выполнили оценку применения нейросети для классификации распространенных заболеваний гортани (таких как кисты, узелки, полипы, лейкоплакия, папиллома, отек Рейнке, гранулема, паралич) и вариантов нормы [6]. По данным других исследователей, алгоритмы искусственного интеллекта могут быть успешно использованы для определения узелков голосовых складок [7], автоматической классификации ларингоскопических NBI-изображений (Narrow Band Imaging — узкоспектральная визуализация) на доброкачественные и злокачественные группы с минимальным вмешательством человека [8], выявления раковых, предраковых поражений гортани и вариантов нормы при анализе ларингоскопических изображений в белом свете [9, 10]. Искусственный интеллект может быть применен для обнаружения в реальном времени плоскоклеточного рака гортани при видеоларингоскопии в белом свете и при NBI [11, 12]. Авторы сообщают о том, что обученные ими ИНС продемонстрировали приемлемую точность в различении заболеваний гортани и вариантов нормы.

Результаты всех этих исследований свидетельствуют о том, что использование ИНС может существенно помочь клиницистам в интерпретации ларингоскопических изображений и в ранней диагностике заболеваний гортани, значительно уменьшить риск ошибки врача при выявлении патологии данной области.

Цель исследования — разработать и обучить ИНС для распознавания характерных признаков образований и вариантов нормы гортани.

Материал и методы

Работа выполнена в рамках гранта №2112-1/22 «Использование нейросети (алгоритмов искусственного интеллекта) для контроля и повышения качества диагностики и лечения заболеваний структур гортани и уха на основе цифровой технологии», грантодатель АНО «Московский центр инновационных технологий в здравоохранении».

Для достижения поставленной цели мы запланировали разработать алгоритм формирования наборов медицинских изображений, выбрать наиболее подходящую ИНС и обучить ее распознавать изображения нормы и новообразований гортани, которые будут получены в ходе осмотра гортани с использованием увеличивающей оптики и возможностью фотофиксации. Осмотр гортани каждого пациента с помощью эндоскопического оборудования с фотофиксацией и последующим компьютерным анализом изображений отличает нашу методику от рутинного осмотра, подразумевающего только проведение непрямой микроларингоскопии без возможности сохранения изображений и их последующего детального анализа.

В процессе работы мы применяли методы сбора данных, необходимых для создания фотобанка (датасета) медицинских изображений, полученных при эндоскопическом (видеоларингоскопия) обследовании пациентов; методы разметки данных для формирования датасетов, необходимых для дальнейшего обучения нейросети; метод консилиума; методы анализа точности распознавания и классификации цифровых эндоскопических снимков; методы обучения классификационных ИНС.

Методы сбора данных

Для организации сбора данных медицинских изображений, полученных при проведении пациентам видеоларингоскопии, создана система хранения медицинских изображений — фотобанк, в котором собираются и хранятся фотографии в цифровых форматах (jpg, bmp) для их дальнейшего анализа и разметки экспертами — врачами-оториноларингологами.

Фотографические изображения отбирали в виде снимков, сделанных с помощью эндоскопического оборудования KARL STORZ SE & Co. KG (Германия) и ООО «Оптимед» (Россия) во время обследования пациентов, обратившихся за медицинской помощью в ГБУЗ «НИКИО им. Л.И. Свержевского» ДЗМ. Осмотр гортани проводили с помощью жестких эндоскопов с углом зрения 90° или 70° или же с помощью гибкого эндоскопа. Данное оборудование позволяет выводить изображение с камеры эндоскопа (видеоларингоскопа) на экран монитора с последующим сохранением его в виде цифровых фотографий. Формирование фотобанка было необходимо для создания датасетов по отдельным нозологиям и группам заболеваний, на основе которых после дальнейшей разметки снимков врачами-экспертами и планировалось осуществлять обучение нейросети.

Для правильной работы системы необходимо обучение нейронной сети в условиях, приближенных к условиям дальнейшего использования системы. Для этого применяются методы препроцессинга изображений. Исходя из полученного набора данных, мы выявили следующие правила предварительной подготовки данных:

1. Обрезание полей на снимке. Некоторые эндоскопические изображения представляют собой ровный круг, заключенный в прямоугольник с неравномерными черными полями по краям. С помощью методов компьютерного зрения разработан алгоритм на языке программирования Python с применением библиотеки OpenCV для обнаружения круга и дальнейшей обрезки лишних полей на изображении.

2. Приведение всех изображений к размеру 512×512 px. Данный размер является бóльшим, чем размер входного тензора большинства предобученных нейронных сетей. Соответственно, для подачи изображения на обучение ИНС изображение будет дополнительно сжато, что исключит потерю информации в отличие от обратного преобразования (растяжения снимка).

Методы разметки данных и метод консилиума

При формировании датасетов, необходимых для дальнейшего обучения нейросети, проводили разметку данных, полученных из фотобанка, для определения на снимках характерных признаков тех или иных нозологий или групп заболеваний.

Чтобы свести к минимуму риск ошибки, связанной с субъективным суждением, использовали метод консилиума, когда учитываются мнения сразу нескольких врачей-экспертов. Если консилиум врачей приходит к единому мнению относительно вероятного диагноза, риск ошибки значительно снижается. Следует отметить, что во всех случаях диагноз «новообразование гортани» верифицирован по результатам патоморфологического исследования материала, полученного с помощью биопсии образования или его полного хирургического удаления.

В результате разметки снимков сформированы датасеты (рис. 1), в которых для каждого снимка определены признаки, соответствующие норме или наличию образования гортани. Далее уже размеченные датасеты загрузили в систему и на их основе на последующих этапах проводили обучение ИНС.

Рис. 1. Интерфейс просмотра размеченных данных.

В результате подготовки данных собран, размечен и загружен датасет, состоящий из 1471 снимка гортани в цифровых форматах (jpg, bmp). Из них на образование гортани пришлось 410 изображений, на варианты нормы — 1061 снимок.

Методы обучения классификационных нейронных сетей

В настоящее время применение глубоких нейронных сетей является лучшим методом для распознавания медицинских изображений, в том числе и для определения предварительного диагноза оториноларингологической патологии [2]. В большинстве случаев используется сверточная нейронная сеть. Для обучения классификации используются различные архитектуры нейронных сетей, такие как ResNet, VGG, NasNet, ModileNet и другие, при этом каждая из них имеет несколько модификаций. Для определения лучшей модели нейронной сети для обучения на полученном датасете написан алгоритм обучения всех доступных в пакете Tensorflow нейросетей в одинаковых условиях (с равными гиперпараметрами обучения). В ходе нескольких экспериментов нейронная сеть VGG16 показала лучшие результаты по сравнению с другими нейронными сетями. Наиболее близкий результат получен от ИНС MobileNet, но метрики потерь и точности ИНС при обучении у MobileNet оказались хуже.

Работа с данными фотобанка

Дальнейшее обучение нейросети проводили на уже загруженных в систему и размеченных консилиумом экспертов — врачей-оториноларингологов изображений гортани, сформированных в датасеты. Для обучения нейросети использовали 1371 снимок (1011 — норма гортани, класс 1; 360 — образование гортани, класс 2). Далее выполняли тестирование модели классификации норма/образование на размеченном тестовом наборе данных из 100 снимков (по 50 снимков на класс), на основе результатов которого рассчитывали основные метрики обученной нейросети.

Для оценки точности применяли ROC-кривую (Receiver Operator Characteristic), представляющую собой график соотношения истинного положительного и ложноположительного результата и характеризующую способность классификатора работать при различных порогах. Сформировали отчет классификации и построили матрицу неточностей, которая дает информацию о совместных результатах предсказанной и истинной принадлежности к той или иной диагностической группе и отображает количество правильных прогнозов по сравнению с количеством неверных прогнозов, а также позволяет оценить такие показатели, как чувствительность и специфичность.

Результаты

По результатам тестирования обученной нейросети мы сформировали матрицу неточностей, отражающую количество ложноположительных, ложноотрицательных и точно определенных снимков (рис. 2). В процессе представленного эксперимента использовалось 50 снимков на класс (сумма строки равна 50). Рассмотрим обозначения переменных для первого и второго классов, где второй класс (образование гортани) мы считали как положительный.

Рис. 2. Матрица неточностей для нейронной сети норма/образование гортани, где ось X — предсказанные искусственной нейронной сетью значения, ось Y — правильные значения (разметка эксперта).

Следует отметить, что 49 изображений второго класса (образование гортани) распознаны верно — True Positive (TP) (ИНС правильно предсказывает положительный класс как положительный), а 1 изображение распознано неверно — False Negative (FN) (ИНС неправильно предсказывает положительный класс как отрицательный). Далее 13 изображений первого класса (норма) распознаны как объект второго класса (образование гортани) — False Positive (FP) (ИНС неправильно предсказывает отрицательный класс как положительный) и 37 изображений первого класса распознаны верно, они относятся к положительному, второму, классу — True Negative (TN) (ИНС правильно предсказывает отрицательный класс как отрицательный).

Далее на основании ответов нейросети мы построили ROC-кривую (рис. 3) и рассчитали значение точности распознавания.

Рис. 3. ROC-кривая для нейронной сети норма/образование гортани.

ROC-кривая также известна как кривая ошибок, она показывает зависимость количества верно классифицированных положительных примеров (TPR=TP/(TP+FN)) от количества неверно классифицированных отрицательных примеров (FPR=FP/(TN+FP)). Площадь под ROC-кривой называется AUC-метрикой (Area Under Curve). При этом при площади 0,5 считается, что модель соответствует генератору случайных значений, который угадывает класс с вероятностью 50%. При площади менее 0,5 модель с большей частотой дает обратные (ложные) ответы. При площади более 0,5 модель способна предсказывать класс объекта с точностью, равной площади под ROC-кривой.

Как видно из рис. 3, в ходе нашего тестирования нейросеть показала точность 86% в различении эндоскопических снимков образований и вариантов нормы гортани.

Заключение

Данное исследование демонстрирует, что обученная искусственная нейронная сеть может различать эндоскопические фотографии нормы и образований гортани. При дальнейшем обучении нейросети и достижении достаточной точности данную технологию можно применить в качестве помощи клиницистам в интерпретации ларингоскопических изображений и своевременной диагностике образований гортани, что позволит уменьшить риск ошибки врача в выявлении патологии данной области. Предполагается, что разрабатываемая технология может в дальнейшем использоваться для контроля и повышения качества диагностики оториноларингологической патологии как врачами-оториноларингологами, так и врачами первичного звена: врачами общей практики (семейными врачами), врачами-педиатрами и врачами-терапевтами.

Авторы заявляют об отсутствии конфликта интересов.