Диагностическое обследование пациентов с зубочелюстно-лицевыми аномалиями является неотъемлемым этапом ортодонтического лечения, определяющим его ход и результат. Методы лучевой диагностики играют важнейшую роль в планировании активного и ретенционного периодов лечения и сокращают сроки достижения устойчивого функционирования зубочелюстного аппарата и улучшения эстетики лица. Несмотря на активное развитие 3D-диагностики, основными методами обследования ортодонтических пациентов и планирования их лечения, а также контроля эффективности лечения остается телерентгенография [1—4]. Однако высокая частота развития осложнений, возникающих при лечении пациентов с нарушениями смыкания зубных рядов и положения отдельных зубов, свидетельствует о необходимости выявления недостатков в диагностике, базирующихся на современных цифровых технологиях, что и определило цель и задачи проведенного исследования.

Цель исследования — сравнительная характеристика компонентов мягких вычислений на примере нейронной сети с архитектурой U-Net и простой полностью сверточной нейронной сети CNN в поиске ключевых точек цефалометрических измерений в ортодонтии.

Материал и методы

При подготовке обучающих данных из архива заранее обезличенных рентгеновских снимков 500 пациентов с помощью генератора случайных чисел была сформирована база из 100 телерентгенограмм головы в боковой проекции. Никаких критериев исключения установлено не было. В работе принимали участие 3 врача-ортодонта с опытом работы 10 лет и более. Каждым из участников было обработано по 100 рентгенологических снимков головы в боковой проекции по 27 параметрам, всего 2700 параметров. Маркировка была выполнена с помощью цифрового программного обеспечения Paint.NET, в котором доступны такие функции улучшения изображения, как увеличение и уменьшение, изменение яркости и контрастности для лучшего поиска ориентиров. Ориентиры были идентифицированы с помощью графического курсора на отображаемом цифровом изображении. Для повышения точности локализации ориентира и снижения вероятности ошибочной локализации размеры точек составляли 1 пиксель.

Извлечение координат анатомических ориентиров проводилось с помощью специально созданной для этой цели программы. Так как эта программа является достаточно примитивной в реализации и простой по концепции, в данной статье детальное рассмотрение ее устройства отсутствует, однако стоит описать ее базовый принцип. Для размеченных врачами-ортодонтами снимков, программа находит пиксель, обозначенный специалистами, и извлекает его двухмерные координаты на плоскости. Таким образом формируется набор данных для дальнейшего эксперимента и расчета дополнительных математических параметров. Стоит отметить, что такой подход к интерпретации данных позволяет выполнить ряд статистических исследований, таких как оценка разброса значений координат локализуемых ориентиров специалистами для каждого из типов ориентиров, средняя позиция каждого типа ориентира — это только «базовые» статистические выводы, на основании которых можно получить статистически значимые результаты.

После извлечения координат локализованных ориентиров для каждого изображения мы описывали каждый из типов ориентиров в двухмерном пространстве с помощью нормального распределения. Такой подход позволяет использовать алгоритмы, основанные на применении сверточных нейронных сетей, без риска потери координаты анатомического ориентира операциями свертки и максимальной выборки [5—7]. Логическим обоснованием выбора нормального распределения для описания позиций анатомических ориентиров служит простой принцип — наибольшей точкой двухмерного нормального распределения будет являться локализованная позиция анатомического ориентира, что кроме оптимизации данных для использования алгоритмов с применением сверточных нейронных сетей дает возможность представлять исходные локализованные данные в качестве аналога «тепловой карты», позволяя проводить дальнейшие дополнительные исследования [8, 9].

Таким образом, до применения алгоритмов компьютерного зрения на основе нейронных сетей получен набор данных для 100 рентгенологических снимков проекции головы по 27 параметрам, представленных в двухмерном пространстве в виде нормального распределения. Затем выбраны две архитектуры сверточных нейронных сетей — CNN и U-Net, отличающиеся архитектурным подходом к передаче данных между сверточными слоями [10, 11]. Данные архитектуры позволяют прогнозировать позиции анатомических ориентиров с помощью выделения наиболее значимых признаков на изображении, по которым совершается идентификация позиции. Обе архитектуры используют последовательное понижение размерности изображения с выделением значимых признаков на каждом уровне понижения (входное изображение уменьшается в 2 раза на каждом шаге), но в случае использования архитектуры U-Net наиболее значимые признаки хранятся для каждого шага в памяти вычислительного устройства с целью их дальнейшего объединения с признаками последующих шагов, тогда как в архитектуре CNN-признаков для каждого шага не сохраняются и вместо этого наиболее значимые признаки с переходом на следующий шаг используются один раз и изменяются на каждом шаге. Таким образом, отличие архитектуры U-Net от архитектуры CNN заключается в усовершенствованной способности вычленения значимых признаков изображения и обобщения данных, которая позволяет работать эффективнее на новых изображениях, содержащих «искажения» относительно исходных, такие как повороты на небольшой угол или изменение по контрасту изображения.

Для обучения нейронных сетей — простой полностью сверточной нейронной сети CNN и нейронной сети архитектуры U-Net — было произведено масштабирование изображений до размера 512×512 пикселей. При этом координаты анатомических ориентиров на изображениях без масштабирования были сохранены отдельно для дальнейшего сравнения результатов локализации нейронными сетями позиций ориентиров на полноразмерных изображениях. Пример графической интерпретации представления позиции анатомического ориентира в виде двухмерного нормального распределения отображен на рисунке.

Графическая интерпретация представления позиции анатомического ориентира в виде двухмерного нормального распределения.

При таком подходе результат локализации ориентиров нейронной сетью на масштабированном изображении в дальнейшем проходит процесс «обратного» масштабирования, т.е. соотнесения спрогнозированных моделью координат с размерами исходного изображения. Это позволяет значительно оптимизировать работу моделей нейронных сетей на всех этапах работы — обучения и прогнозирования, а также использования в промышленной среде за счет снижения требований к характеристикам вычислительного устройства.

Результаты и обсуждение

Процесс обучения и прогнозирования выполнялся для 27 типов анатомических ориентиров на 100 телерентгенографических изображениях. В обучающую и тестовую выборку вошли по 50 изображений. Для оценки полученных результатов было проведено дополнительное сравнение результатов разметки анатомических ориентиров между тремя врачами-ортодонтами. Полученные в ходе исследования результаты представлены в табл. 1.

Таблица 1. Результаты эксперимента

Исходя из полученных данных, стало возможным констатировать, что простая полностью сверточная нейронная сеть CNN не является эффективным инструментом в определении опорных координат на двухмерных рентгенологических снимках головы, так как по большинству параметров уступает в точности интерпретации данных врачами-специалистами. Нейронная сеть с архитектурой U-Net, напротив, дает весьма перспективные для дальнейшей разработки материалы: она не только превосходит по всем параметрам CNN, но и по 17 из 27 параметров показывает результаты точнее, чем специалисты, по остальным же 10 является сопоставимой с врачами с большим клиническим опытом работы.

Результаты работы простой полностью сверточной нейронной сети CNN были признаны неудовлетворительными по 17 (62,96%) параметрам, удовлетворительными — по 10 (37,04%). Работа врачей-специалистов оценена как неудовлетворительная в 6 (22,22%) координатах, удовлетворительная — в 8 (29,63%), хорошая — в 8 (29,63%), отличная — в 5 (18,52%). Нейронная сеть с архитектурой U-Net в 9 (33,3%) случаях дала удовлетворительные результаты, в 16 (59,3%) — хорошие, в 2 (7,4%) — отличные, при этом неудовлетворительных получено не было.

Некоторые исследователи [12—18] при интерпретации точности определения опорных координат на телерентгенологических снимках головы в боковой проекции упоминают клинически значимые интервалы отклонения результата от эталонной точки в 1, 2 и 4 мм. Таким образом, мы сочли клинически допустимыми отклонения в координатах опорных точек до 4 мм, хорошими — до 2 мм и отличными — до 1 мм.

После статистической обработки для каждой из координат был выполнен подсчет средних значений отклонений (табл. 2) от эталонной точки для выявления эффективности алгоритмов глубокого обучения при решении задачи обнаружения анатомических ориентиров на двухмерном рентгенологическом изображении головы в боковой проекции.

Таблица 2. Оценка полученных результатов

Заключение

В нашем исследовании дана сравнительная характеристика компонентов мягких вычислений на примере нейронной сети с архитектурой U-Net и простой полностью сверточной нейронной сети CNN в решении вопроса обнаружения анатомических ориентиров на телерентгенографическом снимке головы в боковой проекции.

После подсчета средних по координатам значений погрешности по всем исследуемым наборам данных стало возможным отметить неудовлетворительные результаты в целом по компоненту CNN, удовлетворительные — по работе врачей-специалистов и хорошие показатели, полученные с помощью такого компонента мягких вычислений, как нейронная сеть с расширенной архитектурой для сегментации биомедицинских изображений U-Net. Она оказалась эффективнее в 2,26 раза, чем CNN и в 1,4 раза — чем врачи-специалисты.

Таким образом, сверточная нейронная сеть с расширенной архитектурой U-Net может быть рекомендована для локализации анатомических ориентиров в процессе цефалометрического анализа головы при работе с телерентгенологическими изображениями в боковой проекции.

Авторы заявляют об отсутствии конфликта интересов.

The authors declare no conflict of interests.