Введение
Современные методы лучевой диагностики позволяют осуществлять детальную трехмерную реконструкцию отдельных анатомических областей и всего тела. Это определяет чрезвычайно высокий диагностический потенциал трехмерной визуализации, существенно расширяет функциональные возможности клинициста в выявлении различных заболеваний, в том числе и таких, как туберкулез, злокачественные новообразования, пневмонию и др. Вместе с тем прогресс в области технологий получения медицинских изображений, повышения их качества, скорости передачи, постпроцессинга данных привел к возникновению значительных противоречий между технологическими возможностями современной диагностики и способностью интерпретатора выполнять аналитические функции в сопоставимом темпе. При этом имеют значение биологические особенности устройства зрительного анализатора человека и его разрешающая способность, естественная утомляемость, сложное взаимодействие сознательного и бессознательного в принятии итогового диагностического решения [1, 2].
Все перечисленное диктует необходимость появления в повседневной практике современного рентгенолога особых дополнительных инструментов, которые бы позволяли расширить функциональные возможности врача-диагноста, заместить часть его компетенций с тем, чтобы сконцентрировать его интеллектуальный потенциал на решение сложных аналитических и синтетических задач, требующих знаний, опыта, врачебной интуиции, клинического мышления и профессионального творчества.
Решение описываемой проблемы видится в применении так называемых систем компьютерного зрения, активно разрабатываемых в мире с использованием алгоритмов машинного обучения и искусственного интеллекта [3—6]. Так, широкую известность получил пионерский опыт применения таких интеллектуальных ассистентов в диагностике поражений легких при новой коронавирусной инфекции, позволивший с математической точностью определять объем легочной паренхимы, охваченной патологическими изменениями [7]. С успехом используются технологии интеллектуальной визуализации анатомических объектов в клинической анатомии и оперативной хирургии, что позволяет осуществлять детальное планирование и объем вмешательства. Вместе с тем точная детекция патологических признаков, их количественная характеристика, реконструкция пространственной локализации и привязка к анатомическим ориентирам может трансформировать и процесс выявления признаков рака легких при анализе нативных и низкодозных компьютерных томограмм органов грудной клетки.
Цель исследования — разработка и изучение функциональности и диагностической точности системы компьютерного зрения на основе алгоритмов искусственного интеллекта для детекции солидных и субсолидных узловых образований при компьютерном томографическом исследовании грудной клетки.
Материал и методы
Исследование выполнено в строгом соответствии с требованиями Федерального закона «Об основах охраны здоровья граждан в Российской Федерации» от 21.11.11 №323-ФЗ и Федерального закона «О персональных данных» от 27.02.06 №152-ФЗ. Протокол исследования был рассмотрен и одобрен на заседании локального этического комитета ФГБУ СПбНИИФ Минздрава России (протокол №3 от 21.10.20).
При проведении исследования для целей обучения, валидации и тестирования эффективности работы системы компьютерного зрения использовали 1367 полносрезовых компьютерных томограмм грудной клетки, выполненных на различных томографах (КТ), краткие сведения о которых представлены в табл. 1. Из архива СПбНИИФ Минздрава России были получены 334 исследования 205 мужчин среднего возраста 51,4±6,2 года и 129 женщин среднего возраста 47,6±7,3 года, из которых 100 КТ без патологических изменений и 234 КТ с признаками узлообразования в легких. Из рентгенологического архива ГКБ им. Ф.И. Иноземцева получено 438 КТ мужчин в возрасте 55,2±4,6 года и 374 женщин в возрасте 51,1±5,9 года. Из Городской Мариинской больницы 221 КТ включала 109 без признаков патологии и 112 с рентгенологическими признаками узловых образований в легких. Распределение по полу составило 129 мужчин в возрасте 57,5±6,7 года и 92 женщин в возрасте 47,4±7,1 года. В соответствии с требованиями национального законодательства все исследования были деперсонализированы. Все КТ, как без признаков патологии, так и с рентгенологическими изменениями, были случайным образом разделены в соотношении 4:1:1 для обучения, валидации и оценки эффективности и качества работы разрабатываемой модели компьютерного зрения. Датасеты, используемые для валидации и тестирования, не участвовали в обучении модели. КТ с признаками опухолевого поражения легких были морфологически верифицированы.
Таблица 1. Характеристика томографических исследований, использованных в работе
| Источник данных | Число кейсов | ||
| всего | без патологии | с узловыми образованиями | |
| СПбНИИФ | 334 | 100 | 234 |
| ГКБ им. Ф.И. Иноземцева | 812 | 414 | 398 |
| Городская Мариинская больница | 221 | 109 | 112 |
Все используемые в работе томограммы были размечены четырьмя высококвалифицированными рентгенологами с опытом работы с КТ грудной клетки 10 лет и более в специально для этого разработанной программной среде (ООО «КэременторЭйАй», Россия). Разметка изображений включала сегментацию легочных полей и узловых образований на каждом томографическом срезе с помощью графического инструмента «полигон» двумя независимыми специалистами.
Предложенный метод состоит из 3 основных этапов, изображенных на рис. 1.
Рис. 1. Схема метода построения модели компьютерного зрения.
На первом этапе производится сегментация долей легких в КТ. На втором — с помощью сверточной нейронной сети производится сегментация (локализация) подозрительных образований — кандидатов (proposals) в злокачественные поражения. На третьем этапе узлы-кандидаты с учетом контекстной информации классифицируются на узлы, имеющие (malignant) или не имеющие признаки злокачественности (находки, не относящиеся к узлам, или доброкачественными узлы — benign). В заключительной фазе, используя результаты работы первых трех этапов, и на их основании выдаются характеристики как каждой из находок, так и исследования в целом.
На первом этапе для сегментации долей легких использовали модификацию сверточной архитектуры U-Net для работы с 3D-изображениями [8]. Исходные полносрезовые КТ и соответствующую размеченную маску долей легкого сжимали в 3D-куб размером 128×128×128 и подавали на вход нейронной сети. Для обучения сети использовалась многоклассовая функция кросс-энтропии (cross-entropy loss). В целях обеспечения значимого разнообразия входных данных и итоговой надежности обученной нейронной сети на этапе подготовки кейсов применялись разнообразные и интенсивные трансформации входных данных.
На втором этапе производится сегментация (локализация) кандидатов в узловые образования (узлов-кандидатов). На вход нейронная сеть с архитектурой U-Net получает двухмерные аксиальные срезы КТ, переведенные в единицы шкалы Хаунсфилда [9]. На выходе — бинарная маска с сегментированными кандидатами для текущего среза.
При обучении сети использовалась фокальная функция потерь (Focal loss), позволяющая учесть значительный дисбаланс классов в данной задаче сегментации кандидатов — в среднем узлы занимают <5% объема исследования грудной клетки. Функция Focal Loss представляет собой модификацию классической бинарной кросс энтропии и описывается формулой (1):
FL= –(y·(1–p)γ·log(p)+(1–y)·pγ·log(1–p)), (1)
где p — прогнозируемая вероятность класса, y — значение класса (1 или 0), γ — степенной параметр (во всех экспериментах был равен 3).
Итоговая маска с сегментированными кандидатами получается объединением масок от каждого аксиального среза.
На вход третьего этапа подается полносрезовая КТ и соответствующая трехмерная маска с разметкой узлов-кандидатов из второго этапа. В полученной маске может быть множество условно независимых или не связанных между собой узлов — для разделения единой маски на отдельные находки используется метод связных компонент. Для каждого узла-кандидата из исследования вырезается куб 96×96×96, содержащий узел-кандидат и окружающий его контекст. Вырезанный куб подается на вход классифицирующей сверточной нейронной сети (convolutional neural network, CNN), модифицированной для работы с трехмерными данными. Выходом модели является вероятность наличия злокачественности для конкретного узла. Для обучения сети использовалась стандартная функция кросс-энтропии.
СУ= –(y·(log(p)+(1–y)·log(1–p), (2)
где p — прогнозируемая вероятность класса, y — значение класса (1 или 0).
Получив результаты предыдущих трех этапов для исследования, определяли характеристики каждого из узловых образований и итоговое заключение о наличие признаков злокачественного поражения исследования.
Статистический анализ полученных данных включал расчет специфичности, чувствительности, общей точности и площади под кривой ошибок (AUC ROC) для задачи бинарной классификации заключения нейросетевой модели о наличии или отсутствии признаков злокачественного поражения легких [10]. Для оценки точности сегментации легочных полей, солидных и субсолидных узловых образований рассчитывали коэффициент согласия (IoU, intersection over union), при этом за «ground truth» принимали пересекающуюся область сегментов, размеченных двумя независимыми врачами-рентгенологами.
Результаты
Изучение диагностической точности разработанной модели в области определения наличия признаков злокачественного поражения легких (солидных и субсолидных узловых образований) проведено на 228 полносрезовых кейсах, содержащих 100 исследований с морфологически подтвержденным опухолевым процессом, и показало вариабельность чувствительности и специфичности в зависимости от пороговых значений, задаваемых на выходных слоях архитектуры нейронных сетей. Так, в частности, оптимальные пороговые значения, при которых частота ложноотрицательных заключений системы компьютерного зрения не превышает 17%, определены в диапазоне от 0,25 до 0,30 (рис. 2).
Рис. 2. Диагностическая точность прогнозирования наличия или отсутствия признаков злокачественности на КТ.
Кроме того, оценили корректность сегментации разработанной модели. В качестве изучаемых параметров использовали точность сегментации легочных полей на отдельных срезах и точность сегментации солидных и субсолидных узловых образований. Для удобства анализа последние были условно разделены нами по признаку максимального линейного размера на узловые образования до 5 мм, от 5 до 10 мм и более 10 мм. Результаты представлены в табл. 2 и на рис. 3.
Таблица 2. Сравнение точности сегментаций легочных полей и узловых образований в легких, выполненных врачом и нейросетевой моделью
| Область сегментации | Число кейсов | Коэффициент согласия (IoU) | |
| модель | рентгенолог | ||
| Легочные поля | 413 | 0,91±0,04 | 0,94±0,05 |
| Узловые образования менее 5 мм | 157 | 0,78±0,03 | 0,89±0,04* |
| Узловые образования от 5 до 10 мм | 214 | 0,82±0,04 | 0,91±0,06 |
| Узловые образования более 10 мм | 98 | 0,92±0,03 | 0,94±0,05 |
Примечание. * — при межгрупповом сравнении различия достоверны при p<0,05 (одномерный дисперсионный анализ, t-тест).
Рис. 3. Примеры сегментации легочных полей и образований в легких на отдельных срезах КТ грудной клетки.
Как хорошо видно, разработанная модель продемонстрировала сопоставимую с точностью у рентгенолога сегментацию легочных полей, а также узловых образований размером, превышающим в максимальном диаметре 5 мм. Сегментационная точность системы компьютерного зрения уступает точности врача при оконтуривании узловых образований диаметром менее 5 мм, при этом коэффициент согласия нейросетевой модели составляет в среднем 0,78.
Обсуждение
Разработанная сегментационная модель компьютерного зрения позволяет с достаточной точностью сегментировать как легочные поля, так и расположенные в их границах контуры находок, соответствующие по своей природе солидным и субсолидным узловым образованиям. При этом для удобства использования модели и наглядности результатов анализа нам удалось также реализовать возможность реконструкции отсегментированных образований в воспроизводимой по результатам послойной сегментации контуров легочных полей объемной картине легких, как это показано на рис. 4.
Рис. 4. Объемная реконструкция легких и найденных патологических находок, выполненная системой компьютерного зрения.
Неотъемлемым условием практического применения разработанной модели является ее интеграция в программную среду рабочей станции пользователя — рентгенолога. В рамках настоящего исследования нами также проработан и этот вопрос клинико-диагностического использования модели, в том числе для исследовательских целей. На рис. 5 представлен алгоритм имплементации сервиса в рабочие процессы рентгенолога. Представленная интеграционная схема позволяет автоматизировать получение и деперсонализацию полносрезовых КТ грудной клетки из PACS (Picture Archiving and Communication System) пользователя в форматах DICOM или PNG и передачу их на анализ в нейросетевой сервис посредством облачного решения (CMAI Cloud). Проанализированные исследования поступают в медицинскую информационную систему (МИС) пользователя и становятся доступными для просмотра и последующей работы с ними как рентгенологом, так и аналитиком/экспертом.
Заключение
Таким образом, результаты исследования свидетельствуют, что созданная система компьютерного зрения на основе алгоритмов сверточных искусственных нейронных сетей позволяет эффективно детектировать узловые образования легких на томографических срезах грудной клетки, визуализировать их в форме объемной анатомической реконструкции легких. Разработанная интеграционная модель представляет собой удобный инструмент встраивания нейросетевого сервиса в рабочий процесс отделения лучевой диагностики, а также может быть использована в образовательном процессе, при проведении исследований в области клинической анатомии региона и обосновании новых подходов к оперативному лечению заболеваний органов грудной клетки.
Рис. 5. Модель интеграции системы компьютерного зрения в рабочий процесс отделения лучевой диагностики. Объяснение в тексте.
Участие авторов:
Концепция и дизайн исследования — П.В. Гаврилов, Д.С. Блинов
Сбор и обработка материала — П.В. Гаврилов, П.Г. Ройтберг, Д.С. Блинов, М.Г. Голдин, А.А. Дорофеев, Ю.А. Новохатько, И.Г. Камышанская, В.С. Леонтьев, Е.В. Сушков
Статистическая обработка — Е.В. Блинова, В.М. Черемисин, А.И. Соколов, Д.О. Шматок
Написание текста — П.В. Гаврилов, П.Г. Ройтберг, Д.С. Блинов
Редактирование — М.Г. Голдин, А.А. Дорофеев, Ю.А. Новохатько Е.В. Блинова, В.М. Черемисин, А.И. Соколов, Д.О. Шматок
Participation of authors:
Concept and design of the study — P.V. Gavrilov, D.S. Blinov
Data collection and processing — P.V. Gavrilov, P.G. Roitberg, D.S. Blinov, M.G. Goldin, A.A. Dorofeev, Yu.A. Novokhat’ko, I.G. Kamishanskaya, V.S. Leontiev, E.V. Sushkov
Statistical processing of the data —E.V. Blinova, V.M. Cheremisin, A.I. Sokolov, D.O. Shmatok
Text writing — P.V. Gavrilov, P.G. Roitberg, D.S. Blinov
Editing —M.G. Goldin, A.A. Dorofeev, Yu.A. Novokhat’ko, E.V. Blinova, V.M. Cheremisin, A.I. Sokolov, D.O. Shmatok
Авторы заявляют об отсутствии конфликта интересов.
The authors declare no conflicts of interest