Использование чат-ботов с применением искусственного интеллекта как элемента обучения при работе с дерматоскопическими изображениями

Компьютерная диагностика заболеваний является основной областью исследований последних нескольких лет. Различные попытки ранней диагностики рака с использованием компьютерных алгоритмов предпринимались с 1980 г. [1]. Меланома, злокачественное новообразование кожи, распространяется на европейском и североамериканском континентах в связи с доминирующими фототипами кожи [1]. Для диагностики меланомы кожи используется критерии ABCD: A — асимметрия (одна половина очага не похожа на другую); B — Border irregularity — беспорядочные, неровные очертания; C — Color variegation — цветные вариации, различные цвета и оттенки разного цвета; Diameter — диаметр более 6 мм (измеряют по самой длинной оси очага) [2].

За последние несколько десятилетий меланома стала серьезной проблемой общественного здравоохранения [3]. Непрерывный рост заболеваемости и смертности от меланомы делает необходимым реализацию технологий ее раннего выявления и профилактики.

Несколько метаанализов показали, что точность диагностики значительно повышает дерматоскопия, производимая невооруженным глазом [4, 5]. Тем не менее применение дерматологами и врачами общей практики различных алгоритмов дерматоскопии показало среднюю (<80%) чувствительность при обнаружении меланомы [6].

С развитием науки и техники точность диагностики и эффективность дифференциации различных видов рака кожи постоянно улучшаются. В ранее применявшихся подходах к клинической диагностике рака кожи окончательный диагноз часто зависел от качества визуализации и опыта дерматологов, что очень субъективно и дает высокий уровень ошибочных диагнозов. С появлением искусственного интеллекта (ИИ) и машинного обучения были разработаны различные системы, помогающие врачам диагностировать рак кожи [4]. При этом алгоритмы ИИ имели сравнительно более высокую точность диагностики по сравнению с классическим дерматологическим осмотром [1].

Несмотря на обоснованность того, что раннее выявление меланомы увеличивает выживаемость пациентов, и возможности технологий для улучшения скрининга до экспертного уровня, существует неопределенность в отношении эффективности современного скрининга [7]. Ранее была показана эффективность применения чат-ботов для решения медицинских задач [8]. Улучшенный скрининг может помочь врачам общей практики, не проходившим дополнительное обучение, выявлять случаи, подозрительные на злокачественное новообразование кожи, в рамках диспансерного осмотра, а специалистам-дерматовенерологам использовать интеллектуальную систему поддержки принятия врачебных решений для оттачивания диагностического навыка.

Решения на основе ИИ способны извлекать из изображений признаки кожных образований для определения вероятности отнесения к тому или иному классу. Появляется все больше разработок с применением биоинформатики и машинного обучения в аспекте диагностики меланомы, и ожидается, что продолжающийся поиск инструментов стратификации риска развития меланомы может изменить будущее терапии и ее результаты для пациентов [2].

Цель работы — описать методологию использования чат-ботов с применением ИИ как элемента игрового обучения дерматологов на основе набора данных, предварительно размеченного высококвалифицированными специалистами.

Для создания чат-бота проведен анализ публикаций, посвященных данной теме.

Первый этап поиска литературы выполнен по двум общедоступным базам данных (IEEEXplore и PubMed) для соответствующих исследований, опубликованных до июня 2021 г. При проведении поиска не применялись фильтры языка или года публикации, были также исключены эксперименты, не связанные с людьми, отчеты о случаях, документы конференций, письма, редакционные и обзорные статьи.

Поиск публикаций осуществлялся в базах данных PubMed и PMC во временном интервале с 01.10.12 по 01.10.22. Поисковый запрос был представлен парными комбинациями сущностей из множеств Dermatology {‘skin’,’melanoma’, ‘skin disease’, ‘clinical examination’} and AI {‘machine learning’, ‘deep learning’, ‘neural network’, ‘chatbot’, ‘artificial intelligence’}.

Найдено 25 исследований, связанных с диагностикой меланомы, основанной на ИИ и применении чат-ботов, из них в нашу статью включили 13 исследований, в которых оценивались алгоритмы ML по диагностике меланомы. Мы включили исследования, в которых предлагалось техническое решение на основе ИИ и чат-ботов и описывался практический опыт внедрения в реальной жизни. Мы рассматривали только общедоступные решения.

Первые 2 этапа поиска данных о заболеваниях кожи, особенно о меланоме и ее диагностике, реализованной посредством машинного обучения, дали 13 результатов из PubMed и 12 результатов из IEEEXplore. После проверки заголовков и рефератов мы исключили 1 исследование на предмет дублирования и 2 исследования на предмет несоответствующих рефератов или типов публикаций. В общей сложности проанализированы полные тексты 22 исследований, из которых 4 исследования исключены из-за результатов, которые не представляли интереса, 7 — из-за недостаточности данных для анализа. Был добавлен третий этап анализа литературы и 2 исследования, в результате чего для окончательного анализа включили 13 исследований реализаций ИИ в дерматологии.

Извлечение данных выполнено по исследованиям, отобранным после анализа полных текстов. Проведен тщательный просмотр каждой статьи с выделением следующих переменных: первый автор, год публикации, страна, алгоритм, тип действия. Решения машинного обучения дополнительно классифицированы по категориям: идентификация целей, классификация изображений, персонализированная терапия, создание отчетов, эпидемиология. Следующим этапом стало полнотекстовое рецензирование.

На основе изучения литературы, касающейся возможностей применения ИИ в медицинской практике для решения актуальных вопросов здравоохранения, мы разработали технологию обучения врачей в формате чат-бота, позволяющую им улучшить свои диагностические навыки в дерматологии.

Технология представляет собой компьютерную программу, интерфейс которой реализован в виде чат-бота, написанного на языке Python с использованием Telegram API, базы данных пользователей и их рейтинга, созданную с помощью языка системы управления баз данных SQL, и ИИ, созданного с помощью применения нейросети, обучаемой на основе данных пользователей, спроектированной с помощью библиотеки TensorFlow.

Чат-бот с применением технологии ИИ — это программа-собеседник, которая выясняет потребности пользователей, а затем помогает удовлетворить их. Автоматическое общение с пользователем ведется с помощью текста или голоса. Чат-бот, разработанный специально для работы в медицинских учреждениях, способен преобразовать структуру иерархии знаний практикующих врачей, чтобы улучшить диагностику меланомы на уровне первичного скрининга и ежегодного диспансерного наблюдения. ИИ в этом случае обобщает способность системы к проведению анализа получаемой информации, ее интеллектуальной обработки, накоплению полученных знаний и предоставлению информации для пользователя.

Это технология позволяет на первичном приеме у врачей общей практики проводить скрининг меланомы с экспертной точностью [8], в том числе благодаря системе поддержки врачебных решений, реализованной в формате чат-бота, оснащенного ИИ. Данная технология также способствует обучению врачебного персонала поликлиник, занимающегося проведением диспансерного осмотра населения. В игровой форме, рассматривая изображения кожных образований, выдаваемых чат-ботом из набора данных, врачи общей практики и дерматологи смогут тренироваться в диагностике меланомы. Поскольку кожа доступна для относительно недорогой и неинвазивной диагностической визуализации, клиницисты в значительной степени полагаются на визуальный осмотр.

На момент запуска система укомплектована первичным набором данных в объеме не менее 10 000 изображений, включающих следующие классы кожных новообразований: актинический кератоз, интраэпителиальная карцинома/болезнь Боуэна, базально-клеточная карцинома, доброкачественные кератозоподобные поражения (солнечное лентиго, себорейный кератоз), дерматофиброма, меланома, меланоцитарные невусы и сосудистые поражения (ангиомы, ангиокератома, пиогенная гранулема).

Система демонстрирует изображение и дает возможность выбора одного из вариантов ответа. В системе реализована возможность регистрации пользователей и накопления статистики по количеству верных ответов, также система реализована через удобный для пользователей интерфейс — мессенджер «Телеграмм», который может быть использован как при установке на мобильный телефон, так и на персональный компьютер. В дальнейшем чат-бот может быть перенесен в другие платформы для расширения охвата пользователей. На рис. 1 показана диаграмма перехода пользователей в интерфейсе системы.

Рис. 1. Диаграмма перехода пользователей в интерфейсе системы.

Помимо приветствий и прощальных состояний, разработанный нами чат-бот имеет 3 основные диалоговые фазы: предоставление изображения, получение ответа пользователя и показ правильного ответа. Чат-бот начинает с вопроса об имени пользователя для входа в систему, а затем вводит в диалог. У пользователей есть возможность снова войти в диалог с чат-ботом для повтора тренировки, а также возможность просматривать свою историю чата. Диалог сохраняется в базе данных для хранения и дальнейшего использования.

Предложенный нами чат-бот с применением ИИ как элемента игрового обучения дерматологов на основе набора данных позволяет специалистам улучшить навык визуального осмотра кожи. Бот предоставляет пользователю фотографии новообразований различного генеза с подтвержденным диагнозом, что позволяет не только научится определять меланому, но и дифференцировать ее от других заболеваний. Возможности системы предполагают подсчет статистики правильных и неправильных ответов врачами, что может быть использовано как для составления рейтинга, так и для формирования тестов при реализации программ повышения квалификации в рамках работы системы непрерывного медицинского образования. Система позволяет врачу соревноваться как с другими врачами, так и с ИИ в точности определения класса, к которому относится представленное на изображении кожное образование.

Проверка данных для входа пользователя происходит в интерфейсе мессенджера «Телеграмм». Для отслеживания результатов тренировок для каждого пользователя регистрируется аккаунт: пользователь вводит свои фамилию, имя и псевдоним, в дальнейшем используемые для построения рейтинга пользователей, что является дополнительным мощным мотивационным звеном в процессе обучения. При желании пользователь может не раскрывать свою личность, если пока не уверен в своих силах.

Затем чат-бот подает пользователю изображение из первичного набора данных (одно из 10 000 изображений). Чат-бот предлагает не только анализировать проявления меланомы на фотографиях, но и дифференцировать ее с другими поражениями кожи, такими как актинический кератоз, болезнь Боуэна, базально-клеточная карцинома, доброкачественное поражение, дерматофиброма, меланоцитарные невусы и сосудистые поражения. Пользователь, получая изображение от чат-бота, должен выбрать верный на его взгляд вариант ответа. Чат-бот анализирует этот ответ, записывает его в рейтинг пользователя и выводит верный вариант ответа. При этом ИИ предполагает свой вариант, чтобы сравнить его с предложенным врачом. В дальнейшем обученная нейросеть сможет классифицировать новые изображения и позволит расширить функционал системы для классификации новых изображений.

Несколько стратегий автоматизированного компьютерного анализа изображений были исследованы в последние годы в качестве помощи врачам для обеспечения высокой и широко воспроизводимой диагностической точности при скрининге меланомы [9]. Так, Estevaetal в 2017 г. сообщил об обучении и тестировании сверточной нейронной сети с глубоким обучением (CNN) для классификации кожных образований на основе изображений [10]. Была также показана возможность применения чат-бота с интегрированными интеллектуальными алгоритмами [11]. В дальнейшем предложенная архитектура многократно видоизменялась и совершенствовалась. В общем смысле сверточные нейронные сети обладают способностью обобщать признаки, содержащиеся в матрицах данных (в нашем случае это изображения, где каждая точка расположена на двумерной плоскости и кодируется 3 числами в диапазоне от 0 до 255).

Преимущества профилактики и выявления меланомы для общественного здравоохранения уже привели к прогрессу в диагностике рака кожи, особенно в области ИИ [12, 13]. При работе сверточной нейронной сети окно считывания, имеющее переменный размер, многократно проходит по изображению, извлекая признаки, характеризующие свойства, связанные как со взаимным расположением цветовых точек, так и с их яркостью и цветом. Именно эти свойства позволяют данной технологии проявлять свои возможности при анализе дерматоскопических изображений.

Таким образом, используя чат-бот с ИИ, врач в игровой форме учится дифференцировать меланому от других поражений кожи, что значительно улучшает его диагностические навыки. Развитие диагностических способностей врача крайне благоприятно влияет на статистику раннего выявления онкологических заболеваний, что, в свою очередь, ведет к значительному улучшению исхода заболевания для пациента. Так преобразовывается структура знаний практикующих врачей, и специалисты начинают легко ориентироваться в дифференциальной диагностике заболеваний. Пример диалога с чат-ботом можно увидеть на рис. 2.

Рис. 2. Пример экрана работы чат-бота.

Кроме того, с помощью чат-бота можно распознавать новообразования по новым дерматоскопическим изображениям. Планируется возможность загрузки новых изображений врачами или пациентами. Они будут помещены в отдельный набор данных и предложены для классификации врачам с наивысшим рейтином, а также проверены системой ИИ. После этого результат классификации будет доступен пользователю, загрузившему изображение, а само изображение помещено в обучающий датасет.

Результат проекта выглядит следующим образом: пользователь будет видеть диалог с чат-ботом и получит конкретный диагноз после уточнения симптомов. Пользователь может просмотреть свою историю чата, которая хранится в базе данных. При анализе дерматоскопических изображений по количеству верных ответов накапливается статистика, на основе которой специалист может сделать вывод о прогрессе своего обучения. На рис. 3 представлен дизайн диалога чат-бота с пользователем с помощью графа конечных состояний.

Рис. 3. Диалог чат-бота с пользователем.

Как показано на рис. 3, диалог строится по принципу отправки сообщений в качестве реакции на то или иное событие после входа пользователя.

Чат-бот является удобным для пользователя и может быть использован любым человеком, который умеет пользоваться смартфоном. Медицинский чат-бот является широкодоступным источником медицинских знаний и предоставляет персонализированные диагнозы на основе симптомов пользователя.

В будущем эффективность распознавания симптомов и диагностики ботом может быть значительно улучшена путем добавления поддержки большего количества медицинских функций, таких как местоположение, продолжительность и интенсивность симптомов, расширение набора данных, а также более подробного описания симптомов.

Реализация персонализированного медицинского помощника в значительной степени зависит от алгоритмов ИИ, а также от данных обучения. Внедрение персонализированной медицины успешно спасло бы много жизней и создало бы медицинскую осведомленность среди людей. Приложения для обмена сообщениями всю глубже проникают в нашу жизнь, и таким образом происходит реализация медицинских технологий в рамках подобных решений.

Разработан чат-бот с ИИ, позволяющий в игровой форме обучать врачей распознавать меланому по дермоскопическим изображениям. Это программное обеспечение может быть использовано для обучения в дерматологии.

В перспективе полученные результаты будут способствовать повышению ранней выявляемости меланомы на диспансерном уровне и соответственно улучшению прогнозов выживаемости пациентов с этим заболеванием. В перспективе возможно расширение учебного набора данных для проверки навыков врачей-дерматологов распознавать меланому по дермоскопическим изображениям.

Целесообразно рассмотреть возможность развития системы за счет включения дополнительных изображений в набор данных, в том числе неклассифицированных, для их последующей классификации пользователями системы, получившими наилучшие результаты в статистике верных ответов. Помимо этого, внесение новых изображений врачами позволит продолжить обучение ИИ для повышения качества машинного определения класса загруженного изображения.

Участие авторов:

Концепция и дизайн исследования — А.А. Игнатьев

Сбор материала и статистическая обработка — К.А. Кошечкин, Е.В. Васильева, М.А. Кочетков, Р.А. Шелиха, Э.А. Дунямалиева, Е.Р. Коробков

Написание текста, анализ данных — К.А. Кошечкин, А.А. Игнатьев

Редактирование — Доля О.В., Н.В. Фриго

Авторы заявляют об отсутствии конфликта интересов.

Authors’ contributions:

The concept and design of the study — A.A. Ignatiev

Collecting and interpreting the data, statistical analysis — K.A Koshechkin., E.V. Vasil’eva, M.A. Kochetkov, R.A. Sheliha, E.A. Dunyamaliyeva, E.R. Korobkov

Drafting the manuscript data analysis — K.A. Koshechkin, A.A. Ignatiev

Revising the manuscript — O.V. Dolya, N.V. Frigo