Опыт создания нейросетевой диалоговой системы для ответов на письменные обращения населения в крупное федеральное учреждение здравоохранения

Важным индикатором удовлетворенности пациентов медицинской организацией наряду с результатами анкетирования являются письменные обращения граждан. Данные обращения содержат целый спектр вопросов, возникающих у пациентов и их родственников при получении медицинской помощи. Сюда относятся отзывы, жалобы, предложения, благодарности и прочее. Обработка и подготовка ответов на обращения, а тем более ведение письменного диалога — весьма трудоемкий процесс, отнимающий большое количество времени и ресурсов у ответственных за этот раздел работы специалистов. Например, в период пандемии новой коронавирусной инфекции (COVID-19) только в адрес Министерства здравоохранения Нижегородской области направлено письменных обращений: в 2019 г. — 4916, в 2020 г. — 14832, в 2021 г. — 18150 [1, 2].

Генерация текста — одна из ключевых задач, решаемых системами искусственного интеллекта (ИИ) и обработки естественного языка natural language processing (NLP), предназначенных для автоматизации процесса удаленной коммуникации пациентов медицинской организации с ее административными и/или диспетчерскими службами. На сегодняшний день наличие у отечественной медицинской организации эффективно работающей диалоговой системы для общения человека и машины является актуальной проблемой, для решения которой требуются далеко нетривиальные подходы. Очевидно, что совершенствование таковых систем идет рука об руку с прорывными достижениями в области ИИ. Коротко задачу диалоговой генерации можно сформулировать так: пациент отправляет некое сообщение, а нейросеть выдает соответствующий ответ на основе текущего сообщения и информации об истории переписки, конечно, если она имела место. Диалоговые системы обычно разделяются на два типа в зависимости от их функционального предназначения: 1) ориентированные на задачу, или системы с закрытыми доменами, и 2) не ориентированные на задачу, или системы открытого домена. Последние не рассматриваются в настоящей статье, так как не имеют конкретной цели и объекта обслуживания в лице пациентов, обращения или запросы которых отличаются выраженной спецификой и касаются частных случаев оказания качественной и доступной медицинской помощи.

Ранние версии диалоговых систем базировались на правилах и фреймах с заранее заданными ключевыми словами, с учетом которых формировалась структура ответного сообщения. Техническое понятие фрейм обозначает контекст выполнения кода или отдельную область памяти, где хранятся локальные переменные и данные функции. Современные же диалоговые системы главным образом основываются на генеративных моделях, формирующих свои ответы, непосредственно исходя из текстового обращения к нейросети [3, 4]. Подходы к генерации нейронного диалога можно условно разделить на несколько категорий, которые все же фундаментально связаны друг с другом. Метод, работающий по принципу «кодер-декодер», известен под именем «модель Seq2Seq» (sequence-to-sequence). Она достаточно проста и считается наименее эффективной генеративной моделью. Ее результатам не хватает разнообразия, актуальности, логичности и основательности. Более сложная модель HRED (Hierarchical Recurrent Encoder-Decoder), не имея ограничений в отношении обработки истории информационных сообщений, по-прежнему не способна улавливать контекст, поэтому ее ответы выглядят чересчур формальными. HRED — это иерархический кодер-декодер, пригодный для генерации многооборотных диалогов. Модель VAE (Variational Autoencoder) отличается способностью генерировать ответ путем выборки скрытых переменных из распределения Гаусса. К сожалению, и такой подход не гарантирует получение релевантных ответов на разнообразные вопросы от обслуживаемого медицинской организацией населения. Повышение целенаправленности и связности ответов при сохранении удовлетворительного уровня их информативности, а также решение задачи ведения многоходового диалога лучше всего обеспечивается моделью на основе RL (Reinforcement Learning). Эта модель тоже имеет свои недостатки: сложность решения реальных задач, высокая требовательность ко времени и ресурсам, проблемы с масштабированием и стандартизацией, чувствительность к начальным условиям, ограниченная переносимость между разными задачами [5, 6].

Рабочей гипотезой авторов данного исследования послужило предположение о возможности создания генеративной нейронной сети, способной автономно и персонализировано без участия оператора отвечать на поступающие текстовые обращения, исключительно силами инициативной группы, состоящей из врачей-специалистов, социологов медицины и ИТ-разработчиков, сформированной по заказу ФБУЗ «Приволжский окружной медицинский центр» ФМБА России. Достижение данной цели способствовало бы продвижению в жизнь принципа высококачественного, справедливого и инклюзивного медицинского обслуживания прикрепленного контингента. Таким образом, было бы достигнуто открытое, честное и уважительное общение в паре искусственный интеллект — пациент. Чтобы исчерпывающе удовлетворить ожидания всех интересантов, нейронная сеть должна суметь различить в ходе ведения текстового диалога истинные мотивы и потребности собеседника. Доверительная тональность коммуникации с использованием приемов иммерсионной цифровой психотерапии в перспективе могла бы служить цементирующим элементом экосистемы психологической устойчивости наиболее уязвимых слоев населения [7, 8].

В этой связи авторы остановили свой выбор на одной известной своей эффективностью предварительно обучаемой модели, которой является модель под названием BERT (Bidirectional Encoder Representations from Transformers). Она основывается на трансформной архитектуре, обучается на большом количестве неразмеченных текстов, приобретая способность по общему контексту предсказывать замаскированные языковые токены [9]. Кроме того, предварительно обучаемые модели типа BERT для русского языка имеют открытый исходный код [10].

Цель исследования — проанализировать результаты создания нейросетевой диалоговой системы для формирования релевантных ответов на письменные обращения населения в медицинскую организацию.

Платформа машинного обучения с открытым исходным кодом BERT — недавно разработанная языковая модель, используемая для обработки естественного языка natural language processing (NLP). Платформа BERT разработана, чтобы помочь компьютеру понять значение неоднозначностей естественного языка, используя окружающий неразмеченный текст для установления контекста путем сопоставления противоположных семантических репрезентаций на разных уровнях. В результате предварительно обученная модель BERT может быть точно настроена с помощью всего лишь одного дополнительного выходного слоя для создания целевой платформы для решения широкого спектра задач, в том числе генерации текстового диалога с пациентами от лица медицинской организации. Преимущество модели состоит в том, что не требуются дополнительные затраты временных и финансовых ресурсов на модификацию ее архитектуры. Перечисленные достоинства BERT обусловили ее выбор авторами. Важно, что у специалистов в области ИИ BERT заслужила репутацию концептуально простой и эмпирически эффективной модели, демонстрируя впечатляющие результаты по 11 задачам обработки естественного языка, включая повышение показателей GLUE на 7,7%, точности MultiNLI на 4,6%, а теста SQuAD v.2 на 5,1 балла [11].

Для дообучения модели BERT на русифицированных медицинских данных применяли поэтапный подход. На первом этапе использовался датасет Yandex/geo-reviews (500 тыс. записей) для адаптации модели к бытовой лексике. На втором этапе модель оптимизировалась с помощью функций потерь (TripletLoss, ArccosMarginLoss), минимизирующих расстояния между эмбеддингами (embedding) одной категории и максимизирующих их для разных категорий. Эмбеддинг — это вектор в виде массива чисел, который получается после преобразования текста языковой моделью. На третьем этапе фиксированные эмбеддинги классифицировались методом SVM. Все этапы реализованы на Python с использованием библиотек Hugging Face Transformers и scikit-learn.

Команда разработчиков ФБУЗ ПОМЦ ФБМА России и ФГАОУ ВО Первый МГМУ им. И.М. Сеченова Минздрава России (Сеченовский Университет) провела оригинальное исследование по классификации запросов и отзывов граждан с использованием базы отзывов, состоящей из 2623 записей и разделенной на 18 категорий (табл. 1). Категории, количество примеров, в которых оказалось менее 20, изъяты по причине недостаточной репрезентативной емкости для дообучения нейронной сети. Таким образом, получен экспериментальный набор данных, состоящий из 12 классов. Для качественной оценки модели было решено разбить набор данных на обучающую и тестовую части в пропорции 8/2.

Таблица 1. Содержание категорий экспериментального набора

Для решения задачи классификации использована упомянутая выше модель BERT, обученная на русскоязычных текстах. Полная спецификация модели доступна в сети Интернет по ссылке DeepPavlov/rubert-base-cased Hugging Face. В ходе эксперимента по классификации задействовано внутреннее представление отзывов, называемое embeddings, токена CLS (Cumulative Layout Shift — совокупный сдвиг разметки) выходного набора модели. Это специальный символ, добавляемый перед каждым примером ввода. Токен CLS знаменует вероятность того, что одна фраза данного сообщения имеет некую смысловую связь с другой.

Модель дообучалась в 3 этапа. На первом этапе произведена адаптация модели ruBERT на домен текстов по открытой базе yandex/geo-reviews-dataset-2023 (github.com), содержащей 500 000 различных записей. На этом этапе модель училась правильно предсказывать значимое для контекста смысловое содержание, несмотря на отсутствовавшие в тексте слова, выставляя соответствующие итоговые рейтинги. Достигнутый результат использовали на следующих этапах.

На втором этапе модель тренировали определять embedding класса по сообщению таким образом, чтобы векторное описание разных сообщений одной категории было максимально близким, а разных категорий — максимально далеким. Для этого применялись функции потерь типа TripletLoss, ContrastiveLoss, а также вариант ArccosMarginLoss. На этом этапе изменялись веса модели ruBERT, и происходила точная настройка на целевой домен медицинских запросов и отзывов.

На заключительном этапе модель фиксировалась, и строились классификаторы по полученным на предыдущем этапе векторным представлениям embeddings. На этом этапе использовался ряд классических способов классификации, лучший результат получен для механизма опорных векторов Support Vector Machine (SVM). Это наиболее практичный способ классификации и регрессии, максимизирующий точность предсказаний модели без чрезмерной подгонки данных обучения. В частности, SVM подходит для анализа данных с очень большим числом предикторных полей, например, когда их количество превышает тысячу.

В качестве метрики качества выбран показатель f1-мера, который посчитан для каждой категории (табл. 2).

Таблица2. Значение показателя по категориям

Для программной реализации решения поставленной задачи использовались библиотеки языка программирования Python: transformers (для работы с BERT), scikit-learn (SVM, метрики).

Пациенты подписали форму информированного согласия на публикацию медицинской информации.

В результате анализа, проведенного с помощью русифицированной модели ruBERT, установлено, что сообщения имеют сильное смысловое пересечение между категориями, в результате чего категории «Нарушение прав пациента», «Отказ в оказании медицинской помощи», «Разглашение врачебной тайны» не могут быть надежно разделены избранной моделью. Кроме того, сообщения могут содержать одновременно несколько обращений и/или отзывов, принадлежащих разным категориям (табл. 3).

Таблица 3. Примеры обезличенных отзывов, относящихся сразу к нескольким категориям (орфография сохранена)

Примечание. ДМС — добровольное медицинское страхование.

Когда запись содержит несколько похожих, но разнонаправленных по смыслу высказываний, то их многократные повторы приводят к феномену семантического коллапса, характеризующегося хаотичной интерпретацией одних и тех же лексем. Авторы также столкнулись с другими серьезными проблемами, а именно: грамматические неточности, сленговые обороты, грубые сематические смещения, соскальзывание с темы сообщения и прочее, вплоть до оскорбительного контента.

Для решения указанных проблем при обработке дискурса апробированы следующие подходы: наивный байесовский классификатор, логистическая регрессия, деревья решений, случайный лес, градиентный бустинг и метод опорных векторов. Однако наилучший результат получен благодаря использованию метода первых k ближайших соседей лучших категорий для классификации сообщения. В ходе эксперимента оценивалось качество среди лучших трех ответов модели. Ответы модели сравнивались с порогом 0,5 и в случае нескольких превышающих этот порог ответов, выбирались 3 лучших по f1-мера (табл. 4). Если среди этих ответов встречался целевой, то результат принимался как релевантный. Это позволило улучшить показатель f1-мера в самых запутанных случаях до 0,7.

Таблица 4. Выбор трех лучших ответов модели по f1-мера

На рис. 1 представлено сравнение результатов показателя f1-мера до и после использования метода первых k ближайших соседей. На рис. 2 представлена зависимость показателя f1-мера от количества поступивших в медицинскую организацию обращений пациентов и их представителей.

Рис. 1. Сравнение результатов показателя f1-мера до и после использования метода первых k ближайших соседей.

Рис. 2. Зависимость показателя f1-мера от количества обращений.

Результаты исследования показали, что гипотеза о возможности полной автономии нейросетевой системы не подтвердилась. Модель BERT продемонстрировала низкую эффективность в классификации семантически пересекающихся категорий (например, «Нарушение прав пациента», f1-мера — 0,0) и обработке сообщений с эмоциональной окраской. Это объясняется ограниченной способностью модели анализировать контекст и игнорированием структурных зависимостей между предложениями. Полученные данные согласуются с работами, в которых отмечаются проблемы GPT-3 в генерации точных медицинских ответов из-за отсутствия верифицируемости [12]. В отличие от Seq2Seq, BERT обеспечивает лучшую семантическую связность, но уступает в гибкости RL-моделям при многозадачной обработке.

Известны разнообразные архитектуры глубокого обучения, такие как Seq2Seq, RNNSearch, генеративно-состязательные сети GAN (Generative adversarial nets), обучение с подкреплением и предварительно обученные языковые модели, которые можно использовать для генерации ответов, способных в теории удовлетворить весьма взыскательные требования отдельных индивидов [13]. Современные GPT-подобные модели, например, GPT-3, ChatGPT, демонстрируют высокую эффективность в генерации контекстно-зависимых ответов благодаря масштабному предобучению на разнородных данных. Однако их применение в медицинской сфере ограничено требованиями к точности и отсутствием гарантий корректности ответов. В отличие от BERT, такие системы часто генерируют правдоподобные, но неверифицируемые утверждения, что делает их менее пригодными для задач классификации обращений с юридической или этической ответственностью, что критически важно в сфере здравоохранения.

Что касается моделей на основе Seq2Seq, то они склонны давать чересчур общие и «пустые» ответы на поступающий запрос, а также «застревать» и бесконечно повторяться. Модели на основе обучения с подкреплением RL обеспечивают несколько большие разнообразие и контекстную зависимость переписки, поскольку используют для моделирования сразу две платформы Seq2Seq [14]. Наличие у RL специальных функций вознаграждения для оптимизации работы обеих платформ придает ей большую коммуникативную устойчивость, что усиливает интерактивность контента. К сожалению, качество исходящих формулировок остается нестабильным. Модели на основе GAN в задаче чат-бота превосходят модели Seq2Seq, но их показатели также далеки от совершенства из-за наличия узкого места, связанного с градиентным блоком дискретного текстового пространства. Тем не менее за последние годы использование языковых моделей предварительного обучения для решения множества проблем, связанных с NLP, включая задачу генерации текстовых ответов на запросы и обращения пациентов, можно считать мощным прорывным достижением в области ИИ, поскольку они производят семантические конструкции, которые более близки к естественному человеческому языку. При этом важно помнить, что их эффективность напрямую зависит от объема предварительного обучения и корректного выбора методов декодирования [15].

Очевидно, что избранная платформа ИИ, несмотря на применение всех доступных на момент исследования сил и средств, не позволяет решать весь комплекс поставленных задач, поскольку, согласно его результатам, модель BERT не может корректно устанавливать зависимости между предложениями. При обработке высказываний модель просто объединяет их в плоскую последовательность, а присущая объемной переписке информация о структуре уровня высказывания зачастую игнорируется. Кроме того, из-за встроенного механизма полного внимания BERT перманентно акцентируется на несущественных элементах сообщения, «тонет» в потоках избыточной информации, и поэтому плохо справляется выделением сути текста.

Тем не менее в литературе уже встречаются упоминания о новейших проектах сверточных нейронных сетей с расширенными графами реляционного внимания и плотными связями, которые используют преимущества в извлечении отношений между предложениями для улучшения понимания контекста в диалогах искусственный интеллект — пациент. В отличие от модели BERT такие нейросети могут естественным образом масштабироваться до значительно большего количества слоев, «не страдая» от снижения производительности и трудностей оптимизации [16].

Исследование с дообучением нейросети свидетельствует о существующей по настоящее время технологической ограниченности имеющихся диалоговых систем, которым трудно решать задачу по тонкой дифференцировке семантически сложных сообщений. Прежде всего это касается определения эмоциональной окраски отзывов пациентов о качестве и доступности медицинских помощи. Опция семантического анализа крайне необходима генеративной нейросети для формирования релевантной реакции на входящее обращение в медицинскую организацию. Диалоговая платформа с закрытым доменом должна быть гибкой, должна уметь принимать решения в интересах пациента и передавать управление опытному сотруднику, столкнувшись с пределом собственной компетентности [17, 18].

Необходимо отметить, что наше исследование имело ряд ограничений: 1) небольшой объем выборки (2623 записи) и исключение категорий с малым числом примеров; 2) отсутствие мультимодальных данных (анализировался только текст); 3) зависимость результатов от качества предобработки данных; 4) трудности в обработке грамматических ошибок, сленга и эмоционально окрашенных высказываний.

Результаты исследования убедительно свидетельствуют о существовании технологических ограничений, препятствующих полной автоматизации обработки обращений пациентов. Существующие нейросетевые модели, включая BERT, не обеспечивают достаточной точности для автономной обработки семантически сложных медицинских обращений [19]. Однако это именно конструктивный факт, потому что весь комплекс работ выполнен в полном объеме, корректно, последовательно и согласно плану. Кроме того, результаты полностью соответствовали пессимистическому сценарию, который мы никогда не сбрасывали со счетов, и который предусматривал все возможные технологические и ресурсные ограничения, особенно в области машинного сентимент-анализа текста.

Позитивный итог проведенного исследования — создание прототипа нейросетевой платформы, способной генерировать набор шаблонных ответов, семантическое содержание которых может быть приведено специалистом-оператором в полное соответствие входящему сообщению. По результатам работы в Роспатент подана заявка на полезную модель.

Представленный в настоящей работе эксперимент по дообучению генеративной диалоговой нейросети с закрытым доменом типа BERT с использованием русифицированных баз данных также продемонстрировал, что объем предварительной подготовки является важнейшим фактором для систем понимания естественного языка платформами ИИ с глубокой однонаправленной архитектурой. Однако, несмотря на то, что усиленное предварительное обучение языковой модели может существенно повысить ее эффективность, результаты исследования показали, что нежелательно ставить перед диалоговой системой слишком масштабные задачи при ограниченности вкладываемых в разработку ресурсов и изначально низком технологическом уровне доступных нейросетевых платформ. В этом случае достижение высоких показателей производительности ИИ вряд ли возможно. Тем не менее любая нейросетевая архитектура требует адекватных ей по структуре языковой модели, парадигмы обучения и аппаратного обеспечения. Каждый их перечисленных фактов является ключевым не только для успешного внедрения диалоговой системы в медицинской организации, но и для ее дальнейшего совершенствования. В целом же достигаемый благодаря ИИ прирост пропускной способности каналов обратной связи с пациентами приводит к увеличению коммуникационной транспарентности медицинской организации и более оперативному решению вопросов обеспечения населения качественной и доступной медицинской помощью [20].

Следует также отметить, что максимальная специализация языковой модели в ходе ее подготовки к эксплуатации в штатном режиме дает заметный прирост эффективности в долгосрочной перспективе за счет целенаправленно проводимой информационной сортировки, что доказывает ценность даже небольшого усилия по обогащению, изначально загружаемого в модель набора данных.

Результаты исследования подтвердили, что полная автоматизация обработки обращений пациентов недостижима с использованием современных нейросетевых моделей, таких как BERT. Их ограниченная способность к семантической дифференциации и анализу эмоциональной окраски означает необходимость сохранения участия человека. Однако разработанный прототип системы демонстрирует потенциал в генерации шаблонных ответов, которые оператор может адаптировать к конкретному обращению. Ключевыми факторами эффективности таких систем остаются объем и качество предварительно обученных данных, что подчеркивает необходимость дальнейших исследований в области специализированных медицинских NLP-моделей.

Вклад авторов. Авторы декларируют соответствие своего авторства международным критериям ICMJE. Все авторы в равной степени участвовали в подготовке публикации: разработка концепции статьи, получение и анализ фактических данных, написание и редактирование текста статьи, проверка и утверждение текста статьи.

Авторы заявляют об отсутствии конфликта интересов.