Возможности использования алгоритмов градиентного бустинга для прогнозирования осложнений у пациентов с хирургическим перитонитом

С развитием технологий, возможностей вычислительной техники, искусственного интеллекта (ИИ) стало возможным создание системы помощи принятия врачебных решений по прогнозированию возникновения осложнений при различных заболеваниях, в том числе при перитоните. В настоящее время разрабатываются и внедряются системы поддержки принятия решений врача на основе ретроспективного анализа карт амбулаторного больного и клинической истории болезни; системы реального времени для больных в реанимации, позволяющих предупредить лечащий персонал о наступлении критических состояний; носимые системы для мониторинга и последующего ретроспективного анализа данных анамнеза [1—4].

Однако все еще вероятность возникновения послеоперационных гнойно-септических осложнений часто зависит от нерационального применения антибактериальных препаратов и прогрессирующей антибиотикорезистентности микроорганизмов. Даже при адекватной системной антибактериальной терапии летальность при генерализации инфекции может достигать 50% и более [5—9]. Одним из путей улучшения результатов лечения при абсцессах является возможность выявления и прогнозирования возникновения осложнений на ранней стадии, что, несомненно, сможет значительно упростить построение и стратегию лечения [10—13]. Зная об осложнениях, можно подготовиться к такому развитию ситуации и скорректировать схему ведения пациента и его лечение. В связи с этим не вызывает вопросов актуальность определения возможностей прогнозирования возникновения осложнений в послеоперационном периоде у пациентов, поступивших с диагнозом «перитонит», с помощью методов градиентного бустинга. С учетом изложенного главной задачей данного исследования является поиск статистически значимых показателей, которые влияют на возникновение осложнений.

Цель исследования — определение возможностей прогнозирования возникновения осложнений в послеоперационном периоде у пациентов, поступивших с диагнозом «перитонит», с помощью методов ИИ на примере метода градиентного бустинга.

Исследованы данные 1558 пациентов, которых госпитализировали с диагнозом «перитонит». Среди всех пациентов было 952 представителя мужского пола и 606 женского. Однако уточним, что от распределения по полу не зависели симптомы заболевания, в связи с чем «пол пациента» не стал входить в критерии отбора параметров. Средний возраст пациентов составил 44±8 лет. Исходя из комплекса результатов обследования отобраны пациенты, соответствующие следующим критериям включения: диагноз «перитонит»; отсутствие предшествующих операций на брюшной полости, а также сопутствующих заболеваний брюшной полости, требующих оперативного вмешательства; наличие информированного согласия на оперативное вмешательство.

Исходя из критериев включения сформулированы критерии исключения: наличие в анамнезе операций, локализованных в брюшной полости, онкологических заболеваний; обострившиеся хронические заболевания. Для оценки достаточности выборки пациентов использована формула:

где n — объем выборки, Z — коэффициент, зависящий от выбранного исследователем доверительного уровня (при доверительном интервале 0,95 равен 1,96), p — доля респондентов с наличием исследуемого признака, q=1–p — доля респондентов, у которых исследуемый признак отсутствует, ∆ — предельная ошибка выборки.

Согласно приведенной выше формуле выборки 1558 человек соответствует ошибке выборки, равной примерно 2,48%.

При поступлении пациентов были проведены следующие клинико-диагностические и инструментальные исследования согласно клиническим рекомендациям по острому перитониту (код по МКБ 10: K65.0 ) [14], отраженные в таблице. Разрешение на проведение исследования отражено локальным этическим комитетом (ЛЭК) Саратовского медицинского университета «Реавиз» (протокол ЛЭК номер 2 от 16.10.2023). Исследование проводили при наличии добровольных информированных согласий пациентов в соответствии с декларацией о соблюдении международных, а также российских этических принципов и норм (выписка из протокола №19 заседания комитета по биоэтике от 26 октября 2018 года). Исследование выполнено в соответствии с требованиями Хельсинкской декларации Всемирной медицинской ассоциации (в ред. 2013 года).

Клинико-диагностические и инструментальные исследования, выполненные при госпитализации пациентов, и их кодовое обозначение

Для достижения поставленной цели была решена подзадача нахождения именно тех показателей, которые влияли на возникновение осложнений. Для исследования важности признаков (данных соматического и хирургического анамнеза, данных о течении и исходах заболевания, показателей гемостатических, биохимических и коагулологических исследований, сведений о проводимой терапии основного заболевания) на возникновение осложнений были использованы методы классической статистики — попарная корреляция Пирсона [15] и методы машинного обучения — градиентный бустинг на деревьях решения [16]. Коэффициент корреляции Пирсона позволяет определить наличие или отсутствие линейной связи между двумя количественными показателями — чем ближе значение коэффициента к 1, тем сильнее связь. Формула для вычисления корреляции Пирсона имеет вид:

где r — коэффициент корреляции, x_i — значения переменной x в выборке, x¯— среднее значение переменной x, y_i — значения переменной y в выборке; y¯ — среднее значение переменной y.

Градиентный бустинг в настоящее время фактически первый из двух подходов (второй — нейросети) в машинном обучении, которые используются на практике. GBDT способен эффективно находить нелинейные зависимости в данных различной природы. Дерево решений — это метод машинного обучения, при котором значение целевой переменной прогнозируется с помощью применения последовательности простых решающих правил. GBDT комбинирует деревья решений таким образом, чтобы каждое следующее дерево уменьшало ошибку всех предыдущих. Для оценки качества получившейся модели использовали метрики precision, recall и F1-метрику, формулы для вычисления которых имеют вид:

где TP — число пациентов, у которых имелось осложнение, и модель прогнозировала осложнение; FP — число пациентов, у которых осложнения отсутствовали, но модель прогнозировала осложнение; FN — число пациентов, у которых имелись осложнения, но модель не прогнозировала осложнение.

Другими словами, precision — это доля пациентов, у которых возникло осложнение из всех пациентов, которым модель прогнозировала осложнение. Recall (полнота) показывает, какую долю пациентов с осложнением из всех пациентов с осложнением смогла найти модель.

Во время обработки данных одной из главных задач было найти именно те показатели, которые влияли на возникновение осложнений (рис. 1, 2). Набор данных был сильно несбалансированным. Пациентов с инфильтратом после операции было всего 8,2%, с пневмонией — 9,8%, с абсцессом — 16,2%, пациентов без осложнений — 65,9%. Несбалансированность данных увеличилась при введении в рассмотрение типа осложнений. Степень несбалансированности набора данных сильно влияет на качество обученных моделей ИИ. Поэтому было принято решение учитывать только факт наличия (34,1% пациентов) или отсутствия (65,9% пациентов) осложнений для снижения несбалансированности набора данных. Таким образом, в процессе обучения и тестирования модели будет использоваться целевой признак, разделенный только на две категории — «есть осложнение» или «нет осложнений».

Рис. 1. Осложнения, возникшие на этапе лечения.

Рис. 2. Распределение осложнений, возникших на этапе лечения мульти-классовым случаем.

После этого была построена корреляционная матрица на основе формулы корреляции Пирсона (КП), в которой наибольший для нас интерес представляла величина корреляции параметров с вероятностью возникновения осложнений — ОСЛЖН (рис. 3). На корреляционной матрице отражаются числовое значение — корреляция между параметрами, указанными по строкам и столбцам, а также цветовая индикация — от синего (корреляция=–1) до красного (корреляция=1). Чем насыщенней цвет, тем корреляция между параметрами ближе к –1 или 1. Порог отсечения был равен 0,25, т.е. при корреляции ниже этого значения считалось, что корреляции нет. На рис. 3 видно, что большое количество параметров не влияет на вероятность возникновения осложнений. Только 12 параметров имеют корреляцию более 0,3 с вероятностью возникновения осложнений (рис. 4). Наиболее сильную корреляцию (более 0,3) с возникновением осложнений имеют следующие параметры положительной и отрицательной корреляции. Параметры положительной корреляции: показатели объема выпота по УЗИ брюшной полости (УЗИБПОВ); общий болевой синдром (БОЛЬСН); осложнения, возникшие на этапе лечения (ОСЛЖН); параметры отрицательной корреляции: УЗИ органов брюшной полости, проведенное натощак (УЗИБПДЗ).

Рис. 3. Корреляционная матрица.

Рис. 4. Корреляция с наличием осложнений.

На следующем шаге была исследована важность признаков с помощью библиотеки CatBoost от компании Yandex [12], которая зарекомендовала себя как одна из наиболее эффективных среди аналогичных алгоритмов градиентного бустинга на деревьях решения (рис. 5).

Рис. 5. Важность параметров (10 наиболее значимых параметров), выявленных CatBoost.

Небольшую положительную корреляцию показал также параметр Общее_Характер перитонита_распространенный (ОХПРАСПР), и отрицательную корреляцию — параметр Общее_Характер перитонита_местный (ОХПМЕСТ).

Согласно данным рис. 5 наиболее значимыми являются следующие параметры (с важностью более 4), полученные с помощью CatBoost: общий болевой синдром (БОЛЬСН); показатели объема выпота по УЗИ брюшной полости (УЗИБПОВ); УЗИ органов брюшной полости, проведенное натощак (УЗИБПДЗ); показатели СОЭ в общем анализе крови (ОАКСОЭ). Важность остальных параметров была существенно меньше. Отметим, что параметры ОХПРАСПР и ОХПМЕСТ не вошли в число 10 самых важных параметров, определенных CatBoost. При этом параметр ОАКСОЭ не показал корреляции с вероятностью возникновения осложнений согласно классической формуле Пирсона.

Таким образом, можно сделать вывод, что только 3 параметра были отмечены как важные и статистическим методом определения важности параметров, и алгоритмом градиентного бустинга. Остальные важные параметры не совпадали.

На следующем шаге были обучены модели, прогнозирующие вероятность наступления осложнений. Для первой модели были использованы все признаки в наборе данных, для второй — только 10 наиболее важных, полученных с помощью CatBoost, на третьей — только 3 наиболее важных параметра, которые были прогнозированы CatBoost и классическим методом определения корреляции. Гиперпараметры для всех моделей были настроены с помощью кросс-валидации.

На первой модели были получены следующие метрики, показывающие способность модели прогнозировать отсутствие или наличие осложнений: Precision: 0,92; Recall: 0,99; F1: 0,95 (Precision, Recall, F1 на кросс-валидации для прогнозирования отсутствия осложнений) и Precision: 0,95; Recall: 0,72; F1: 0,82 (Precision, Recall, F1 на кросс-валидации для прогнозирования наличия осложнений). Очевидно, что метрики интерпретируются по-разному в зависимости от того, что считается положительным классом. В первом случае мы считаем положительным классом пациентов без осложнений, во втором — с осложнениями. Наилучшие метрики показала третья модель, Precision: 0,91; Recall: 0,97; F1: 0,94 (Precision, Recall, F1 на кросс-валидации для прогнозирования отсутствия осложнений) и Precision: 0,99; Recall: 0,95; F1: 0,97 (Precision, Recall, F1 на кросс-валидации для прогнозирования наличия осложнений).

Как видно из данных, модель показала очень хорошую способность точно прогнозировать отсутствие осложнений и находить здоровых людей. В прогнозировании возникновения осложнения модель показала еще большую точность, но из-за невысокого уровня Recall можно сделать вывод, что модель редко старалась угадать возникновение осложнения и скорее называла больного человека здоровым, если не была достаточно уверена в обратном. Метрики второй и третьей модели, которые были обучены, изображены на рис. 6. Видно, что метрики незначительно различаются. Но при этом метрики модели, которая была обучена на признаках согласно корреляции Пирсона, хуже, чем на признаках, которые мы получили с помощью CatBoost. Кроме того, видно, что обучение модели лишь на важных признаках не только не приводит к ухудшению метрик, но и можно наблюдать улучшение. Так, recall для обнаружения возникновения осложнений вырос с 0,66 до 0,97. Precision для обнаружения отсутствия осложнений увеличился с 0,91 до 0,99. Таким образом, обучать предиктивные модели по прогнозированию вероятности возникновения осложнений следует только на самых важных параметрах, полученных с помощью методов ИИ.

Рис. 6. Метрики Precision, Recall, F1 на кросс-валидации для прогнозирования отсутствия (0) или возникновения (1) осложнений на модели с тремя важными параметрами CatBoost и метрики Precision, Recall, F1 на кросс-валидации для прогнозирования отсутствия (0) или возникновения (1) осложнений на модели с важными параметрами корреляции Пирсона.

а — метрики, которые были обучены только на самых важных признаках, полученных CatBoost; б — метрики, которые были обучены только на самых важных признаках согласно корреляции Пирсона.

Мнение, что чем больше параметров используется для обучения, тем лучше, не соответствует действительности. Неважные параметры зачастую «зашумляют» важные данные, перетягивая на себя внимание обучаемой модели. Поэтому важным этапом любого обучения является определение необходимых параметров, которые оказывают сильное влияние на целевую переменную, и удаления из обучения параметров, важность которых несущественна. Кроме того, имеет смысл определение важности параметров несколькими методами искусственного обучения, и отбор тех, на которых дальнейшее обучение имеет лучшие метрики. В настоящее время были получены два свидетельства о государственной регистрации программ для ЭВМ: «Система предсказания вероятности осложнений после проведения операции больным с перитонитом» (№2024612173) [17] и «Интернет-сервис для предсказания вероятности наступления послеоперационных осложнений у больных с перитонитом» (№2024615898) [18].

Построенная модель показала хорошую прогностическую способность по прогнозированию возникновения или невозникновения осложнений у пациентов после операции на основе данных, собранных при поступлении пациента в приемное отделение. При этом достаточно собрать только 3 наиболее важных параметра для получения прогноза. Однако на этом этапе внедрение модели в клиническую практику преждевременно, ведется активная работа по улучшению характеристик.

Участие авторов:

Концепция и дизайн исследования — М.А. Полиданов, К.А. Волков, В.В. Масляков, М.А. Барулина, А.В. Паршин, Д.В. Сухой

Сбор и обработка материала — М.А. Полиданов, К.А. Волков, В.В. Масляков, М.А. Барулина, А.В. Паршин, Д.В. Сухой, Л.И. Высоцкий

Статистическая обработка — М.А. Барулина, Д.В. Сухой

Написание текста — М.А. Полиданов, К.А. Волков, В.В. Масляков, М.А. Барулина, А.В. Паршин, Д.В. Сухой, Л.И. Высоцкий

Редактирование — М.А. Полиданов, К.А. Волков, В.В. Масляков, М.А. Барулина, А.В. Паршин, Д.В. Сухой, Л.И. Высоцкий, А.П. Дягель, Г.Г. Мезиров, В.С. Марченко, В.Н. Кудашкин

Participation of authors:

Concept and design of the study — M.A. Polidanov, K.A. Volkov, V.V. Maslyakov, M.A. Barulina, A.V. Parshin, D.V. Sukhoi

Data collection and processing — M.A. Polidanov, K.A. Volkov, V.V. Maslyakov, M.A. Barulina, A.V. Parshin, D.V. Sukhoi, L.I. Vysotsky

Statistical processing of the data — M.A. Barulina, D.V. Sukhoi

Text writing — M.A. Polidanov, K.A. Volkov, V.V. Maslyakov, M.A. Barulina, A.V. Parshin, D.V. Sukhoi, L.I. Vysotsky

Editing — M.A. Polidanov, K.A. Volkov, V.V. Maslyakov, M.A. Barulina, A.V. Parshin, D.V. Sukhoi, L.I. Vysotsky, A.P. Diagel, G.G. Mezirov, V.S. Marchenko, V.N. Kudashkin

Авторы заявляют об отсутствии конфликта интересов.