В Российской Федерации в статье 2 Федерального закона от 21.11.11 №323-ФЗ «Об основах охраны здоровья граждан в Российской Федерации» закреплено понимание оценки качества стоматологической помощи (СП) как комплексной оценки, отражающей полноту и адекватность используемых методов диагностики и лечения, безопасность, экономичность, эффективность, доступность, своевременность, достижение поставленной цели и изменение качества жизни пациента. Не менее важным показателем является соответствие СП современному уровню развития технологий, научной мысли, а также ожиданиям и потребностям пациента [1].

Уровень качества СП может определяться сравнением полученной совокупности показателей с установленными значениями. Для этого необходимо располагать объективными методами оценки и комплексными показателями качества, характеризующими его свойства.

Всемирная организация здравоохранения длительное время ведет работу по формированию унифицированного стандартного языка для описания и измерения показателей здоровья, понятного на междисциплинарном и международном уровнях и учитывающего интегративное понимание взаимодействия физических, психических, социальных аспектов состояния здоровья человека. Примером может быть Международная классификация функционирования, ограничений жизнедеятельности и здоровья (International Classification of Functioning, Disability and Health — ICF) [2]. В нашей стране о необходимости комплексного подхода и использовании интегральных систем оценки качества лечения писали А.Н. Ряховский и соавт. (2005, 2007); С.Д. Арутюнов и соавт. (2009); Р.Г. Галиев (2009) [3—7].

В научной литературе неоднократно отмечалось, что оценки качества и результатов лечения (пломбы, протеза) на основе клинического (визуального) контроля недостаточно точны и объективны [8—10]. Различные авторы, занимающиеся проблемами объективизации оценок качества СП, предлагали в структуру оценки включать такие критерии, как соблюдения стандартов, сроков, этапов лечения [8, 11—13]; наличие осложнений, адекватность достигнутых результатов лечения и качество восстанавливаемых функций [3, 4, 9, 13, 14]; характеристики медико-социальных факторов (психоэмоционального состояния пациента, наличие претензий и т.д.) [10, 14, 15]; качество ведения медицинской документации [12] и т.д.

Проведенный на базе ФГБУ «ЦНИИС и ЧЛХ» Минздрава России анализ оценок, используемых при осуществлении 1419 комплексных судебно-медицинских экспертиз (2013—2017 гг.), выявил острую нуждаемость в системных оценках качества СП и стоматологической услуги (СУ) с учетом всех факторов, влияющих на результат лечения: от качества исполнения протеза или пломбы, ведения медицинской документации, квалификации стоматолога, оснащения медицинской организации, соблюдения нормативных требований, до влияния сопутствующих заболеваний, возраста пациента и его комплаентности [16]. Анализ показал, что наиболее часто врачами используются описательные оценки даже в тех случаях, в которых возможно применить их объективные, количественные аналоги (в 9,65±2,77% случаев). Кроме того, именно отсутствие объективных, воспроизводимых оценок служит ведущей причиной значительного количества (в 13,16±3,17% случаев) условных выводов и суждений врачей, осуществляющих оценку качества проведенного лечения [17].

В течение многих лет врачи пытаются сформировать единый подход к оценке качества СП, который обеспечивал бы научную основу для понимания и изучения показателей качества с целью улучшения взаимопонимания между разными пользователями. Постоянно разрабатываются балльные оценки разных параметров, протоколы экспертиз, индексы комплексных оценок, компьютерные самообучающиеся программы, однако методы оценки СП и СУ в комплексе с учетом соблюдения нормативных, организационных, юридических, морально-этических требований пока не разработаны. Кроме того, использование большого количества различных взаимно перекликающихся, дополняющих и дублирующих друг друга оценок крайне затруднительно в повседневной практике как для врача-эксперта, так и для пациента, суда в силу отсутствия у них специальных знаний в области стоматологии.

С учетом существующих нормативных требований, социальных потребностей и принципов доказательной медицины необходимо разрабатывать новые оценочные системы СП и СУ, причем не только включающие перечень критериев оценки, характеризующих медико-технические, социальные и юридические аспекты лечения, но и содержащие параметры сравнения (оценочные шкалы) важности этих критериев.

Цель исследования — разработка оценки качества проводимого лечения с использованием математических методов, позволяющих доказательно оценивать качество отдельной СУ и СП.

Результаты и обсуждение

В основу методологии научного поиска системы оценки СП были положены критерии объективности обследования и доказательности результатов, универсальности методов и простоты в использовании. Эмерджентные и эквифинальные свойства новой системы оценки должны способствовать стабильному результату в виде перевода описательных и субъективных критериев в объективные показатели с минимальной зависимостью от внешних факторов оценки. Оптимальным вариантом решения данной проблемы, на наш взгляд, является многокритериальная оценка качества СП с использованием методов анализа иерархий и принципов нечеткой логики [18, 19]. Метод анализа иерархий позволяет учесть большое количество плохо формализуемых критериев оценки качества СП в отсутствие линейных взаимосвязей параметров процессов. Использование элементов теории нечетких множеств помогает перевести лингвистические, описательные оценки в их количественные параметры, учитывая при этом выраженность наиболее значимых критериев оценки.

Общая схема оценки качества СП проиллюстрирована на рис. 1.

Рис. 1. Критерии оценки качества стоматологической помощи (СП).

МД — медицинская деятельность; ОМС — обязательное медицинское страхование.

При оценке качества СП сложно определить оптимальную совокупность частных критериев, достаточную для реального решения поставленных задач, вследствие неравнозначности и сложной иерархичности этих критериев. Поэтому возникает необходимость выделения блоков, характеризующих различные стороны и уровни качества СП. Каждый из этих блоков может состоять их различного количества частных критериев, которые могут дробиться, создавая подуровни. Для построения комплексной оценки многоуровневой системы используются методики агрегирования показателей.

Предлагаемая нами многокритериальная оценка состоит из 4 блоков оценок клинической, организационной, юридической и сервисной составляющих СП и 19 параметров, но может быть расширена, например за счет включения блока оценок, даваемых пациентом.

Таким образом, алгоритм создания многокритериальной оценки, представленный на рис. 2, заключается в определении цели и задач оценивания; формирования уровней оценивания и перечня критериев на каждом уровне. В дальнейшем происходят ранжирование значимости критериев, формализация частных критериев качества СП с помощью функций принадлежности (желательности), агрегирование и выведение итоговой оценки СП, которая выражается в цифровом значении.

Рис. 2. Алгоритм создания многокритериальной оценки с использованием элементов теории нечетких множеств.

СП — стоматологическая помощь.

Количественный и качественный состав критериев оценки качества СП на этапе ее создания выбирают высококвалифицированные эксперты на основании нормативных правовых требований, порядков оказания СП, утвержденных клинических рекомендаций, научных данных. В зависимости от количества определенных на 1-м этапе критериев для ранжирования их важности подбирается численный состав экспертов, при котором результат экспертных оценок можно признать надежным с учетом заданного уровня вероятностей, ошибки среднего и принятого коэффициента вариации. Каждый критерий оценки — количественный или описательный — выражается математически через функцию желательности (µ), значение которой меняется от «0» (в области недопустимого значения оцениваемого фактора), до «1» в области допустимых, наиболее желательных значений.

Механизм определения функции желательности приведен на примере оценки конусности культи препарированного под несъемную ортопедическую конструкцию зуба. Наиболее предпочтительная (желаемая) конусность культи составляет от 3 до 10°, значения конусности <1° и >20° приняты как недопустимые, промежуточные значения параметра допустимы, но менее желательны. Функция желательности (µ) для критерия конусности культи может быть представлена графиком на рис. 3.

Рис. 3. Функция желательности для критерия конусности культи зуба.

Подобные функции желательности в процессе создания оценки определятся для всех критериев на нескольких уровнях, затем проводится свертывание этих параметров в так называемый глобальный критерий, значения которого и будут определять результат процесса оценивания.

Коэффициенты относительной важности частных показателей качества исследуемой системы (качества СП) определяются с помощью лингвистической матрицы парных сравнений с девятью градациями от «эквивалентны по значимости» до «абсолютно важнее». Подобные матрицы строятся для сравнения всех имеющихся частных показателей. Например, показатель краевого прилегания металлокерамической коронки значительно важнее для функционирования конструкции, чем показатель правильности определения цвета керамической облицовки, либо качество восстановления окклюзионных контактов несъемной ортопедической конструкции идентично по значимости качеству восстановления межзубных контактных пунктов и т.д.

Далее проводится ранжирование критериев с использованием матриц парного сравнения, проверяется согласованность матриц с расчетом индексов согласованности и случайной согласованности матриц. Ранжирование значимости критериев для оценки конечного результата позволяет на уровне экспертов выделить наиболее существенные параметры качества СП. Этими параметрами, безусловно, должны быть наличие соответствующей лицензии и сертификата специалиста, ведение первичной медицинской документации и наиболее важные клинические оценки, которые значимо клинически влияют на исход лечения, возникновение осложнений или сроки сохранения результатов лечения.

Полученные нами данные показали, что оценка качества изготовления одиночной металлокерамической коронки является наиболее востребованной при проведении судебно-медицинских экспертиз и оценке ортопедических конструкций (требовалась в 39,60±1,59% всех случаев [20]). В связи с этим была разработана многокритериальная оценка качества СУ на примере оценки качества изготовления металлокерамической коронки (МК), которая служит универсальной моделью и призвана обеспечить унификацию и определение рамок для оценки качества данной СУ.

Определение параметров, характеризующих этот вид СП, проводили с учетом существующих нормативных правовых документов. Ввиду того, что оценка качества изготовления МК ориентирована на экспертизу при возникновении неблагоприятного исхода СП, из нее исключен раздел «оценка сервисной составляющей и удовлетворенности пациента качеством лечения». Общая схема оценки качества изготовления МК проиллюстрирована на рис. 4.

Рис. 4. Критерии оценки качества стоматологической помощи по изготовлению металлокерамической коронки (МК).

Необходимое число экспертов определяли по упрощенной модели расчета числа экспертов (вариаграмме), сформированной с учетом коэффициента согласованности экспертов (ИС ≤15%), количества оцениваемых объектов (a=16), доверительной вероятности (p=0,95), критериев достоверности.

После получения экспертных оценок проводили обработку результатов с определением согласованности как внутри ответов каждого эксперта, так и между экспертами с использованием индекса и отношения согласованности. Во всех матрицах нашего исследования отношение согласованности не превышало 15%. В тех случаях, когда отношение согласованности в матрице парного сравнения превышало допустимое значение, проводили повторное собеседование, разъяснение теории и составление новой матрицы сравнения. После этого выполняли расчет глобального критерия оценки на каждом уровне и итоговой оценки качества СУ. Для формализации частных критериев использовали интервальный, нечетко интервальный и вероятностный способы формализации. В ходе разработки многокритериальной оценки вычисляли 3 вида глобальных критериев: аддитивный, мультипликативный и минимаксный. Анализ полученных результатов и клиническая апробация оценки позволили определить в качестве основного мультипликативный критерий (D), определяемый по формуле:

D=μ₁^α1·μ₂^α2 ... , μ_n^αn,

где µ₁, µ₂, ... µ_n — функции желательности исследуемых характеристик; n — общее количество исследуемых составляющих; α₁, α₂, ..., α_n — коэффициенты относительной важности отдельных показателей качества исследуемой системы для оценки ее качества в целом.

Показатели мультипликативного критерия полностью соответствовали описательным характеристикам оценок и становились равными нулю при недопустимых значениях какой-либо оценки. Значения мультипликативного и минимаксного критериев практически совпадали, и вычисление минимаксного критерия лишь усложняло расчеты, а значения аддитивного критерия слабо реагировали на изменения качества оцениваемого объекта. Таким образом, итоговая оценка качества оказания СУ по изготовлению МК проводилась по значению мультипликативного критерия (см. таблицу).

Оценка качества СУ по показателям мультипликативного критерия

Значение критерия от 0,9 до 1 соответствует отличному качеству оказания СУ и абсолютному соблюдению всех нормативных требований, включая соблюдение показаний, сроков лечения, условий, порядков оказания СП и достижение хорошего клинического результата лечения. При значении критерия от 0,400 до 0,699 можно говорить о наличии значительных нарушений при оказании СУ. Это может быть сочетание нарушений большого количества второстепенных факторов или значительный дефект важного фактора. Показатели ниже 0,4 свидетельствуют о необходимости решения вопроса о проведении повторного лечения и значительном нарушении важнейших критериев. Оценка, равная 0, сигнализирует о наличии нарушения требований закона, когда реальное клиническое исполнение МК коронки или ведения медицинской карты уже не имеет значения.

Вся оценка представляет собой программный продукт (свидетельство о депонировании «Многокритериальная оценка качества стоматологической услуги» №019-008706), интерфейс которого максимально адаптирован для стоматологов и сопоставим с утвержденной формой медицинской карты стоматологического больного. Заполнение протокола исследования проводится в среднем в течение 6 мин и не требует специальной подготовки врача-эксперта. Достоверность результатов оценки методологически обусловлена на этапе ее создания по следующим причинам:

— критерии оценки определяются группой экспертов исходя из нормативных требований и имеющихся научных данных;

— число экспертов для проведения ранжирования значимости критериев оценки соответствует требованиям, предъявляемым к медицинским исследованиям, с учетом коэффициента согласованности экспертов, количества выносимых на экспертизу элементов, доверительной вероятности (p=0,95).

Заключение

Преимуществами экспертных оценок с использованием методов анализа иерархий и теории нечеткой логики является возможность:

— оценивать качество и СП, и отдельной СУ;

— получать количественные показатели оценки при использовании описательных (качественных) характеристик параметров;

— учитывать в одной оценке большое количество факторов клинического, организационного, эпидемиологического, социального и иного характера;

— ранжировать значимость каждого параметра;

— использовать мнение наиболее авторитетных и квалифицированных врачей на этапе создания оценки;

— создавать простые в использовании методики оценок, легко применимые в практике стоматолога, за счет использования математического аппарата и максимальной формализации процедур.

Таким образом, предлагаемая методология проведения оценки качества СП и СУ с использованием математических методов позволяет решить основные проблемы оценивания и получить достоверные, воспроизводимые результаты при сокращении времени проведения оценки в отсутствие значительных экономических затрат.

Авторы заявляют об отсутствии конфликта интересов.