Валидация ситуационных задач для оценки компетентности врачей-ортодонтов (на примере случаев сочетанной деформации челюстей)

Эстетика лица человека влияет на личные и социальные отношения в любом возрасте [1]. Лица с тяжелыми сочетанными зубочелюстными аномалиями значительно страдают по поводу своего внешнего вида и, одновременно, функциональных нарушений, существенно снижающих качество их жизни [2].

Лечение пациентов с сочетанными зубочелюстными аномалиями включает хирургическую репозицию костей верхней и нижней челюстей с установкой ортодонтических несъемных конструкций, что требует от врача-ортодонта высокой компетентности [3].

Известно, что регулярная оценка знаний и умений специалистов обеспечивает повышение и поддержку профессиональной компетентности [4]. На сегодняшний день ситуационные задачи являются предпочтительным методом обучения и оценки знаний, в том числе в медицинском образовании [5, 6].

Главное преимущество ситуационных задач — это создание впечатления реальности рассматриваемых ситуаций, что создает условия для углубленного анализа и активной заинтересованности обучающегося [7]. Опросы свидетельствуют, что подавляющее число студентов считают ситуационные задачи наиболее действенными для формирования компетенций, а преподаватели отмечают, что рассмотрение реальных ситуаций вдохновляет и мотивирует студентов к обучению и практике [8].

Популярность ситуационных задач доказывает наличие открытых баз реальных ситуаций у ведущих медицинских школ и профессиональных организаций, например РНИМУ им. Н.И. Пирогова, Национальный институт здоровья США [9—12].

Активное использование ситуационных задач привело к определению принципов разработки и требований к ним. В настоящее время функционирует бесплатная программная платформа для создания и просмотра ситуационных задач, содержащая многочисленные ссылки на образцы [11]. Данная платформа является программным обеспечением с открытым исходным кодом, что позволило создать русскоязычные ситуационные задачи по педиатрии [12].

К сожалению, отсутствие русскоязычной общедоступной платформы разработки ситуационных задач затрудняет их создание в соответствии с общепринятыми правилами, что снижает качество как метода обучения, так и инструмента оценки профессиональных компетенций медицинских работников. Приемлемым аналогом платформы, обеспечивающим соответствие ситуационных задач принятым требованиям, может стать обязательная их валидация с помощью экспертной оценки.

Цель исследования — выбор ситуационных задач для оценки знаний врачей-ортодонтов по ведению пациентов с сочетанными деформациями челюстей с помощью метода экспертной оценки.

Проведена экспертная оценка 13 ситуационных задач (далее — задачи) по ведению пациентов с сочетанными деформациями челюстей, выбранных авторами из учебной литературы и практических руководств [13, 14]. Оценка выполнялась относительно трех категорий: обоснованность — соответствие реальным случаям в клинической практике, рациональность и аргументированность способа решения задачи; ясность — полное и адекватное описание случая, достаточная иллюстративность, детализация, отсутствие альтернативных вариантов оптимального решения, сложность — трудность решения задачи.

Оценка задач по каждой категории выполнялась экспертами по рейтинговой шестибалльной шкале, где 1 — отсутствие обоснованности, ясности или минимальная сложность, 6 — максимальная выраженность категории.

Экспертную оценку проводили в форме анонимного заочного экспертного опроса по электронной почте с помощью модератора (одного из авторов статьи), исключавшего коммуникацию экспертов.

При подготовке экспертного опроса установлены требования к экспертам, сформирована экспертная группа, определены категории оценивания, шкала измерения категорий, сроки опроса, условия последующих этапов и максимальное число этапов опроса, методы статистического анализа результатов опроса, разработан бланк анкеты и инструкции по процедуре оценивания.

В экспертную группу вошли 7 врачей-ортодонтов, имеющих стаж работы не менее 10 лет, в том числе в стационаре не менее 5 лет, опыт ведения пациентов с сочетанными деформациями челюстей не менее 112 клинических случаев в год, ученую степень кандидата или доктора медицинских наук [15]. В экспертную группу не включали врачей-ортодонтов, имеющих перерыв в работе более 3 лет, и возрастом старше 60 лет. Средний стаж работы врача-ортодонта экспертом составил 18,3±2,41 лет, стаж работы в стационаре 10,9±1,84 лет.

Все эксперты получили информационные материалы для выполнения оценки, подлежащие оценке задачи, бланки анкеты за неделю до проведения экспертного опроса. На оценку экспертам выделялось 3 дня, нарушений процедуры или сроков опроса не было.

Для статистического анализа результатов экспертных оценок был рассчитан Интегральный коэффициент (КИ), равный сумме оценок каждого эксперта по трем категориям для каждой задачи.

Решение о проведении следующих этапов оценки, а также выбор задач проводили на основании статистического анализа значений КИ. Статистическую обработку экспертных оценок выполняли в программе SPSS (IBM). Перед выбором методов статистического анализа выполнена проверка переменных «КИ» на нормальность распределения с помощью критерия Колмогорова—Смирнова.

Распределение переменной КИ, рассчитанной по баллам первого этапа экспертной оценки, нормальное, p=0,020.

Значения КИ первого этапа оценок задач по данным однофакторного дисперсионного анализа значимо отличаются между собой, p≤0,001. Апостериорный тест Дункана выделяет 9 однородных подмножеств, значимо выше КИ оценок задачи №13 (M=16,86), значимо ниже №6 (M=3,71). Вторую группу однородных подмножеств оставили КИ оценок задач №8 (M=5,71) и №7 (M=5,86), третью группу — №5 (M=7,71) и №2 (7,86), восьмую группу — №12 (M=13,14). Так как 4—7 группы подмножеств одновременно включали КИ оценок задач №10, 1, 9, 4, 3, 11, был проведен второй этап экспертной оценки в отношении отобранных 10 ситуационных задач (№1, 3, 4, 9, 10, 11).

Распределение переменной КИ, рассчитанной по баллам второго этапа экспертной оценки, нормальное, p=0,055.

Значения КИ второго этапа оценок задач по данным однофакторного дисперсионного анализа значимо отличаются между собой, p≤0,001. Апостериорный тест Дункана выделяет 2 однородных подмножества. Значимо выше оценены экспертами задача №3 (М=10,9). Значения КИ оценок задач №1, 4, 9, 10, 11 вошли в одну группу однородных подмножеств, т.е. значимо не отличаются (p=0,051).

Для окончательного выбора задач, так как КИ оценок задач 3,12,13 задач значимо разнятся, проведен третий этап экспертной оценки. Распределение переменной КИ, рассчитанной по баллам третьего этапа экспертной оценки, ненормальное, p=0,001.

Значения КИ третьего этапа оценок задач при расчете Н Краскала—Уоллиса значимо отличаются между собой, χ²=7,50, p=0,023. При этом значимо не отличаются значения оценок задач №3, 12, 13 относительно их «обоснованности» (χ²=0,41, p=0,815) и «ясности» (χ²=0,50, p=0,082). Значения оценок «сложности» задач 3, 12, 13 разнятся (χ²=7,31, p=0,026). При сравнении с помощью расчета критерия U Манна—Уитни оценок сложности задач №3 и №13 обнаружено их значимое отличие (p=0,026). Значимой разницы оценок «сложности» задач №3 и №12 (p=0,209), 12 и 13 (p=0,383) нет. Результаты этапов экспертной оценки ситуационных задач представлены в табл.

Таблица. Интегральные коэффициенты экспертной оценки ситуационных задач по категориям

Одновременно на всех этапах экспертной оценки проведено сравнение значений «обоснованности», «сложности» и «ясности». На первом этапе — «обоснованность» составила 3,23±1,34 балла, «сложность» — 3,15±1,26), «ясность» — 0,4±1,15, что значимо не отличается («обоснованность и сложность» t=0,81, p=0,422, «обоснованность и ясность» t=1,94, p=0,055, «сложность и ясность» t=1,34, p=0,183). На втором этапе проведения оценок «обоснованность» задач была выше (2,98±0,890, чем их «сложность» (2,52±0,86) и «ясность» (2,54±0,74), t=2,95, p=0,005 и t=3,13, p=0,003) соответственно. При этом «сложность и ясность» задач одинаковы (t=0,18, p=0,860). «Обоснованность» (5,67±0,48), «сложность» (5,38±0,49) и «ясность» (5,62±0,49) на третьем этапе были одинаковы («обоснованность и сложность» p=0,058, «обоснованность и ясность» p=0,763, «сложность и ясность» p=0,132).

Использование метода экспертных оценок позволило объективизировать и оценить качество ситуационных задач относительно соответствия их содержания реальным случаям в клинической практике, аргументированности и рациональности предлагаемого способа решения при отсутствии альтернативных вариантов оптимального решения, полноты и адекватности описания реального случая, а также достаточности иллюстративности, детализации, и, наконец, трудности решения описанных ситуаций.

Отобранные три ситуационные задачи отличает от других задач лучшая «обоснованность», «сложность» и «ясность». Разница сложности отобранных задач не является критической, напротив, может использоваться для градации профессиональной компетенции врачей-ортодонтов при оценке их квалификации.

Следует отметить, что экспертные оценки «обоснованности» несколько выше, чем «сложности и ясности». Хотя оценки «обоснованности» значимо выше определены только на втором этапе. Однако несколько лучшая оценка «обоснованности» задач говорит об акцентуации составителей на соответствие задач ситуациям реальной клинической практики, то есть на стремлении обеспечить их практикую ориентированность.

В то же время обращают на себя внимание низкие баллы экспертов по всем категориям оценки для подавляющего большинства задач. При максимальной шестибалльной оценке на первом этапе средние значения «обоснованности» равные или более четырех баллов определены экспертами у четырех задач (30,8%), «ясности» — у двух задач (15,4%), «сложности» — у трех задач (23,1%) из 13.

Низкие экспертные оценки ситуационных задач подтверждают сторонние исследования о зависимости качества задач от методической подготовки составителей, соблюдения ими правил разработки и пилотной оценки [5, 6].

Гарантировать качество ситуационных задач позволяет единая открытая платформа их разработки на основе случаев реальной клинической практики. В отсутствии таковой метод экспертных оценок приемлем для проверки качества задач относительно традиционных и дополнительных требований.

Метод экспертных оценок позволяет провести объективную оценку качества ситуационных задач при выделении категорий оценки. Выбранные в исследовании ситуационные задачи отличает более высокий, чем иные оцениваемые задачи интегральный коэффициент обоснованности, сложности и ясности, и позволяют провести разноуровневую оценку знаний врачей-ортодонтов по ведению пациентов с сочетанными зубочелюстными аномалиями.

Авторы заявляют об отсутствии конфликта интересов.