Объективный структурированный клинический экзамен в стоматологии: сильные и слабые стороны

Авторы:

Кемелова Г.С.,

Тулеутаева С.Т.,

Аимбетова Д.Б.,

Гарифуллина Р.Р.

Журнал: Стоматология. 2019;98(4):8-11.

DOI: 10.17116/stomat2019980418

Прочитано: 1955 раз

Скачать PDF

Резюме

Цель исследования — выявить сильные и слабые стороны объективного структурированного клинического экзамена (ОСКЭ) по специальности «стоматология». В исследовании использованы материалы ОСКЭ по специальности «стоматология» IV и VI курсов обучения, результаты ОСКЭ за три учебных года и обратная связь. Данные оценивались с помощью альфы Кронбаха, индекса дискриминации и коэффициента корреляции Пирсона. В исследовании оценены надежность и валидность ОСКЭ с выявлением слабых и сильных сторон. Высокая надежность экзамена ОСКЭ-4 за 3 года подтверждена альфой Кронбаха 0,75 (2016 г.), 0,79 (2017 г.) и 0,669 (2018 г.) и ОСКЭ-6 0,78 (2016 г.), 0,819 (2017 г.) и 0,745 (2018 г.); стандартное отклонение среднего балла (SD) на ОСКЭ-4 равно 7,05 SEm% (2016 г.), SD=5,61 SEm% (2017 г.) и SD=3,95 SEm% (2018 г.), на ОСКЭ-6 SD=8,08 SEm% (2016 г.), SD=6,60 SEm% (2017 г.) и SD=4,38 SEm% (2018 г.) и свидетельствует о минимальной вариабельности переменных. Коэффициент корреляции с итоговым баллом за 3 года ОСКЭ-4 составил 0,68 (2016 г.), 0,48 (2017 г.) и 0,35 (2018 г.), на ОСКЭ-6 — 0,48 (2016 г.), 0,57 (2017 г.) и 0,45 (2018 г.). Таким образом, выявление сильных и слабых сторон ОСКЭ позволяет внести коррективы в программу образовательного процесса и изменения в образовательную программу, ориентированную на конечные результаты.

Ключевые слова

ОСКЭ
стоматология
клинический навык
компетентность

Дата публикации: 04.05.2020

Путь становления будущего специалиста общей практики в стоматологии сложный и многогранный и во многом зависит от формирования знаний и навыков, которые будут применяться в клинической практике в будущем [1, 2]. Основы знаний фундаментальных дисциплин, умений и навыков в сфере стоматологии закладываются на первых трех курсах обучения [3, 4], в последующие годы студенты закрепляют фундаментальные знания на клинических дисциплинах и овладевают практическими умениями и навыками [5—7]. Для оценки конечных результатов обучения в вузе чаще используется метод оценивания в два этапа — тестирование и практический экзамен. В качестве практического экзамена в последние 10 лет в Карагандинском государственном медицинском университете (КГМУ) применяется объективный структурированный клинический экзамен (ОСКЭ), который явился одним из инновационных подходов оценивания. Объективность данного формата экзамена не вызывает сомнений, однако нет данных об эффективности и надежности, а также о влиянии ОСКЭ на результативность программы обучения в нашем вузе. Это и стало отправной точкой для более детального изучения всех параметров ОСКЭ, проводимого в КГМУ по специальности «стоматология», за последние 3 года.

Цель исследования — выявление сильных и слабых сторон объективного структурированного клинического экзамена по специальности «стоматология».

Материал и методы

Дизайн исследования — описательный ретроспективный с использованием количественных и аналитических методов. Материалами для исследования служили результаты ОСКЭ за 2016, 2017 и 2018 гг., онлайн-анкетирование студентов, отзывы экзаменаторов по специальности «стоматология» Карагандинского государственного медицинского университета.

Результаты и обсуждение

Итоговый объективный структурированный клинический экзамен был принят для студентов IV курса (ОСКЭ-4) как второй этап итогового экзамена по завершении этапа обучения и для интернов VI курса (ОСКЭ-6) по специальности «стоматология» как второй этап итоговой государственной аттестации выпускника. Традиционно ОСКЭ-4 проводится по 10 станциям. На станциях ОСКЭ-4 оцениваются навыки по пропедевтике клинической стоматологии; в него также включены вопросы неотложной помощи при лекарственном анафилактическом шоке и первичной хирургической помощи при травмах и переломах челюстно-лицевой области. При разработке ОСКЭ-4 по каждой станции были подготовлены по 10 вариантов клинических задач и ситуаций. Продолжительность оценки на одной станции составила 8 мин, общая продолжительность экзамена — 85 мин, из них 5 мин — на переходы от станции к станции. Студентов IV курса оценивали от 15 до 19 экзаменаторов, в число которых включались специалисты практического здравоохранения.

ОСКЭ-6 включает 11 станций по клинической стоматологии и неотложной помощи, при этом уровень сложности заданий соответствует уровню подготовки обучающихся. Перечень станций ОСКЭ-6 составлен на основании тех компетенций, которыми должен овладеть выпускник по специальности «стоматология» на выходе. Продолжительность оценки на одной станции 10 мин, одного потока ОСКЭ-6 — 115 мин, из них 5 мин — на переходы между станциями. Интерны, опираясь на предыдущий опыт ОСКЭ-4, уверенно проходили ОСКЭ-6 и не испытывали трудностей при переходе от станции к станции. Все станции были оснащены современными стоматологическими фантомами Foshion FE 220 и другим необходимым медицинским оборудованием для демонстрации требуемых навыков.

Как показано на рис. 1, число

Рис. 1. Число экзаменуемых на ОСКЭ-4 и ОСКЭ-6 за 2016, 2017 и 2018 гг.

экзаменуемых на ОСКЭ-6 почти в 2 раза меньше, чем на ОСКЭ-4. Причина в том, что после завершения уровня бакалавриата студентов для обучения в интернатуре отбирают по установленному проходному баллу GPA (Grade Point Average) — это средневзвешенная оценка уровня учебных достижений обучающегося за один учебный год.

На рис. 2 представлены

Рис. 2. Средний балл экзаменуемых на ОСКЭ-4 и ОСКЭ-6 за 2016, 2017 и 2018 гг.

результаты сравнения среднего балла экзаменуемых за последние 3 года. Средняя оценка ОСКЭ-4 составила от 87±3,36 до 89±3,13%, что свидетельствует об удовлетворительной подготовке обучающихся IV курса по специальности «стоматология». По результатам ОСКЭ-6 средняя оценка имела тенденцию к повышению за последние 3 года с 81±3,92% в 2016 г. до 85±3,57% в 2018 г., что также свидетельствует о хорошей клинической подготовке выпускников (рис. 3).

Рис. 3. Распределение баллов по станциям ОСКЭ-6 за 2016, 2017 и 2018 гг.

Анализ показывает, что средний балл на ОСКЭ-6 несколько меньше, чем на ОСКЭ-4. При этом следует отметить, что требования к выпускникам по специальности «стоматология» значительно повышены и от них требуется подтверждение знаний и навыков на независимой экзаменации выпускников, проводимой уполномоченным органом.

При анализе «слишком сложных станций» и «слишком простых станций» за 3 года на ОСКЭ-4 таковых не выявлено. Анализ распределения баллов по станциям ОСКЭ-6 в 2016 г. выявил, что было три «слишком сложных станции»: «Диагностика заболеваний пародонта у детей» (средняя оценка — СБ 66±4,74%), «Неотложная помощь у детей на стоматологическом приеме» (СБ 73±4,44%), «Лечение зубочелюстных аномалий в трансверзальной плоскости» (СБ 59±4,92%). В 2017 г. выявлена одна «слишком сложная станция» — «Неотложная помощь у детей на стоматологическом приеме» (СБ 68±4,66%), и в 2018 г. «наиболее сложной» была также одна станция «Лечение зубочелюстных аномалий в трансверзальной плоскости» (СБ 65±4,77%). Анализ сложностей станций проводится с целью выявления слабых сторон в образовательном процессе для внесения изменений в учебную программу. Так, выявленные «слишком сложные станции» требуют увеличения количества часов и углубленного изучения обучающимися данной темы в течение учебного года.

В 2016 г. оценка ОСКЭ осуществлялась с помощью бумажной версии оценочного листа, и критерии чек-листа отражали только алгоритмы клинических навыков. После проведенного анализа на валидность станций и критериев ОСКЭ были внесены изменения в пункты оценочного листа, а также был изменен сам формат оценивания. В 2017 г. критерии оценочного листа включали категории компетентностей, которые объединяли некоторые простые алгоритмы. В 2018 г. был внедрен электронный чек-лист для оценивания обучающихся на планшетах, и критерии оценочного листа охватывали также ряд компетенций, таких как профессионализм, клинические навыки, коммуникативные навыки. Каждому пункту чек-листа был присвоен коэффициент значимости навыка по отдельной станции и отдельному навыку.

Для оценки внутренней надежности экзамена измерялась альфа (α) Кронбаха по шкале от 0 до 1. При α=0 экзамен считается абсолютно ненадежным из-за отсутствия согласования между всеми полученными оценками, при α=1 экзамен считается абсолютно надежным. Наиболее приемлемый показатель α от 0,7 до 0,9, а α меньше 0,5 считается недопустимым. ОСКЭ-4 оказался валидным и надежным экзаменом, так как в 2016 г. альфа Кронбаха составила 0,75, в 2017 г. — 0,79, в 2018 г. — 0,669. Высокая надежность экзамена ОСКЭ-6 также подтверждается альфой Кронбаха, которая составляла 0,78 в 2016 г., 0,819 — в 2017 г. и 0,745 — в 2018 г. Важным также считается параметр стандартной ошибки измерения. В нашем случае среднеквадратичное стандартное отклонение среднего балла по ОСКЭ-4 составило SD=7,05 SEm% в 2016 г., SD=5,61 SEm% — в 2017 г. и SD=3,95 SEm% — в 2018 г. По ОСКЭ-6 стандартное отклонение среднего балла составило SD=8,08 SEm% в 2016 г., SD=6,60 SEm% — в 2017 г. и SD=4,38 SEm% — в 2018 г., что также свидетельствует о минимальной вариабельности переменных. Проведенный анализ внутренней надежности ОСКЭ-4 и ОСКЭ-6 показал в обоих случаях высокую долю вероятности достижения конечных результатов по завершении этапа обучения и соответствия требуемым компетентностям.

На рис. 4 для

Рис. 4. Интегрированное распределение баллов и их соответствие пороговому баллу за 2016 и 2017 гг.

большей наглядности представлено интегрированное распределение баллов, полученных обучающимися, и их соответствие пороговым баллам за 2016 и 2017 гг. Результаты оказались сопоставимыми по всем годам, в которые проводились ОСКЭ-4 и ОСКЭ-6. Необходимый уровень компетентности определяется экспертами перед экзаменом и официально принят в вузе как проходная оценка 75%, который приближен к методу Ангоффа. Число интернов с баллом ниже порогового уровня составило 9 (18,8±3,91%) в 2016 г., 6 (12,5±3,31%) в 2017 г.; в 2018 г. не было ни одного интерна, не набравшего проходной балл. Индекс дискриминации находится в диапазоне от 0,01 до 0,18; это означает, что все студенты обладают компетентностями, требуемыми по стандарту обучения. Отсутствие отрицательного индекса дискриминации свидетельствует, что нет студентов с очень низкой компетентностью, получивших высокие итоговые баллы. Корреляция с итоговым баллом подсчитывается, как и индекс дискриминации, и представляет собой коэффициент корреляции с итоговым баллом.

С целью получения обратной связи по применению планшета на экзамене, а также по процедуре проведения ОСКЭ-4 и ОСКЭ-6 было проведено онлайн-анкетирование экзаменаторов. Результаты показали, что 88,2±3,23% респондентов оценивают качество проведения ОСКЭ как «самое высокое» и 11,8±3,23% — как «высокое». Оснащенность ОСКЭ 82,4±3,81% респондентов оценивают как «очень высокую» и 11,8±3,23% — как «высокую». Удобство заполнения электронного чек-листа отметили как «очень высокое» 94,1±2,36% экзаменаторов и лишь один (5,9±2,36%) — как «высокое». Качество заданий на станциях 94,1±2,36% респондентов оценили как «очень высокое». Несмотря на то что ОСКЭ большинством отмечен как наиболее объективный клинический экзамен, были определены области для его улучшения. Например, рекомендовалось «стимулировать студентов к самостоятельной подготовке по ОСКЭ» и «повышать качество элементов стоматологического оснащения». Большинство экзаменаторов выражали полную удовлетворенность по процедуре проведения ОСКЭ. Использование электронных чек-листов на планшете для экзаменаторов было наиболее удобным способом при заполнении пунктов оценочного листа по сравнению с бумажной версией. Применение электронного чек-листа существенно облегчило сбор данных и внесение результатов в общую базу данных; упростило идентификацию экзаменуемых и обработку результатов по отдельным станциям. Безусловно, метод оценивания с помощью планшета имеет недостатки, которые могут быть связаны с качеством работы Интернета и владением экзаменатором навыками использования компьютерных приложений.

После завершения ОСКЭ-4 и ОСКЭ-6 обучающиеся (97,6±1,53%) проходили онлайн-анкетирование по удовлетворенности, из них 70,6±4,56% респондентов оценили качество проведения экзамена как «самое высокое», 25,3±4,35% — как «высокое» и 4,1±1,98% — как «среднее». Оснащение станций 69,4±4,61% респондентов отмечено как «самое высокое», 22,4±4,17% — как «высокое» и 8,2±2,74% — как «среднее». Качество заданий на экзамене 81,3±3,90% респондентов оценили как «самое высокое», 12,2±3,27% — как «высокое» и 6,1±2,39% — как «удовлетворительное». На вопрос, достаточно ли было времени на выполнение задания, 77,8±4,16% ответили «да» и 22,2±4,16% — «нет». Респонденты отмечают благоприятную среду в центре практических навыков для достижения клинической компетентности во время обучения и на экзамене. В качестве предложений по улучшению ОСКЭ они рекомендуют выделить дополнительные занятия для подготовки к ОСКЭ.

Данное исследование проведено с целью выявления слабых и сильных сторон ОСКЭ по специальности «стоматология». Сильными сторонами ОСКЭ по специальности «стоматология» являются: надежность и гибкость метода оценки компетентности обучающихся; обеспечение справедливой и объективной оценки; охват в оценке ряда компетенций; обеспечение стандартизованных условий для прохождения экзамена и заданий для всех экзаменуемых; соответствие учебной программе заданий на станциях; облегчение процедуры оценивания и обработки результатов при оценке с помощью планшета. Однако следует отметить и слабые стороны ОСКЭ: значительная нагрузка на экзаменатора при большом числе обучающихся; снижение внимания экзаменатора при длительном экзамене; возможность утечки информации среди экзаменуемых при наличии небольшого количества вариантов заданий на станциях. Проведенный анализ результатов ОСКЭ на IV и VI курсах показал эффективность, надежность, объективность и валидность метода оценивания. Ожидаемые результаты обучения, измеряемые с помощью ОСКЭ, соответствуют требуемому уровню компетентности обучающихся. Применение ОСКЭ на IV и VI курсах является целесообразным и соответствующим форматом экзамена, позволяющим определить результативность обучения и надежность инструментов, а также способствующим повышению качества подготовки специалистов.

Результаты исследования позволяют сделать следующие выводы:

1. Для обеспечения эффективного образовательного процесса на уровне бакалавриата по специальности «стоматология» и повышения надежности объективного структурированного клинического экзамена задания должны быть четкими, ориентированными на конечные результаты и позволяющими определить компетентность выпускника.

2. Выявление слабых сторон обучающихся в достижении компетентности по отдельным станциям позволяет внести коррективы в программу образовательного процесса, а именно обратить особое внимание на те компетенции, которые труднее всего осваиваются.

3. Создание благоприятной среды во время проведения ОСКЭ, включая средства измерения, снижение нагрузки на экзаменатора, способствует эффективному комплайенсу в достижении поставленных целей.

Авторы заявляют об отсутствии конфликта интересов.

The authors declare no conflicts of interest.

Сведения об авторах

Для корреспонденции: Кемелова Гульшат Сеймуратовна — Центр практических навыков, Карагандинский государственный медицинский университет; тел.: +7(701)590-8826; факс: +7(721)250-3930; e-mail: kemelova@kgmu.kz