Оценка значимости факторов индекса инновационной готовности среды на уровне медицинской организации

Успешное внедрение новых (инновационных)¹ медицинских технологий в реальную клиническую практику во многом зависит от методологического подхода к этому процессу. Значительная часть проектов по трансляции новых медицинских технологий в практику терпит неудачу за неимением приверженности персонала, устойчивой, прозрачной и понятной методологии управления процессом внедрения и необходимого объема инвестиций [1—3].

Внедрение инновационных медицинских технологий исследователи часто описывают как сложный процесс, включающий большое количество факторов, которые играют решающую роль в успешной трансляции технологии в практику, особенно на уровне отдельной медицинской организации [4]. В целях идентификации всех факторов, влияющих на процесс внедрения, необходим целостный и междисциплинарный методологический подход [5, 6].

Целостность методологического подхода должна заключаться в том, что для внедрения инновационной медицинской технологии необходимо создание устойчивой инфраструктуры с учетом таких аспектов, как кадровое обеспечение, организация образовательных мероприятий, привлечение инвестиций от всех заинтересованных сторон, оценка влияния на систему здравоохранения и многое другое [7—9].

Многопрофильность методологического подхода подразумевает привлечение методик и сведений из различных дисциплин, в частности, социальных и поведенческих наук, инженерии и бизнеса [10—12]. Таким образом, методология внедрения новых медицинских технологий на уровне медицинской организации должна учитывать ресурсные факторы (например, время, персонал, бюджет, инвестиционную политику), этические вопросы (конфиденциальность, безопасность, правила, право собственности), управленческие факторы (политические факторы, подотчетность, ответственность и т.д.) и факторы цифровизации [13—15].

В предыдущем исследовании нами предложен оригинальный методологический подход к оценке инновационной готовности среды на уровне медицинской организации: определять индекс готовности с применением чек-листа. Факторы, которые оцениваются в чек-листе, отобраны на основе контент-анализа нормативных правовых актов и научных публикаций. Детальное описание чек-листа для оценки инновационной готовности среды к внедрению инновационных технологий на уровне медицинской организации представлено в ранее опубликованной статье [16].

Данное исследование является продолжением предыдущего.

Цель исследования — выполнить экспертную валидацию чек-листа и оценку значимости факторов индекса инновационной готовности среды на уровне медицинской организации.

Объектом экспертной оценки был разработанный ранее чек-лист для анализа 17 факторов, определяющих готовность медицинской организации к внедрению инноваций. Методом экспертных оценок установлена значимость вклада каждого из факторов чек-листа в индекс инновационной готовности среды к внедрению инновационных технологий на уровне медицинской организации. Результаты оценки значимости применены для определения весового коэффициента каждого фактора.

Отбор экспертов проведен в два этапа. Сначала установлены минимальные базовые требования к экспертам в целях определения возможного количества специалистов, которые будут участвовать в исследовании. Далее рассчитаны средние значения параметров компетентности экспертов, свидетельствующие, в частности, об опыте работы, которые позволили повысить уровень привлекаемых экспертов и повысить точность экспертной валидации чек-листа, поскольку это является основной целью исследования.

На 1-м этапе осуществлен отбор экспертов, которые соответствуют следующим критериям:

— наличие высшего медицинского образования;

— наличие медицинского стажа;

— наличие опыта работы на руководящих должностях в медицинской организации (заведующий отделением, заместитель главного врача, заместитель директора, директор);

— наличие опыта внедрения новых (инновационных) медицинских технологий в медицинских организациях;

— самооценка компетентности по анализируемому вопросу не ниже средней (0 баллов — низкая компетентность; 0,5 балла — средняя компетентность; 1 балл — высокая компетентность).

После 1-го этапа отобрано 87 экспертов со следующими характеристиками:

— средняя продолжительность медицинского стажа — 10,53 года;

— средняя продолжительность опыта работы на руководящих должностях в медицинской организации — 7,13 года;

— средний уровень самооценки компетентности по анализируемому вопросу — 0,654 балла.

На 2-м этапе, исходя из установленных средних значений по продолжительности опыта работы (не ниже средних значений по выборке экспертов) осуществлен отбор 65 экспертов для участия в экспертном опросе. В итоге эксперты, участвующие в исследовании, отвечали следующим требованиям:

— наличие высшего медицинского образования;

— медицинский стаж не менее 10 лет;

— наличие опыта работы на руководящих должностях в медицинской организации не менее 7 лет;

— обязательное наличие опыта внедрения новых (инновационных) медицинских технологий в медицинских организациях;

— самооценка компетентности по анализируемому вопросу не ниже средней (0,5 балла);

— наличие информированного добровольного согласия эксперта на участие в исследовании.

Выборка, включавшая 65 экспертов, характеризовалась следующими показателями:

— средняя продолжительность медицинского стажа — 14,07 года;

— средняя продолжительность опыта работы на руководящих должностях в медицинской организации — 8,16 года;

— наличие опыта внедрения новых (инновационных) медицинских технологий в медицинских организациях — у всех 65 экспертов;

— средний уровень самооценки компетентности — 0,722 балла;

— 51,1% экспертов имели ученую степень (кандидата медицинских наук — 20; доктора медицинских наук — 3).

Отобранным для исследования 65 экспертам предлагалось заполнить экспертную анкету, в которой следовало оценить значимость каждого из факторов чек-листа в баллах от 1 до 5, где 1 балл — наименьшая значимость фактора, а 5 баллов — наибольшая значимость фактора. Экспертам также предлагалось оценить обоснованность предложенной нами ранее интерпретации индекса инновационной готовности среды, валидность и готовность чек-листа к практическому применению. Оценка производилась на платформе Google Forms.

Рассчитывали среднюю величину оценок значимости каждого фактора (первичный весовой коэффициент), выставленных всеми экспертами, а также стандартное отклонение. Согласованность мнения экспертов определяли с помощью коэффициента конкордации Кендалла (W), p-значение рассчитывали с использованием непараметрического критерия Фридмана (пороговый уровень значимости принимали равным p<0,05). Для оценки внутренней согласованности экспертной анкеты рассчитывали коэффициент альфа Кронбаха.

Итоговый весовой коэффициент каждого фактора рассчитан следующим образом:

— общая сумма баллов по чек-листу приведена к 18 для удобства в практическом использовании;

— определено отношение 18 баллов к сумме средних оценок значимости каждого фактора, выставленных экспертами;

— это отношение умножалось на среднюю оценку значимости каждого фактора (первичный весовой коэффициент).

Статистическая обработка данных осуществлялась с использованием лицензионного специализированного программного обеспечения Statistica, версия 13 («TIBCO Software Inc.», США), серийный номер ANS803I368201A133-J.

В табл. 1 приведен ранжированный по значимости перечень факторов, определяющих инновационную готовность среды медицинской организации, указаны средняя балльная оценка значимости каждого фактора, выставленная экспертами, стандартное отклонение балльной оценки и итоговый весовой коэффициент.

Таблица 1. Результаты экспертной оценки значимости факторов (ранжирования) в рамках индекса инновационной готовности среды медицинской организации

Примечание. Общая сумма средних оценок значимости, выставленных экспертами, по всем критериям составляет 59,82 балла. Итоговый весовой коэффициент рассчитан на основании средних оценок значимости в баллах путем приведения общей суммы баллов к 18 баллам для удобства в практическом использовании. Для этого рассчитывали отношение 18 баллов к 59,82 балла, которое равно 0,30089. Далее каждый первичный весовой коэффициент умножали на это отношение, чтобы итоговая сумма баллов была равна 18.

Наибольшая средняя оценка значимости (4,133 балла) присвоена фактору «Готовность и заинтересованность руководства медицинской организации», что соответствует итоговому весовому коэффициенту 1,160. На 2-м месте по значимости находится фактор «Наличие всех необходимых расходных материалов» (3,933 балла; итоговый весовой коэффициент 1,156). На 3-м месте находятся сразу два фактора с одинаковой оценкой: «Наличие необходимого «тяжелого» оборудования» и «В случае отсутствия необходимого оборудования — возможность его приобретения в срок от 6 до 12 месяцев» (3,911 балла, итоговый весовой коэффициент 1,258). На 4-м и 5-м местах располагаются соответственно факторы «Наличие всех необходимых лекарственных препаратов» (3,867 балла, итоговый весовой коэффициент 1,163) и «Уровень квалификации и информированность персонала» (3,733 балла, итоговый весовой коэффициент 1,123). Остальные факторы получили оценку значимости менее 3,5 балла.

Согласованность мнений экспертов была низкой (коэффициент конкордации Кендалла W=0,29548), при этом внутренняя согласованность представленной экспертам анкеты для оценки значимости факторов чек-листа была высокой (коэффициент альфа Кронбаха равнялся 0,93241). Оценка статистической значимости полученного коэффициента непараметрической корреляции по Кендаллу в соответствии с непараметрическим критерием Фридмана показала высокую степень (p<0,000001).

В табл. 2 представлена итоговая типовая форма чек-листа с весовыми коэффициентами для расчета индекса инновационной готовности среды медицинской организации.

Таблица 2. Итоговая типовая форма чек-листа с весовыми коэффициентами для расчета индекса инновационной готовности среды медицинской организации

По итогам экспертного опроса 56 (86,15%) из 65 экспертов подтвердили обоснованность предложенной нами интерпретации индекса инновационной готовности среды. Медицинская организация признается готовой к внедрению инновационной медицинской технологии при значении индекса 8 баллов и более, при этом положительные ответы должны быть получены, по меньшей мере, по одному пункту из каждого раздела, а также дан еще один положительный ответ в любом дополнительном пункте.

Кроме того, 3 эксперта указали, что пороговое значение индекса должно быть ниже 8 (начиная с 6 баллов), а 6 экспертов — выше (от 10 до 12 баллов).

На вопрос «Считаете ли Вы предложенный индекс инновационной готовности среды и чек-лист для его расчета достаточного валидными и готовыми к практическому применению» утвердительно ответили 59 (90,77%) из 65 экспертов. Еще 6 экспертов сочли, что при оценке индекса инновационной готовности среды необходим учет дополнительных факторов, таких как нормативное правовое регулирование и показатели финансовой устойчивости медицинской организации.

В данном исследовании проведена экспертная валидация чек-листа для оценки индекса инновационной готовности среды медицинской организации. Определено пороговое значение индекса, начиная с которого медицинскую организацию можно считать готовой к внедрению новых медицинских технологий. Для каждого включенного в чек-лист фактора рассчитан весовой коэффициент, отражающий значимость его вклада в индекс инновационной готовности среды, таким образом, выполнено ранжирование факторов.

Весовые коэффициенты делают оценку инновационной готовности среды точнее за счет «взвешивания» различных факторов по значимости. Реализация более значимых факторов в медицинской организации увеличивает ее готовность к внедрению инновационных технологий. Таким образом, оценка становится более точной, а медицинские организации получают четкую приоритизацию учитываемых факторов.

На практике весовые коэффициенты позволят в первую очередь обращать внимание на факторы с наибольшими весовыми коэффициентами и соответственно осуществлять организационные мероприятия, направленные на эти приоритетные факторы при планировании внедрения инновационных технологий. Представленный чек-лист с весовыми коэффициентами предназначен для заведующих структурными подразделениями и заместителей руководителей медицинских организаций.

Учитывая упомянутые во введении взгляды разных авторов на процесс внедрения новых методов профилактики, диагностики, лечения и реабилитации, следует отметить, что в настоящее время завершена разработка руководства по процессу внедрения в реальную практику медицинских организаций новых технологий, которое основано на дорожной карте CEHRES (Centre for eHealth and Wellbeing Research) и бизнес-моделировании. Этот документ можно рассматривать как инструмент оценки зрелости руководства медицинской организации для реализации новых процессов внедрения, а также как инструмент для оценки самого процесса и его результатов [3, 8, 17, 18]. Результаты нашего исследования хорошо согласуются с концепцией дорожной карты CEHRES, поскольку наибольшую оценку значимости со стороны экспертов также получил фактор, связанный с заинтересованностью и готовностью руководства медицинской организации к внедрению новых (инновационных) медицинских технологий.

Рядом исследований подтверждается высокая востребованность разработки простых, прозрачных и валидированных инструментов для оценки готовности к внедрению новых технологий в медицинских организациях [11, 12, 15]. Авторами данных исследований отмечается, что разрабатываемые инструменты должны характеризоваться возможностью количественной оценки и погружения в информационные системы. Предложенный нами индекс готовности инновационной среды соответствует данному условию, так как рассчитывается на основе чек-листа с весовыми коэффициентами, который может быть оцифрован, в том числе с возможностью динамического пересчета и обновления весовых коэффициентов.

Ограничением проведенного исследования является использование упрощенного варианта экспертной анкеты по оценке значимости факторов индекса инновационной готовности среды медицинской организации.

Низкая согласованность мнения экспертов в оценке значимости факторов может объясняться сложностью поставленного вопроса.

В дальнейшем необходимо дифференцировать критерии оценки значимости факторов в экспертной анкете после проведения апробации разработанного чек-листа в реальной практике на релевантной выборке медицинских организаций.

Требуется проведение апробации, внедрения и оценки эффективности предложенного индекса инновационной готовности среды медицинской организации (с учетом рассчитанных весовых коэффициентов) на примере конкретных медицинских организаций и конкретных инновационных медицинских технологий с оценкой инновационной готовности среды медицинской организации до внедрения, в процессе внедрения и после внедрения новой медицинской технологии.

Разработанный и валидированный экспертами чек-лист является новым инструментом планирования внедрения новых медицинских технологий в медицинских организациях.

Авторы заявляют об отсутствии конфликта интересов.

¹ В данной статье термины «новая медицинская технология» и «инновационная медицинская технология» используются как синонимы.