Методологическое качество российских клинических рекомендаций: метаэпидемиологическое исследование

Роль и значение клинических рекомендаций (КР) огромны для врачей и пациентов, так как эти документы разрабатываются с целью оказания качественной медицинской помощи в различных клинических ситуациях [1].

Предполагается, что КР должны соответствовать принципам доказательной медицины. Это означает, что вопросы применения любых медицинских вмешательств и технологий требуется основывать исключительно на результатах комплексного анализа всех имеющихся научных данных об эффективности и безопасности, а не на мнении авторитетных организаций, экспертных сообществ или личном опыте врачей [1]. В соответствии с приказом Минздрава России от 28.02.2019 №103¹ все тезисы-рекомендации в КР должны быть научно обоснованными, т.е. сопровождаться обязательным указанием уровней достоверности доказательств (УДД) и уровней убедительности рекомендаций (УУР), а также ссылками на источники литературы. Для обеспечения процесса надлежащего определения УДД и УУР сотрудники ФГБУ «Центр экспертизы и контроля качества медицинской помощи» (ЦЭККМП) Минздрава России разработали и представили в 2019 г. методические рекомендации (МР). Согласно МР, при написании каждого тезиса-рекомендации, оценке УДД и УУР и работе над КР в целом разработчикам рекомендуется придерживаться системного и полностью воспроизводимого научного подхода [1], который заключается в следующем:

1) определение критериев поиска и отбора источников доказательств об эффективности и безопасности медицинских вмешательств;

2) поиск и отбор источников доказательств в соответствии с определенными ранее критериями поиска и отбора публикаций;

3) определение УДД и УУР на основании отобранных источников доказательств. Определение УДД проводится с учетом иерархии дизайнов источников, а определение УУР — на основании методологического качества и согласованности результатов.

Для внешней оценки качества публикуемых КР в международном медицинском сообществе давно применяются специальные инструменты (например, вопросник Appraisal of Guidelines for Research and Evaluation, AGREE-II и др.). Однако до сих пор многие из них не переведены на русский язык, и ни один из них не прошел валидацию. Кроме того, несмотря на десятки исследований, посвященных оценке научной обоснованности КР, издаваемых в разных странах мира, до сих пор не опубликовано ни одной независимой объективной оценки качества российских КР.

Цель исследования — оценить методологическое качество российских клинических рекомендаций, опираясь на стандарты, разработанные сотрудниками ФГБУ ЦЭККМП Минздрава России.

Проведено метаэпидемиологическое методологическое исследование. Оформление выполнено в соответствии с международными стандартами надлежащей публикационной практики Preferred Reporting Items for Systematic reviews and Meta-Analyses (PRISMA), адаптированными для исследований подобного дизайна [2].

В исследование включены КР для оказания медицинской помощи детям, опубликованные на сайте рубрикатора КР Минздрава России и одобренные для применения в 2024 г. (cr.minzdrav.gov.ru/clin-rec).

Извлечение информации проведено в заранее разработанную электронную таблицу. Из КР извлекалась общая информация (наименование, ID, разработчики), методология разработки (критерии включения, описание поиска, отбора, критической оценки и методы анализа доказательств эффективности и/или безопасности медицинских вмешательств) и все тезисы-рекомендации, приведенные в разделе «Лечение, включая медикаментозную и немедикаментозную терапию, диетотерапию, обезболивание, медицинские показания и противопоказания к применению методов лечения» и имеющие УДД и УУР.

Проверка данных выполнена спустя 1 мес после заполнения таблицы: все данные заново внесены в форму, после чего выполнено сравнение содержимого каждой ячейки с первоначальным вариантом. При обнаружении разногласий проведена дополнительная проверка данных с обращением к полному тексту КР.

Оценка методологического качества КР проведена в соответствии с положениями о системности, воспроизводимости и строгой научной обоснованности, представленными в МР, и разделена на несколько этапов.

На первом этапе оценены наличие и полнота информации, приведенной в разделе «Методология разработки клинических рекомендаций», а именно критерии включения, стратегия поиска, процесс отбора, критической оценки и методы анализа источников доказательств.

На втором этапе при наличии в КР конкретной информации о поиске проведена оценка соответствия заявленного процесса разработки фактическому.

1. Все включенные для подкрепления научной обоснованности тезисов-рекомендаций источники проверены на наличие в указанных научных базах данных. Наличие источников в базах данных верифицировано по заголовку источника, фамилии первого автора и/или DOI. Доступ к базе данных Medline осуществлен через платформу PubMed (pubmed.ncbi.nlm.nih.gov). Доступ к базе данных Central — через сайт Кокрановской библиотеки (cochranelibrary.com).

В связи с тем, что прямой доступ через пользовательский интерфейс к Embase и Scopus на территории Российской Федерации ограничен с весны 2022 г., для проверки индексации публикаций в Embase использована информация, представленная на официальных интернет-ресурсах владельца (таблицы с наименованием индексируемых научных журналов и сборников конференций, а также типами публикаций за период 2022—2024 гг.). Для проверки индексации изданий в Scopus выполнено подключение через программный интерфейс (API) с помощью программного обеспечения R v4.5.0, RStudio [3] и пакета rscopus [4].

При необходимости дополнительной верификации индексации источников в Embase использовались другие базы данных: Central и eLibrary (страница с информацией об индексации издания в международных базах данных), а также информация, представленная на сайтах журналов.

При подсчете количества используемых разработчиками КР баз данных учитывались только уникальные. Например, если разработчики проводили поиск доказательств в Medline и PubMed, то такая комбинация считалась одной базой данных, поскольку Medline является ядром коллекции PubMed [5].

2. Все включенные для подкрепления научной обоснованности источники в тезисах КР и индексируемые в заявленных базах данных проверены на соответствие заявленным временным ограничениям научного поиска (при наличии). К указанной глубине поиска дополнительно прибавлено 2 года — предполагаемое время, необходимое для работы над научной публикацией [6]. Например, если в КР указано, что глубина поиска составляла 10 лет, то временным лимитом считался 2012 г., а не 2014 г.

3. Все включенные для подкрепления научной обоснованности источники в тезисах КР, индексируемые в заявленных базах данных и соответствующие заявленным временным лимитам, проверены на соответствие должному типу публикации для подкрепления тезисов-рекомендаций, имеющих УДД и УУР выше C5 соответственно.

Для верификации типов публикации использованы следующие определения, согласующиеся с положениями, представленными в МР:

1) систематический обзор признан таковым при наличии четко сформулированного исследовательского вопроса, критериев включения, стратегии поиска источников в двух базах данных и более, оценки риска смещения включенных исследований с указанием наименования конкретного инструмента (например, Risk of Bias-2, Newcastle-Ottawa Scale и пр.) и информации об анализе и синтезе данных [7];

2) клиническим исследованием признано любое экспериментальное, аналитическое наблюдательное или описательное исследование с участием человека [8].

Для количественного описания характеристик КР проведен статистический анализ, включающий расчет частоты встречаемости (%), медианы (Me), межквартильного размаха (IQR), общего размаха значений.

Общий уровень соответствия методологии разработки КР критериям, приведенным в МР, оценен в виде доли выполненных пунктов (%). Доверительный интервал (95% ДИ) рассчитан по методу Уилсона [9]. Уровень соответствия считался хорошим, если информация была представлена более чем по 90% пунктов, удовлетворительным — при выполнении 50—90% пунктов, неудовлетворительным, если соответствие составляло <50% [10].

Количественное соответствие заявленного процесса разработки фактическому процессу, а также научная обоснованность тезисов-рекомендаций оценены путем сравнения количества источников, указанных разработчиками, с количеством источников, соответствующих заявленной и должной методологии. Результат выражен в виде доли соответствия (%), рассчитанной по формуле: (количество соответствующих источников/количество указанных источников) · 100%.

Для расчетов использовано программное обеспечение R v4.5.0, RStudio [3]. Полученные результаты представлены в тексте, а также в форме инфографики [11—14].

На сайте рубрикатора КР Минздрава России в 2024 г. для применения при ведении детей опубликована и одобрена 51 КР. Все эти КР включены в настоящее исследование. Процесс поиска и отбора КР представлен на рис. 1. Динамика публикации КР по годам, включая 2024 г., приведена на рис. 2. Полный список включенных для анализа КР представлен в дополнительных материалах к статье (https://gitflic.ru/project/olesya_z/russian_guidelines_study/file?branch=master).

Рис. 1. Процесс поиска и отбора клинических рекомендаций.

Здесь и на рис. 3, 4: КР — клинические рекомендации.

Рис. 2. Динамика публикации клинических рекомендаций.

Опубликованные КР предназначены для оказания медицинской помощи детям с инфекционными (6/51, 12%), кардиохирургическими (6/51, 12%), уронефрологическими (5/51, 10%), хирургическими (5/51, 10%), эндокринологическими (5/51, 10%), гастроэнтерологическими (4/51, 8%), психиатрическими (4/51, 8%), гематологическими (3/51, 6%), неврологическими (3/51, 6%), онкологическими (3/51, 6%), глазными (2/51, 4%), пульмонологическими (2/51, 4%), наследственными (1/51, 2%), ревматологическими (1/51, 2%) и оториноларингологическими (1/51, 2%) заболеваниями.

В 2024 г. в разработке КР приняли участие 38 организаций, из них наиболее часто: Союз педиатров России (14/51, 27%), Общероссийская общественная организация «Российская ассоциация детских хирургов» (7/51, 14%), Ассоциация сердечно-сосудистых хирургов России (6/51, 12%), Российская ассоциация эндокринологов (5/51, 10%) и др.

Во всех КР имелась информация о методологии разработки, однако полнота ее варьировала и часто являлась неудовлетворительной.

Критерии включения источников доказательств, тем более с раскрытием сведений о пациентах, с приведением ясных определений нозологий и коморбидности, конкретных проводимых вмешательств и сопутствующей терапии, а также искомых оцениваемых клинических и суррогатных исходов не указаны ни в одних КР.

Стратегия поиска источников доказательств, в том числе с предоставлением полных поисковых запросов, по крайней мере, для одной базы данных, также не указана ни в одних КР. Только в 53% (27/51) КР единственной доступной информацией был список использованных баз данных или платформ для доступа к каким-либо базам данных. Например, разработчики могли указать название базы данных (Medline, Embase и др., 23/27, 85%), однако названия платформы для доступа не было. Или, наоборот, в некоторых КР разработчики могли указать название платформы (Web of Science, 4/27, 15%), однако название базы данных, к которой осуществлялось подключение, не приведено.

Общее количество баз данных, использованных при разработке КР, можно было рассчитать в 23 (23/51, 45%) случаях. В среднем разработчики использовали 3 базы данных (Me 3, IQR 2,5—3, размах 1—4), наиболее часто Medline/PubMed и Central. Следует отметить, что, несмотря на полное ограничение доступа к Embase и Scopus с весны 2022 г., многие разработчики сообщили о проведенном научном поиске в этих базах данных (21/23, 91%, и 5/23, 22%). Только в некоторых КР указано использование базы данных eLibrary (7/23, 30%) как инструмента для поиска отечественных публикаций. Полный список использованных баз данных вместе с платформами для доступа не приведен ни в одних КР.

Во многих КР, где имелись списки баз данных или платформ, дополнительно указаны ограничения поиска. Наиболее часто разработчики приводили данные о глубине поиска (25/51, 49%) или сообщали частичные сведения о включаемых типах публикаций — зарубежных КР (4/51, 8%).

Процесс отбора источников доказательств, тем более вместе с участием нескольких экспертов и описанием способов решения конфликтов при возникновении разногласий, не приведен ни в одних КР.

Критическая оценка качества источников упомянута только в 31% (16/51) КР. Информация о числе и независимости экспертов, привлеченных для оценки источников, а также о способах решения конфликтов при возникновении разногласий предоставлена в единичных КР (5/51, 10%). Таким образом, данные о надлежащей критической оценке источников приведены только в 5 КР, однако названия конкретных инструментов для оценки не упомянуты ни в одних КР.

Применение систематических и/или статистических методов анализа данных из источников доказательств не описано ни в одних КР. Выполнение разработчиками отдельных систематических обзоров с целью повышения научной обоснованности тезисов-рекомендаций, рассмотрение источников с противоречащими результатами или исследований, не вошедших во включенные ими систематические обзоры, также не изложено ни в одних КР.

В целом все включенные КР имеют неудовлетворительное методологическое качество. Соответствие методологии разработки КР критериям, приведенным в МР, представлено на рис. 3.

Рис. 3. Соответствие методологии разработки клинических рекомендаций критериям, приведенным в методических рекомендациях.

Оценка соответствия заявленного разработчиками процесса работы над КР фактическому была возможной только для 53% (27/51) включенных КР, так как только в них содержалась полная или частичная информация о научном поиске, точнее об использованных базах данных.

Уровень источников доказательств. В 27 КР представлено 750 тезисов-рекомендаций, посвященных методам лечения (количество для 1 КР: Me 15, IQR 8,5—29, размах 2—144). Для их научного обоснования приведено 977 источников (количество для 1 КР: Me 26, IQR 18,5—37, размах 5—177). Только часть из них индексирована в заявленных базах данных (743/977, 76%, количество для 1 КР: Me 20, IQR 14,5—25,5, размах 1—144) и еще меньше соответствовали заявленной глубине поиска (575/977, 59%, количество для 1 КР: Me 15, IQR 9—21, размах 0—83). Из всех включенных разработчиками источников фактически отвечали заявленному процессу разработки КР только немногим более 1/2. Полное соответствие включенных разработчиками источников заявленному процессу разработки не отмечалось ни в одних КР.

2. Уровень тезисов-рекомендаций. В 27 КР представлено 230 тезисов-рекомендаций, посвященных методам лечения, с присвоенными УДД и УУР выше C5 соответственно (230/750, 31%, количество для 1 КР: Me 6, IQR 3,5—10, размах 1—48). Для их научного обоснования приведено 555 источников (555/977, 57%, количество для 1 КР: Me 14, IQR 9—23, размах 1—86). Из них индексированы в указанных базах данных, соответствовали заявленной глубине поиска и должным типам публикаций (систематическому обзору или клиническому исследованию) <1/2 (249/555, 45%, количество для 1 КР: Me 5, IQR 2—8,5, размах 0—59). Анализ количества источников, использованных для научного обоснования всех тезисов-рекомендаций для каждых КР, представлен на рис. 4.

Рис. 4. Анализ количества источников, использованных для научного обоснования тезисов-рекомендаций, посвященных методам лечения, для каждого варианта клинических рекомендаций.

Почти 1/4 (50/230, 22%) тезисов-рекомендаций, посвященных методам лечения, с присвоенными УДД и УУР выше C5 соответственно, в результате проверки не подтверждены никакими источниками, соответствующими заявленному процессу разработки КР и положениям МР. В целом 4 КР [15—18] не имели должного научного обоснования для всех тезисов-рекомендаций с присвоенными УДД и УУР выше C5 соответственно. В остальных 23 КР тезисы-рекомендации с присвоенными УДД и УУР выше C5 соответственно являлись научно обоснованными, однако количество источников, соответствующих заявленному процессу разработки КР и положениям МР, было значительно меньше заявленного (разница в источниках для 1 КР составила: Me 40%, IQR 19,5—55,5%, размах 11—75%).

Анализ количества источников, использованных для научного обоснования тезисов-рекомендаций с присвоенными УДД и УУР выше C5 соответственно для каждых КР, представлен на рис. 4.

Таким образом, ни в одних КР фактический процесс разработки не совпал с заявленным даже при написании тезисов-рекомендаций с присвоенными УДД и УУР выше C5 соответственно.

Неиндексируемые источники. Дополнительно проведен анализ источников, которые не соответствовали заявленным разработчиками КР критериям поиска: не указаны в заявленных базах данных, но тем не менее использовались для научного обоснования тезисов-рекомендаций. Наиболее часто встречались неиндексируемые статьи (91/977, 9%), книги (91/977, 9%) и онлайн-ресурсы (51/977, 5%).

Анализ показал следующее:

— из неиндексируемых статей разработчики часто использовали источники на русском языке;

— среди книг также превалировали издания на русском языке, только в единичных случаях разработчики указывали номера страниц, к которым обращались за информацией;

— из онлайн-ресурсов отмечалось частое использование сайтов зарубежных профессиональных сообществ (32/977, 3%), точнее размещенных там документов и рекомендаций. Кроме того, в некоторых случаях разработчики обращались к базам знаний (14/977, 1%): UpToDate, StatPearls, eMedicine/Medscape, ClinicalKey, MDS и др.

При работе с источниками и списками литературы, приведенными в КР, нередко встречались дополнительные недостатки и ошибки методологической проработки.

Например, для подкрепления тезисов-рекомендаций в двух случаях использовались отозванные статьи. В первом случае сообщение об отзыве источника опубликовано задолго до разработки КР (2000 г.) [19]. Во втором случае отзыв источника, вероятно, произошел во время работы над КР (2023 г.) [20].

В некоторых случаях для научного обоснования разработчики использовали комментарии экспертов, новостные заметки и колонки редакторов [16, 21].

Кроме того, обращает внимание частое использование зарубежных рекомендаций: во всех исследуемых КР имели место ссылки на них.

Дополнительно следует отметить наличие ошибок при оформлении библиографических ссылок. К наиболее распространенным недостаткам можно отнести дублирование источников в списках литературы, объединение нескольких источников под одним номером ссылки, отсутствие названий источников при наличии их упоминания в тексте КР, некорректное оформление ссылок (например, пропуск даты публикации источника или доступа к источнику), отсутствие единого стиля цитирования в рамках одного списка литературы.

В настоящем метаэпидемиологическом исследовании впервые проведена открытая независимая оценка методологического качества российских КР. В исследование включена 51 КР, опубликованная на сайте рубрикатора КР Минздрава России и одобренная в 2024 г. для применения при оказании медицинской помощи детям. По результатам исследования определено, что все КР имеют неудовлетворительное методологическое качество в связи с отсутствием должного описания методов разработки: критериев включения, стратегии поиска, процесса отбора, критической оценки и анализа источников доказательств. Кроме того, в КР, в которых имелось как минимум частичное описание процесса разработки, заявленное ни в одном случае не соответствовало фактическому. Таким образом, ни одни из включенных в анализ российских КР не отвечают фундаментальным принципам доказательной медицины: системности, воспроизводимости и строгой научной обоснованности.

За последние годы отмечается стремительный рост количества публикуемых и одобряемых КР. Публикуемые КР охватывают все большее количество нозологий. В написании КР принимает участие все большее количество профессиональных организаций. Наблюдаемая динамика позволяет судить о высокой востребованности КР, а также о нарастающем объеме ресурсов, вовлекаемых для их создания.

Несмотря на увеличение количества КР, их вклад в оказание современной и обоснованной медицинской помощи пациентам сложно определить. В первую очередь это обусловлено неудовлетворительным методологическим качеством, полной невоспроизводимостью процесса разработки и наличием значительного количества тезисов-рекомендаций без какого-либо реального научного подтверждения.

С момента публикации методологических стандартов сотрудниками ФГБУ ЦЭККМП Минздрава России прошло уже несколько лет. Однако в современных российских КР (даже в КР, опубликованных и одобренных в 2025 и 2026 гг.), помимо отсутствия должной методологической проработки, до сих пор имеют место грубые недочеты и противоречия:

— разработчики не учитывают различия между названиями баз данных и платформ для доступа к базам данных;

— научный поиск источников доказательств осуществляется только в одной базе данных;

— допускается использование баз данных, официально недоступных на территории Российской Федерации, например Embase и Scopus;

— осуществляется использование в качестве источников доказательств отозванных статей, комментариев экспертов, новостных заметок и колонок редакторов;

— допускаются ошибки при оформлении списков использованной литературы и пр.

Следует отметить, что разработчики крайне редко проводят систематическую критическую оценку включаемых источников доказательств. Это ставит под сомнение обоснованность присвоенных УДД и УУР приведенным тезисам-рекомендациям. Однако даже в тех единичных КР, где о такой оценке сообщено, отсутствуют названия применяемых инструментов, что также вызывает сомнения в фактическом выполнении такой оценки.

Дополнительно обращает на себя внимание недостаточное использование российских баз данных. Очевидно, что при разработке российских КР крайне важно включение исследований с участием российских пациентов. В то же время вызывает непонимание использование в качестве источников доказательств зарубежных КР, баз знаний и книг. Вероятно, несмотря на заявляемую приверженность принципам доказательной медицины, разработчики до сих пор предпочитают обосновывать некоторые тезисы, взывая к авторитетам. В противном случае смысл включения зарубежных КР в российские КР сложно объяснить: ведь в соответствии с МР они расцениваются как источники доказательств с самым низким УДД и УУР. Более того, в ходе анализа выявлены КР [22], в которых системный научный поиск доказательств, вероятно, вообще не проводился, а в качестве источников использовались исключительно зарубежные КР.

Особого обсуждения заслуживают зафиксированные случаи выборочной работы с источниками. Например, в КР по лечению бронхита [18] рекомендация о селективном назначении ингибиторов нейраминидаз пациентам при гриппе подкреплена единичным рандомизированным исследованием, которое, во-первых, не соответствует заявленной разработчиками глубине поиска, а во-вторых, вероятно, не подвергнуто критической оценке. При этом в актуальном систематическом обзоре [23], включающем данное исследование и отвечающем заявленной разработчиками методологии (индексация в указанных базах данных, должная дата и тип публикации), подтверждены отсутствие клинической эффективности рекомендуемых препаратов и наличие потенциальных жизнеугрожающих побочных эффектов, однако положения систематического обзора не учтены и не включены в эти КР.

Учитывая, что количество одобряемых и публикуемых КР увеличивается с каждым годом, сохранение текущего подхода к разработке и экспертизе грозит снижением качества оказываемой помощи, формированием ложных и необоснованных знаний у практикующих врачей и молодых специалистов, а также утратой доверия пациентов к оказываемой помощи.

Нет сомнений, что многие авторы КР являются высококвалифицированными практикующими врачами, профессионалами. Однако для разработки качественных КР требуется обязательное участие специалистов по доказательной медицине и медицинской статистике для обеспечения систематичности и открытости процесса подготовки КР, точной и однозначной интерпретации данных включаемых источников доказательств и критической оценки применимости приведенных в них результатов. В качестве дополнительного решения при отсутствии соответствующих специалистов возможно создание образовательных программ для разработчиков КР, а также врачей, поскольку они являются прямыми пользователями КР. Дополнительные навыки и знания позволили бы им грамотно работать с научной литературой и различать качество источников, в том числе качество публикуемых КР.

В настоящем метаэпидемиологическом исследовании впервые проведена оценка методологического качества российских КР в строгом соответствии со специально разработанными и принятыми МР. Кроме того, дополнительно оценено соответствие заявленного процесса разработки КР фактическому. При выполнении исследования тщательно соблюдалась методология в соответствии с международными стандартами.

К сожалению, в настоящем исследовании оценена только часть опубликованных КР. Однако оценка большего количества КР потребовала бы значительно больших времени и ресурсов. Кроме того, маловероятно, что это смогло бы существенно изменить полученные результаты и выводы.

В текущем исследовании не проведена оценка релевантности источников, однако это не являлось целью исследования. Но достоверно определено, что в некоторых КР для подтверждения тезисов-рекомендаций использованы источники, отвечающие должным требованиям, однако являющиеся нерелевантными. Например, в нескольких КР тезисы-рекомендации с присвоенными УДД и УУР выше C5 соответственно подкреплялись исследованиями с участием взрослых пациентов, а не детей (8/27, 30%). Оценка релевантности источников в КР может быть выполнена в будущем как дополнение к представленной работе.

Российские клинические рекомендации, одобренные для применения в недавнее время, имеют неудовлетворительное методологическое качество в связи с отсутствием должного описания процесса разработки: критериев включения, стратегии поиска, процесса отбора, критической оценки и методов анализа источников доказательств. Кроме того, заявленное как минимум в частичном варианте описание процесса разработки ни в одном случае не соответствовало фактическому процессу.

Автор заявляет об отсутствии конфликта интересов.

¹ Приказ Министерства здравоохранения Российской Федерации от 28.02.2019 №103 «Об утверждении порядка и сроков разработки клинических рекомендаций, их пересмотра, типовой формы клинических рекомендаций и требований к их структуре, составу и научной обоснованности включаемой в клинические рекомендации информации». Ссылка активна на 29.03.2026. https://base.garant.ru/72240714/