Введение

В последние десятилетия увеличилось количество лекарственных препаратов, назначаемых в общей популяции и, соответственно, возросло число клинических исследований [1, 2]. Однако при экстраполяции данных клинических исследований на условия реальной клинической практики результаты исследований не всегда совпадают с эффективностью у пациентов [3—5]. Практические врачи отмечают значительное непостоянство лечебного эффекта [6]. Известны случаи, когда в клинических исследованиях не подтверждена эффективность препаратов, ранее широко применявшихся специалистами [7, 8]. Анализ данных выявил, что вероятной причиной этого явления может быть гетерогенность популяций клинических исследований и реальной практики [9], а также наличие систематических ошибок, возникающих при планировании и реализации клинических исследований, что приводит к искажению полученных результатов [10].

Цель исследования — выполнить анализ источников рисков систематической ошибки в современных рандомизированных исследованиях, наличие которой может привести к искажению результатов по отношению к реальной клинической практике.

Материал и методы

Проведен поиск клинических исследований на сайте Международного реестра клинических исследований Национального института здоровья США (ClinicalTrials.gov/US National Library of Medicine, https://clinicaltrials.gov).

Критерии включения исследований в обзор:

1. Рандомизированные клинические исследования.

2. Исследования, посвященные одной из выбранных тем: онкология, кардиология, эндокринология, COVID-19, применение биологических препаратов при различных заболеваниях (терапия, инфекционные болезни).

3. Число участников каждого исследования не менее 400.

4. Время проведения исследования по данным на сайте https://clinicaltrials.gov 2014—2024 гг.

5. Наличие опубликованного протокола клинического исследования и плана статистического анализа.

6. Наличие опубликованных на сайте https://clinicaltrials.gov результатов исследования.

7. Наличие полнотекстовых публикаций по результатам клинического исследования.

8. Цитирование статьи по результатам клинического исследования.

Критерии невключения:

1. Большое количество сопутствующих нозологий.

2. Исследование прекращено по данным https://clinicaltrials.gov/(terminated). Причины — неэффективность, неудовлетворительная безопасность, недостаточное количество соответствующих критериям отбора пациентов.

Для оценки риска систематической ошибки применяли инструмент Rob2, представленный в рекомендациях Cochrane Handbook for Systematic Reviews of Interventions для рандомизированных исследований [10]. Rob2 разработан для выявления источников систематической ошибки и оценки риска ее реализации. Данный инструмент выделяет пять доменов (источников систематической ошибки) и набор сигнальных вопросов, позволяющих решить, есть или нет в данном исследовании систематическая ошибка, а также оценить риск ее влияния на результат исследования (табл. 1). Считается, что исследования, имеющие низкий риск систематической ошибки по всем разделам, представляют более достоверные данные.

Таблица 1. Домены риска систематической ошибки (адаптировано из [10])

После ответов на сигнальные вопросы в соответствии с алгоритмами, заложенными в рекомендациях, риск систематической ошибки оценен как «низкий», «некоторые проблемы», «высокий». Высокий риск систематической ошибки может повлиять на результаты, полученные в исследовании. Для примеров каждого вида систематической ошибки выбрано по одной статье, относящейся к каждому из пяти изученных разделов медицины.

Результаты

При первоначальном просмотре литературы найдено 2555 исследований. Из них в обзор включено 25 исследований, соответствующих всем критериям включения/невключения, имеющих большое количество включенных субъектов и значительное число цитирований (рисунок). Основные характеристики отобранных исследований [11—35] представлены в табл. 2.

Схема результатов поиска исследований для данного обзора.

Таблица 2. Перечень систематических ошибок и данные исследований, включенных в обзор

Систематическая ошибка, возникающая в процессе рандомизации

При проведении исследования [11] использована рандомизация. Согласно протоколу, номера рандомизации присваивались с применением интерактивной системы веб-ответов (IWRS). В представленных публикациях по теме исследования метод рандомизации не указан [36, 37]. На сайте https://clinicaltrials.gov указано, что принято пять поправок, но приведен только протокол 2020 г. (№5). В протоколе скрыты принятые поправки, данные обозначены как конфиденциальные и поправки к протоколу не обсуждены в публикациях. Согласно дизайну исследования, во время вводного периода (до начала терапии) пациенты принимали только плацебо, но в связи с «ослеплением» включенные пациенты не знали об этом. Сокрыты данные, которые могли повлиять на принятие решения об участии в исследовании. Согласно результатам исследования, итоговые сформированные группы были сопоставимы по исходным характеристикам. Таким образом, риск данной систематической ошибки в этом исследовании оценен как «некоторые проблемы».

В двойном слепом контролируемом исследовании [12] для рандомизации использовалась система Interactive Response Technology (IRT). Поправка к протоколу (версия 6.0, 12 марта 2021 г.) сняла ограничения для двух когорт, которые изначально не должны были превышать 80% от общего числа участников. Это связано с предположением, что набор участников из домов престарелых будет невозможным из-за наличия других вакцин против COVID-19, которые вводились этому контингенту [38]. Участники, получившие вмешательство в рамках исследования и имеющие право на вакцинацию от COVID-19 в рамках государственной программы, могли запросить разослепление (преждевременное раскрытие кода исследуемого препарата), чтобы принять для себя решение: вакцинироваться от COVID-19 или остаться в исследовании. Таким образом, несмотря на изначально запланированный низкий риск систематической ошибки рандомизации, в дальнейшем в ходе исследования за счет разослепления пациентов риск оценивается как «высокий».

В протоколе исследования эффективности и безопасности фруквинтиниба [13] и в публикации [39] указано наличие процесса рандомизации, но сама процедура не описана. По представленным на сайте https://clinicaltrials.gov данным, в протокол исследования после старта набора вносились повторные поправки, в том числе касающиеся числа участников и критериев включения и исключения. Таким образом, риск можно расценить как «высокий».

Исследование [14] не имеет подробного описания на сайте https://clinicaltrials.gov, а в представленном варианте метод рандомизации не описан. Однако в публикациях отмечено, что распределение пациентов по группам проведено с использованием изолированного фиксированного сгенерированного компьютером кода рандомизации, в котором использовались сбалансированные блоки распределения по группам лечения без стратификации, исследователи использовали интерактивную голосовую систему или веб-систему ответа, чтобы получить код [40]. Таким образом, риск систематической ошибки рандомизации оценен как «низкий».

В описании исследования менингококковой вакцины и в публикации о нем отсутствует детализация методики рандомизации [41]. Таким образом, риск оценивается как «некоторые проблемы».

Все рассмотренные исследования имели дизайн рандомизированных слепых с использованием методов минимизации риска систематической ошибки. Однако в условиях реальной клинической практики эффективность терапии всегда будет отражать систематическую ошибку отбора пациентов, которую совершает врач при назначении данного лечения [42].

Еще одна причина систематической ошибки рандомизации связана с тем, что в исследованиях принимают участие только те пациенты, которые согласны на выполнение процедур протокола. Вследствие этого включенные в исследование субъекты не отображают всего разнообразия реальной популяции [43]. Источником риска систематической ошибки при рандомизации является также тот факт, что заканчивают лечение только те пациенты, кто может его переносить. В то же время пациенты, которые подвергаются наибольшему риску развития нежелательных явлений и у кого они возникают, чаще прекращают участие в исследовании вскоре после начала лечения [44].

При анализе критериев включения/невключения рассмотренных исследований можно выявить некоторое несоответствие реальной популяции пациентов с такими нозологиями. Например, можно отметить, что в исследовании [11] одним из критериев невключения был уровень триглицеридов выше 500 мг/дл. По классификации Европейского общества кардиологов (European Society of Cardiology — ESC) [45] и Американского колледжа кардиологов (American College of Cardiology — ACC) [46], указанный граничный уровень относится к легкой/умеренной степени гипертриглицеридемии. Согласно данным исследований кардиологических больных, в Европе гипертриглицеридемия встречается у 62% пациентов, в Российской Федерации — у 30% пациентов [47]. Таким образом, можно предположить различие популяции данного исследования и общей популяции.

В исследование вакцины от COVID-19 [12] не включались пациенты с лабораторно подтвержденной инфекцией SARS-CoV-2 в анамнезе или серопозитивностью по SARS-CoV-2 при скрининге. В условиях реальной клинической практики при массовой вакцинации дополнительное исследование на серопозитивность по SARS-CoV-2 не предусмотрено, что приводит к различию популяций в исследовании и в клинической практике.

Систематическая ошибка из-за отклонений в запланированных вмешательствах

Данная систематическая ошибка возникает в связи с повышенным вниманием участников клинического исследования к исследуемой группе по сравнению с контрольной. Уменьшение риска этой ошибки достигается применением плацебо, «ослеплением», наличием активного контроля [10].

Исследование сравнения эдоксабана с витамином K [16] имело открытый дизайн, однако заслепление оценки твердых конечных точек снижает риск реализации систематической ошибки.

В рандомизированных исследованиях [17, 18, 20] предусматривалось двойное «ослепление», что сводит к минимуму риск ошибки отклонений во вмешательствах.

Исследование инсулина [19] имело открытый дизайн и при его проведении не использовалось «ослепление» участников исследования. Таким образом, риск систематической ошибки из-за отклонений во вмешательствах этого исследования оценивается как «высокий».

Применение «ослепления» в клинических исследованиях может отрицательно сказаться как на эффективности сбора доказательств, так и на обобщении полученных доказательств. При сравнении популяции пациентов исследований с «ослеплением» и без него выявлено, что в исследовании без «ослепления» характеристика включенных пациентов в большей степени соответствует целевой популяции [48]. Установлено, что в исследованиях с «ослеплением» и персонал, и участники заранее уверены в превосходстве или равнозначности нового метода, что приводит к искажению данных об эффективности и безопасности [48].

Систематическая ошибка из-за отсутствия данных о результатах

Риск ошибки из-за утраченных данных возникает, если для анализа эффективности используются данные не всех рандомизированных субъектов или если число участников, у которых отсутствовали данные о результатах, было достаточно большим, чтобы их результаты могли существенно повлиять на предполагаемый эффект вмешательства. Для получения стабильных результатов часто бывает достаточно наличия данных от 95% участников [10]. Существует несколько распространенных причин, по которым участники считаются потерянными для последующего наблюдения, например те, кто решил не принимать участие в дополнительных визитах; те, кто перестает отвечать на вопросники исследования; пациенты, отказавшиеся от дальнейшего участия в связи с ухудшением состояния во время проведения исследования [49].

Согласно протоколу и публикациям, в исследованиях [21—25] в статистический анализ эффективности включались данные всех или почти всех рандомизированных субъектов (было менее 5% неучтенных субъектов). Это позволяет оценить риск систематической ошибки во всех исследованиях как «низкий».

Есть мнение, что в рандомизированных исследованиях результаты могут быть достаточно точными только при большом размере выборки (>1000 пациентов) [50].

В представленных исследованиях не проведена оценка приверженности лечению, что также может влиять на величину эффекта. Когда приверженность не контролируется, действует априорное предположение, что приверженность лечению является почти идеальной. Однако получены данные, что в реальных условиях частота несоблюдения режима может превышать 50% [51]. Результаты, полученные при анализе всех пациентов, независимо от комплаенса, соответствия критериям и других факторов, наиболее точно соответствуют реальным условиям ведения пациентов [52].

Систематическая ошибка в оценке результата

Риск ошибки в оценке результата возникает в том случае, когда используются методы измерения результатов (сбора данных), неподходящие для оценки именно этих параметров [10].

В регистрационном исследовании омекамтива мекарбила [26] конечной точкой считался случай острой сердечной недостаточности или сердечной смерти, а запланированная длительность наблюдения была до последнего подтвержденного статуса выживания. Максимальное наблюдение составило 42 мес, что позволяет оценить риск ошибки как «низкий».

Методы оценки конечных точек и время наблюдения в исследованиях [27—29] расценены как приемлемые и достаточные для выявления необходимых данных.

Клинические исследования эффективности, особенно направленные на регистрацию лекарственного препарата, оценивают результаты терапии в течение относительно коротких периодов времени [53]. Это отличается от реальной практики, когда клиницисты проводят лечение пациентов с хроническими заболеваниями длительно и при многолетнем наблюдении за течением заболевания. В таких условиях отдаленные результаты терапии могут привести к переоценке изначально ожидаемой эффективности препаратов [54].

Известно, что некоторые заболевания имеют сезонность обострений, связь с весенне-летним или зимним периодом. В этом случае проведение клинического исследования вне сезона обострения может привести к искажению значимости результатов [50].

Риск ошибки оценки результата может быть обусловлен применением тестов, которые не используются в реальной практике или для применения которых требуется специальное обучение [52]. Часто критерии эффективности или неэффективности терапии, выбранные в качестве конечных точек в клинических исследованиях, не совпадают с критериями, используемыми в реальной клинической практике. Например, незначительное ухудшение состояния пациента не приводит к необходимости отмены препарата или прекращения лечения [55].

Систематическая ошибка в сообщаемых результатах

В этом разделе рассматривается предвзятость, возникающая из-за того, что из множества вариантов расчета величины эффекта вмешательства, заложенных в протоколе, публикуются лишь некоторые результаты, представляющие, вероятно, наилучшие данные [56].

Конечные точки, заявленные в протоколах исследований [31—33] и в публикациях о них, совпадают в полном объеме, что позволяет оценить риск ошибки как «низкий».

В работе M. Husain (2019) [57], представляющей результаты исследования [34], приведены сведения, что прием семаглутида по сравнению с плацебо снижает уровень гликированного гемоглобина, массу тела, уровень систолического артериального давления, содержание холестерина, однако не приведены данные о статистической значимости различий. Таким образом, представленные публикации не позволяют полностью оценить полученные данные. Во всех остальных публикациях освещаются только отдельные параметры исследования [58—60]. Конечно, при проведении анализа по первичной конечной точке (частота наступления сердечно-сосудистых событий) риск систематической ошибки в сообщаемых результатах оценивается как «низкий», но при необходимости анализа вторичных точек величина риска увеличивается. Особенностью хода данного исследования является изменение конечных точек через 4 года от введения первой версии протокола [34].

Анализ публикаций, представляющих результаты исследования [35], показал, что обе статьи не содержат полных данных об эффективности препарата. Так, протоколом предусмотрено определение конечных точек на 4-й, 8-й, 12-й, 16-й, 20-й, 24-й, 28-й, 32-й, 36-й, 40-й, 44-й, 48-й, 52-й неделях терапии. В статьях представлены данные, полученные на 4-й, 8-й, 12-й, 28-й и 52-й неделях [61, 62]. Согласно клиническим рекомендациям по ревматоидному артриту (2023), коррекция терапии должна проводиться каждые 3 мес, таким образом, непредставленные данные соответствуют критическим периодам переоценки терапии в реальной клинической практике [63]. Кроме того, в исследовании не представлены данные о нежелательных явлениях в первые 12 нед терапии, которые являются важными, в том числе для формирования приверженности лечению.

Проведение множественного сравнения в клинических исследованиях, анализ подгрупп, конечно же, помогают определить когорту пациентов, у которых данный препарат приводит к более выраженному результату [64]. Однако вычленение такой узкой группы с высокоселективными признаками затрудняет прогнозирование результатов терапии в более широкой популяции.

В то же время выделение подгруппы, в которой эффект является более выраженным и статистически значимым даже при статистически незначимом общем эффекте, может способствовать положительному решению при регистрации препарата [64]. При этом, однако, невозможно гарантировать положительное действие препарата при применении у большого числа пациентов.

Выводы

Результаты нашего обзора позволили выявить основную критическую зону клинических исследований, в которой наличие систематической ошибки приводит к несопоставимости популяций субъектов клинических исследований и пациентов реальной практики. Основа гетерогенности результатов эффективности в исследованиях и клинике заложена в формировании пулов субъектов в клинических исследованиях, в определении критериев включения и невключения, а также в методике рандомизации и ее соблюдении. Основной причиной гетерогенности популяций являются строгие критерии отбора пациентов для участия в клинических исследованиях.

Клинические испытания не проводятся на случайных выборках из общей популяции. При разработке дизайна исследования прилагаются усилия для так называемого «обогащения», т.е. вычленения именно той узкой группы, которая сможет показать запланированный эффект [65].

Тщательно спланированные исследования в реальной клинической практике могут быть использованы для сбора данных, полученных из различных источников вне рамок предрегистрационных рандомизированных клинических исследований. В реальной клинической практике диагноз или классификация заболевания часто зависят от интерпретации врачом результатов обследования пациента. Например, в онкологии, когда клиницисты определяют прогрессирование заболевания или реакцию пациента на лечение, они могут прийти к различным выводам в зависимости от метода измерения (например, радиологических или патологических показателей). Различия в измерениях могут привести к искажению результатов исследования [44].

Таким образом, даже при наличии хорошо спланированного и проведенного клинического исследования нельзя быть полностью уверенным, что данные, полученные в клиническом исследовании, полностью совпадут с результатами в реальной клинической практике.

Исследования реальной клинической практики могут продемонстрировать расхождение в прогнозируемом эффекте по данным клинических исследований с тем, что происходит на самом деле, особенно по сравнению с традиционными дизайнами, хорошо известные ограничения которых в виде более однородных популяций затрудняют обобщение результатов в крупных масштабах.

С учетом большого массива данных, получаемых в исследованиях реальной клинической практики, с помощью математических методов можно вычленить категорию пациентов, которым данное вмешательство будет с наибольшей вероятностью полезно, и в дальнейшем подтвердить гипотезу в классическом клиническом исследовании.

Было бы очень полезно, если бы первоначальная оценка эффективности лекарственных препаратов проводилась на широком круге пациентов и в условиях, представляющих его реальное конечное использование. Только объединение результатов клинических исследований и реальной практики позволит провести достоверную оценку полученных данных.

Финансирование. Исследование выполнено при финансовой поддержке ООО «Научно-технологическая фармацевтическая фирма «ПОЛИСАН» (Санкт-Петербург, Россия).

Авторы заявляют об отсутствии конфликта интересов.