В медицинских науках мета-анализ представляет собой математические расчеты, направленные на обобщение результатов первичных исследований, которые отобраны в ходе систематического обзора доказательной базы. Как и при любом другом анализе, в ходе мета-анализа оперативных вмешательств необходимо провести тестирование значимости нулевой гипотезы (null-hypothesis significance testing, NHST), дать оценку общей величине эффекта (effect size — ES) и доверительному интервалу (confidence interval — CI). Между тем проведение обобщающих вторичных научных исследований, направленных на оценку результатов хирургических оперативных вмешательств, имеет вполне определенные особенности.

Исходы хирургических вмешательств зависят от множества различных и зачастую непрогнозируемых факторов (характер течения заболевания и индивидуальные особенности каждого конкретного пациента, опытность хирурга и анестезиолога, уровень оснащенности больничного учреждения и т. д.). Все это указывает на то, что первоначально многие из оцениваемых параметров (согласно центральной предельной теореме) соответствуют нормальному распределению. Поэтому в большинстве наблюдений при изучении клинических исходов нет необходимости в дополнительных математических расчетах, направленных на определение особенностей распределения данных.

Объективные трудности «хирургических» метаанализов обусловлены тем, что из-за различия диагностических шкал и методологий оценки результатов приходится анализировать большое количество разнообразных и неоднородных данных. Кроме того, в отобранных первичных исследованиях может и не быть всей информации, необходимой для достоверных статистических расчетов. Все это требует применения в ходе мета-анализа не только абсолютных, но и стандартизованных измерений и оценок.

Нулевая гипотеза — это предположение, которое определяет отсутствие различий между анализируемыми хирургическими операциями (является верным, пока не доказано обратное).

Величина эффекта. В медицинской литературе не существует единого определения величины эффекта мета-анализа. Ю.В. Белов и соавт. [1], М. Borenstein и соавт. [2] в широком смысле обозначают величину эффекта как основную единицу анализа в структуре систематического обзора, отражающую взаимосвязь между двумя переменными. В других публикациях [3] величина эффекта определяется как магнитуда (в качестве синонима могут быть использованы такие слова, как сила, степень) различий между группами.

В руководстве по проведению мета-анализа Кокрейновского сотрудничества [4] указано, что в некоторых исследованиях не совсем правомочно под величиной эффекта понимать более частный показатель — стандартизованную разность средних (Standard mean difference — SMD).

Разночтения в определении величины эффекта создают определенную путаницу при интерпретации результатов мета-анализа [5]. Поэтому при проведении и трактовке результатов мета-анализа необходимо делать определенные пояснения, что понимается под величиной эффекта.

Согласно S. Nakagawa и I. Cuthill [5], если под величиной эффекта исследователи понимают сами аналитические статистические индексы и коэффициенты (effect statistic), используемые в ходе математических расчетов (например, индекс d Коэна, коэффициент корреляции и другие статистические критерии), необходимо уточнить, что в этом случае речь идет о так называемом индексе размера эффекта (effect size index or measurement). В некоторых лекциях по доказательной медицине эти индексы определяются также, как меры величины эффекта. Если величиной эффекта считается фактическое рассчитанное значение индекса, имеющее цифровое обозначение (например, разность средних, равная 20), необходимо пояснить, что полученные данные представляют собой значение величины эффекта (effect size value). Кроме того, при оценке практической значимости результатов мета-анализа величиной эффекта может считаться и соответствующая интерпретация самих расчетных величин.

Согласно [4], мета-анализ состоит из двух этапов. На первом этапе необходимо получить необходимые статистические данные из отобранных в ходе систематического обзора первичных научных исследований. На втором этапе проводят обобщающие математические расчеты уже по результатам всех первичных данных с определением величины эффекта.

Следует отметить, что в зависимости от характера первичной информации, определение величины эффекта проводят путем расчета различных статистических индексов, для вычисления которых возможно использовать программу для мета-анализа Review Manager, доступную на сайте Кокрейновского сотрудничества [6].

Мета-анализ дихотомических (бинарных) данных целесообразно использовать для изучения переменных, имеющих только 2 возможных значения, когда по исследуемому признаку участник исследования может находиться только в одной из двух возможных групп сравнения (например, в рамках дихотомии летальный исход после операции может случиться или не случиться).

Для количественного представления влияния различных дихотомических параметров на исход изучаемого события общепринятыми являются 3 меры эффекта (статистических индекса), определяемые как отношение шансов — ОШ (odds ratio — OR), относительный риск — ОР (relative risk, или risk ratio — RR) и разность рисков — РР (risk difference, или excess risk — RD). При этом отношение шансов и относительный риск являются относительными величинами, а разность рисков представляет собой абсолютную величину.

Основное отличие отношения шансов и относительного риска заключается в том, что показатель отношение шансов следует рассчитывать при оценке результатов ретроспективных научных работ, проведенных в дизайне случай—контроль, когда набор участников исследования осуществляется на основании уже случившихся исходов. Относительный риск оценивается при изучении итогов рандомизированных клинических исследований и проспективных когортных исследований, когда планируемые к изучению хирургические вмешательства еще не выполнены, а их исходы еще не произошли. Кроме того, согласно [4], для вмешательств, которые увеличивают вероятность событий, отношение шансов будет больше отношения риска и, наоборот, для вмешательств, которые уменьшают шансы на события, отношение шансов будет меньше, чем отношение риска.

Обязательными условиями для расчетов отношения шансов и отношения рисков является возможность оценить анализируемые параметры сравнения в номинальной шкале. И эти статистические критерии могут быть рассчитаны только для несвязных выборок.

В ходе непосредственно математических расчетов отношения шансов и относительного риска результаты отобранных первичных исследований сводятся в общеизвестной четырехпольной таблице сопряженности 2×2.

При интерпретации проведенных расчетов метаанализов необходимо помнить, что различия в исходах лечения различных групп пациентов учитывают только при величинах относительного риска и отношения шансов, отличных от единицы. Значения больше единицы показывают, что изучаемое хирургическое вмешательство у пациентов основной группы увеличило вероятность возникновения изучаемого события по сравнению с контролем. И наоборот, если расчетное значение относительного риска и отношения шансов меньше единицы, изучаемое вмешательство снизило эту вероятность. Согласно [3], малая величина эффекта наблюдается при относительном риске, равном 2, и отношении шансов, равном 1,5, средняя величина — при значении этих параметров 3 и 2, высокая — при 4 и 3. Если после проведенных по соответствующим формулам расчетам значения относительного риска и отношения шансов равны 1, принимается нулевая гипотеза о том, что различия в группах сравнения по анализируемым параметрам отсутствуют.

Разность рисков рассчитывается путем вычитания из риска в группе вмешательства риска в группе контроля. Этот критерий указывает на различия с контрольными значениями в их собственных частотах. Для показателя разности рисков в отличие от отношения шансов и относительного риска точкой отсутствия эффекта (различий) между группами сравнения является ноль. В ходе интерпретации результатов математических расчетов считается, что при разности риска меньше нуля вмешательство снижает количество событий по сравнению с контролем. Разность рисков больше нуля показывает, что вмешательство увеличило число событий.

Математические расчеты мета-анализа количественных показателей возможных значений на непрерывной шкале проводятся на основании наличия в первичных исследованиях информации о среднем значении (mean value — MV), среднеквадратическом стандартном отклонении (standard deviation — SD) и стандартной ошибке среднего — m (standard error of mean— SEM). Эта методология может быть использована для определения эффекта по таким параметрам, как продолжительность стационарного лечения или периода нетрудоспособности (в койко-днях), длительность выраженности определенных симптомов или синдромов (продолжительность и выраженность болевого синдрома в послеоперационном периоде у больных в группах сравнения).

Необходимым условием для успешного и достоверного проведения расчетов, направленных на оценку непрерывных данных, является нормальное распределение изучаемого параметра. Кроме того, в отобранных первичных научных исследованиях должна быть информация хотя бы о стандартной ошибке среднего, так как дополнительные расчеты позволяют на основании этого параметра вычислить значение среднеквадратического, стандартного отклонения.

Выбор сводной статистики для непрерывных данных зависит от того, как первичные исследования сообщают о результатах — с использованием одной и той же шкалы или с применением разных шкал. В первом варианте рассчитывают разность средних (mean difference — MD, более корректное обозначение «difference in means»), во втором варианте необходимо оценивать стандартизованную разность средних (standard mean difference — SMD).

При интерпретации расчетных значений простой разности средних исходят из того, что различия между двумя группами отсутствуют (нулевая гипотеза об отсутствии различий подтверждается) при разности средних, равной нулю. При MD >0 основная группа стоит выше по используемой шкале оценки эффекта, при значении MD <0 основная группа располагается ниже по шкале оценки эффекта.

В условиях применения в первичных исследованиях качественных различий и мало коррелируемых между собой измерений, что определяет необходимость унифицирования производимых расчетов, следует оценивать стандартизованную разность средних. Этот показатель рассчитывают только как отношение, не имеющее единицы измерения (безразмерный показатель), что позволяет комбинировать различные неодинаковые меры измерения изучаемого явления.

Существует несколько статистических индексов для определения стандартизованной разницы средней при оценке непрерывных данных. Наиболее широко используется индекс d Коэна (Cohen’s d). При значительных различиях между стандартными отклонениями может быть рассчитана δ Гласса (Glasse’s δ). Статистический индекс g Хеджеса (Hedges’ g) целесообразно использовать при небольших размерах выборки (n<20), не исключающих возможное смещение от истинного и переоценку значения d Коэна. Эксперты сообщества Кокрейна рекомендуют использовать именно эту формулу [4].

После расчета индексов d Коэна или g Хеджеса и δ Гласса необходимо трансформировать и интерпретировать их числовые значения [7, 8]. Одним из инструментов для определения величины эффекта (rules of thumb for effect sizes) от вмешательства по результатам мета-анализа является шкала Коэна (Cohen, 1988), согласно которой различие по величине эффекта между группами отсутствует при нулевом значении рассчитанной по формуле Коэна стандартизированной разности средних; малый размер эффекта имеет место при d=0,20, средний — при d=0,50, большой — при d=0,80 [8].

Альтернативный вариант интерпретации величины эффекта представлен в руководстве сообщества Кокрейна [4]. При этом значение стандартизованной разности средних 0,40 и менее соответствует малой величине эффекта, от 0,40 до 0,70 — умеренной и более 0,70 — большой.

В ситуациях, когда непрерывные данные имеют отклонение от нормального распределения, метаанализ проводят по особой методологии, учитывающей асимметрию и смещение (скошенность) данных. Для принятия решения об использовании методологии мета-анализа асимметричных параметров необходимо их оценить на предмет смешения, что согласно [4] целесообразно по отношению к переменным с наименьшим возможным значением, равным нулю.

При интерпретации расчетов по этим формулам полученное расчетное значение коэффициента асимметрии сравнивают с коэффициентом нормального распределения, имеющим нулевое значение. Коэффициент будет отрицательным при левосторонней (негативное смещение) и положительным при правосторонней (позитивное смещение) асимметрии. При значении коэффициента по модулю менее 0,25 асимметрия считается незначительной, до 0,5 — умеренной, более 0,5 — значительной.

При выявлении асимметричности в ходе метаанализа с целью уменьшения перекоса первичные данные из всех исследований необходимо преобразовать. Это можно сделать в логарифмическом масштабе.

Основное отличие этой методики мета-анализа в том, что определение величины эффекта проводится на основании оценки изменения значений (change scores) относительно их исходного уровня на входе в исследование (change-from-baseline outcomes), а не путем сравнения конечных значений различий между группами больных на выходе из исследования (followup scores).

Согласно [4], эта методология может нивелировать фактор неоднородности участников исследования и иногда используется для «коррекции» систематических ошибок при «неправильной» рандомизации. Кроме того, этот способ мета-анализа может быть предпочтительным, если результаты изменения значений (change scores) по сравнению с исходными данными (baseline scores) имеют менее асимметричное распределение, чем результаты окончательных измерений (followup scores).

Необходимо также отметить, что, поскольку и изменения значений (change scores), и финальные различия между группами (followup scores) направлены на оценку величины эффекта, они могут совместно рассматриваться в одном мета-анализе при использовании методологии определения разности средней (MD), но не стандартизованной разности средних (SMD). Связано это с тем, что разность средней по изменению значений и по конечным результатам в большинстве случаев дает синхронное заключение по величине эффекта.

Порядковые переменные, являющиеся упорядоченными категориями величины, представлены главным образом различными измерительными шкалами (визуальная аналоговая шкала (Visual Analog Scale — VAS) — пример короткой шкалы, шкала качества жизни (Quality of Life Scale — QoL) — пример длинной измерительной шкалы).

Мета-анализ порядковых величин зависит от данных первичных исследований. При этом короткие шкалы могут быть трансформированы в дихотомические (отношение шансов и др.) данные, а длинные шкалы — в непрерывные данные (стандартизованная средняя и др.), с проведением соответствующих, описанных выше математических процедур и интерпретации статистических расчетов.

При изучении порядковых переменных возможно также статистическое моделирование с использованием пропорционального отношения шансов (proportional odds model, РО), предложенного Р. McCullagh [9]. Эта методология позволяет на основании порядковых данных в рамках регрессионного анализа рассчитывать и оценивать шансы условно более серьезного исхода с менее серьезным исходом.

При мета-анализе счетов и частот исходят из того, что счет (count) представляет собой событие, которое может произойти с каждым из участников исследования более чем один раз (количество госпитализаций или количество оперативных вмешательств), а частота (rate) учитывает еще и временной фактор и определяется как количество событий в определенный период (в этом случае количество госпитализаций считается за различный период динамического наблюдения, например за календарный год).

Наиболее часто возникает необходимость суммировать информацию о частотах изучаемого явления путем определения отношения частот (rate ratios — RR), которое определяется путем деления частоты в основной группе вмешательства на частоту в группе контроля.

При проведении исследований, направленных на оценку времени дожития (survival time — ST), широко используется методика, базирующаяся на расчете времени до наступления события и на основании рассчитанного в отобранных первичных исследованиях коэффициента риска, обозначаемого также, как отношение угроз (hazard ratio — HR). Отношение (коэффициент) риска представляет собой меру магнитуды различий между двумя кривыми на графике Каплана—Майера (Kaplan—Meier Plot) и определяет отношение риска события в одной группе по сравнению с другой в определенное время [10]. Этот статистический критерий эквивалентен представленному выше параметру относительного риска (RR), однако он не обобщает результаты всего исследования.

Как и при интерпретации других относительных дихотомических данных мета-анализа, различия между группами сравнения отсутствуют при значении коэффициента риска, равном единице. При коэффициенте риска больше единицы изучаемое событие происходит чаще в основной группе больных, и соответственно изучаемое явление случается реже у пациентов в основной группе при коэффициенте риска меньше единицы.

Согласно [11], для мета-анализа по времени до события могут быть использованы 2 подхода: анализ логарифмированных отношений угроз для модели фиксированного и случайного эффекта и анализ наблюдаемых и ожидаемых событий и дисперсий (Exp[(O-E)/Var]) для модели фиксированного эффекта.

Необходимость получения логарифмированных значений отношения (коэффициента) угроз определяется несимметричноcтью оценочных шкал, что нивелируется при использовании натуральных логарифмов (ln). В руководстве Кокрейновского сообщества [4] описано 2 способа получения логарифмированных данных для мета-анализа: расчет логрангового критерия и применение модели пропорциональных рисков Кокса (Cox-proportional hazards model). При логарифмическом ранговом тесте (log-rank test), анализе логарифмированных отношений (коэффициента) угроз и стандартных ошибок среднего можно оценить выживаемость в группах сравнения за весь период наблюдения. Второй способ, обозначаемый как модель пропорциональных рисков Кокса (Cox-proportional hazards model), позволяет не только определить логарифмированное значение коэффициента угроз и его стандартную ошибку, но и изучить зависимость времени до события от различных независимых переменных (predictor variables), которые могут быть выбраны в зависимости от области приложения регрессионной модели.

При проведении мета-анализа, направленного на оценку времени до события, может также возникнуть необходимость объединения и стандартизации данных, представленных в одной части первичных исследований в виде отношения (коэффициента) риска, а в других — логарифмированными показателями. Поэтому для проведения мета-анализа все данные необходимо логарифмировать.

После завершения указанных выше расчетов результаты первичных работ, представленные в виде логарифмированного отношения угроз и стандартной ошибки среднего для отношения угроз могут быть объединены с использованием общего метода обратной дисперсии (Generic inverse variance). Эта методология является одной из универсальных в мета-анализе. С ее помощью могут быть конвертированы и оценены дихотомические и непрерывные исходы, отношения, а также определено время до события.

Поскольку оценка эффекта любого мета-анализа основана на анализе выборочных данных и имеет элемент неточности, его результаты не могут считаться абсолютно достоверными без определения возможности экстраполяции полученных данных на генеральную совокупность. Статистическая достоверность полученных выводов подтверждается определением доверительного интервала. Определение границ области наиболее используемого в биомедицинских исследованиях 95% доверительного интервала, подтверждающего истинное значение 95% частоты встречаемости изучаемого явления в генеральной совокупности, рассчитывается по отдельным формулам Вальда (Wald), Уилсона (Wilson) и Клоппера—Пирсона (Clopper—Pearson).

При интерпретации расчетных значений доверительного интервала в рамках мета-анализа достоверность различий подтверждается, если граница колебаний доверительного интервала не включает в себя единицу. Если же верхняя граница доверительного интервала превышает единицу, а нижняя меньше единицы (доверительный интервал включает единицу), различия в группах сравнения следует считать статистически незначимыми.

Таким образом, мета-анализ, представляющий собой математическое резюмирование результатов нескольких научных исследований, проводится в 2 этапа. При этом на первом этапе извлекаются необходимые статистические сведения из отобранных первичных научных исследований, а на втором этапе проводятся обобщающие математические расчеты. Основным инструментом для его проведения, который используют ведущие мировые экспертные группы, является программное обеспечение Review Manager.

При выполнении мета-анализов, оценивающих результаты хирургических оперативных вмешательств, необходимо учитывать зависимость исходов операций от множества различных непрогнозируемых факторов, а также различия диагностических шкал и методов оценки результатов первичных научных исследований, что соответственно определяет нормальный характер распределения большинства из оцениваемых клинических параметров и необходимость применения не только абсолютных, но и стандартизованных расчетов и измерений.

Выбор конкретной методологии проведения мета-анализа для дихотомических, непрерывных и асимметричных данных, а также для порядковых исходов времени до события, счетов и частот позволяет интерпретировать полученные в ходе математических расчетов числовые значения, объективно оценить большинство исходов хирургических вмешательств и делать обоснованные прогнозы об эффективности применяемых методов лечения.

Авторы заявляют об отсутствии конфликта интересов.

The authors declare no conflict of interest.

Сведения об авторах

Бебуришвили А.Г. — https://orcid.org/0000-0002-1179-4585

Федоров А.В. — https://orcid.org/0000-0002-8456-8685

Панин С.И. — https://orcid.org/0000-0003-4086-2054

Постолов М.П. — https://orcid.org/0000-0001-9953-7286

Автор, ответственный за переписку: Панин С.И. — e-mail: Panin-74@yandex.ru

Бебуришвили А.Г., Федоров А.В., Панин С.И., Постолов М.П. Общая методология проведения и интерпретации результатов метаанализа в хирургии. Хирургия. Журнал им. Н.И. Пирогова. 2019;12:60-65. https://doi.org/10.17116/hirurgia2019121