Качество исследовательских публикаций в психиатрии

Авторы:
  • А. В. Голенков
    Чувашский государственный университет им. И.Н. Ульянова, Чебоксары, Россия
  • Е. А. Кузнецова-морева
    Федеральный медицинский исследовательский центр психиатрии и наркологии им. В.П. Сербского, Москва, Россия
  • В. Д. Менделевич
    Казанский государственный медицинский университет, Казань, Россия
  • А. В. Немцов
    Федеральный медицинский исследовательский центр психиатрии и наркологии им. В.П. Сербского, Москва, Россия
  • Ю. Е. Разводовский
    Гродненский государственный медицинский университет, Гродно, Республика Беларусь
  • А. Н. Симонов
    ФГБНУ «Научный центр психического здоровья», Москва, Россия
  • К. В. Шелыгин
    ФГБОУ ВО «Северный государственный медицинский университет», Архангельск, Россия
Журнал: Журнал неврологии и психиатрии им. С.С. Корсакова. 2017;117(11): 108-113
Просмотрено: 900 Скачано: 324

В современном мире неуклонно нарастает социальная значимость науки, а вместе с этим в условиях глобализации научного знания — требование к повышению качества (доказательность) науки, точности ее выводов и рекомендаций. Доступность научных знаний (результаты исследований) реализуется посредством коммуникативных связей науки, как внешних, «вертикальных» — с практикой, так и «горизонтальных», внутринаучных, призванных способствовать развитию науки.

Главным способом обмена научной информацией является публикация. Как всякий текст, а особенно научный, публикация должна подчиняться ряду правил, чтобы быть понятной и убедительной. Поэтому качество публикаций находится под контролем как конкретных наук, так и некоторых общих дисциплин, например доказательной медицины и наукометрии. Эти дисциплины для обеспечения убедительности публикаций составили правила их написания, а также иерархию оценок их доказательности. Сначала это было сделано на английском [1—4], а позже и на русском [5—7] языках. На этой основе в 2001 г. была создана [8] и валидизирована русскоязычная «Карта оценки научных публикаций» [9]. Со времени создания карты и ее первого использования прошло 20 лет, и появилась возможность оценить качество публикаций последнего времени и сравнить их с публикациями 20-летней давности.

Цель настоящего исследования — оценка качества научных публикаций в психиатрии и наркологии. В задачи исследования входила оценка качества отдельных публикаций в 2015 г. по стандартизованной карте оценки научных публикаций.

Было проведено аналитическое исследование научно-исследовательских статей, опубликованных в журналах по психиатрии и наркологии в конце 2015 г.

Материал и методы

Из списка журналов ВАК были выбраны все журналы, имеющие отношение к психиатрии и наркологии, а в них — все научные статьи последнего доступного номера за 2015 г. (одна публикация была взята из № 1 за 2016 г.).

Всего подлежали анализу 84 статьи, которые предполагалось разделить между 8 экспертами. Однако часть экспертов позже отказались от участия в работе и она была осуществлена 5 экспертами по 51 статье, которые были взяты из следующих 13 журналов: «Вопросы наркологии», «Журнал неврологии и психиатрии им. С.С. Корсакова», «Наркология», «Неврология, нейропсихиатрия, психосоматика», «Обозрение психиатрии и медицинской психологии», «Психиатрия», «Психиатрия и психофармакотерапия», «Психиатрия, психотерапия и клиническая психология», «Психическое здоровье», «Психические расстройства в общей медицине», «Российский психиатрический журнал», «Сибирский вестник психиатрии и наркологии», «Социальная и клиническая психиатрия».

Вместе с текстами статей эксперты получали «Карту оценки научных публикаций» и статью с описанием методики ее заполнения [3]. Для каждой публикации заполняли отдельную карту, состоящую из пяти разделов: 1) тип исследования; 2) определяют ли авторы, к какому типу относится их исследование; 3) качество публикации по 21-му признаку; 4—5) две дополнительные характеристики. Ответы заполняли по системе «да/нет» для разделов 1—2 и 4—5. Качественные признаки (n=21) оценивали в баллах: 3 — да (наличие признака), 2 — отчасти или неясно, 1 — нет (отсутствие признака), 0 — оценка признака для данного исследования не требуется. Естественно, все расчеты велись только в пределах значимых для исследования признаков.

Методы исследования дополнительно рассматриваются при изложении в отдельных частях раздела результатов.

Данные всех карт были сведены в электронную таблицу и обработаны на основе z-преобразования или корреляции по Спирмену (rs).

Результаты

Существенное расхождение между экспертами отмечалось только по одному пункту: результат исследования был оценен авторами как 1) положительный (т.е. цель была достигнута), 2) отрицательный, 3) неопределенный, 4) отношение авторов к результатам неясно. Только один эксперт из восьми статей шесть отнес к пункту 4, при том, что у него были статьи из пяти различных журналов. Все 5 экспертов по остальным пунктам существенных расхождений не выявили.

Типы публикаций

Табл. 1

Таблица 1. Распределение публикаций по типам исследования Примечание. Сумма типов исследования 56, что больше количества статей (51) в связи с тем, что некоторые публикации относились к двум типам.
показывает, что существенно преобладали публикации 3, 4 и 7-го типов (обозначение типов см. в табл. 1; 64%). Остальные типы статей представлены тремя—пятью публикациями, в их числе всего три статьи — рандомизированные и контролируемые исследования (5%). 80% авторов не обозначили тип своего исследования, поэтому экспертам приходилось самим определять его, исходя из текста статьи.

Качество публикаций

Перед исследованием качественных признаков следовало выбрать методику оценки качества. Медианный критерий для балльных оценок, который использовали Н.А. Зорин и соавт. [8, 9], по сути оценивал степень некачественности публикаций, а это не вполне соответствовало задаче настоящего исследования — оценке качества отдельных публикаций. Этому более адекватно служил критерий «доля 3-балльных оценок в каждой статье как признак качества публикации». В этом случае было не лишним сначала определить, как соотносятся баллы 3, 2 и 1. Естественно, при ограниченном выборе чем больше «троек», тем меньше «двоек» и «единиц» и наоборот. Однако было важно показать значимость этих отношений. Их корреляция выявила, что балл 3 находится в обратных отношениях с баллами 1 (rs= –0,426, p=0,004) и 2 (rs= –0,765, p=0,000). Значимость этих отношений свидетельствовала, что можно было ограничиться одним баллом, содержащим информацию о двух других. Таким образом, была рассчитана оценка для каждой статьи и составлено распределение статей с той или другой долей 3-балльных оценок (рис. 1).

Рис. 1. Распределение публикаций (ось ординат) по процентной доле 3-балльных оценок (ось абсцисс). Стрелкой обозначена медиана распределения (48%).
Вклад отдельных признаков в общую качественную оценку всего массива статей по доле 3-балльных с баллом 3 был рассчитан с помощью кластерного анализа (рис. 2).
Рис. 2. Кластерный анализ 21-го качественного признака (по оси абсцисс) в соотношении с процентной долей 3-балльных оценок 51 статьи, баллы по оси ординат. Обозначения признаков приведены в табл. 2.
Это стало главным показателем качества публикаций в двух модификациях: отдельные статьи по наличию в них признаков качества (см. рис. 1) и значимость тех или других признаков качества для всей массы статей (см. рис. 2).

На рис. 1 показано распределение публикаций по доле 3-балльных оценок. Как видно, только в двух (4%) публикациях из 51 все (100%) показатели были оценены в 3 балла. Это один полюс распределения, а другой составили семь статей (10—20%), в которых 3-балльные оценки отсутствовали и доминировали оценки в 1 балл (отсутствие признака). Как в этих семи, так и других статьях отсутствующие признаки были самыми важными для доказательности. Эти признаки (с 10 по 16, см. рис. 2, обозначение признаков приведено в табл. 2),

Таблица 2. Распределение публикаций по качественным признакам
как показал иерархический кластерный анализ имели наибольшее расстояние связи (Linkage Distance) от показателя статей с 3-балльной оценкой.

Для оценки того, какие и в какой степени качественные признаки нашли отражение в анализируемых статьях, было составлено их распределение по доле статей с оценкой в 3 балла по тому или другому признаку (рис. 3).

Рис. 3. Распределение качественных признаков (ось абсцисс) по доле статей (ось ординат), оцененных в 3 балла. Цифры на графике — номера классов, цифры под графиком — номера признаков, обозначенных в табл. 2.
С целью упрощения структуры материала весь процентный диапазон (от 2,4 до 86,3%) разделили на три класса: 1) 61—90%, 2) 31—60% и 3) 0—30% соответственно: больше, около или меньше ½ статей каждого класса имели высокую оценку по тому или другому качественному показателю. Таким образом, к классу 1 было отнесено шесть признаков (см. табл. 2).

Классы 2 и 3 содержали 8 и 7 признаков соответственно (см. табл. 2). Разбор этих признаков рассмотрим в рубрике «Обсуждение».

Оценки двух последних пунктов опросной карты были однообразными. Все эксперты в статьях, где изучалось лекарственное вмешательство, оценили его эффект как положительный. Почти все эксперты сочли, что авторы публикаций результат своего исследования оценили положительно, и только в шести статьях авторы не высказали отношение к своей работе.

Обсуждение

Наукометрия плохо приживается в России отчасти в связи с низкой квалификацией научных работников, слабо знакомых со стандартами современной науки. По сути каждый ученый в силу специфики работы должен быть знаком с принципами доказательности в науке, а значит и основами, хотя бы наукометрии. В нашей стране это можно отнести к очень узкому кругу научных работников. Отсюда трудность найти достаточное количество экспертов для наукометрического анализа, и, как следствие, настоящее исследование, которое могло быть невыборочным, таковым не стало — произошло вынужденное сокращение числа публикаций, их перераспределение за счет выбывших и новых экспертов.

Анализ типа исследования показал, что большинство публикаций составляли 1) неконтролируемые/одномоментные, 2) описание серии случаев или 3) нерандомизированные исследования. Все эти типы работ относятся к методически наименее доказательным (64%). Только одно из трех рандомизированных и контролируемых исследований было безупречным в отношении всех качественных показателей. Также высоко была оценена одна публикация по типу случай/контроль. Авторы 80% публикаций не сочли нужным определить тип своего исследования (см. табл. 1).

Для упрощения анализа качественной стороны отдельных публикаций весь диапазон оценок (процентная доля 3-балльных) был разделен на три класса: статьи, которые имеют оценку в 3 балла 1) больше, чем в ½ качественных признаков, 2) в ½ из них или 3) менее ½ из них.

Первый класс составили статьи с признаками, которые по сути относятся к начальной и заключительной части всякой статьи (6 признаков из 21, см. табл. 2). Они скорее имеют отношение к оформлению статьи и уже давно являются обязательными. Однако и по этим обязательным признакам встретились три публикации, в которых отсутствовало объяснение, почему проводилось исследование, выводов не было или они противоречили заявленной цели. Это уже не только огрехи авторов, свидетельство их низкой квалификации, но и вина редакций, допустивших такие статьи к публикации. Наукометрия не может сказать, почему так происходит: из-за низкой квалификации или вненаучных факторов редакторов или рецензентов. Ответ на этот вопрос отчасти дало недавнее исключение 344 российских научных журналов из РИНЦ. Акцент был сделан на рецензировании. «Журналов, у которых весьма условное рецензирование, в несколько раз больше. Из 6 тыс. журналов нормальное рецензирование есть, дай бог, у 1000»​1​᠎. Остальные журналы были названы «мусорными». Несколько раньше сетевое сообщество «Диссернет» затеяло журнальный проект, призванный систематизировать данные по отличающимся недобросовестной редакционной политикой журналам из списка ВАК.

Возвращаясь к проведенному исследованию, следует сказать, что собственно научное качество отражено признаками 4—18 (см. табл. 2), которые составили 2-й и 3-й классы. В ½ публикаций (класс 2) не сформулирована гипотеза исследования, не даны критерии включения/исключения больных, а также оценки результата, не описана методика исследования.

Еще хуже обстоит дело с признаками, главным образом определяющими доказательность выводов публикации. В более чем ½ статей (класс 3) не учитывалась возможность систематических ошибок, а это не позволяет полностью их избежать. Также не указывалось, все ли больные доведены до конца исследования или у них были отмечены побочные эффекты. Особенно не повезло статистическому анализу: только семь (15%) статей получили 3 балла, а 46% — 1 балл. По сути в 80% статей выбор статистического метода был сделан случайно и/или не обоснован, а полнота его описания оставляла желать лучшего.

Полное сравнение с результатами сходной работы 20-летней давности [3, 4] затруднительно по двум обстоятельствам: 1) в той статье ставились другие задачи (сравнение публикаций в двух психиатрических журналах, на тот момент единственных), под которые была использована другая система расчетов и их интерпретация; 2) за 20 лет существенно изменилась журнальная политика в медицине вообще и психиатрии в частности, появилось много новых журналов, что не способствует росту качества публикаций при мало изменившейся структуре психиатрической науки. Однако при этих ограничениях один результат сопоставим: качество только 10% статей 2 журналов в 1996 г. и 4% — в 2015 г. 13 журналов было признано достойным по формальным признакам.

Необходимо подчеркнуть, что даже в тех случаях, когда содержание исследовательской статьи может быть интересным, без выполнения всех современных формальных требований работа не станет доказательной, а значит имеющей смысл. Это, конечно, не относится к редким публикациям, в которых выдвигаются новые гипотезы, поднимаются новые вопросы (иногда вопрос бывает важнее ответа).

Предлагаемая статья адресована прежде всего редакциям психиатрических журналов, которые несут ответственность за качество публикаций в своих изданиях. Редакции слабо работают с авторами, некоторые проанализированные статьи могли бы быть лучше после доработки, а часть статей не следовало допускать до публикации. Работа с авторами — это важная педагогическая задача редакций, тем более, что в России по сути не учат методологии научной работы. В связи со сказанным возникает вопрос и о квалификации сотрудников редакций и рецензентов статей.

Авторы заявляют об отсутствии конфликта интересов.

1Оценка сделана Г.О. Еременко — генеральным директором «Научной электронной библиотеки» elibrary.ru, интегрированной с РИНЦ.

Список литературы:

  1. Флетчер Р., Флетчер С, Вагнер Э. Клиническая эпидемиология. Основы доказательной медицины. М.: Медиа Сфера; 1998.
  2. Cho MK, Bero LA. Instruments for assessing the quality of drugstudies published in the medical literature. JAMA. 1994;272:101-104.
  3. Downs SH, Black N. The feasibility of creating a checklist for the assessment of methodological quality both of randomised and non-randomised studies of health care interventions. J Epidemiol Community Health. 1998;52:377-384.
  4. Gardner MJ, Airman DG. Statistics with confidence. Confidence in intervals and statistical guidelines. London: BMJ; 1989.
  5. Зорин Н.А. Об интерпретации наукометрических данных в психиатрии (вводное сообщение). Социальная и клиническая психиатрия. 1999;9:62-68.
  6. Зорин Н.А. Что такое кохрейновское содружество (Cochrane collaboration). Социальная и клиническая психиатрия. 1999;9:107-108.
  7. Стаховская А.В. Современные подходы к оценке эффективности лекарственных средств. Журнал невропатологии и психиатрии им. С.С. Корсакова. 1999;99(5):47-49.
  8. Зорин Н.А., Калинин В. В., Немцов А.В. Методика оценки качества исследовательских публикаций в психиатрии. Журнал неврологии и психиатрии им. С.С. Корсакова. 2001;101(2):62-67.
  9. Зорин Н.А., Немцов А.В. Формализованная экспертная оценка качества исследовательских публикаций в психиатрии. Журнал неврологии и психиатрии им. С.С. Корсакова. 2001;101(2):64-68.