Публикации шести отечественных научно-исследовательских институтов в области психиатрии и наркологии¹ доминируют в массиве профильной научной прессы. Большое место (81%) среди них занимают тезисы на съезд Российского общества психиатров [1].

Поскольку публикации — один из главных показателей эффективности научного учреждения, количественный анализ публикационной активности может дать представление о работе институтов. За пределами такого анализа остается качество публикаций, которое возможно только при репрезентативной экспертной оценке. Однако это трудоемкое и затратное исследование, которое по этой причине может охватить только ограниченное количество работ.

Созданный в 2005 г. Российский индекс научного цитирования (РИНЦ) позволяет охватить значительный массив публикаций последних лет, особенно в части цитирования. Это наиболее информативная часть показателей РИНЦ, так как показатель цитирования в первом приближении может служить показателем качества, как это в свое время задумывал E. Garfield — основатель Института научной информации (1961, США), подготовивший первый Science Citation Index (1964, позднее — «Web of Science»).

В 2015 г. была опубликована статья [2] о публикационной активности шести научно-исследовательских институтов с ее анализом в 2006—2013 гг. Это была первая публикация такого рода в российской психиатрии и наркологии. Материалом статьи были данные РИНЦ, показатели которого все глубже входят в практику научной деятельности в России (они стали существенной частью отчетов научных учреждений).

К периоду анализа, отраженного в первой статье, прибавился еще 1 год. Однако за это время произошли существенные структурные изменения в организации научной психиатрии: три московских института были объединены. Соответственно изменилась структура данных РИНЦ, и это не позволяет воспроизвести дизайн первой статьи в полном объеме. По недоразумению РИНЦ лишил бывший Институт судебной психиатрии им. В.П. Сербского  — большой коллектив со специфической тематикой, некоторых оценочных показателей научной деятельности. В настоящее время требуется зафиксировать новую структуру данных РИНЦ для анализа в последующие годы.

Цель настоящей работы — сравнительный анализ публикационной активности шести научно-исследовательских институтов в области психиатрии и наркологии в течение 2006—2014 гг.

Шесть институтов в России соответствуют профилю «психиатрия и наркология»: 1) Научный центр психического здоровья РАН (Москва, далее НЦПЗ), 2) Санкт-Петербургский научно-исследовательский психоневрологический институт им. В.М. Бехтерева (Санкт-Петербург, далее ИБ), 3) Научно-исследовательский институт психического здоровья СО РАМН (Томск, далее СИП), 4) Федеральный медицинский исследовательский центр психиатрии и наркологии им. В.П. Сербского (далее ЦПН) и два его филиала, 5) Московский научно-исследовательский институт психиатрии (Москва, далее МИП), 6) Научно-исследовательский институт наркологии (Москва, далее ИН). Эти учреждения числятся в РИНЦ под указанными выше названиями, имеют свою страницу со стандартным набором наукометрических показателей, хотя некоторые важные характеристики для трех объединенных институтов (три последних учреждения) исчезли и объединились в один под общим названием ЦПН.

Важно, что главным способом пополнения базы данных РИНЦ являются публикации новых номеров журналов и списки цитированных источников в каждой статье. Сравнительно недавно для институтов-абонентов появилась возможность пополнять недостающие в РИНЦ публикации, но это мало отражается на показателях цитирования данного учреждения или публикаций других учреждений.

Материал РИНЦ, использованный в работе, состоит из четырех разделов: 1) общие показатели, относящиеся к публикациям, учтенным в РИНЦ за все годы его существования: число публикаций, цитирований публикаций, авторов и др.; 2) показатели за 5 лет (2010—2014), 3) показатели по годам за 9 лет с 2006 по 2014 г., 4) статистические отчеты. Наиболее полно данные РИНЦ представлены во втором разделе. Однако ко времени исследования периоды сбора данных этого раздела различались на 1 год: для МИП и ИН — 2009—2013 гг., тогда как для остальных учреждений — 2010—2014 гг., что не позволило использовать этот раздел в полной мере для сравнительного анализа. Поэтому материалом данной работы послужили в основном третий раздел, а также четвертый, который не обрабатывался в предыдущем сообщении [2]. В связи с объединением трех московских институтов в РИНЦ на странице ЦПН представлены суммарно показатели этих институтов, при этом филиалы сохранили самостоятельные страницы. Это сделало возможным исследовать отдельно три института, хотя не по всем параметрам.

Перед настоящим исследованием дата последнего обновления общих показателей колебалась между 12.06.15 и 03.09.15.

В работе использована только часть показателей РИНЦ. Несложные методические приемы указаны в тексте статьи по мере изложения результатов.

Всего в РИНЦ зарегистрировано 14 089 публикаций шести институтов. Они были написаны 1618 авторами (в среднем 8,7 публикации на автора). Эти работы были процитированы 51 114 раз (в среднем 31,6 — на автора и 3,6 — на публикацию). Трудно сказать, много это или мало, так как эти данные не привязаны ко времени. Такая привязка возможна благодаря третьему разделу данных РИНЦ.

За 9 последних лет шестью институтами были опубликованы 9662 работы. Они были процитированы 39 263 раза (в среднем 4,1 раза на публикацию или 1 цитирование за 2,2 года). По тому, как представлены данные в этом разделе, трудно определить количество авторов и соответствующие производные. Это обусловлено тем, что один автор мог публиковаться несколько раз за 9 лет, при этом не указано, когда и сколько раз в каждом году.

Вклад отдельных институтов в общее число публикаций, зарегистрированных в РИНЦ, неравнозначен: от 7,6 до 25,5% (табл. 1, графа 1), так же как вклад в цитирование (8,5—25,1%, графа 2). Это могло быть обусловлено неравенством в количестве авторов (9,1—27,8% от общего числа, графа 3). Перерасчет (нормирование) числа публикаций и цитирования на одного автора или одну публикацию несколько изменил показатели отдельных институтов (см.табл. 1, графы 4—5). В табл. 2 приведены также индексы Хирша для пяти институтов (этот индекс для объединенного ЦПН — 51).

Корреляция количества публикаций шести институтов и их цитирования по Спирмену незначима (r=0,543, р=0,266). Тем более нет значимой связи числа публикаций и цитирования с количеством авторов (r= –0,200 и –0,029, р=0,70 и 0,96).

Первое сообщение [2] показало, что из всего списка признаков наиболее адекватно отражают работу институтов три нормированных показателя: 1) количество цитирований на одну публикацию, 2) число цитирований на одного автора и 3) число публикаций на одного автора. Эти три характеристики представлены на рис. 1. Объединить эти результаты можно с помощью шкалирования: учитывая различие размерности трех показателей, можно разделить каждую ось на три ранга от минимума до максимума и придать каждому рангу баллы от 1 до 3. Результат такого шкалирования представлен в табл. 2.

Доля самоцитирования в общем цитировании каждого института за 5 лет представлена в табл. 2. Хотя сроки этого анализа не вполне совпадают (МИП и ИН — 2009—2013 гг., остальные институты — 2010—2014 гг.), но даже в таком виде данные могут представить интерес для самооценки работы институтов.

В 2006 г. усредненный автор всех шести институтов выпустил 1,7 публикации, в 2014 г. — 1,8. С цитированием было лучше: 4,2 цитирования на одного автора в 2006 г. и 11,9 — в 2014 г. Эти результаты имеют относительное значение, поскольку учитывают только начальный и конечный период анализа.

Более точное представление о динамике работы институтов дает сравнение показателей в первое и последнее 4-летие для каждого института, хотя при этом утрачивается возможность нормирования по авторам. Эти результаты, а также соответствующие статистические различия представлены в табл. 3.

Динамика числа публикаций в расчете на одного автора представлена на рис. 2. В некоторых институтах год от года были значительные колебания этого показателя, в связи с чем на рис. 2 показатели представлены в сглаженном виде с помощью линии наименьших квадратов. К сожалению, РИНЦ не дает возможности рассчитывать число цитирований как на одного автора, так и на одну публикацию. Это связано с тем, что в текущем году преимущественно цитируются публикации и авторы прошлых лет, а даты публикации этих статей не указаны.

Эти данные относятся к массиву РИНЦ за все годы деятельности, но не позволяют разделить ЦПН на три составляющие. Поэтому в этом разделе будут проанализированы только четыре института: ЦПН вместе с филиалами, НЦПЗ, ИБ и СИП.

Раздел содержит распределение всех публикаций учреждений по числу цитирования. Для упрощения эти очень подробные распределения были представлены с шагом 10 цитирований (табл. 4). При этом публикации с нулевым цитированием, цитированием более 50 и более 100 раз представлены отдельными рубриками (строки).

На рис. 3 показаны первые 10 авторов с наибольшим количеством публикаций, на рис. 4: первые 10 публикаций каждого института с наибольшим цитированием.

Среди большого количества результатов, вошедших и не вошедших в работу, наиболее важным представляется число публикаций с нулевым цитированием — в среднем 50% (см. табл. 4). Небольшая часть этих работ, особенно последних 2—3 лет, может быть еще процитирована. Однако даже при таком допущении сомнительно, чтобы это существенно повлияло на общее состояние цитирования публикаций. Хотя различие институтов по доле работ с нулевым цитированием значимо (р=0,000—0,049), обращает внимание близость этих показателей для четырех институтов. Некоторое отличие СИП, скорее всего, обусловлено высоким уровнем самоцитирования — более 50% (см. табл. 2). С этим же, вероятно, связана наибольшая доля работ СИП с цитированием более 50 раз (см. табл. 4).

Большое количество публикаций с нулевым цитированием свидетельствует, что они не были востребованы и не вошли в научный оборот. Правомерно относиться скептически к оценке цитирования как показателю качества научной работы, но отсутствие цитирования, тем более массовое — несомненный признак низкого качества научной продукции. При этом возникает вопрос, нужно ли было делать такие работы? Правильно ли поставлено научное планирование в психиатрии и наркологии? Понятно, что всякое производство, в том числе научное, имеет право на брак, но брак, близкий к половине, требует пристального внимания к производственному процессу.

Нулевое цитирование, возможно, имеет еще одну сторону: слабость интереса к публикациям коллег, полноте литературных предпосылок собственной работы, неумение провести поиск соответствующих статей. Другой стороной слабой работы с источниками является высокий уровень самоцитирования (см. табл. 2) не только в СИП, но и в других институтах (около четверти). Все это подводит к теме квалификации научных сотрудников в психиатрии и наркологии.

Между тем средние показатели выглядят приемлемо — четыре цитирования на публикацию за 9 лет. Однако в этом случае средние показатели малоинформативны, скрывают большие различия публикационной активности как институтов (см. табл. 1), так и сотрудников, даже ведущих (см. табл. 3). После нормирования показателей по числу авторов число публикаций и цитирования на одного автора наибольшее в МИП (см. табл. 1). За ним следует И.Н. Однако оценка цитирования публикаций выводит на первое место НЦПЗ. Представляется, что это более значительный показатель, так как он, хотя неидентичен, но ближе двух других стоит к оценке качества публикаций. Две другие характеристики больше служат оценке продуктивности сотрудников (авторы), что тоже немаловажно. Понятно, что в оценке сравнительной значимости трех ведущих показателей могут быть разночтения, но в настоящем исследовании выбрана их равнозначность, которая послужила основой построения трехмерного графика (см. рис. 1), и в связи с ним — балльная оценка (см. табл. 2). Такой подход ставит на первое—второе место НЦПЗ и МИП. Третья позиция у СИП, но это, скорее всего, связано с высоким уровнем самоцитирования (см. табл. 2).

Прямое описание динамики публикационной активности институтов затруднительно, даже после сглаживания исходных показателей (см. рис. 2). Более отчетливое представление о публикационной деятельности дает сравнение первого и последнего 4-летия (2006—2009 и 2011—2014 гг.). За исключением СИП у институтов выросло число публикаций и у всех институтов — показатель цитирования, особенно сильно у МИП, НЦПЗ и И.Н. Однако следует помнить, что рост цитирования зависит не только от активизации научной деятельности, но и в силу естественного накопления массива публикаций в РИНЦ. Важен не столько рост, сколько прирост по сравнению с предыдущим 3-летием. Это важно и потому, что структура этого материала в РИНЦ не дает возможности нормировать показатели цитирования количеством авторов.

Эта же особенность материала распространяется на количество публикаций, учтенных в Scopus и Web of Science. Однако в данном случае она не имеет решающего значения, так как отличие НЦПЗ, ИН и МИП от трех других институтов значительно.

Дальнейшая детализация сравнительных данных институтов не имеет большого значения, так как основные характеристики в полном объеме представлены в табл. 1—3 и на рис. 1—2. Важнее анализ деятельности «передовиков» научного производства, которые преимущественно определяют лицо науки. Они же делают средние показатели приемлемыми в связи с резкой асимметрией распределения показателей активности сотрудников институтов. Для оценки их деятельности более подошел бы не количественный, а тематический и качественный анализ квалифицированных экспертов. Однако выше уже отмечались затруднения такого подхода. Благодаря РИНЦ проще осуществить количественный анализ, хотя и в этом случае есть ограничение: он возможен только для четырех институтов: НЦПЗ, ИБ, СИП и ЦПН вместе с филиалами. Были выбраны по активности 10 авторов (см. рис. 3) и первые по цитируемости 10 публикаций (рис. 4). Первые 10 авторов ЦПН оказались наиболее активными, при этом снижение продуктивности 10 авторов происходит довольно равномерно, приблизительно по экспоненте, от 493 до 164 публикаций на автора. В СИП первые 2 автора резко отличаются от остальных (355 и 317 публикаций vs. 185—68), которые уже не отличаются от НЦПЗ и ИБ. В последних двух публикационная активность первых 10 авторов была низкой и мало различалась, что могло бы свидетельствовать об отсутствии лидеров. Однако в отношении НЦПЗ это не так — цитируемость 10 публикаций НЦПЗ существенно превышает таковую «передовиков» остальных институтов (см. рис. 4), и этот показатель, как уже отмечалось, вероятно, имеет ведущее значение при оценке деятельности научных учреждений. В ИБ есть лидирующая публикация, но только одна (см. рис. 4).

Подводя итог наукометрическому анализу на основе данных РИНЦ, следует иметь в виду, что у этой организации пока ограниченные возможности. Это проявилось и в процессе работы с показателями институтов, которые иногда не позволяли придать анализу законченную форму. Отсюда приблизительность некоторых выводов. Однако не значит, что анализ данных РИНЦ не имеет смысла — приблизительный не есть ошибочный. Тем более эта особенность материалов РИНЦ, скорее всего, касается всех институтов в равной степени. И это делает правомерным сопоставление оценок. Тем более что в случае институтов (а не отдельные сотрудники) можно оперировать большими числами публикаций, цитирований и авторов, что уменьшает роль случайности и делает базу данных РИНЦ пригодной для наукометрического анализа.

И все-таки, зачем написана эта работа? Ее можно было бы мотивировать тем, что наукометрические показатели теперь входят в практику институтов, а главное — их отчетность. Однако эта процедура, как и нарастание документооборота, не более чем «дисциплинарная техника» (Мишель Фуко) — трудно представить, чтобы индексы Хирша, импакт-факторы, помноженные на сотни сотрудников, тысячи публикаций и десятки институтов кто-то за пределами учреждения мог квалифицированно оценить. Именно это таит в себе опасность, так как эти индексы и факторы можно обратить против науки, выбрав произвольный квалификационный уровень. Отсюда первый мотив написания статьи и рекомендация научным сотрудникам — знать общий смысл наукометрии, понимать ее инструменты и оценки, а также способствовать их повышению.

Это исследование, как и ранее проведенные [1—6], показало, что качество нашей науки оставляет желать лучшего. Показать это на количественной основе — второй мотив исследования. При этом следует помнить, что статья захватывает только некоторые и самые общие характеристики качества работы включенных в исследование учреждений. По-настоящему оценка качества осталась за пределами исследования, однако половинная доля нецитированных (невостребованные) публикаций — это не только количественный, но и качественный показатель состояния науки.

Невозможно ожидать, что одна—две статьи что-либо изменят в состоянии науки. В значительно большей степени требуется образовательная активность в области методологии науки, понимание того, что клинические и научные методы совпадают, но не полностью, у каждого из них свой, достаточно сложный инструментарий, более того — своя идеология: в случае клинического метода она больше нацелена на больного в целом для решения практических задач, тогда как научный подход решает общие проблемы через частные проявления патологии.

Конфликт интересов отсутствует.