Данная работа является продолжением статей, посвященных изучению публикационной деятельности научных учреждений в области психиатрии и наркологии по данным РИНЦ (Российский индекс научного цитирования) [1, 2], которые примыкают к серии других наукометрических статей [3—6]. В одном из этих исследований [2] была обнаружена большая доля нецитируемых (с нулевым цитированием по терминологии РИНЦ) публикаций. Настоящее сообщение посвящено анализу этой части данных, касающихся цитирования научных работ.

Известно, что наука обязана не только получить новое знание, но и внедрить его в научный оборот и в конечном счете передать для практического использования или дальнейшей научной разработки. Главным способом ассимиляции знания является публикация.

В условиях России в прикладных отраслях главный источник публикаций — научно-исследовательские учреждения. Это в полной мере касается психиатрии и наркологии [6].

В определении эффективности и продуктивности научной деятельности ведущее положение занимает экспертная оценка научного сообщества или государственных чиновников. Однако в последние годы для этого все чаще привлекается наукометрия, изучающая структуру и динамику научной деятельности с помощью количественных методов, в частности статистических. Уже разработан и широко используется ряд наукометрических показателей для оценки деятельности отдельных ученых, научных организаций или журналов. Наиболее распространены такие показатели, как общее количество публикаций, индекс Хирша, импакт-фактор журналов. В основу двух последних заложено цитирование публикаций отдельных авторов, учреждений или научных журналов. Это один из самых распространенных наукометрических показателей, свидетельствующий об интеграции научного знания и эффективности научной деятельности. Понятно, что цитирование — не единственный показатель эффективности, но он относительно объективен и главное — дает ее количественную характеристику.

Таким образом, научная публикация — не только обязательное завершение любого научного исследования или его этапа, но и объект оценки эффективности научной деятельности посредством ее цитирования.

Следует заметить, что наукометрия еще не сложилась в законченную науку, она в большей степени выступает в качестве метода и имеет ограничения. Однако к настоящему времени не появилось лучшего способа объективной оценки научной деятельности отдельных исследователей, организаций и периодических изданий.

Цель исследования — определение эффективности публикаций в области психиатрии и наркологии на основе их цитирования (в данной работе в аспекте нулевого цитирования) по данным анализа цитирования публикаций четырех ведущих научно-исследовательских учреждений в сфере психического здоровья.

Исследование проводили с использованием базы данных РИНЦ. В работу включены научные труды четырех научно-исследовательских институтов в области психического здоровья (названы так, как указано в РИНЦ)^​1​᠎: 1) Научно-исследовательский институт психического здоровья (Томск, далее СИП); 2) Научный центр психического здоровья (Москва, далее НЦПЗ); 3) Санкт-Петербургский научно-исследовательский психоневрологический институт им. В.М. Бехтерева (Санкт-Петербург, далее ИБ); 4) Федеральный медицинский исследовательский центр психиатрии и наркологии им. В.П. Сербского (Москва, далее ЦПН).

В качестве контрольного материала выбраны данные: 1) Научно-исследовательского института нейрохирургии им. акад. Н.Н. Бурденко (Москва, далее ЦНХ); 2) Научного центра неврологии (Москва, далее ЦН).

ЦПН в мае 2014 г. объединил три института: Институт социальной и судебной психиатрии им. В.П. Сербского, Московский научно-исследовательский институт психиатрии и Центр наркологии (два последних стали филиалами ЦПН). До момента объединения каждый из этих институтов имел в РИНЦ собственную базу данных, однако после слияния часть показателей была объединена и недоступна для раздельного анализа, в частности те, которые использованы в настоящем исследовании. В связи с этим в данной работе ЦПН выступает как единое учреждение.

Проанализирован весь массив публикаций, зарегистрированных в РИНЦ. Последний доступ 31 марта 2016 г. Были проанализированы следующие показатели: 1) число публикаций; 2) число цитирований публикаций; 3) число авторов в институте; 4) индекс Хирша института; 5) средневзвешенный импакт-фактор журналов, в которых были опубликованы статьи института (показатели за 2011—2015 гг.); 6) распределение числа публикаций по годам (Инструменты/Вывести список публикаций данной организации: библиографический список всех публикаций); 7) число и доля публикаций, цитируемых не менее 1 раза, и с нулевым цитированием (раздел: Статистические отчеты/Распределение публикаций по числу цитирований, 1962—2016 гг.); 8) десять публикаций с максимальным числом цитирования (раздел тот же).

Анализ материала проводили на основе количественного описания, корреляции по Спирмену (R_s) и с помощью метода сравнения двух пропорций (z-test for two proportion).

Первые публикации, зарегистрированные в РИНЦ, относятся к 1962 г. С этого времени в РИНЦ зарегистрировано 16 876 научных трудов, опубликованных четырьмя институтами. Суммарное распределение этих публикаций по годам и цитированию представлено на рис. 1. В соответствии со структурой материала РИНЦ общая характеристика институтов не могла быть представлена в одном временно́м отрезке (табл. 1).

Как видно из рис. 1, количество зарегистрированных публикаций в четырех институтах нарастает с течением времени, достигая максимума в 2010 г., после чего начинается снижение. В 2016 г. было зарегистрировано всего 49 статей, а количество работ, процитированных в 2015 г., приближается к нулю (показатели 2015—2016 гг. были исключены из анализа, как и данные до 1990 г.). В связи с этим выбраны два периода для дальнейшего анализа 1990—2014 и 2006—2014 гг. Такое разделение потребовалось потому, что некоторые показатели в РИНЦ существуют только для второго периода, а первый содержит более объемную информацию.

На рис. 1 видно, что линии динамики количества цитированных публикаций (Ц) и с нулевым цитированием (0-Ц) в 1990—20014 гг. конгруэнтны (R_s=0,906; p=0,0000; n=25).

Характеристика отдельных институтов в 1990—2014 гг.

Для решения основной задачи проведено сопоставление двух категорий публикаций для каждого института: процитированных хотя бы 1 раз и с нулевым цитированием за вычетом показателей 2015—2016 гг. Распределение публикаций четырех институтов по этим двум категориям представлено в табл. 1 и на рис. 2.

Как видно на рис. 2 (фрагмент I) для НЦПЗ характерно медленное, прогредиентное нарастание количества как процитированных работ, так и публикаций с нулевым цитированием. Максимум процитированных публикаций приходится на 2007 г., с нулевым цитированием — на 2014 г., но и после 2007 г. количество процитированных работ остается значительным вплоть до 2013 г. Важно, что цитирование значительно опережает нулевое цитирование.

На рис. 2 (фрагмент II) можно заметить, что динамика цитирования и нулевого цитирования публикаций СИП сходна, их максимум достигнут в 2006 г. и с некоторыми колебаниями снижается до 2014 г.

В ИБ (рис. 2, фрагмент III) прогредиентное нарастание цитированных и нецитированных публикаций происходило сходным образом вплоть до 2012 г., когда был достигнут максимум. Нарастание цитирования опережает нулевое цитирование.

В ЦПН (рис. 2, фрагмент IV) отмечается прогрессирующий рост цитирования публикаций, достигший максимума в 2008 г., с последующим постепенным снижением. Динамика нулевого цитирования с небольшим отставанием повторяла динамику показателей цитирования с максимумом в 2010 г.

Общая характеристика публикационной активности институтов в 2006—2014 гг.

В РИНЦ представлено только количество авторов, опубликовавших по меньшей мере одну работу, зарегистрированную в РИНЦ, цитированную или с нулевым цитированием. С учетом этого на рис. 3 представлено соотношение работ с нулевым цитированием на одного автора в 2006—2014 гг.

Большой разброс исходных результатов обусловлен тем, что количество публикаций и авторов (числитель и знаменатель) менялось не вполне синхронно. В связи с этим для наглядности потребовалось усреднение динамики с помощью полинома (см. рис. 3). С 2006 до 2014 г. происходило медленное нарастание доли нулевого цитирования в ЦПН, ИБ и НЦПЗ. Исключение составил СИП — снижение на 16%. В целом ИБ, ЦПН и СИП не различались по этому показателю, который мало менялся с течением времени. НЦПЗ в 2006, 2008 и 2009 гг. существенно отличался от основной группы (р=0,005—0,009). Несколько округляя, в 2006 г. в НЦПЗ на одного автора приходились две публикации с нулевым цитированием из десяти (2/8), в ИБ и ЦПН — шесть (6/4), а в СИП—девять (9/1).

Наиболее убедительным показателем эффективности (или неэффективность) работы институтов может служить доля публикаций с нулевым цитированием в общем числе работ (рис. 4). Естественно, что с годами она нарастает. Исключение составляет СИП, где доля публикаций с нулевым цитированием остается практически постоянной на уровне 35—45%. НЦПЗ в 2006, 2008 и 2009—2010 гг. существенно отличался от трех других институтов в лучшую сторону (р=0,007—0,025).

Последний вопрос, который следует решить, — это прогноз нулевого цитирования на ближайшие 3—4 года (2017—2020). Относительно «спокойная» динамика показателей нулевого цитирования устанавливается в 1990—2012 гг. (рис. 5), поэтому этот период пригоден для прогнозирования. Относительная краткость периода и сложность выбора параметров прогнозирования заставляют прибегнуть к его самому простому виду — линейной регрессии, которая показывает, что доля нулевого цитирования будет нарастать за исключением НЦПЗ.

После коррекции данных для 1962—2014 гг. доля нулевого цитирования ЦНХ и ЦН составила соответственно 50,1% (869 из 1733 публикаций) и 44,7% (1700 из 3799 публикаций). Медиана цитирования десяти самых цитируемых публикаций ЦНХ — 241 (127—586) и ЦН — 327 (253—925), что на уровне ЦПН и СИП, существенно ниже НЦПЗ и выше ИБ (табл. 2). Индекс Хирша для ИН — 70, ЦНХ — 43.

Следует отметить, что в РИНЦ зарегистрированы не все публикации выделенных нами институтов. Однако для данной работы важно то, что неполнота базы РИНЦ не была селективной, поскольку, во-первых, сбор данных осуществляется компьютером, а во-вторых, и это самое важное, доля нулевого цитирования мало зависит от количества публикаций, зарегистрированных в РИНЦ. Этот показатель зависит только от их цитирования, искусственная коррекция которого почти недоступна для авторов. Для решения задачи данного исследования важно и то, что РИНЦ — не столько собрание публикаций, сколько инструмент для анализа цитирования. Поэтому можно думать, что материал пригоден для сравнения, особенно за последние годы (2006—2014) (см. рис. 1).

Цитирование — косвенная характеристика качества научной публикации, и чем оно выше, тем значительнее публикация при прочих равных условиях. И наоборот, нулевое цитирование — негативный показатель качества публикации, свидетельство ее невостребованности. Это не относится к публикациям недавним, давним и устаревшим, а также статьям новых направлений, например наукометрическим в России, которые почти не цитируются. Значит ли это, что наукометрия не нужна?

При некоторых издержках показателя нулевого цитирования он количественный и практически не зависит от автора, а поэтому лишен оценочной субъективности. Кроме того, РИНЦ в своей базе помещает большой набор других показателей, в частности полный список публикаций, а это дает возможность выявить многие способы «фальсификации» [7], в частности перекрестное цитирование. В отличие от цитирования нулевое цитирование лишено недостатков первого показателя, а главное, оно отражает то, что публикация не была востребована и не вошла в научный оборот, не стала предметом науки.

Работы с нулевым цитированием имеют право на существование, особенно в условиях научного поиска. Вопрос в том, как велик этот показатель и соответственно как велики пустые затраты на научную деятельность. Иначе говоря, высокий уровень нулевого цитирования — прямой, хотя и не единственный показатель неэффективности научной работы.

У нулевого цитирования есть еще одно существенное свойство. Широко распространенный индекс Хирша по сути отражает срединную тенденцию: он чувствителен только к количеству публикаций, цитирование которых равно или превышает его, но нечувствителен к их величине. Тем более индекс Хирша никак не учитывает количество работ, процитированных меньшее число раз, чем индекс; оно может быть любым, включая работы с нулевым цитированием. Несомненно, когда-нибудь будет разработан способ оценки всего массива публикаций на основе их распределения по цитированию. А пока это не сделано, полезно дополнить индекс Хирша показателями «хвостовой» и «головной» части такого распределения. В качестве первой и главной было выбрано нулевое цитирование, в качестве второй и дополнительной — среднее (медианное) цитирование десяти статей с наибольшим цитированием. Значительное различие институтов по этим показателям отражено в табл. 1 и 2.

Следует оговориться, что статьи, опубликованные недавно (в последние 2—3 года), могут быть не только не процитированы, что естественно, но и не учтены в РИНЦ (см. рис. 1). Это заставило ограничить анализ 2014 г. Однако до 2014 г. динамика этих двух суммарных показателей имеет сходный тренд, что подтверждается значимым коэффициентом корреляции (0,9). Это также относится к трем институтам, взятым отдельно (СИП, ИБ и ЦПН, см. рис. 2, фрагмент II—IV). Сходны также максимумы распределения. Все это свидетельствует, что процесс накопления публикаций как цитированных, так и с нулевым цитированием идет параллельно. А это значит, что ситуация с нулевым цитированием не изменяется с течением времени. И только НЦПЗ имеет почти независимую динамику двух показателей (см. рис. 2).

В работе зафиксирована большая доля публикаций, которые не были процитированы в 1990—2014 гг.: от 32,8 до 47,2% (средняя 42,9%; см. табл. 2). Для сравнения были выбраны два института, близкие по тематике научных исследований, — ЦНХ и ЦН и соответственно их показатели нулевого цитирования: 50,1 и 44,7%, что на уровне суммированных показателей четырех психиатрических институтов.

Среди четырех институтов НЦПЗ выделяется относительным благополучием в отношении нулевого цитирования (см. табл. 2). По этому показателю к НЦПЗ приближается СИП, но это не имеет значения, так как у последнего очень высокий уровень самоцитирования (см. табл. 1).

Еще один вопрос, который требует решения: прибавляет ли показатель нулевого цитирования что-либо к распространенному индексу Хирша. Сопоставление этих двух характеристик показывает (рис. 6), что в случае ИБ, СИП и НЦПЗ соотношения обратные: чем больше индекс Хирша, тем ниже нулевое цитирование. Это может быть свидетельством того, что нулевое цитирование хорошо соотносится с индексом Хирша. Однако так бывает не всегда: в случае ЦПН это соотношение не воспроизводится — самый большой индекс Хирша соотносится с самым большим нулевым цитированием. Можно предположить, что исследовательская активность в этом учреждении неравнозначна, и высокая эффективность одних (отсюда высокий индекс Хирша) соседствует с низкой эффективностью других (высокий уровень нулевого цитирования). Ту же закономерность поддерживает цитирование публикаций с максимальным цитированием (см. рис. 6). Не следует ли из этих сопоставлений, что индекс Хирша не универсален и в некоторых случаях не отражает истинную картину активности института? Так, в ЦПН индекс Хирша равен 64. Это означает, что в институте имеются 64 публикации, процитированные 64 раза и более (см. табл. 1). Однако в этом институте самое высокое нулевое цитирование, а цитирование самых успешных по цитированию публикаций ниже, чем в НЦПЗ с его более низким индексом Хирша.

В заключение можно отметить, что показатель нулевого цитирования может быть полезным в оценке не только эффективности всего учреждения, но и индивидуальной научной активности, а также определении приоритетных направлений исследования в отдельном учреждении. Однако не стоит забывать, что этот показатель только инструмент, как и наукометрия в целом.

Авторы заявляют об отсутствии конфликта интересов.