В результате первых двух научно-технических революций наука уже в конце XIX века стала мощной производительной силой. Ее продукт, трансформированный промышленностью, вошел в каждый дом, изменил быт и форму существования человека, правда, иногда опасным и даже трагическим образом. Помимо таких потребовавших контроля внешних обстоятельств, у науки существуют внутренние задачи по организации, управлению и прогнозу собственной деятельности. Эти задачи привели к формированию науки о науке — науковедению, и ее составляющей — наукометрии. Одна из задач наукометрии — количественная характеристика эффективности науки, лучшим способом которого стал метод учета цитирования. Он имеет ограничения, но пока в этом направлении ничего лучшего не имеется. Главный продукт науки — это публикация, которая позволяет донести до общества результат научной деятельности. Цитирование позволяет учесть, во-первых, вхождение публикации в научный оборот, во-вторых, широту и глубину этого вхождения. Последнее косвенно свидетельствует о качестве публикации. На основе изучения цитирования родилось много производных оценок, и эта линия наукометрии успешно развивается, преодолевая первоначальные трудности и ограничения.

E. Garfield был одним из первых, кто использовал цитирование как метод оценки продуктивности науки и организовал Институт научной информации (США, 1961). Этот институт подготовил первый Индекс научного цитирования (Science Citation Index — SCI, 1964). Ныне это поисковая платформа Web of Science. Вслед за этим в мире возникло несколько мощных научных центров по изучению цитирования (Scopus, SciMago и др.). В 2005 г. такой центр создан в России — Российский индекс научного цитирования (РИНЦ), который предоставляет большие возможности по изучению публикационной деятельности не только отдельных научных работников, но также институтов.

Медицина и здравоохранение в лице научных работников и администраторов все чаще стали обращаться к наукометрическим показателям как к инструменту оценки научных достижений [1]. При этом отмечалось, что количество таких работ все еще неадекватно задачам анализа научных исследований в отечественной медицине [2, 3]. Однако установлено, что публикации отечественных научно-исследовательских институтов в области психиатрии и наркологии доминируют (81,4%) в массиве профильной научной прессы [4] и поэтому представляют наибольший интерес для анализа.

Цель исследования — сравнение публикационной деятельности институтов в области психиатрии и наркологии по данным РИНЦ.

В России существуют 6 научно-исследовательских институтов по профилю «психиатрия и наркология»: 1) Научный центр психического здоровья РАМН (НЦПЗ), Москва; 2) Московский научно-исследовательский институт психиатрии (МНИИП), Москва; 3) Санкт-Петербургский научно-исследовательский психоневрологический институт им. В.М. Бехтерева (ПНИБ), Москва; 4) Научно-исследовательский институт психического здоровья СО РАМН (ПЗСО), Томск; 5) Государственный научный центр социальной и судебной психиатрии им. В.П. Сербского (ССП), Москва; 6) Национальный научный центр наркологии (НЦН), Москва. Все они числятся в РИНЦ и имеют в свободном доступе свою страницу со стандартным набором наукометрических показателей, которые приводятся ниже.

Перед настоящим исследованием дата последнего обновления данных в РИНЦ была 11.03.14.

Следует пояснить, что РИНЦ дает расшифровку не всех своих показателей и методов их расчета. Это касается такого показателя, как «число авторов», важного для данного исследования. Можно только предположить, что это те сотрудники, публикации которых были цитированы по меньшей мере 1 раз.

В работе использована только часть перечисленных показателей и корреляционный метод по Спирмену (Rs). Другие методические приемы указаны ниже по мере изложения соответствующих данных.

Все показатели, приведенные в РИНЦ можно подразделить на суммарные (статические) и динамические (по годам). При этом суммарные показатели подразделяются на общие (за все время работы РИНЦ) и за последние 5 лет.

А. Суммарные показатели. Основная часть суммарных показателей жестко и положительно коррелирует с количеством авторов в институтах: показатели тем выше, чем больше сотрудников в институте (табл. 1). Это свидетельствует о том, что большинство показателей РИНЦ относительно деятельности институтов зависит от формального для науки показателя — числа авторов, а вероятно, и сотрудников, которое имеет косвенное отношение к эффективности научно-исследовательских учреждений. Это видно по соотношению индекса Хирша и количества авторов (рис. 1, а). Пересчет этого индекса на одного автора существенно изменяет распределение показателей деятельности институтов (см. рис. 1, б) и выдвигает на первое место МНИИП. Вот почему для оценки публикационной активности рациональнее использовать средневзвешенные показатели. В РИНЦ таких показателей четыре (в приведенном выше перечне показателей она выделена курсивом).

Два из них, как представляется, самые важные — это среднее число цитирований одного автора и среднее число цитирований одной публикации (рис. 2). Усреднение общего числа цитирований публикаций потребовалось потому, что этот показатель также коррелирует с числом авторов (табл. 1). Естественно, что усреднение нивелирует различия в количестве авторов.

Существенным показателем деятельности институтов является рейтинг журналов (импакт-фактор), в которых печатаются сотрудники (средневзвешенный показатель; приведен на рис. 3).

Б. Динамические показатели в РИНЦ даны для 2006—2013 гг. В перечне признаков для примера обозначено только 7 показателей этой группы из 15, представленных в РИНЦ. Для сравнения деятельности институтов в динамике стоит выбрать два основных показателя. Первый — число публикаций за год. Следует помнить, что этот показатель зависит от числа авторов в институтах (для всех шести институтов Rs=0,834; р=0,0000). Поэтому исходные показатели следует нормировать и представить в средневзвешенном виде, поделив на число авторов всех публикаций в каждом году (число авторов — величина переменная). Для упрощения восприятия довольно емкого материала (6 институтов за 8 лет) эти данные можно представить в графическом виде, обобщив их посредством экспоненциального сглаживания (рис. 4). Такая процедура более точно и наглядно выражает тренды публикационной активности институтов. Абсолютные показатели в этом случае не имеют большого значения, так как неизвестно, как в разных институтах развито соавторство и участие сотрудников в нескольких публикациях.

Еще более важен второй динамический показатель — ежегодное число цитирований. Его трудно нормировать годичным числом авторов или публикаций, так как цитирование по данным РИНЦ, имеющее годичный вид, не распределено по годам публикаций цитируемых работ. Иначе говоря, в 2013 г. могли быть процитированы не только публикации 2013 г., но и статьи предшествующих лет. В предыдущие годы такие возможности прогредиентно уменьшаются. Абсолютные величины ежегодного цитирования представлены на рис. 5. Видно, что они у всех институтов прогредиентно нарастают, но скорость роста различается значительно. Сравнение институтов можно провести, аппроксимируя рост цитирования линейной регрессией и вычислив тангенс наклона этих линий.

Исходя из того, что противоположный катет (а) суть коэффициент регрессии, а прилежащий (b) равен 1 (1 год; tg=a/b), коэффициент регрессии полностью отражает скорость нарастания цитирования (табл. 2). Однако и этот показатель замкнут на количество авторов (Rs=0,886; p=0,019), а поэтому его следует нормировать числом авторов (см. табл. 2; коэффициент регрессии, нормированный числом авторов). Размерность нового показателя можно интерпретировать как среднее приращение цитирований в год на одного автора. Расчеты для ПЗСО сделаны для 2006—2012 гг., так как разрыв показателей в 2012 и 2013 гг. (две точки на рис. 5), скорее всего, означает, что в 2013 г. в РИНЦ произошла ошибка в оценке числа цитирований ПЗСО.

В работе предполагалось изучить деятельность институтов на основе показателей РИНЦ. Однако прежде пришлось исследовать содержательную сторону этих показателей. Выяснилось, что в отличие от индивидуальных показателей РИНЦ не дает расшифровки всех показателей для институтов, а на основе корреляции было выявлено, что большинство показателей РИНЦ для научно-исследовательских учреждений имплицитно заключает в себе сведения о количестве авторов этих учреждений (см. табл. 2). Обнаруженное свойство имеет большое значение, так как количество авторов колеблется значительно: от 130 до 334, т. е. более чем двукратно. Можно предположить, что показатель «число авторов» отражает количество сотрудников в учреждениях, хотя и не строго пропорционально.

Несомненно, что продуктивность институтов стоит в связи с размерами научных кадров, но можно ли считать, что «кадры решают все»? Результативность научной деятельности определяется интеллектуальным потенциалом, лишь косвенно связанным с количеством сотрудников (авторы). Тем более это количество не отражает их квалификацию.

Это положение иллюстрирует простой пример: в двух институтах 100 и 200 авторов, в первом каждый из них опубликовал по 2 статьи, во втором — только по одной, а суммарное число публикаций окажется равным, хотя ясно, что публикационная активность в первом учреждении в 2 раза выше, а по затратам он более эффективен. Этот пример показывает, что число авторов, а вероятно, и сотрудников — явление отчасти случайное по отношению к научной продуктивности. Поэтому включение числа авторов в показатели РИНЦ не вполне соответствует задачам как настоящего исследования, так и РИНЦ. Однако это ограничение можно обойти посредством усреднения, исключив, таким образом, из показателей РИНЦ количественный состав авторов.

Такая процедура меняет соотношение показателей активности институтов, в частности по такому широко известному индексу, как индекс Хирша: по исходным данным РИНЦ первым оказывается НЦПЗ, последним — ПНИБ, а по средневзвешенным — МНИИП и ССП соответственно (см. рис. 1). Усреднение изменяет картину и по другим показателям. Правда, и по данным РИНЦ, и после усреднения НЦПЗ лидирует по важнейшему индексу — числу цитирований, которое отражает востребованность публикации и ее вхождение в научный оборот. Наибольший разрыв между числом публикаций и их цитированием — в ПНИБ (см. рис. 2). В МНИИП и НЦН это отношение близко к 1:1. Меньшее отношение означает, что часть публикаций оказалась невостребованной в течение 5 лет. Следует отметить, что некоторая прямолинейность этих выводов — дань усреднению.

Важнейшим показателем является число цитирований одной публикации, так как непроцитированная статья, а значит и работа, положенная в ее основу, оказались напрасными и неоправданными. Средняя цитируемость научных работ российских исследователей в 2009 г. составила 2,4 ссылки на статью [2]. Этот рубеж был преодолен только НЦПЗ, где одна работа цитировалась в среднем 2,5 раза за 5 лет (см. рис. 2). Иначе говоря, в НЦПЗ каждая работа была процитирована в среднем 2 раза за 5 лет, тогда как показатель 0,5 означает, что за тот же срок только ½ публикаций цитировалась однократно (пятикратный разрыв). Рис. 2 наилучшим образом характеризует деятельность научно-исследовательского учреждения, показывая значимость для науки продукции институтов и одновременно активность их сотрудников. Этот «двусторонний» показатель переводит центр тяжести с научно-исследовательского учреждения на его научного сотрудника, а придание двум показателям, упомянутым выше, статуса важных, возможно, главных — с публикации на ее цитируемость.

Если для оценки публикационной деятельности достаточна одна характеристика, то следует воспользоваться именно этой (см. рис. 2). Двумерность этого показателя позволяет использовать его как для динамической оценки деятельности одного института, так и для сравнения с другими учреждениями. Если же требуется более полная, но единая оценка, можно интегрировать несколько усредненных показателей. При этом важен способ интегрирования.

Импакт-фактор журналов (см. рис. 3) наряду со многими другими показателями предоставляет РИНЦ. Как известно, импакт-фактор определяется цитируемостью статей, опубликованных в данном журнале: если статьи журнала цитируются реже — ниже импакт-фактор и соответственно рейтинг журнала. Самый высокий импакт-фактор у журналов, в которых печатаются авторы НЦПЗ (см. рис. 3). Важно, что импакт-фактор 0,866 свидетельствует о том, что значительная часть публикаций НЦПЗ выходит за рубежом, так как этот показатель российских журналов только изредка достигает 0,5. По этой причине перейти рубеж 0,5 невозможно без публикаций в зарубежных журналах, имеющих, как правило, более высокий импакт-фактор. В диапазоне 0,232—0,366 зарубежные публикации могут быть, но это, скорее всего, редкое явление в общей массе статей. Однако зарубежные публикации — важный знак квалификации научной работы и расширения зоны влияния. Стоит отметить, что Минобрнауки РФ и Минздрав Р.Ф., расширяя количество показателей для отчетов, включили такой — «импакт-фактор журналов от 0,3 и выше», придавая уровню 0,3 значение порогового.

Последний раздел данных РИНЦ — динамические показатели. Из пятнадцати для анализа были выбраны два: динамика публикационной активности и цитирований. Первый показатель (см. рис. 4) демонстрирует снижение публикационной активности во всех институтах за последние 3—4 года. Исключение составляет НЦПЗ, но и тут произошло замедление темпов роста. Общая тенденция снижения активности заслуживает специального анализа, чтобы ответить на вопрос о причинах этого явления. Тем более, что это снижение отчасти может объясняться задержкой в РИНЦ учета публикаций последних лет.

Второй динамический показатель — цитирование публикаций в 2006—2013 гг. Естественно, этот показатель прогредиентно нарастает у всех институтов в связи с нарастанием общего корпуса статей (см. рис. 5). В связи с этим важна скорость нарастания, выраженная коэффициентом регрессии. Также естественно, что эта скорость зависит от количества авторов (сотрудники). По данным табл. 2, приращение цитирований одного автора всех институтов — менее 1 раза в год. Показатель 0,2 означает, что после цитирования автора (если он будет процитирован), следующее произойдет через 5 лет, а при показателе 0,7 — через 1 год и 5 мес (разрыв в скорости цитирования в 3,5 раза).

Этот и другие показатели, приведенные и рассчитанные в работе, дают представление о значимости работы шести институтов и степени их научной продуктивности. При этом исследование было ориентировано на активность одного «усредненного» автора. Возможны и другие подходы к анализу, но этот представляется наиболее эффективным. Более показательным был бы расчет не на автора, а на сотрудника. Это позволило бы выявить размеры самой пассивной части коллектива институтов, которые не публиковались ни разу за 5 лет. К сожалению, РИНЦ не располагает данными о полном составе сотрудников институтов.

Затруднен также анализ работы самой активной части авторов. В РИНЦ представлено распределение авторов по количеству публикаций, однако надежность этого списка сомнительна, так как в нем количество авторов в 5—8 раз больше, чем в основной части данных РИНЦ. Это, вероятно, неизбежные издержки компьютеризации сбора данных. Еще хуже то, что РИНЦ не полностью учитывает публикации институтов. Так, при сравнении показателей за 5 лет (2008—2012) оказалось, что в созданном Репозитории научных публикаций МНИИП (http://mniip-repo.ru/statistik.php) учтено значительно больше публикаций, чем в РИНЦ. Можно только надеяться, что недоучет одинаков для всех институтов.

Однако даже при этих ограничениях и неполноте данных создание РИНЦ и его деятельность можно считать вехой в развитии российской науки, так как наконец были получены объективные, хотя и неполные показатели работы ученых и научных институтов.

Таким образом, проведенное исследование позволяет сделать следующие выводы: лидером по публикационной активности среди шести институтов в области психиатрии и наркологии является НЦПЗ. К нему примыкают с некоторым отрывом МНИИП и НЦН. За ними со значительным отрывом следуют ПНИБ, ССП и ПЗСО. Данные РИНЦ являются важным источником информации о научной деятельности научно-исследовательских учреждений, что делает ее более открытой, но соответствующие показатели требуют вдумчивого отношения при их интерпретации.