Поддубская Е.А.

ФГБУ "Государственный научно-исследовательский центр профилактической медицины" Минздрава России

Серажим А.А.

ФГБУ «Государственный научно-исследовательский центр профилактической медицины» Минздрава России, Москва, Россия

Драпкина О.М.

Первый Московский государственный медицинский университет им. И.М. Сеченова, Клиника пропедевтики внутренних болезней, гастроэнтерологии и гепатологии

Бойцов С.А.

ФГБУ «Государственный научно-исследовательский центр профилактической медицины», Москва, Россия

Современная комплексная система оценки результативности деятельности научных учреждений, подведомственных Минздраву России

Авторы:

Поддубская Е.А., Серажим А.А., Драпкина О.М., Бойцов С.А.

Подробнее об авторах

Прочитано: 968 раз


Как цитировать:

Поддубская Е.А., Серажим А.А., Драпкина О.М., Бойцов С.А. Современная комплексная система оценки результативности деятельности научных учреждений, подведомственных Минздраву России. Профилактическая медицина. 2016;19(4):52‑59.
Poddubskaia EA, Serazhim AA, Drapkina OM, Boytsov SA. The modern integrated system for evaluating the effectiveness of research institutions subordinated to the Ministry of Health of Russia. Russian Journal of Preventive Medicine. 2016;19(4):52‑59. (In Russ.)
https://doi.org/10.17116/profmed201619452-59

Мониторинг и оценка научных организаций. Примечание. Схема взята с сайта «Федеральная система мониторинга результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы» http: //www.sciencemon.ru/ledal/medthodic/prezentaciya-sistema-ocenki-i-monitoringa-nauchnyh-organizaciy/

Научная политика современной научной организации взаимосвязана с политикой государства. Приоритетной целью политики государства является формирование конкурентно-способной науки, включающей научные исследования, обеспечивающие ведущую роль в процессах технологической модернизации нашей страны, использование всего накопленного потенциала в проведении фундаментальных исследований и создание необходимых условий для развития прикладных секторов науки. Актуальной становится задача управления научным потенциалом путем внедрения совершенных методик оценки результативности деятельности, развития информационной базы для принятия обоснованных управленческих решений. В настоящее время активно проводится системная работа по инвентаризации в области медицины, формированию ее приоритетов и возможных сценариев медицинской науки, ориентированной на мировые исследования. Для оценки результатов эффективной деятельности научно-исследовательских организаций и работы научных коллективов все мировое международное научное сообщество использует общепринятые, единые параметры – библиометрические показатели, которые стали оперативными критериями оценки. В условиях современной экономической обстановки дефицита ресурсов, выделяемых на научные разработки, высокие библиометрические показатели являются серьезным конкурентным преимуществом.

В интересах модернизации и реструктуризации научных организаций, в целях создания конкурентоспособного сектора научных разработок и исследований, сформирована нормативная законодательная база, регламентирующая критерии эффективности работы научных медицинских учреждений, подведомственных Министерству здравоохранения.

Документы, определяющие политику государства в области науки, и индикаторы результативности научной деятельности

Введены в действие официальные нормативные документы, которые направлены на определение стратегий развития, мероприятий по реализации государственной программы оптимизации деятельности научных и образовательных учреждений. В этих документах сформулированы критерии и целевые индикаторы научной деятельности. К таким основополагающим документам относятся: Указ Президента Р.Ф. № 599 от 07.05.12 «О мерах по реализации государственной политики в области образования и науки»[1]; Программа фундаментальных научных исследований в Российской Федерации на долгосрочный период (2013-2020), утвержденная Распоряжением Правительства Российской Федерации № 2538-р от 27.12.12 [2]; Постановление Правительства Российской Федерации № 979 от 01.11.13 [3]; Стратегия развития медицинской науки в Российской Федерации на период до 2025 г., утвержденная Распоряжением Правительства Российской Федерации № 2580-р от 28.12.12 [4-7].

Во исполнение Указа Президента и постановлений Правительства в последние годы в России огромное внимание было уделено и уделяется разработке и созданию комплексной системы оценки результативности деятельности научных организаций. Во всех постановлениях Правительства Р.Ф., государственных программах и стратегиях развития, связанных с научной политикой, в качестве показателей контроля реализации и достижения планируемого уровня развития российской науки заданы целевые библиометрические индикаторы (табл. 1).

Таблица 1. Индикаторы публикационной активности, входящие в систему оценки научных организаций и утвержденные нормативными документами

Основными источниками библиометрических показателей являются международные информационно-аналитические системы научного цитирования Web of Science (WoS), Scopus и Индекс национального цитирования (РИНЦ), которые в нашей стране используются в качестве главного инструмента оценки научной деятельности научных учреждений [5, 6]. Причем предпочтение отдается базе цитирования WoS, позволяющей просматривать в формате отчетов данные о публикационной активности организации, ее структурных подразделений и конкретных сотрудников, а также отслеживать тенденции в мировой науке, сопоставлять коллаборативные показатели цитирования по странам и предметным областям. С одной стороны, наличие статистической платформы WoS создает прозрачную систему анализа, выстраивая реальную картину деятельности той или иной научной организации. Благодаря этому, появляется возможность проводить объективную оценку деятельности различных научных организаций, формируя при этом их рейтинги. С другой стороны, существует опасность значительного занижения библиометрических показателей российских авторов, что обусловлено малой представленностью отечественных изданий, индексируемых в этой международной базе, низкой публикационной активностью в иностранных журналах, а также некорректным внесением самими авторами информации о себе (фамилия, инициалы, названия работ и организаций), приводящим к отсутствию аффилиаций к учреждению и к стране. Потеря таких работ научными организациями может способствовать принятию в дальнейшем неправильных управленческих решений и снижению объема финансирования данного учреждения.

При анализе библиометрических показателей активно используется еще одна информационно-аналитическая база данных Scopus, которая является крупнейшим мировым и европейским порталом поиска научной информации. Вместе с WoS они обеспечивают почти полное покрытие научных журналов мирового уровня. В то же время существуют трудности с использованием указанных ресурсов, так как базы данных WoS и Scopus являются полностью коммерциализованными проектами, недоступными в бесплатном доступе, в то время как основной набор сервисов национальной информационно-аналитической системы РИНЦ доступен на сайте научной электронной библиотеки (Еlibrary.ru) и включает информацию о количестве статей и цитирований из 5086 отечественных журналов.

В настоящее время библиометрические показатели всех информационно-аналитических систем (WoS, Scopus, РИНЦ) используются: Минздравом России - для ведомственной оценки результативности деятельности научных организаций в целом, руководителями научных учреждений для аттестации научных работников с целью оценки их научной деятельности; ВАК - для оценки активности членов диссертационных советов, издательствами научной литературы и периодических изданий для прогноза востребованности данной научной тематики у целевой аудитории [6]. При проведении экспертизы заявок учреждений на финансирование в рамках федеральных программ также используются библиометрические показатели.

В структуре глобальной науки на область биомедицинских публикаций приходится около трети мирового публикационного потока. В связи с этим в документах, определяющих научную политику государства, перед отечественным медицинским сообществом ставится задача увеличить число публикаций, индексируемых в WoS, и рассматриваются необходимые и первоочередные меры для ее решения [8]. Одним из наиболее значимых индикаторов результативности науки служит показатель удельного веса доли российских публикаций по отношению к мировому публикационному потоку, индексируемому в международных базах научного цитирования WoS. Это нашло отражение в Указе Президента Р.Ф. № 599 «О государственной политике в области образования и науки», в котором задано целевое значение этого индикатора и сроки его достижения [1]. В соответствии с Указом Президента удельный вес доли российских публикаций по отношению к мировому публикационному потоку, индексируемому в международной базе научного цитирования WoS, к 2015 г. должен был достичь 2,44% [1]. Однако к 2015 г. достичь целевого значения этого показателя не удалось, что соответствует прогнозам экспертов [8]. Опираясь на их заключения, разработчики программного документа «Стратегия развития медицинской науки до 2025 г.», на основании проведенных библиометрических исследований, подтвержденных точными расчетами индикативных показателей, пересмотрели значение данного индикатора в сторону его снижения. К 2015 г. вместо значения 2,44% установили значение индикатора общемирового публикационного потока в области медицины 1,5%, которое является более реальным для журнальных публикаций в медицинской сфере [4, 8]. Правильность расчета подтверждается данными, полученными из информационно-аналитической системы WoS от 18.03.2016 г., демонстрирующими несоответствие заданных значений доли российских публикаций в Указе Президента реальным значениям. Количество публикаций российских авторов в научных журналах индексируемых в WoS, составило 43 781, а общемировое число публикаций - 2 237 889. Таким образом, доля российских публикаций в общемировом числе публикаций в 2015 г. составляет 1,96%, т. е. целевой показатель достигнут не был, и лишь незначительно превысил показатели прошлых лет, которые оставались практически неизменными (с 2010 по 2014 г. - 1,74%).

В соответствии с политикой государства в области науки для оценки деятельности отечественных научных организаций и места ее среди мировых конкурентов стала проводиться работа по разработке нормативно-правовой базы для создания системы оценки результативности их деятельности. Нормативная база начала формироваться с апреля 2009 г., когда было издано Постановление Правительство России № 312, послужившее отправной точкой создания всей современной системы мониторинга и оценки результативности деятельности научных организаций [9]. Данное постановление правительства было прорывом, благодаря которому в России впервые заговорили о результативности отечественной науки и о ее месте в международном научном сообществе. С 2009 по 2013 г. процедура оценки претерпевала постоянные изменения, она проходила сложный процесс осмысления, переработки и дополнения. Результатом этой деятельности стало принятие ряда нормативно-правовых актов: о порядке предоставления сведений; о ведомственной и межведомственной комиссиях; было введено понятие референтных групп, в основу которых положена общность научных направлений, областей знаний и видов, проводимых ими исследований. Разработанные документы позволили создать модель системы оценки результативности деятельности научных организаций уже к 2013 г. (см. рис).

В 2014 г. был принят приказ № 162 Минобрнауки, в котором изменена форма предоставления и подтверждения сведений о результатах деятельности научными организациями в связи с внедрением информационно-аналитической федеральной системы «Мониторинг результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы» [10]. Согласно этому приказу, научные организации предоставляют сведения в электронном виде (через личный кабинет) в информационную систему Федеральной службы по надзору в сфере образования и науки за один календарный год, за исключением сведений о совокупной цитируемости организации, рассчитываемой за последние 5 лет. Минздрав России контролирует качество, полноту охвата и достоверность представленной информации о результатах деятельности подведомственных им Учреждений, и осуществляет их подтверждение.

Методика комплексной оценки результативности деятельности научных учреждений

Новая модель оценки результативности деятельности научных организаций, выполняющих научно-исследовательские работы, предусматривает два этапа: ведомственный и межведомственный в соответствии с «Типовой методикой», утвержденной постановлением Правительства Российской Федерации № 312 от 08.04.09, где определены порядок и правила проведения оценки результативности деятельности научных организаций [10]. Перечень количественных показателей, по которому проводится оценка результативности деятельности научной организации, по направлениям установлен Министерством образования и науки Российской Федерации (см. табл. 1, 2) [9].

Таблица 2. Оценка кадрового потенциала в интегральном анализе результативности деятельности научных учреждений

Ведомственная оценка результатов деятельности научных организаций осуществляется ведомственной комиссией. В рамках ведомственной оценки Минздрав России проводит мониторинг выполнения научно-исследовательских работ, осуществляемых в соответствии с государственными заданиями, и мониторинг реализации плана мероприятий по повышению эффективности работы учреждений. По запросу Департамента инновационного развития и научного проектирования, учреждения науки, подведомственные Минздраву России, представляют отчеты о выполнении научно-исследовательских работ в рамках государственных заданий за первое полугодие и за год. Критериями результативности прикладных исследований являются показатели публикационной активности и значимости публикаций, к которым относятся импакт-фактор журнала, индекс Хирша, сведения о цитируемости сотрудников, в том числе руководителей подразделений и лабораторий по данным WoS, Scopus и РИНЦ [5, 6]. Кроме того, предоставляются сводные данные, включающие заявки на патенты, статьи в отечественных и зарубежных журналах с импакт-фактором не менее чем 0,3; количество монографий, пособий, рекомендаций и количество защищенных кандидатских и докторских диссертаций. Все отчеты о научно-исследовательских работах, выполненных в рамках государственных заданий, в соответствии с решением Научного совета Минздрава России направляются на научную оценку [10].

Сбор и сопоставление сведений о результатах научной деятельности по данным ежегодного мониторинга, проведение экспертизы результативности деятельности научных организаций осуществляются на уровне ведомств с учетом федеральных критериев и установленных пороговых значений показателей научных организаций в схожих референтных группах [11]. Основной акцент при этом делается на наукометрические показатели организаций. Наряду с этим сопоставляется динамика результативности деятельности российских научных организаций с динамикой аналогичных показателей результативности научных организаций экономически развитых стран.

Межведомственная оценка результатов деятельности научных организаций осуществляется при взаимодействии Федеральных органов исполнительной власти с Минобрнауки России. Эту оценку проводит межведомственная комиссия, которая включает представителей как законодательной власти, так и федеральных органов исполнительной власти (до 35%), представителей бизнес-сообщества и общественных организаций (15%); остальные 50% составляют ведущие ученые - представители научных организаций и высших учебных заведений [11, 12].

Межведомственная комиссия обеспечивает анализ представленных значений показателей результативности научных организаций, формирует референтные группы, ежегодно устанавливает минимальные значения показателей результативности для них [13]. Сопоставление данных по показателям результативности деятельности научных организаций проводится по следующим направлениям: научный потенциал и эффективность научных исследований, вовлеченность научной организации в национальное и мировое научно-образовательное пространство, коммерциализация и прикладное значение результатов исследований, кадровая и ресурсная обеспеченность научной организации, состояние финансовой деятельности научной организации (табл. 3).

Таблица 1. Индикаторы публикационной активности, входящие в систему оценки научных организаций и утвержденные нормативными документами

Завершающим этапом работы межведомственной комиссии является подготовка заключения по оценке с предложениями для федерального органа исполнительной власти (Минздрава России) по отнесению научной организации к одной из следующих категорий: 1-я категория - лидеры отрасли, 2-я категория - стабильные научные организации, демонстрирующие удовлетворительную результативность, 3-я категория - организации, утратившие результативность. Решения по дальнейшей программе развития подведомственных учреждений принимает Минздрав России: для 1-й категории определяют стратегии и программы развития, направленные на укрепление лидерства этих учреждений; для 2-й категории – программы развития, направленные на улучшение деятельности; а в отношении 3-й категории принимается решение по реорганизации учреждений, замене руководителя или ликвидации учреждения [11].

В то же время формирование перечня референтных групп, позволяющее провести оценку внутри условно-однородной группы учреждений для отнесения их к разным категориям, явилось сложным и принципиальным вопросом, потребовавшим дальнейшей разработки. Окончательные дополнения, касающиеся вопросов формирования перечня референтных групп, были внесены на заседании Межведомственной комиссии от 14 января 2016 г. [12]. Одним из нововведений стало формирование четырех профилей организаций - «Генерация знаний», «Разработка технологий», «Научно-технические услуги», «Особый» на основе объединения учреждений, имеющих сходные ориентиры и параметры. Профиль «Генерация знаний» включил в себя учреждения с высоким уровнем публикационной активности и относительно невысоким процентом создания результатов интеллектуальной деятельности (РИД) и оказания научно-технических услуг. Организации, включенные в профиль «Разработка технологий», преимущественно ориентированы на выполнение прикладных исследований, результаты которых имеют больше практическое значение, демонстрируют высокий процент создания РИД и незначительную степень публикационной активности и оказания научно-технических услуг. В профиль «Научно-технические услуги» включили организации, чьи объемы доходов зависят в основном от выполнения научно-технических услуг при незначительном уровне создания РИД и невысокой публикационной активности (см. табл. 3).

Помимо профилей, все медицинские учреждения делятся по областям: клиническая медицина и технологии первичной медицинской помощи, фундаментальная медицина, профилактическая и реабилитационная медицина, фармакология и фармацевтика, медицинские лабораторные и информационные технологии. Также утверждены пороговые значения основных и дополнительных показателей референтных групп. При определении категорий результативности в каждом профиле используется основной и один дополнительный показатель [14]. Для отнесения к 1-й категории основной показатель и один из дополнительных должны быть выше соответствующих пороговых значений. Для отнесения к 3-й категории основной показатель и все дополнительные должны быть ниже соответствующих пороговых значений. Если оба эти условия не выполнены, то организация относится ко 2-й категории.

На основании экспертного анализа качественных характеристик деятельности научной организации, присваиваемая ей категория результативности может быть изменена как в сторону повышения, так и понижения, но не более чем на одну позицию (замена 2-й категории на 1-ю или 3-й на 2-ю и наоборот) [14]. Необходимо отметить, что оцениваемым научным организациям предоставляется право выбора референтных групп для сравнения и дополнительного показателя результативности в соответствующей группе.

Заключение

В настоящее время внедрена и активно используется система оценки деятельности научных организаций на основе библиометрических показателей, полученных из российской и международных баз научного цитирования, а также экспертного анализа, в основу которого положено сопоставление показателей оценки результативности деятельности научных организаций. Библиометрические показатели деятельности научных учреждений становятся факторами капитализации.

Существующие ведомственный и межведомственный этапы комплексной оценки способствует ее объективизации. Формирование трех категорий научных учреждений в современных условиях определяет бюджетное финансирование фундаментальных и прикладных исследований, основанных на их целевой ориентации, которая обеспечивает научную, научно-техническую и инновационную деятельность. Сформированный современный комплексный механизм оценки работы научных организаций создает предпосылки к повышению их конкурентоспособности, решению задачи по вхождению в группу организаций - «лидеров». Для этого необходимо повысить уровень научных исследований и удельный вес российских публикаций в общемировом рейтинге, увеличить число международных патентов на инновационные разработки - иными словами, успешно реализовать план развития в области инновационного развития путем совершенствования механизмов разработки и коммерциализации инновационных продуктов и внедрения их в практическое здравоохранение. Поскольку в настоящее время эти показатели в значительной мере определяют объем финансирования для реализации научно-исследовательских работ и разработок, проведение оценки результативности деятельности научных учреждений оказывается необходимым для повышения эффективности и устойчивого развития работы научных организаций, увеличения их вклада в социально-экономическое развитие страны, а также повышения эффективности принятия управленческих решений в сфере науки.

Конфликт интересов отсутствует.

Участие авторов:

Концепция статьи - Е.П.

Дизайн статьи, написание текста - Е.П., А.С.

Сбор и обработка материала - А.С.

Редактирование текста - С.Б., О.Д.

Подтверждение e-mail

На test@yandex.ru отправлено письмо со ссылкой для подтверждения e-mail. Перейдите по ссылке из письма, чтобы завершить регистрацию на сайте.

Подтверждение e-mail

Мы используем файлы cооkies для улучшения работы сайта. Оставаясь на нашем сайте, вы соглашаетесь с условиями использования файлов cооkies. Чтобы ознакомиться с нашими Положениями о конфиденциальности и об использовании файлов cookie, нажмите здесь.