Особенности применения методов индивидуализированной оценки научной деятельности в системе МВД России Текст научной статьи по специальности «Науки об образовании»

I

НАУЧНАЯ

жизнь

А.Л. СИТКОВСКИЙ,

начальник отдела научного центра, кандидат юридических наук, доцент

Ю.В. ЛАТОВ,

главный научный сотрудник научного центра, доктор социологических наук, кандидат экономических наук, доцент

(Академия управления МВД России)

A.L. SITKOVSKY, Section Head of the Research Center, Candidate of Law, Associate Professor

Yu.V. LATOV, Principal Researcher of the Research Center, Candidate of Economics, Doctor of Sociology, Associate Professor (Management Academy of the Ministry of the Interior of Russia)

УДК 001.38

Особенности применения методов индивидуализированной оценки научной деятельности в системе МВД России

Methods to Assess Individual Performance of Researchers Employed in the System of the Ministry of Internal Affairs of Russia: Specific Ways to Apply These Methods and Experience of Applying Them

Статья является продолжением опубликованной в предыдущем номере статьи «Методы индивидуализированной оценки научной деятельности в системе МВД России». Авторы указывают на особенности научной деятельности в МВД России (наличие исследований закрытого характера, более важная роль научных отчетов, чем публикаций), которые необходимо учитывать при разработке методик индивидуализированного оценивания этой деятельности. В качестве примера приведены две разработанные авторами методики индивидуализированной оценки научно-исследовательских и опытно-конструкторских работ: первая определяет индивидуальный вклад в выполнение конкретного научного исследования, вторая - индивидуаль-

This article builds on a similar one, which was published in the previous issue of this journal under the title «Methods to Assess Individual Performance of Researchers Employed in the System of the Ministry of Internal Affairs of Russia». The authors call attention to specific conditions in which research staff of the Ministry of Internal Affairs conduct their R&D work. These conditions are secrecy imposed on some studies and prevalence of internal reports over open publications. Both have to be taken into account when developing methods to assess individual performance. As an example, the authors offer two such methods of their making. One is applicable to assessing individual performance of a researcher on a given project, and the other -

ный вклад в выполнение научных исследований в течение конкретного временного периода.

Методика оценки научной деятельности, показатели результативности научной деятельности, индивидуализированная оценка научной деятельности.

to assessing similar performance during a given period.

Methods to assess research activity, criteria to evaluate research results, assessment of individual research performance.

л X

HQ S Й

к

<

X

£

< x

96

Нормирование научной деятельности в системе Министерства внутренних дел Российской Федерации (далее — МВД России) является достаточно сложной исследовательской и практической задачей. Общие проблемы оценивания научной деятельности [2] осложняются спецификой системы научного обеспечения МВД России, в которой участвуют в первую очередь профессорско-преподавательский состав и научные сотрудники ведомственных образовательных организаций.

Применяемые в гражданских научных организациях и учреждениях методики индивидуализированной оценки научного труда основаны на том, что все результаты научной работы являются открытыми и могут быть подвергнуты независимой оценке. Например, индекс Хир-ша, индекс цитирования являются именно инструментом независимой оценки научно-публикационной активности по частоте ссылок на работы оцениваемого ученого. Для научных организаций системы МВД России такой подход не всегда приемлем, поскольку некоторая часть их научной деятельности связана с исследованиями закрытого характера.

Другим проявлением специфики научной деятельности в системе МВД России является то, что результаты ведомственной исследовательской деятельности (как открытые, так и закрытые) отражаются в основном во внутриведомственных научных отчетах. В гражданских же научных организациях научные отчеты рассматриваются только как один из видов результатов, часто менее важный, чем, например, публикации в научной периодике (издание монографий) или выступления на научных конференциях. Гражданская наука априори рассматривается как производство новых знаний для всеобщего использования, поэтому их публичное обнародование считается обязательным элементом научной работы (для отчетности по грантам наличие публикаций по теме в рецензируемых научных изданиях, включенных в перечень ВАК, не просто желательно, но необходимо). Система же научного обеспечения МВД России, как это видно из самого ее наименования, нацелена в первую очередь на внутриведомственное использование ее результатов. Явных установок на «утаивание»

новых фактов и выводов, конечно, в системе научного обеспечения МВД России нет, однако де-факто публикации на основе служебных отчетов и иных информационно-аналитических разработок открытого характера могут рассматриваться как нарушение профессиональной этики.

Таким образом, при разработке методики индивидуализированной оценки научной деятельности в системе МВД России необходимо использовать в основном такие методы, которые, с учетом ресурсов экспертной базы, специфики научного обеспечения деятельности органов внутренних дел, требований по соблюдению секретности, предполагают в первую очередь внутреннее оценивание полученных результатов (включая результаты научных исследований, имеющие закрытый характер).

В настоящее время вопрос о показателях оценивания научной деятельности в МВД России освещен в утвержденном Министром внутренних дел России 7 августа 2014 г. Плане мероприятий («дорожной карте») «Изменения в системе подготовки кадров для органов внутренних дел Российской Федерации, направленные на повышение эффективности образования и науки» на 2014—2016 годы и на период до 2018 года [1]. В разделе «Показатели повышения эффективности и качества услуг, результатов деятельности подведомственных образовательных и научных организаций системы МВД России» указанного нормативного правового акта сформулированы показатели научной работы образовательных и научных организаций системы МВД. Их всего три: 1) объем (количество) завершенных научно-исследовательских и опытно-конструкторских работ (далее — НИОКР); 2) количество публикаций; 3) количество публикаций в научных журналах, индексируемых в РИНЦ. Первый и третий показатель, согласно «дорожной карте», используются в «образовательных организациях высшего образования» и в научных организациях МВД России, второй — только в «образовательных организациях высшего образования».

Можно ли на основе этих трех показателей научной работы организаций строить систему индивидуализированной оценки? В принципе можно. Количество внутриведомственных научных отчетов в общем соответствует количеству

завершенных НИОКР. Публикационная активность при этом измеряется вторым и третьим показателями, причем публикации закрытого характера учитываются при помощи показателя «количество публикаций» (который, кстати говоря, целесообразно использовать не только в образовательных, но и в научных организациях МВД России).

Проблемой является соотношение значимости показателей количества отчетов по НИОКР и количества научных публикаций. Например, чья научная деятельность должна оцениваться выше — того, кто много публикуется, но не участвует в НИОКР, или того, кто участвует в нескольких НИОКР, но не находит возможности делать публикации? Согласно «дорожной карте» два показателя (публикации и НИОКР) равнозначны, в то время как в системе научного обеспечения МВД России де-факто превалирует оценка научной работы по завершенным НИОКР, а не по публикациям. Нарушение сроков выполнения и низкое качество плановых и внеплановых научных исследований могут привести к дисциплинарным мерам воздействия (вплоть до выговоров и лишения премий), в то время как низкая (или даже нулевая) публикационная активность не одобряется, но, как правило, и не наказывается. Кроме того, показатели «дорожной карты» не учитывают многие другие научные результаты — например, работу над диссертациями, написание монографий, выступления на научных форумах и т. д.

Проблему противоречия между требованиями «дорожной карты» и практикой оценки научной деятельности в МВД можно решать двояким образом — либо усиливать при индивидуализированной оценке значение публикаций (вплоть до введения аналога показателей результативности научной деятельности (далее — ПРНД) с учетом индекса Хирша)), либо конструировать систему оценки с ориентацией на реально действующие «правила игры». Авторы считают необходимым начать именно с разработки методик индивидуализированной оценки выполнения внутриведомственных НИОКР (подготовки отчетов по темам), поскольку такие методики будут наиболее востребованы практикой.

Оценка результативности научной деятельности отдельного сотрудника как участника подготовки отчета по конкретному исследованию может осуществляться следующими основными методами:

1) экспертная оценка внутренними экспертами (коллегами из числа авторского коллектива или ответственным исполнителем) либо путем самооценки;

2) наукометрическая оценка количества, объема и качества научных отчетов;

3) финансовая оценка затрат на подготовку НИОКР.

В ходе сравнительного анализа методик расчета показателей результативности научной деятельности, применяемых в различных гражданских научных организациях и учреждениях, удалось найти лишь один пример прямого учета в них научных отчетов. В «Методике расчета рейтинговых показателей эффективности деятельности профессорско-преподавательского состава и научных работников для установления стимулирующих выплат», утвержденной в Кемеровском государственном университете в 2011 г., одним из учитываемых показателей являются «Объемы НИР и ОКР, учтенные научным управлением (за 18 тыс. руб. объема)» [3].

В системе научного обеспечения МВД России в принципе может применяться именно такой подход к оцениванию участия в выполнении НИОКР (как открытых, так и закрытых). В таком случае, например, единицей общего объема НИОКР будет денежная оценка всех затрат на исследование, а вклад каждого сотрудника в выполнение конкретной работы должен будет оценить (в процентах) ответственный исполнитель как внутренний эксперт. Этот метод уже отчасти применяется: например, в Академии управления МВД России в ряде форм отчетности (например, по публикациям) необходимо указать «финансовые затраты на проведение НИР», которые пропорциональны затраченному времени и зарплате исполнителей (авторов). Данный метод характеризуется ранее отмеченным недостатком всех существующих методов финансовой оценки — он измеряет, строго говоря, не результат, а затраты. При таком подходе тот, кто работает медленнее, будет оценен как лучший работник, чем тот, кто аналогичный научный отчет напишет быстрее. Не случайно «финансовые затраты на проведение НИОКР» на практике оценивают весьма приблизительно и этот показатель никогда не используют для сравнения научной продуктивности.

Таким образом, обзор методик индивидуализированной оценки научной деятельности показал, что используемые в гражданских организациях и учреждениях методики расчета оценки индивидуализированной деятельности научных сотрудников не могут механически, без учета специфики научного обеспечения МВД России, использоваться для оценки научной и научно-технической деятельности в ведомственных образовательных и научных организациях.

В этой связи в данной статье в качестве примера решения выявленных проблем предлагается подготовленный на основе обобщения организационного опыта научного центра Академии управления МВД России проект методики распределения баллов между членами научного коллектива при выполнении научного исследования. Данная методика позволяет на основе количественной (балльной) оценки научной

л I

S

Й

к

<

X

£

< X

97

Рис. 1. Алгоритм оценки научной деятельности сотрудников

л I

S

Й

к

<

I

£

< I

98

деятельности сотрудников иерархизировать их по результативности (т. е. построить научный рейтинг), чтобы иметь возможность, с одной стороны, объективно применять премирование наиболее успешных научных сотрудников и с другой — выделять наименее успешных.

Данный проект основан на трех общих подходах.

Во-первых, использовано сочетание методов оценки внутренними экспертами (ответственным исполнителем, коллегами по работе) и самооценки. Что касается наукометрических аспектов, то они хотя и предусмотрены, но специально не проработаны.

Во-вторых, основной акцент сделан не на критериях оценки результатов, а на регламентах (алгоритмах) проведения оценочных мероприятий. Это обусловлено принципиальной невозможностью полной формализации оценки индивидуальной научной работы1. Можно сослаться на идеи теории общественного выбора (public choice), согласно которым выбор конституционных правил (правил принятия решений) важнее выбора решений конкретных проблем. Поэтому предлагаются в первую очередь правила принятия решений об оценке индивидуального вклада и лишь затем — подход к правилам его оценки.

1 В принципе можно предложить работникам проводить ежедневный хронометраж их деятельности и выработать мельчайше-подробную систему оценивания каждого вида выполняемых работ. Однако затраты на измерение индивидуального вклада будут при таком ультрабюрократизированном подходе превышать выгоды от точной оценки индивидуального вклада.

В-третьих, предполагается равнозначность собственно научной работы и сопутствующих видов деятельности (работа с заказчиком и рецензентами, различная отчетность). Это делается по аналогии с бизнес-деятельностью, в рамках которой трансакционные издержки (расходы на реализацию товара — реклама, переговоры с заказчиком) равнозначны собственно производственным издержкам.

Распределение баллов между членами научного коллектива при выполнении научного исследования (проект)

Если в течение отчетного периода (квартала, года) несколько плановых или внеплановых научных исследований осуществляется двумя и более сотрудниками, то ответственными (головными) исполнителями определяется (в процентах) индивидуальный вклад каждого сотрудника в выполнение каждого научного исследования, а в отделе планирования и контроля научных исследований (далее — ОПиКНИ) определяют индивидуальный вклад (в баллах) в выполнение всех научных исследований за отчетный период.

Используется следующий алгоритм (рис. 1).

После завершения работы по научному исследованию ответственный (головной) исполнитель оценивает работу каждого члена авторского коллектива (соисполнителя), включая самого себя. Для этого он составляет отчет с оценкой индивидуального вклада в выполнение научного исследования — информационную карту при вы-

полнении планового задания или карту учета при выполнении внеплановых заданий.

Карта учета внеплановой научной работы оформляется и передается для последующей регистрации исключительно ответственным (головным) исполнителем.

1.1. При определении индивидуального вклада (коэффициента участия) каждого соисполнителя ответственный (головной) исполнитель учитывает количественные (время работы, объем написанных текстов) и качественные (сложность, квалифицированность) характеристики работы соисполнителей.

1.2. При необходимости детализации ответственный (головной) исполнитель составляет таблицу «Индивидуальный вклад по основным видам научных работ», где указана в процентах доля вклада каждого исполнителя по каждому виду выполненных работ (см. табл. 1, 2).

1.3. Ответственным (головным) исполнителем составляется проект «Отчета с оценкой индивидуального вклада в выполнение научного исследования», в котором для каждого соисполнителя в таблице «Индивидуальный вклад по основным видам научных работ» указываются основные выполненные работы и проставляется процент выполненной им общей работы в интервале от 0 % (если данный соисполнитель фактически не участвовал в исследовании) до 100 % (если вся работа фактически выполнена одним научным сотрудником). По усмотрению должностного лица, осуществляющего оценку работы всех сотрудников, ответственный (головной) исполнитель может сдавать отчет в упрощенном виде — только в виде информационной карты (для плановых работ) или карты учета (для внеплановых работ) с коэффициентами участия для каждого из исполнителей, без обоснования их расчета.

1.4. Результаты оценки ответственным исполнителем индивидуального вклада каждого соисполнителя обсуждаются на заседании авторского коллектива.

2. Ответственный (головной) исполнитель представляет должностному лицу, осуществляющему оценку работы всех сотрудников подразделения Академии управления (начальнику подразделения или его заместителю), информационную карту (для плановых работ) или карту учета (для внеплановых работ) и (при необходимости) «Отчет с оценкой индивидуального вклада в выполнение научного исследования».

Должностное лицо, осуществляющее оценку работы всех сотрудников подразделения, принимает окончательное решение об оценке индивидуального вклада каждого соисполнителя и утверждает информационную карту или карту учета.

3. Должностное лицо, осуществляющее оценку работы всех сотрудников подразделения, регулярно (не реже чем раз в месяц) передает в ОПиКНИ утвержденные информационные карты и карты учета с оценками индивидуального вклада сотрудников подразделения.

4. По мере поступления из подразделений Академии информационных карт и карт учета ОПиКНИ рассчитывает выраженную в баллах оценку научной работы сотрудников нарастающим итогом с начала отчетного периода.

Для оценки научной деятельности и построения научного рейтинга используется специальный модуль автоматизированной информационно-поисковой системы «Научно-исследовательская деятельность Академии управления МВД России».

5. В течение 15 рабочих дней после окончания отчетного периода ОПиКНИ представляет руководству Академии научный рейтинг сотрудников по результатам их научной деятельности за отчетный период.

Таблица 1

Отчет с оценкой индивидуального вклада в выполнение научного исследования по п. 100 Плана НД Академии на 2016 г. Оценка значимости основных видов научной работы

№ п/п Основные виды научной работы по теме Значимость (в % от деятельности в целом)

1 Подготовка и утверждение рабочей программной документации 15

2 Подбор и анализ научной и прикладной литературы по теме исследования 5

3 Выработка структуры отчета по исследованию 5

4 Написание текста исследования: введение и заключение, 1-я глава, 2-я глава 6 о 2 2 2 ООО

5 Написание заключительного отчета 5

6 Работа с заказчиком и с внутренними рецензентами 10

л I

П9 S Й

к

<

X

£

< X

99

Таблица 2

Индивидуальный вклад по основным видам научных работ, в %

№ п/п Основные виды научной работы по теме Коэффициенты участия исполнителей

Иванов И.И., ответственный исполнитель Петров П.П., соисполнитель Сидоров С.С., соисполнитель

1 Подготовка и утверждение рабочей программной документации 80 % 20 % 0

2 Подбор и анализ научной и прикладной литературы по теме исследования 50 % 50 % 0

3 Выработка структуры отчета по исследованию 100 % 0 0

4 Написание введения и заключения 80 % 10 % 10 %

Написание 1-й главы 50 % 0 50 %

Написание 2-й главы 0 80 % 20 %

5 Написание заключительного отчета 20 % 0 80 %

6 Работа с заказчиком и с внутренними рецензентами 50 % 30 % 20 %

Всего * 51,5 % 26,5 % 22,0 %

л I

П9 S Й

к

<

I

£

<

Руководство Академии (включая начальников подразделений Академии) использует научный рейтинг сотрудников при принятии управленческих и кадровых решений, стимулирующих научную деятельность.

* Финальные коэффициенты участия исполнителей (строчка «Всего» в таблице — «Индивидуальный вклад по основным видам научных работ») рассчитываются как средневзвешенные,

при расчете процентные показатели переводятся в десятичные дроби, финальные коэффициенты участия выражаются в процентах.

Пример расчета финального коэффициента участия для И.И. Иванова:

0,8 х 0,15 + 0,5 х 0,05 + 1 х 0,05 + 0,8 х 0,2 + 0,5 х 0,2 + 0 х 0,2 + 0,2 х 0,05 + 0,5 х 0,1 = 0,515, т. е. 51,5 %.

Список литературы:

1. План мероприятий («дорожная карта») «Изменения в системе подготовки кадров для органов внутренних дел Российской Федерации, направленные на повышение эффективности образования и науки» на 2014—2016 годы и на период до 2018 года // СПС КонсультантПлюс.

2. Латов Ю.В., Можаева И.П. Методы индивидуализированной оценки научной деятельности в системе МВД России // Труды Академии управления МВД России. 2016. № 2 (38).

3. Методика расчета рейтинговых показателей эффективности деятельности ППС и научных сотрудников для установления стимулирующих выплат. Балльная оценка учебно-научной продукции для расчета рейтинга подразделений университета. Кемеровский государственный университет, 2011.

Тел.: 8 (499) 745-82-34

100