Критерии оценки деятельности диссертационных советов для трансформации национальной сети аттестации кадров Текст научной статьи по специальности «Экономика и бизнес»

ЮРИДИЧЕСКОЕ ОБРАЗОВАНИЕ И НАУКА

И. А. Шишканова*, С. И. Пахомов**, В. А. Гуртов***, И. В. Пенние****

Критерии оценки деятельности диссертационных советов для трансформации национальной сети аттестации кадров ВНК

Аннотация. В настоящей статье проводится обзор нормативной базы, механизм информационного обеспечения диссертационных советов, рассматривается методика анализа показателей деятельности членов диссертационного совета и организаций на соответствие критериальным значениям, исследуются вопросы, связанные с формированием и анализом показателей результативности деятельности членов диссертационных советов и организаций. Проведенное исследование позволило авторам прийти к выводу о значительном несоответствии состава диссертационных советов, что обуславливается как завышенными требованиями к показателям публикационной активности, так и отсутствием анализа этих показателей на уровне организаций в целом по составу диссертационного совета. Представляется, что решение данной проблемы должно быть связано с реализацией мероприятий дорожной карты, которая в перспективе должна позволить привести в соответствие показатели деятельности членов диссертационных советов критериальным требованиям, предъявляемым Высшей аттестационной комиссией при Минобрнауки России к диссертационным советам и организациям, при которых созданы эти советы.

© Шишканова И. А., Пахомов С. И., Гуртов В. А., Пенние И. В., 2017

* Шишканова Инесса Алексеевна, директор Департамента аттестации научных и научно-педагогических работников Министерства образования и науки РФ 117997, Россия, г. Москва, ул. Люсиновская, д. 51 [email protected]

** Пахомов Сергей Иванович, заместитель директора Департамента аттестации научных и научно-педагогических работников Министерства образования и науки РФ 117997, Россия, г. Москва, ул. Люсиновская, д. 51 [email protected]

*** Гуртов Валерий Алексеевич, заведующий кафедрой физики твердого тела Петрозаводского государственного университета, доктор физико-математических наук, профессор 185910, Россия, Республика Карелия, г. Петрозаводск, пр. Ленина, 33 [email protected]

**** Пенние Илья Васильевич, ведущий научный сотрудник Управления научных исследований Петрозаводского государственного университета, кандидат технических наук 185910, Россия, Республика Карелия, г. Петрозаводск, пр. Ленина, 33 [email protected]

Ключевые слова: диссертационные советы, диссоветы, члены диссертационных советов, критерии, образование, наука, результативность деятельности диссертационных советов.

001: 10.17803/1994-1471.2017.77.4.208-216

Введение

Реализуемый в настоящее время комплекс мер плана мероприятий по оптимизации сети советов по защите диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук направлен на повышение качества экспертизы результатов диссертационных исследований за счет трансформации сети диссертационных советов с учетом оценки показателей их научного и кадрового потенциала, особенностей различных областей знаний, отраслей науки и групп научных специальностей, а также глобальных трендов современного научно-технологического развития.

В настоящее время утверждены критериальные значения и показатели оценки результативности научной деятельности организации и членов диссертационного совета, введение которых призвано исключить возможность создания диссертационных советов на базе организаций, не обладающих значительным научным и кадровым потенциалом, а также проведен мониторинг соответствия действующей сети диссертационных советов рекомендованным критериальным значениям. Оценка соответствия рекомендованным критериальным значениям показателей результативности научной деятельности членов диссертационных советов и организаций, на базе которых созданы диссертационные советы, позволяет выделить группы диссертационных советов по степени их соответствия критериальным значениям. Достижение критериальных значений показателей результативности научной деятельности и организации и членов диссертационного совета потребует поэтапной трансформации сети диссертационных советов.

1. Нормативная основа

Важным нормативным документом по регламентированию процедуры выдачи Минобр-науки России разрешений на создание на базе организаций диссертационных советов стал Административный регламент, включающий

порядок формирования и изменения кадрового состава этих советов. Затем решением Пленума Высшей аттестационной комиссии при Минобрнауки России от 03.06.2015 № 1пл/1 были утверждены количественные показатели для критериев оценки результативности научной деятельности организаций (форма 1) и членов диссертационных советов (форма 2), разработанные на основе Административного регламента с учетом рекомендаций экспертных советов ВАК и рабочих групп Минобрнауки России по совершенствованию государственной системы аттестации научных и научно-педагогических работников. Эти показатели доведены до сведения научной общественности письмом Департамента аттестации научных и научно-педагогических работников Минобрнауки России от 24.06.2015 № 13-3163 «О рассмотрении ходатайств о создании диссертационных советов» и представлены в таблицах 1 и 2.

Требования к показателям деятельности ЧДС, приведенные в таблице 1, соответствуют требованию «не менее». Значение 0 означает, что данный показатель представляется спра-вочно.

Пленум ВАК рекомендовал Минобрнауки России использовать показатели критериальных требований к оценке действующих диссертационных советов на основе анализа соответствия результативности научной деятельности организаций, на базе которых созданы диссертационные советы, а также результативности научной деятельности членов данных диссо-ветов утвержденным критериям.

2. Информационное обеспечение

Для анализа соответствия действующей сети диссертационных советов рекомендованным ВАК критериальным значениям необходимо было сформировать показатели деятельности организаций и членов диссертационных советов за пятилетний период с 2011 по 2015 годы. Сбор данных, необходимых для анализа, был проведен в рамках ежегодных отчетов о деятельности диссертационных советов.

Таблица 1

Критериальные показатели, предъявляемые к ЧДС

Область науки Кол-во публикаций в WoS, Scopus и др. Кол-во публикаций в журналах из Перечня ВАК Кол-во участий приглашенными докладами на международ. конференциях Кол-во рецензируемых монографий Число цитирований в WoS, Scopus и др. Индекс Хирша (РИНЦ/WoS/ Scopus) Кол-во значащих показателей

Гуманитарные и общественные науки 1 5 0 1 0 0 3

Естественные науки 3 5 0 0 0 0 2

Искусствоведение и культурология 0 5 0 0 0 0 1

Медицинские науки 3 5 0 0 0 0 2

Педагогические науки 1 5 0 1 0 0 3

Сельскохозяйственные науки 1 5 0 0 0 0 2

Технические науки 2 5 0 0 0 0 2

Экономические науки 1 5 0 1 0 0 3

Юридические науки 1 5 0 0 0 0 2

Критериальные показатели, предъявляемые к организации

Таблица 2

Область науки

51

5 о 3 2

о ч

х 5

i о f

с^ОО

Oi-O

I i

О IS 5

Ш S о с 1 с

<5 ¡;

а. о

и й- u

(О S X

о 1 -о ьхч

о (С (С * * s

^ I 8

О ГС U «МО

о *

ю

О о

е; О. Ю щ

5 ° о и

^ (Л

<

m ,s к

" S CL

I & о

5 "= g

^ m с

= s 2

О £ !Ч

У

>■ (U м ^

о ^

3 °

<0 О

I <и

л и

(Q (0

0 -* 11

1 ч

S S

X «

О 5

5 &

: й

Гуманитарные и общественные науки 50 5 1 3 3 1 5 75 0 5

Естественные науки 50 5 1 3 3 1 10 50 0 20

Искусствоведение и культурология 50 5 1 3 3 1 0 50 0 0

Медицинские науки 50 5 1 3 3 1 10 50 0 10

Педагогические науки 50 5 1 3 3 1 5 50 0 5

Сельскохозяйственные науки 50 5 1 3 3 1 10 50 0 10

Технические науки 50 5 1 3 3 1 10 100 30 20

Экономические науки 50 5 1 3 3 1 10 100 0 5

Юридические науки 50 5 1 3 3 1 5 50 0 5

Для этого в информационной системе были сформированы дополнительные таблицы о публикационной активности каждого члена совета за пять лет и о деятельности организаций, на базе которых создан диссертационный совет, за пять лет по профилю, соответствующему научным специальностям диссертационного совета. Информационное письмо о порядке представления отчетности диссертационных советов за 2015 г., а также методические рекомендации по работе с системой были размещены на сервере ВАК по адресу http://vak.ed.gov.ru/317.

При заполнении отчетов о работе советов за 2015 г. показатели публикационной активности членов диссертационных советов формировались следующим образом.

На вкладке «Показатели» указывалась количественная информация о публикационной активности каждого члена диссертационного совета за 5 лет (с 2011 по 2015 г.) по тематике научной специальности, представляемой им в диссертационном совете.

По каждому члену диссертационного совета указывалась следующая информация:

1. Количество публикаций в Web of Science (WoS), Scopus и др. — поле для указания (при наличии) общего количества публикаций (без дублирования) члена диссертационного совета за 5 лет по тематике научной специальности, представляемой им в диссертационном совете, в изданиях, индексируемых в международных ци-татно-аналитических базах данных WoS и Scopus, а также в специализированных профессиональных базах данных Astrophysics, PubMed, Mathematics, Chemical Abstracts, Springer, Agris, GeoRef, MathSciNet (далее — перечень WoS).

2. Количество публикаций в журналах из Перечня ВАК — поле для указания общего количества публикаций члена диссертационного совета за 5 лет по тематике научной специальности, представляемой им в диссертационном совете, в изданиях, включенных в перечень ведущих рецензируемых научных журналов и изданий, рекомендованных ВАК при Минобрнауки России, за исключением публикаций, учтенных в пункте 1.

Кроме этого, в разделе «Публикации» указывались все опубликованные работы члена диссертационного совета (ЧДС) за период с 2011 по 2015 г. по тематике научной специаль-

ности, представляемой им в совете. Публикации членов совета указывались за 5 лет (с 2011 по 2015 г.) независимо от времени, которое каждый ЧДС проработал в совете, а также независимо от даты создания диссовета.

Для научных статей указывалось следующее: статьи в научных изданиях из перечня ведущих рецензируемых научных журналов и изданий, рекомендованных ВАК при Минобрнауки России, а также в изданиях, индексируемых в международных цитатно-анали-тических базах данных WoS и Scopus, а также в специализированных профессиональных базах данных Astrophysics, PubMed, Mathematics, Chemical Abstracts, Springer, Agris, GeoRef, MathSciNet и др.

Если статья опубликована в журнале из Перечня ВАК, а ее переводная версия — в журнале, индексируемом в международной базе данных WoS, Scopus и т.д., то такую статью необходимо было указать только один раз, отнеся ее либо к публикациям в журналах ВАК, либо к публикациям в журналах WoS, Scopus и т.д.

В результате были сформированы показатели, отражающие публикационную активность 47 228 членов диссертационных советов, которые входили в состав 2 617 советов, количество организаций, при которых функционировали эти советы, составило 971. Массив данных позволил сформировать показатели деятельности диссертационных советов в различных разрезах, в том числе по:

— 421 специальности научных работников,

— 51 группе научных специальностей,

— 22 отраслям науки, по которым присуждается ученая степень,

— 32 экспертным советам ВАК при Минобрнауки России (в соответствии с научными специальностями, закрепленными за экспертными советами).

3. Методика анализа показателей деятельности членов диссертационного совета и организаций на соответствие критериальным значениям

В показателях форм отчетов диссовета указывалось общее количество публикаций ЧДС за 5 лет по тематике научной специальности, представляемой ими в диссертационном совете, в изданиях, включенных в перечень ведущих рецензируемых научных журналов и изда-

ний, рекомендованных ВАК (показатель b), за исключением публикаций, учтенных как публикации WoS и др. (показатель о).

Критериальные показатели публикационной активности, утвержденные решением Пленума ВАК, обозначены КП1 — критериальный показатель числа публикаций WoS (от 0 до 3 для разных областей науки); КП2 — критериальный показатель числа публикаций ВАК (5 для всех областей науки); КПЗ — критериальный показатель числа монографий.

Поскольку публикации в международных базах учитываются как публикации, входящие в Перечень ВАК, то для устранения дублирования при учете публикации в международных базах соответствие показателя b критериальным требованиям учитывалось следующим образом:

1) если о - КП1 > 0, то соответствие по критерию публикаций ВАК считалось, если о - КП1 + b > КП2;

2) если о - КП1 = 0, то соответствие по критерию публикаций ВАК считалось, если b > КП2;

3) если о - КП1 < 0, то соответствие по критерию публикаций ВАК — а + b > КП2. Использование алгоритма 1—3 позволяет

избежать дублирования учета публикаций ВАК с учетом публикаций в международных базах, если число последних выше критериального значения. В то же время, если число публикаций в международных базах меньше критериального значения, — учитывать эти публикации как публикации ВАК.

Для каждого из трех показателей (публикации WoS, публикации ВАК, монографии) проводится сравнение текущего значения для ЧДС (1_ЧДС) и требуемого значения (1_ТРЕБ). Если 1_ЧДС > 1_ТРЕБ, критерию присваивается значение 1, если обратное, то 0. Сумма критериев делится на общее количество значащих показателей. В результате получалось значение степени соответствия публикационной активности каждого ЧДС критериальным требованиям. Степень соответствия принимает значения в диапазоне [0; 1] или [0; 100 %]. Например, для ЧДС по научной специальности 13.00.01 степень соответствия 100 % будет достигнута только при выполнении 3 критериев, 66 % при выполнении 2 критериев, 33 % — одного и 0 % при невыполнении всех критериальных требований.

Среднее значение степеней соответствия всех ЧДС (для выбранного разреза, например группы специальностей) данного диссертационного совета формирует значение степени соответствия всего диссовета критериям по ЧДС.

Расчет степени соответствия для организаций происходит аналогичным образом, как и для ЧДС, — от 7 до 10 критериев в зависимости от области науки. Степень соответствия принимает значения в диапазоне [0; 1] или [0; 100 %].

Значение интегральной степени соответствия диссертационного совета критериальным требованиям формируется как среднее арифметическое значение степени соответствия всех ЧДС и значения степени соответствия организации.

4. Формирование и анализ показателей результативности деятельности членов диссертационных советов и организаций

На основе разработанной методики были сформированы значения показателей деятельности как каждого члена диссертационного совета, так и каждой организации по научным специальностям за период 2011—2015 гг.

Детализация на уровне каждой научной специальности и каждого диссертационного совета позволила в дальнейшем формировать выборки в разрезе групп научных специальностей, отраслей науки, отдельных организаций, их ведомственной принадлежности и территориального расположения.

При формировании средних значений показателей для членов диссоветов проводился анализ данных на «выбросы», которые могли появиться в результате человеческого фактора при формировании отчетных показателей в информационной системе. К выбросам отнесены значения показателей, которые значительно (более чем в 10—15 раз) отличались от основной массы значений показателей. При расчете средних значений выбросы не учитывались.

Для визуализации соответствия сети диссертационных советов критериям результативности научной деятельности организаций и членов диссертационных советов сформирована диаграмма рассеяния и функции распределения по критериям соответствия для членов диссертационных советов и организации раз-

дельно, а также для интегрального показателя диссертационного совета в целом. В качестве примера на рисунке 1 приведены результаты соответствия в целом для всей национальной сети диссертационных советов.

Для диаграммы рассеяния по оси абсцисс отложен удельный вес соответствия ЧДС критериям в диапазоне от 0 до 1 с градацией по 0,1. По оси ординат отложен удельный вес соответствия организации в диапазоне от 0 до 1 с градацией по 0,1. Точка в плоскости показывает степень соответствия диссовета критериальным требованиям. В одной и той же точке могут быть отображены несколько диссоветов с одинаковыми показателями. Точечная диаграмма показывает положение показателей организации и ЧДС, отражающие интегральный статус диссертационного совета.

Диаграммы в правой части показывают распределение количества диссертационных советов по критериям соответствия для ЧДС; организации; свертка показателей ЧДС и организации.

Методика расчета интегральной степени соответствия основана на вычислении среднего значения по двум показателям: степени соответствия ЧДС и степени соответствия органи-

зации. Это приводит к тому, что интегральная степень соответствия может быть высокой при невысоком значении одной из степеней соответствия.

Уровень соответствия показателей результативности существенно отличался для различных групп научных специальностей: был выше среднего для естественно-научных областей и ниже среднего для гуманитарных областей науки. На рисунке 2 приведены результаты соответствия показателей деятельности членов диссертационных советов и организации критериальным требованиям на примере химических наук (высокий уровень соответствия) и языкознания (невысокий уровень соответствия).

Для приведения в соответствие качественного состава диссертационных советов и организаций с учетом оценки показателей их научного и кадрового потенциала, особенностей различных специальностей критериальным требованиям Высшей аттестационной комиссии необходима разработка мероприятий, направленных на повышение качества экспертизы результатов диссертационных исследований за счет трансформации сети диссертационных советов. Такой план мероприятий (дорожная карта) по оптимизации сети советов

Рис. 1. Результаты соответствия показателей деятельности членов диссертационных советов и организации критериальным требованиям в целом для всей национальной сети диссертационных советов

02.00.00 Химические науки

Кол-во ДС: 136 Кол-во ЧДС: 2527

Диаграмма распределения степени соответствия диссертационных советов критериальным требованиям по ЧДС и ОРГ

<> • • И» • м

'1 р • • • • •п

• • • • • И • • •

• •

• •

о-1- 0 0 0 2 0 3 0 4 0 5 0 в 0 0 8 0 9 1

Кол-во диссертационных советов удовлетворяющих критериальным требованиям

46

[0]% (30; 40]% (40; 50]% (50; 60]% (60; 70]% (70; 80]% (80; 90]% (90:100)% [100]%

66

43

0 ти

ЧДС - Степень соответствия

[0]% (30; 40]% (40; 50]% (50; 60]% (60; 70]% (70; 80]% (80; 90]% (90; 100)% [100]%

а)

б)

Рис. 2. Результаты соответствия показателей деятельности членов диссертационных советов и организации критериальным требованиям: а) химические науки как пример высокого уровня соответствия; б) языкознание как пример невысокого уровня соответствия

по защите диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук, рассчитанный на период до 2018 г., был разработан и утвержден Мин-обрнауки России и Высшей аттестационной комиссией при Минобрнауки России.

Заключение

Анализ результативности деятельности членов диссертационных советов и организаций и его соответствия критериальным требованиям показали, что для всей системы аттестации

наблюдается значительное несоответствие состава диссертационных советов. Это может быть вызвано как завышенными требованиями к показателям публикационной активности, так и отсутствием анализа этих показателей на уровне организаций в целом по составу диссертационного совета. Реализация мероприятий дорожной карты должна позволить привести в соответствие показатели деятельности членов диссертационных советов критериальным требованиям, предъявляемым ВАК к диссертационным советам и организациям, при которых созданы эти советы.

Материал поступил в редакцию 12 апреля 2017 г.

БИБЛИОГРАФИЯ

1. Обзор деятельности сети диссертационных советов в 2015 году : аналитический доклад / С. И. Пахомов, И. А. Шишканова, В. А. Гуртов. — Петрозаводск : Изд-во ПетрГУ, 2016. — 117 с.

CRITERIA FOR ASSESSING THE ACTIVITIES OF DISSERTATIONAL COUNCILS FOR THE TRANSFORMATION OF THE NATIONAL NETWORK OF PERSONNEL CERTIFICATION OF VNK

SHISHKANOVA Inessa Alekseevna, Director of the Department of attestation of scientific and scientific-pedagogical workers of the Ministry of Education and Science of the Russian Federation 117997, Russia, Moscow, ul. Lyusinovskaya, d. 51 [email protected]

PAKHOMOV Sergey Ivanovich, Deputy Director of the Department of attestation of scientific and scientific-pedagogical workers of the Ministry of Education and Science of the Russian Federation 117997, Russia, Moscow, ul. Lyusinovskaya, d. 51 [email protected]

GURTOV Valeriy Alekseevich, Head of the Solid State Physics Department of Petrozavodsk State University, Doctor of Physics and Mathematics, Professor 185910, Russia, Republic of Karelia, Petrozavodsk, Lenin Ave., 33 [email protected]

PENNYE Ilya Vasilyevich, Leading Researcher, Department of Scientific Research, Petrozavodsk State University, Candidate of Technical Sciences

185910, Russia, Republic of Karelia, Petrozavodsk, Lenin Ave., 33 [email protected]

Review. The article contains the analysis of normative base, mechanism of data support of dissertation councils, the methodology of analysis examines the methodology for analyzing the performance of the members of the disserta-tional council and organizations for compliance with criteria values, examines issues related to the formation and analysis of performance indicators of members of dissertational councils and organizations. The research allowed the authors to come to the conclusion that there is a significant inconsistency in the composition of the dissertation councils, which is caused both by overstated requirements for the indicators of publication activity and by the lack

of an analysis of these indicators at the level of organizations in general on the composition of the dissertational council. It seems that the solution to this problem should be related to the implementation of the road map activities, which in the future should allow the performance of members of dissertational councils to match the criterion requirements set by the VAK for dissertational councils and organizations in which these councils are created.

Keywords: Dissertation councils, members of dissertational councils, criteria, education, science, effectiveness of dissertational councils

REFERENCES (TRANSLITERATION)

1. Obzor dejatel'nosti seti dissertacionnyh sovetov v 2015 godu : analiticheskij doklad / S. I. Pahomov, I. A. Shishkanova, V. A. Gurtov. — Petrozavodsk : Izd-vo PetrGU, 2016. — 117 s.