CC BY
96
УДК 51-77
Андреева Т.В., Чулков В.А.
ФГБОУ ВПО «Пензенский государственный технологический университет», Пенза, Россия МЕТОДИКА ОЦЕНКИ ЭФФЕКТИВНОСТИ НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ И ИННОВАЦИОННОЙ ДЕЯТЕЛЬНОСТИ СТУДЕНТОВ ВУЗА
Введение
Проблема воспроизводства кадрового потенциала в сфере науки, образования, технологий и инноваций является в настоящее время одной из ключевых для социально-экономического развития России, что подтверждается возрастающим вниманием к данной проблеме в официальных документах Президента и Правительства, Министерства образования и науки Российской Федерации. В Стратегии инновационного развития Российской Федерации, Концепции долгосрочного социально-экономического развития Российской Федерации, Стратегии развития науки и инноваций в Российской Федерации, Концепции развития научно-исследовательской и инновационной деятельности в учреждениях высшего профессионального образования Российской Федерации [1-4], Государственной программе Российской Федерации «Развитие образования» на 2013-2020 годы и Федеральной целевой программе «Научные и научно-педагогические кадры инновационной России» на 2014-2020 годы в качестве основных целей обозначены стимулирование исследовательской деятельности и инновационного развития в высшем образовании, притока талантливой молодежи и закрепление в сфере науки, образования и высоких технологий, развитие компетенций в сфере исследований и разработок, мотиваций к инновациям. Инструментами и мерами для достижения указанной цели являются реальное включение преподавателей и студентов в научно-исследовательскую и инновационную деятельность, создание системы выявления и поддержки талантливой молодежи, стимулирования инновационной активности и научного творчества студентов.
В связи с этим усиливается роль научно-исследовательской и инновационной деятельности студентов (НИДС) в высшем учебном заведении как фундамента развития вузовской науки, действенного элемента подготовки высококвалифицированных специалистов. Своевременное и качественное решение задач управления НИДС требует разработки моделей и механизмов обеспечения планомерной политики ее развития с применением современных информационных технологий.
Для выявления существующих проблем, определения стратегии дальнейшего совершенствования организации НИДС, прогнозирования ее результатов и принятия обоснованных управленческих решений необходимо располагать объективными количественными показателями текущего состояния системы НИДС. В связи с этим сложилась настоятельная потребность в разработке системы критериев оценивания качества НИДС и в создании методики вычисления комплексного показателя ее эффективности.
Система показателей оценки качества НИДС
Несмотря на то, что проблемам управления качеством образования и организации НИДС в вузах посвящено достаточно много работ [5, 6], к настоящему времени не выработан единый подход к определению набора показателей, необходимых для мониторинга качества научно-исследовательской и инновационной деятельности студентов. При этом существует ряд частных задач управления НИДС, для решения которых требуется разработка системы критериев:
1) оценивание эффективности НИДС вуза - для оптимизации процесса управления НИДС и для определения рейтинговой позиции вуза среди других вузов;
2) оценивание эффективности НИДС подразделения - для выработки практических рекомендаций по совершенствованию НИДС отдельного факультета, кафедры, лаборатории;
3) оценивание деятельности преподавателей в части руководства НИДС - для проведения рейтинговой оценки и принятия мер по стимулированию руководства НИДС профессорско-преподавательским составом;
4) оценивание исследовательских и инновационных достижений студентов - для проведения рейтинговой оценки, поддержки наиболее преуспевших в данном направлении студентов (выдвижение на именные и специальные стипендии) и разработки индивидуальных исследовательских траекторий.
Все показатели НИДС, отражаемые вузом в отчетных документах, предоставляемых в Министерство образования и науки РФ (ежегодный отчёт о научной деятельности вуза), в Национальное аккредитационное агентство в сфере образования (модуль сбора данных для вузов) и в другие контролирующие организации, можно условно разделить на пять групп: организация НИДС; руководство НИДС профессорско-преподавательским составом; активность участия студентов в НИДС; результативность участия студентов в НИДС; финансирование НИДС. По каждой из перечисленных групп критериев первого уровня могут быть выделены частные показатели второго уровня, в том числе: 8 показателей организационной структуры управления, 19 показателей организации мероприятий научного и инновационного характера, 11 показателей руководства НИДС, 26 показателей активности НИДС, 18 показателей результативности
НИДС по публикациям, 20 показателей результативности НИДС по наградам, 9 показателей финансирования НИДС вуза. Привести список всех показателей второго уровня в рамках данной статьи не представляется возможным.
В дальнейшем для определения интегрального показателя эффективности НИДС в вузе в целом и в отдельно взятом подразделении могут быть использованы все эти группы показателей, для определения комплексного показателя деятельности преподавателей - критерии руководства НИДС, для определения комплексного показателя деятельности отдельного студента - критерии активности и результативности. Основную сложность при установлении подобных интегральных критериев представляет ранжирование частных показателей путем экспертных оценок. Рассмотрим вариант решения поставленной задачи определения комплексного показателя на примере разработки методики оценки эффективности НИДС вуза. Данная методика с незначительными корректировками может применяться также для оценивания эффективности НИДС отдельного подразделения вуза, деятельности преподавателей в части руководства НИДС и достигнутых студентами научных и инновационных результатов.
Методика оценки эффективности НИДС с применением метода анализа иерархий
Одним из наиболее эффективных методов количественного оценивания сложных слабоструктурированных проблем, к числу которых относится оценка эффективности НИДС, является метод анализа иерархий (МАИ), предложенный американским ученым Т. Саати [7] . Суть его состоит в декомпозиции исходной многокритериальной проблемы на локальные составляющие, проведении по специальной форме экспертного опроса лиц, принимающих решения, и дальнейшей математической обработке их суждений [8] . Поставленной задаче оценки эффективности НИДС с позиций системного анализа свойственны неопределённость, многокритериальность, сочетание количественных и качественных критериев оценки, необходимость согласования групповых мнений экспертов, многоуровневость системы локальных критериев со
£ X
0 ч:
і
s
XI
CD
X X ТЗ Е О S X
ТЗ Q X О
& а
X ТЗ
X ТЗ 0 0 ТЗ 0 ГО X << X х S X а Е
X 0 0 •
го ^ тз
• S X ГО о и "< о
го їх X
0 О X
X
X ^ 0
£ х ТЗ S 0 X
ь s
X S
о
S X 0 0 ' ■ X
го
X
о 0 ТЗ X о
ГО X
о
ГО „ 0 <<
* та
Ж О
та о ш
о ж та
X
X X
0 О
о
m Ь ГО
g°®
2 Sc ГОЗ X
го ^ го ° ° ох х го а> та та & и та та ^ ш 2 Зта a
ГО X Q 0
X X
го
ь х
о 0 я
го
0 5?
О ГО
2 го
S3 ^
5 ®
6 го
1 03 0
ГО 0
го го
0 тз
X 0 S ь S Го
О X
о го X х го s
0
гоз s
Го 0
О О о X о X 0 £
о X
0 ГО о ГО X X
Р Е
» S в
X ХЗ ГО о S X ГО 1-3
ч: 0
X X тз ТЗ 0 S S I I
X
тз
S
тз
S
II
IM’
_S
тз
0
S3 S О 0 S X X X X го 0 0 X
О X X 0
го тз
Sc S
о
X ь
О ГО X
0 X ГО S 0 а X о 0
X тз
ГО 0
го X S
S3 хз
S
го Я
О Я
S
X ~
S S л 0 тз
О DJ х ХЗ
X
jx S 0 X X
0
о -О X 0 S
S
о о X 0 ь
X п о ГО ГО m X а го
0
ёта £
S X
О ГО ьз го
s 2 го
ь_ч QJ
S ^
ё 0
X
тз
S
X
0
тз
S
0
го
о
JX
0
X
X
S
X
0 0 о
І—I ^
й х ^ о
^ J ГО Х= 0
о ^
о
® “
о
та и w
„ CD fcs 0
m ^ Е s 0 х
х 0 0 х: X ЕЗ s а s х ]з
Е X 0 О
го
X
тз
0
ь
о
X
0
го
X
0
X
го
S
ь
0
X
S
X
0
SC
X
X
<<
X
тз
SC тз
0
о го
ГО X
0 S
ТЗ X
X X
X Е
S 0
К->
1 *.
a v
■ЗІ
S- Оь
ft $
EX
о
JS
J5
II
я
я
я
X 0 и тз X 0 0 03 CD го ь X X CD го 0
X X — 0 о о X << о тз о X X X 0 > CD
го О > тз го 0 << 0 0 X го CD о 0 S о
0 X СО по £ 5ч ■§ X 0 X л X го ь со CD 0 го тз X X
0 X 0 X о X X 0 X о 0 тз 0 X 0 0 го го CD 0 S
ГО ь 0 3 с <5 X Хс го CD X 0 го о X 0 го го X § X 0 ь X
О CD 0 << 2 ■я 3 аз тз го X X о 0 го тз CD > го 0
Хс го го ■§ $ ■а 5 0 ГО го го о тз ь X CD CD X 0 го го го
X 0 о 1 су с ■? С тз X 0 тз о CD го X го X тз го о X ь
О го ё S JC 0 го X Го 0 << X го І-^ X о о X тз Хс X 0
О S тз 3 'її 2 S го го 0 го 0 5 0 0 тз X
а >
ТЗ
О) £
а 2
2 ° е а го ГО х "
<<
ь
о
CD
х
0
х
CD
о
тз
XI
5
£
X
X
ТЗ
X
X
X
X
0
X
X
X
lM3
J5
JS
IV
О °
й д ® о § о ° ш
X
и: 1 О § Е S
0 I
0 ® ш g
s і
Е V СҐ л
тз
1 s 0 S о 0
Ш g ° й И S
й I 0 X
X
ТЗ S
О 0
го тз 0 0 X тз X X X X X
О 0
а о
О3 X
0 ГО X 0 X
о о го X тз <<
ш й 0 тз X 0
О 0 о ХЗ
Хс X 0 тз го X
0 о
о Го
о
X о тз
X ь
0
о го о о X S Р
X s
0 0
о Р
0
го 0 о
0
ТЗ 0 ГО XXX X ТЗ S
X Q |-3
0 X 43 Ь О О ГО
0 0 X тз S ХЗ X го х X
X 0 "<
го тз 0
О 0 S хз
ГО1
Н ® о
Я “
X хз тз х
■ ■ X X
о аз
_ о3 О 0 X X 0 X
го О
0 ГО
0 • X X X ОХ 0 X X го Е
4 о ® X X ^ Го ХЗ s X Я 0
0 ^ ГО XX' 0 <<
ТЗ ГО
ь 0 2 0 В
X О 5
о а £
5 D3 0 X 0 I
О X -Ь ГО х ^ X о х JX го X I £ х 0 0 X Е
о
g 0
0 ХЗ X
X го о Я 0 Ь
X X JTO
2x0
2 ГО X 0 > го X 0
X Q
го и 0 1J го о X Дч X о 0 в ^ч 0 J-. 0 UJ 0 го СҐ
0 X -Ь го X тз 0 S го го §
тз 0 CD р о го 0 го X
0 CD э 0 го CD S X X го
S X CD X S тз CD
0 го X Q 0 го X о тз 0
X 5 b CD ь о g CD 0 0 о
тз £ 0 0 << о го 0 го в 0
0 X го S X о 0 X 0 S
S X s го в 0 Го X о го X
X го 0 X CD о тз X
1 о 0 X го го о S
го 0 тз тз CD тз
CD X о го о го Го о го 0
0 0 << тз X го х JX X о W
тз тз о 0 о 0 0 03 ]з го
го 0 о р го Хс тз ь << о о
о п тз V CD Т4 0 Е X T~i го П1 а о
х X << X V 0 Е тз 0
<< X X го
0 0 ГО 0
- го X
хз 2 0
X Го X 0 го
0
X 0 5 хз X m х о го
X X Е
0 хз тз
X
0 го
0 О 0 ХС _ X s X X X 0 го ТЗ 0 << О X ХЗ ХЗ 0 О X ГО ГО X 0
го го
0 0 Хс 0
X 0
2 0 3 ХС я
0 X
0
ГО го
X го
О О а 0
0 X X S го • го о Хс
X х 0 << ■ ' X
0: ГО S X 0
0 Р ■ 0
Я х
хз о
О X X
ХЗ Л 0 0 ^ X 0 0 5 го
£ го 0 0 го
о
0 << ■ го
ь 0 го
ь
0 0 0 0X0 Q О b
о
щ §
X S
0 ГО CD О
0
5 £
X Хс
X
<< 0 тз хз о 0
CD ХЗ
0 X
0 0: а Го S
тз
X
0
<<
го
о
X
го
го
о
0 << 2 хз го о
X
0 X тз о
0 X
тз о X тз X 0 X го
0X0 го <<
ГО ГО ГО ХЗ ГО
ТЗ О 0 о а % го X Е 0 Хс
0 0
0 т хз
Дч Q
х го Е ГО 0 хз s о го го 2 X о
X %
0 0 СТО ТЗ 0 S X X ЇГО
]го
о
0
X
го
о
тз
X
X
0
го
0
X
X
0
0
X
0
тз
0
тз
X
X
Хс
г> ■ Дч ^
^ 0 ГО НО X ГО
0 О
о го го о X
0 ГО 0 тз о о со л; 0 0 ГО 0 X 0 ГО 0
0
X
0 0 ь
го го 0 о ГО 0 X CD Хс О '
X
О ГО X
X Го О х
ГО X
о сг 0 Е X о О 0 X
ГО ГО
X X << 0 " X
<<
о го CD о
тз 0 X 0 х ТЗ 0 0 Го ТЗ Е X X 0
го
тз
CD
о О х го
X X ГО
0 X го 0 X го тз
ГО О О
0 X X X
0 О
го тз
О ГО О CD
0 0 ГО 0
о
х а о о
го 0 со х тз
О Го О X 0
а
X
приоритеты
Этап 2. Сравнительный анализ элементов процесса. Для определения важности составляющих модели
на каждом уровне иерархии строятся обратно-симметричные матрицы парных сравнений Л = ||й(^|| размера
m х m:
a\
akk
mlkj
akk k mm j
' at
к \
к
a
a
її
ij
1m
к
к
к
Лк =
a
a
a
ii
j
im
Элементы матриц al определяются как ak = 1 ветствуют значимости объекта i по сравнению
a
= -1 . Значения al =ak / Oj
Ji akj
i '"l '
с объектом j и основаны на
элементов матрицы соот-субъективных суждениях
экспертов, использующих шкалу предпочтений, числа которой имеют смысловую интерпретацию, указанную в таблице 1.
Таблица 1 - Шкала относительной важности критериев
Степень значимости Отношение объектов
1 Равная значимость
3 Умеренное превосходство
5 Сильное превосходство
7 Значительное превосходство
9 Абсолютное превосходство
2, 4, 6, 8 Промежуточные значения (для компромиссных ситуаций)
Обратные величины приведенных выше значений
Для определения весовых коэффициентов по МАИ тремя независимыми экспертами, в качестве которых выступили проректоры по научной работе и инновационной деятельности вузов, были составлены матрицы суждений для частных показателей первого и второго уровня. С использованием критерия Краскела-Уоллиса [9] подтверждена гипотеза об однородности суждений экспертов, что дает основание для усреднения их суждений: aj = . Усреднённые по трем экспертам значения элементов матрицы пар-
ных сравнений I группы критериев оценки НИДС первого уровня иерархии приведены в таблице 2. Таблица 2 - Оценка критериев первого уровня тремя экспертами_________________
Критерий О M A P F
О 1 3,915 5,518 0,437 2,621
M 0,255 1 2,621 0,193 0,437
A 0,181 0,382 1 0,147 0,255
P 2,289 5,192 6,804 1 3,915
F 0,382 2,289 3,915 0,255 1
Аналогично строятся обратно-симметричные матрицы парных сравнений для групп показателей оценки НИДС второго уровня иерархии.
Этап 3. Оценка степени согласованности суждений экспертов. Для этого вычисляют величину, назы-
ваемую индексом согласованности: IS =
, где і,
mk -1
максимальное собственное значение матрицы
парных сравнений. Чтобы оценить степень согласованности экспертных мнений, рассчитывают отношение
согласованности
OS = — SI
где SI
случайный индекс согласованности для матрицы того же порядка
(таблица 3) . Если величина OS £0,1 , то степень согласованности экспертных данных считается прием-
лемой .
Таблица 3 - Значения случайного индекса согласованности
mk 2 3 4 5 6 7 8 9 10 11 12 13 14 15
SI 0 0,58 0,90 1,12 1,24 1,32 1,41 1,45 1,49 1,51 1,48 1,56 1,57 1,59
Согласованность матриц суждений для групп показателей оценки НИДС и достоверность результатов подтверждают значения индексов согласованности, представленные в таблице 4. Отношение согласованности OS не превышает значения 0,1.
Таблица 4 - Характеристики матриц парных сравнений
Группа показателей Порядок матрицы Лпах IS OS
Первого уровня 5 5,139 0,035 0,031
Организационной структуры управления 8 8,137 0,020 0,014
Организации мероприятий 19 19,72 0,040 0,025
Руководства 11 11,256 0,026 0,017
Активности 26 26,764 0,036 0,023
Результативности по публикациям 18 18,667 0,039 0,025
Результативности по наградам 20 20,491 0,026 0,016
Финансирования НИДС 9 9,244 0,031 0,021
Этап 4. Установление локальных приоритетов для объектов. Относительная значимость объектов выражается численно в виде векторов приоритетов, которые представляют собой так называемые жёсткие оценки в шкале отношений.
Вектором Xk = (X, X,.. териев и альтернатив, летворяющего уравнению
.., x\) искомых весовых коэффициентов, характеризующих значимость
является нормализация главного собственного вектора Xk =(x^, xk,..., xk к
к -w-k ik -w-k ~k xi
A“Xk =1 „ X
i = 1,2,..., mk, Z xk = 1 .
Z x
T
k
i=i
k
всех
T
кри-
удов-
Значения элементов главного собственного вектора X матрицы суждений I и нормализованного собственного вектора X , характеризующего значимость критериев оценки НИДС первого уровня, приведены в таблице 5.
Таблица 5 - Значения весовых коэффициентов критериев первого уровня
Критерий O M A P F
XT 0,488 0,145 0,079 0,819 0,251
X T 0,274 0,081 0,044 0,460 0,141
Аналогичным образом получено распределение значений весовых коэффициентов, характеризующих значимость показателей оценки НИДС второго уровня.
Проверка согласованности матриц и расчёт значений весовых коэффициентов производились с использованием встроенных функций системы компьютерной математики MathCAD: eigenvals{ ) - для нахождения максимального собственного значения и eigenvecs( ) - для нахождения главного собственного
вектора.
Этап 5. Синтез глобальных приоритетов. Для этого по каждому n -му объекту вычисляется величина
т=Z x
~k+1 xn
компоненты вектора локальных приоритето
•%k+1 I ~k+ етов X =1 Xi
X+1,
относительно
T
k~k +1
l -го критерия верхнего уровня
компоненты вектора локальных приоритетов
X k
kk
X , X%2
k
k
)
T
критериев верхнего уровня.
Значение интегрального показателя было определено на основе статистических отчётных данных по состоянию НИДС в Пензенском государственном технологическом университете за шестилетний период государственной аккредитации (2008-2013 гг.). Результаты расчётов значений частных и комплексного показателей представлены на рисунке 3.
Рисунок 3 - Динамика показателей НИДС Заключение
Оперативное управление и планирование научной работы студентов вуза требует объективной оценки и выявления проблемных аспектов ее текущего состояния. Построение иерархии критериев НИДС с оценкой их значимости позволило создать расчетную методику для определения интегрального показателя её эффективности. Разработанная методика расчета обобщенного численного показателя эффективности НИДС учитывает совокупность экспертных оценок в сочетании с множеством количественных данных о результатах научно-технического творчества студентов. Для определения весовых коэффициентов критериев оценки НИДС использован метод анализа иерархий, исходными данными для которого служат составленные экспертами матрицы парных сравнений. Методика, ориентированная на интеграцию в информационную систему вуза, объективно отражает достигнутый уровень НИДС и позволяет выявить тенденции ее развития. Для иллюстрации приведены в ретроспективе полученные с применением методики численные значения комплексного показателя НИДС Пензенском государственном технологическом университете .
ЛИТЕРАТУРА
1. Стратегия инновационного развития Российской Федерации на период до 2020 года: утв. распоряжением Правительства РФ от 8 декабря 2011 г. № 2227-р [Электронный ресурс]. Режим доступа: http://www.garant.ru/products/ipo/prime/doc/70006124.
2. Концепция долгосрочного социально-экономического развития Российской Федерации на период до 2020 года: утв. распоряжением Правительства РФ от 17 ноября 2008 г. № 1662-р [Электронный ресурс] . Режим доступа: http://base.garant.ru/194365.
3. Стратегия развития науки и инноваций в Российской Федерации на период до 2015 года: утв. Межведомственной комиссией по научно-инновационной политике (протокол № 1 от 15 февраля 2006 года) [Электронный ресурс]. Режим доступа: http://www.businesspravo.ru/Docum/DocumShow DocumID 168333.html.
4. Концепция развития научно-исследовательской и инновационной деятельности в учреждениях выс-
шего профессионального образования Российской Федерации на период до 2015 года: письмо Министерства образования и науки РФ от 22 февраля 2011 г. № 3-91 [Электронный ресурс]. Режим доступа:
http://www.docme.ru/doc/13939/koncepciya-razvitiya-nauchno-issledovatel. skoj-i-innovacionn....
5. Гордеева Т.А. Система менеджмента качества образования в вузе и оценка ее эффективности /
Т.А. Гордеева, Н.А. Куликова // Надежность и качество: Труды международного симпозиума. Пенза:
Изд-во Пенз. гос. ун-та, 2012. Т. 1. С. 291.
6. Вьюгина С.В. Повышение качества образования и развитие интеллектуального потенциала студента технологического вуза / С. В. Вьюгина // Надежность и качество: Труды международного симпозиума. Пенза: Изд-во Пенз. гос. ун-та, 2012. Т. 1. С. 300-301.
7. Саати Т. Принятие решений. Метод анализа иерархий / Т. Саати. Пер. с англ. Р.Г. Вачнадзе.
М.: Радио и связь, 1993. 278 с.
8. Алгазинов Э.К. Анализ и компьютерное моделирование информационных процессов и систем / Э.К. Алгазинов, А.А. Сирота. Под общ. ред. д.т.н. А.А. Сироты. М.: Диалог-МИФИ, 2009. 416 с.
9. Закс Л. Статистическое оценивание / Л. Закс. Пер. с нем. В.Н. Варыгина. Под ред. Ю.П. Адлера, В.Г. Горского. М.: Статистика, 1976. 598 с.
