Оценка эффективности научно-исследовательской и инновационной деятельности студентов вуза на основе метода анализа иерархий Текст научной статьи по специальности «Экономика и бизнес»

МОДЕЛИРОВАНИЕ И АНАЛИЗ СЛОЖНЫХ СИСТЕМ

УДК 51-77

ОЦЕНКА ЭФФЕКТИВНОСТИ НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ И ИННОВАЦИОННОЙ ДЕЯТЕЛЬНОСТИ СТУДЕНТОВ ВУЗА НА ОСНОВЕ МЕТОДА АНАЛИЗА ИЕРАРХИЙ

© 2014 Т.В. Андреева, В.А. Чулков

Пензенский государственный технологический университет

Поступила в редакцию 17.12.2013

Разработана основанная на математическом анализе иерархий методика оценки эффективности научно-исследовательской и инновационной деятельности студентов вуза. Методика предусматривает определение значения численного интегрального показателя, характеризующего состояние и позволяющего выявить тенденции развития данного вида работ. По разработанной методике рассчитаны и представлены в ретроспективе количественные значения комплексного показателя на примере Пензенской государственной технологической академии.

Ключевые слова: интегральный показатель, научно-исследовательская и инновационная деятельность студентов, весовые коэффициенты, метод анализа иерархий.

ВВЕДЕНИЕ

При решении задачи подготовки кадров для наукоёмких отраслей современного производства, являющейся в настоящее время одной из приоритетных для социально-экономического развития страны, первостепенное значение имеет развитие научно-технического творчества молодежи. Участие студентов в научно-исследовательских работах вуза, в разработке инновационных проектов способствует приобретению ими способностей к самостоятельной ответственной работе, развитию инициативности и творческого мышления, умения принимать обоснованные решения в нестандартных ситуациях. Расширение масштабов вовлечения молодежи в научно-исследовательскую и инновационную деятельность (НИДС) достигается в вузе в числе прочего за счет применения современных информационных технологий, предусматривающих разработку моделей и анализ механизмов управления для обеспечения планомерной политики развития НИДС.

Для выявления существующих проблем, сравнительной оценки текущей позиции вуза среди других вузов, выбора стратегии дальнейшего совершенствования организации НИДС, прогнозирования ее результатов с учетом влияния совокупности факторов управления и принятия обоснованных решений по оптимизации управления процессом необходимо располагать

Андреева Татьяна Владимировна, аспирант кафедры вычислительных машин и систем. E-mail: atv@penzgtu.ru Чулков Валерий Александрович, доктор технических наук, доцент, профессор кафедры вычислительных машин и систем. E-mail: chu@penzgtu.ru

объективными количественными показателями текущего состояния системы НИДС. В связи с этим сложилась настоятельная потребность в разработке системы оценивания эффективности НИДС, в первую очередь - в создании корректной методики вычисления комплексного показателя эффективности НИДС. Основную сложность при установлении подобного интегрального критерия представляет ранжирование частных показателей путем экспертных оценок.

МЕТОДИКА ОЦЕНКИ ЭФФЕКТИВНОСТИ НИДС

К числу наиболее эффективных методов количественного оценивания сложных слабоструктурированных проблем относится метод анализа иерархий (МАИ), предложенный американским ученым Т. Саати [1]. Суть его состоит в декомпозиции исходной многокритериальной проблемы на локальные составляющие, проведении по специальной форме экспертного опроса лиц, принимающих решения, и дальнейшей математической обработке их суждений [2]. Этот метод с успехом применяется для решения задач стратегического планирования [3], оценки конкурентоспособности изделий [4, 5], оптимизации по совокупности показателей качества устройств и систем [2, 6], оценки инновационных, в том числе образовательных, проектов [7], совершенствования системы управления предприятием [4, 8], управления региональными социально-экономическими системами [9].

Поставленной задаче оценки эффективности НИДС с позиций системного анализа свойствен-

ны неопределенность, многокритериальность, сочетание количественных и качественных критериев оценки, необходимость согласования групповых мнений экспертов, многоуровневость системы локальных критериев со своими удельными весами, разнообразие и большое число критериев, многократность процесса выбора. Метод анализа иерархий адаптирован к решению подобных задач.

Во-первых, МАИ дает возможность получения количественной оценки факторов изучаемого процесса, позволяя установить приоритеты этих факторов. Показатели процесса имеют разную природу и могут быть измерены в различных шкалах (интервальной, номинальной, порядковой), поэтому простое сложение их значений невозможно. Кроме того, структурные составляющие изучаемого процесса оказывают на него разное воздействие, что заставляет внимательно отнестись к выбору их весовых коэффициентов при формировании обобщенного показателя.

Во-вторых, МАИ позволяет обосновать решения в условиях неопределенности исходной информации, возникающей ввиду неполноты сведений эксперта о свойствах объектов, сомнений принимающего решение лица в правильности своих оценок, противоречивости знаний в условиях нечеткого представления информации. Наличие неопределенности чревато ошибками в экспертных оценках, несогласованностью данных и нарушением связности и транзитивности суждений. МАИ предусматривает процедуру согласования, располагая механизмом сравнения степени достоверности субъективных суждений с идеальным показателем, что позволяет управлять процессом оценки, либо меняя экспертов, либо перестраивая иерархию.

В-третьих, МАИ оказывается эффективным при решении многокритериальных задач, когда необходимо определить значимость большого количества факторов. Основанная на личном опыте субъективная оценка не может быть эф-

фективно использована, если количество факторов превышает оценочные возможности лица, принимающего решение.

В приложении к поставленной задаче оценки эффективности НИДС алгоритм метода анализа иерархий должен включать следующие этапы.

Этап 1. Моделирование процесса и математическая постановка задачи. Изучаемый процесс НИДС представляется в виде многоуровневой иерархической модели путем декомпозиции проблемы на множество простых составляющих -иерархических уровней. При этом каждая составляющая процесса характеризуется двумя параметрами: важностью и степенью выраженности.

Построение иерархической структуры начинается с глобальной цели - фокуса иерархии, которая служит ориентиром при выстраивании иерархии критериев и альтернатив. Следующий уровень иерархии составляет структура объектов-критериев, включающих цели, подцели и целевые функции. Под уровнем локальных критериев располагается структура объектов-альтернатив, отражающая соподчиненность иерархий принимаемых решений. В результате декомпозиции образуется архитектура процесса (рис. 1), отражающая относительную степень взаимосвязи объектов иерархии.

Задача ранжирования объектов по важности в пределах каждого уровня иерархической структуры состоит в том, чтобы на основании опроса принимающих решения лиц или экспертов посредством математической обработки экспертных оценок установить множество значений весовых коэффициентов:

к (к к а = , а2,

к

а

т

}, к = 1, 2,..., К,

удовлетворяющих ограничениям тк ,

2 а* = 1, а I > 0 ,

г=1

где тк - количество объектов на к -ом уровне;

Уровень цели

Уровень критериев

Уровень альтернатив

Глобальная цель -фокус иерархии

I

Критерий 1 Критерий 2 ... Критерии п

1 1

1

1 1 4

Альтернатива 1 Альтернатива 2 Альтернатива 1

Рис. 1. Иерархическая структура процесса

К - общее количество уровней иерархической структуры.

Все показатели НИДС, учитываемые при составлении вузом ежегодных отчётных документов (отчёт о научной деятельности, предоставляемый в Министерство образования и науки РФ, модуль сбора данных для вузов, предоставляемый в Национальное аккредитационное агентство в сфере образования) можно условно разделить на пять групп: организация; руководство; активность; результативность; финансирование.

Первый шаг методики оценки эффективности НИДС в соответствии с МАИ - построение трёхуровневой иерархической структуры (рис. 2):

1) уровень цели - оценка эффективности НИДС (I);

2) первый уровень критериев: организации НИДС (О); руководства НИДС профессорско-преподавательским составом (М); активности участия студентов в НИДС (А); результативности участия студентов в НИДС (Р); финансирования НИДС (Р);

3) второй уровень критериев - показатели по каждой группе критериев первого уровня: 8 показателей организационной структуры управления, 19 показателей организации мероприятий научного и инновационного характера, 11 показателей руководства НИДС, 26 показателей активности НИДС, 18 показателей результативности НИДС по публикациям, 20 показателей результативности НИДС по наградам, 9 показателей финансирования НИДС вуза.

Расшифровать обозначения всех показателей второго уровня в рамках данной статьи не представляется возможным. Так, к показателям организационной структуры управления относятся: 0\ - количество подразделений организационной структуры управления НИДС вуза; О2 -количество подразделений, осуществляющих информационное сопровождение НИДС вуза; О3

- количество научно-методических и организационных мероприятий, проведенных в вузе для развития НИДС; О4 - количество студенческих научных объединений: О41 - конструкторских бюро и научно-исследовательских лабораторий, О42 - научных обществ, О43 - научных кружков и проблемных групп; О5 - количество заявок, поданных вузом для участия в Федеральной целевой программе "Научные и научно-педагогические кадры инновационной России" на организацию и проведение всероссийских и международных молодежных олимпиад и конкурсов и на оснащение студенческих конструкторских бюро и бизнес-инкубаторов для развития технического творчества студентов и их вовлечения в инновационную деятельность; О6 - количество выигранных конкурсов по Федеральной целевой программе "Научные и научно-педагогические кадры инновационной России". Остальные группы также содержат многочисленные показатели, которые здесь не приводятся.

В зависимости от цели исследования на уровне альтернатив могут быть представлены различные временные периоды либо различные образовательные учреждения.

Комплексный показатель эффективности НИДС вуза может быть представлен в виде линейной свертки критериев:

п

з = Е а ,

I=1

где - значения частных показателей эффективности, а, - весовые коэффициенты. Для вычисления интегрального показателя необходимо определить весовые коэффициенты критериев первого и второго уровня: на первом уровне критериев распределение весовых коэффициентов характеризует степень важности каждой группы, на втором - значимость каждого показателя внут-

Уровень цели

1-й уровень критериев

2-й уровень критериев

Л

Организация

0

1

А

1 Я §

О О- Е

т

§ я

О. о,

2 н с

е и £

о,-о6

1.

2 ЭН

3 я

& в

я о

ь

а и

о 2

07-0,:

Оценка эффективности НИДС вуза I

X

Руководство

м

Активность А

Показатели руководства Показатели активности

м]-м5 А ] А 7

X

Результативность Р

Л

п I

и я

X О я

р. х =г

рая

Ь Я М

О £ I

со о

и с

Л-Л

1

Ц я

Й к

2 а

Й я

р о

ГО

У

Р<гР\

1

Финансирование Г

Рис. 2. Иерархия критериев оценки эффективности НИДС

ри группы. Если между критериями первого уровня допустимо распределить весовые коэффициенты по интуитивным соображениям, то ранжировать большое количество показателей второго уровня без привлечения программных средств практически невозможно.

Этап 2. Сравнительный анализ элементов процесса. Для определения важности составляющих модели на каждом уровне иерархии строятся обратно-симметричные матрицы парных

сравнений

Лк =

а

к к размера т Xт :

Лк =

ак

а

а\]

а

ак , ^

\т

а

К л

т 1

а

а

т j

к к тт

Элементы матриц ау определяются следующим образом: ак = 1, ак1 =——. Значения

11 Jl ''

а

„к „к / _,к

а^ = аг- / аj элементов матрицы соответствуют значимости объекта 1 по сравнению с объектом

j и основаны на субъективных суждениях экспертов, использующих шкалу предпочтений, числа которой имеют смысловую интерпретацию, указанную в табл. 1.

Для определения весовых коэффициентов по МАИ тремя независимыми экспертами, в качестве которых выступили проректоры по научной работе и инновационной деятельности вузов, были составлены матрицы суждений для частных показателей первого и второго уровня.

Матрицы парных сравнений для группы критериев оценки НИДС первого уровня иерархии, подготовленные тремя экспертами, представлены в табл. 2.

С использованием критерия Краскела-Уол-лиса [10] подтверждена гипотеза об однородности суждений экспертов, что дает шнование для усреднения их суждений: aj = л/aj ■ aj ■ aj . Усреднённые по трем экспертам значения элементов матрицы суждений I группы критериев оценки НИДС первого уровня приведены в табл. 3.

Аналогично были построены обратно-симметричные матрицы парных сравнений для групп показателей оценки НИДС второго уровня иерархии.

Этап 3. Оценка степени согласованности суждений экспертов. Для этого вычисляют величину, называемую индексом согласованности:

\к _ тк = х тах т

, где X

к

максимальное соб-

т

1

Таблица 1. Шкала относительной важности критериев

к

тах

Степень значимости Отношение объектов

1 Равная значимость

3 Умеренное превосходство

5 Сильное превосходство

7 Значительное превосходство

9 Абсолютное превосходство

2, 4, 6, 8 Промежуточные значения (для компромиссных ситуаций)

Обратные величины приведенных выше значений

Таблица 2. Оценка критериев первого уровня

Эксперт 1 Эксперт 2 Эксперт 3

О М Л Р ¥ О М Л Р ¥ О М Л Р ¥

О 1 3 4 1/2 2 1 4 6 1/2 3 1 5 7 1/3 3

М 1/3 1 2 1/4 1/2 1/4 1 3 1/5 1/2 1/5 1 3 1/7 1/3

Л 1/4 1/2 1 1/5 1/3 1/6 1/3 1 1/7 1/4 1/7 1/3 1 1/9 1/5

р 2 4 5 1 3 2 5 7 1 4 3 7 9 1 5

¥ 1/2 2 3 1/3 1 1/3 2 4 1/4 1 1/3 3 5 1/5 1

Таблица 3. Оценка критериев первого уровня тремя экспертами

Критерий О М Л Р ¥

О 1 3,915 5,518 0,437 2,621

М 0,255 1 2,621 0,193 0,437

Л 0,181 0,382 1 0,147 0,255

р 2,289 5,192 6,804 1 3,915

¥ 0,382 2,289 3,915 0,255 1

Таблица 4. Значения случайного индекса согласованности

к т 2 3 4 5 6 7 8 9 10 11 12 13 14 15

81 0 0,58 0,90 1,12 1,24 1,32 1,41 1,45 1,49 1,51 1,48 1,56 1,57 1,59

ственное значение матрицы парных сравнений. Чтобы оценить степень согласованности экспертных мнений, рассчитывают отношение согласо-

18

ванности 08 =—, где 81 - случайный индекс 81

согласованности для матрицы того же порядка (табл. 4). Если величина О8 < 0,1, то степень согласованности экспертных данных считается приемлемой.

Согласованность матриц суждений для групп показателей оценки НИДС и достоверность результатов подтверждают значения индексов согласованности, представленные в табл. 5. Отношение согласованности 08 не превышает значения 0,1.

Этап 4. Установление локальных приоритетов для объектов. Относительная значимость объектов выражается численно в виде векторов приоритетов, которые представляют собой так называемые жёсткие оценки в шкале отношений.

Т

г> ~к [ ~к ~к ~к ]

Вектором X = I х^ , х2 ,..., х к I иско-V т )

мых весовых коэффициентов, характеризующих значимость всех критериев и альтернатив, является нормализация главного собственного векто-

Т

ра Хк = [ хк, х2,..., хк к ] , удовлетворяющему т )

го уравнению АкХк = ХктахХк : к

~к , I = 1,2, ..., тк, X~к = 1

к

к

I хк

I=1

I=1

Значения элементов главного собственного вектора X матрицы суждений Iи нормализованного собственного вектора X, характеризующего значимость критериев оценки НИДС первого уровня, приведены в табл. 6.

Распределение значений весовых коэффициентов, характеризующих значимость показателей оценки НИДС второго уровня, представлено в табл. 7.

Проверка согласованности матриц и расчёт значений весовых коэффициентов производились с использованием встроенных функций системы компьютерной математики MathCAD: eigenvals() - для нахождения максимального собственного значения и eigenvecs() - для нахождения главного собственного вектора.

Этап 5. Синтез глобальных приоритетов. Для

Таблица 5. Характеристики матриц парных сравнений

Группа показателей Порядок матрицы Максимальное собственное значение X тах Индекс согласованности 18 Отношение согласованности 08

Первого уровня 5 5,139 0,035 0,031

Организационной 8 8,137 0,020 0,014

структуры управления

Организации мероприятий НИДС 19 19,72 0,040 0,025

Руководства НИДС 11 11,256 0,026 0,017

Активности НИДС 26 26,764 0,036 0,023

Результативности НИДС по публикациям 18 18,667 0,039 0,025

Результативности НИДС по 20 20,491 0,026 0,016

наградам

Финансирования НИДС 9 9,244 0,031 0,021

Таблица 6. Значения весовых коэффициентов критериев первого уровня

Критерий 0 М А Р

ХТ 0,488 0,145 0,079 0,819 0,251

0,274 0,081 0,044 0,460 0,141

Таблица 7. Значения весовых коэффициентов показателей второго уровня

Показатели организационной структуры управления

Критерий О1 О2 О3 О41 О42 О43 О5 О6

Вес 0,246 0,174 0,042 0,066 0,046 0,031 0,088 0,308

Показатели организации мероприятий НИДС

Критерий О7 О81 О82 О83 О84 О91 О92 О93 О94

Вес 0,126 0,127 0,077 0,027 0,012 0,127 0,077 0,027 0,012

Критерий ОШ1 О10 2 О103 О10 4 ОШз °П1 °П2 О113 °П4 О12

Вес 0,087 0,051 0,024 0,012 0,008 0,076 0,039 0,016 0,009 0,067

Показатели руководства НИДС

Критерий М11 М12 М13 М 21 М 22 М 3 М 4 М 5 М 6 М 7 М 8

Вес 0,31 0,11 0,031 0,118 0,064 0,165 0,022 0,037 0,077 0,022 0,043

Показатели активности НИДС

Критерий Аи А12 А13 А14 А21 А22 А23 А24 А31 А32

Вес 0,062 0,041 0,015 0,008 0,062 0,041 0,015 0,008 0,041 0,028

Критерий А33 А34 А41 А42 А43 А44 А51 А52 А53 А54

Вес 0,011 0,007 0,025 0,017 0,01 0,007 0,109 0,077 0,022 0,012

Критерий 4,1 А62 А63 А64 А71 А72

Вес 0,098 0,028 0,055 0,033 0,06 0,11

Показатели результативности НИДС по публикациям

Критерий Р11 Р\2 Р3 Р14 Р15 Р16 Р17 Р18 Р19

Вес 0,077 0,132 0,068 0,116 0,032 0,061 0,022 0,041 0,015 0,028

Критерий Я Р112 ^13 ^14 Р21 Р22 Р31 Р32

Вес 0,01 0,017 0,008 0,012 0,067 0,145 0,046 0,102

Показатели результативности НИДС по наградам

Критерий Р41 Р42 Р43 Р51 Р52 Р53 Р61 Р62 Р63 Р7

Вес 0,085 0,029 0,017 0,057 0,019 0,012 0,038 0,013 0,009 0,043

Критерий Р81 Р82 Р83 Р84 Р91 Р92 Р93 Р94 Р10 Рп

Вес 0,151 0,12 0,037 0,024 0,107 0,065 0,023 0,013 0,104 0,033

Показатели финансирования НИДС

Критерий РП Р\2 р13 ^14 р15 р16 р17 р18 р2

Вес 0,019 0,047 0,08 0,106 0,031 0,14 0,081 0,188 0,308

дарственной технологической академии за шестилетний период государственной аккредитации (2007-2012 гг.). Результаты расчётов значений частных и комплексного показателей представлены на рис. 3.

ЗАКЛЮЧЕНИЕ

Оперативное управление и планирование научной работы студентов вуза требует объективной оценки и выявления проблемных аспектов ее текущего состояния. Для решения указанной задачи разработана методика расчета обобщенного численного показателя данного рода деятельности, учитывающая совокупность экспертных оценок в сочетании с множеством количественных данных о результатах научно-технического творчества студентов. Для определения весовых

этого по каждому п -му объекту вычисляется ве-тк

Лп , где хп

т-^-к ~к+1 ~ к + 1

личина 1п = ^X, хп , где хп - компонен-

I=1

ты вектора локальных приоритетов

Т

—к+1 ( ~ к+1 ~ к+1 ~ к+1 ^ X = I Х1 , х2 х I относительно

V тк+1 )

I -го критерия верхнего уровня, х, - компоненты вектора локальных приоритетов

Т

—к ( — к — к — к ]

X = I Х1 , Х2,..., X I критериев верхнего V тк )

уровня.

Значение интегрального показателя было определено на основе статистических отчётных данных по состоянию НИДС в Пензенской госу-

Рис. 3. Динамика показателей НИДС

коэффициентов критериев оценки НИДС использован метод анализа иерархий, исходными данными для которого служат составленные экспертами матрицы парных сравнений. Методика, ориентированная на интеграцию в информационную систему вуза, объективно отражает достигнутый уровень НИДС и позволяет выявить тенденции ее развития. Для иллюстрации приведены в ретроспективе полученные с применением методики численные значения комплексного показателя НИДС Пензенской государственной технологической академии.

Исследование выполнено при финансовой поддержке Российского гуманитарного научного фонда в рамках проекта регионального конкурса № 12-16 58004 "Проектирование региональной модели управления научно-исследовательской и инновационной деятельностью студентов".

СПИСОК ЛИТЕРАТУРЫ

1. Саати Т. Принятие решений. Метод анализа иерархий [пер. с англ. РГ. Вачнадзе]. М.: Радио и связь, 1993. 278 с.

2. Алгазинов Э.К., Сирота А.А. Анализ и компьютерное моделирование информационных процессов и систем [под общ. ред. д.т.н. А.А. Сироты]. М.: Диалог-

МИФИ, 2009. 416 с.

3. Саати Т., Кернс К. Аналитическое планирование. Организация систем [пер. с англ. Р. Г. Вачнадзе; под ред. И.А. Ушакова]. М.: Радио и связь, 1991. 224 с.

4. Андрейчиков А.В., Андрейчикова О.Н. Анализ, синтез, планирование решений в экономике. М.: Финансы и статистика, 2001. 366 с.

5. Воловиков Б.П. Исследование конкурентоспособности продукта с применением метода анализа иерархий // Известия Уральского государственного экономического университета. Екатеринбург: УрГЭУ, 2011. Т. 35. № 3. С. 19-24.

6. Тураева Т.В. Применение метода анализа иерархий при проведении тактико-экономического обоснования разработки радиоэлектронных устройств // T-Comm: Телекоммуникации и транспорт. Спецвыпуск "Технологии информационного общества". М.: ООО "ИД Медиа паблишер", 2009. № S3. C. 46-48.

7. Амбросов Н.В., Зенцова Л.В. Рейтинговая оценка педагогических инноваций на основе метода анализа иерархий // Известия Иркутской государственной экономической академии (Байкальский государственный университет экономики и права): Электронный научный журнал. Иркутск, 2011. № 6. С. 6572. URL: http://eizvestia.isea.ru/reader/article.aspx?id =14063 (дата обращения 14.11.2013).

8. Борачук В.В., Рудычев А.А. Разработка тактики реформирования системы управления предприятием с помощью метода анализа иерархий // Управление экономическими системами: электронный научный журнал. Кисловодск, 2011. № 27. С. 90-98. URL:

http://uecs.ru/uecs-27-272010/item/368-2011-04-04-07-59-38 (дата обращения 14.11.2013) 9. Красноплахтич М.В. Применение метода анализа иерархий при определении приоритетных направлений реализации программ социально-экономическо-

го развития региона // Новые технологии. Майкоп, МГТУ, 2011. № 1. С. 85-89. 10. Закс Л. Статистическое оценивание [пер. с нем. В.Н. Варыгина, под ред. Ю.П. Адлера, В.Г. Горского]. М.: Статистика, 1976. 598 с.

EVALUATION THE EFFECTIVENESS OF STUDENTS' RESEARCH AND INNOVATIVE ACTIVITY AT A HIGHER SCHOOL BASED ON ANALYTIC HIERARCHY PROCESS

© 2014 T.V. Andreyeva, V.A. Chulkov

Penza State Technological University

The authors have developed the technique of evaluating the effectiveness of students' research and innovative activities at a higher school based on mathematical hierarchy analysis. The technique provides determining the numerical integral index value characterizing the state and allowing to define the trends of developing the work of this kind. Using the technique developed the authors have calculated and presented the retrospective quantitative index values on the example of Penza State Technological Academy. Key words: integral index, students' research and innovative activity, weighting coefficients, analytic hierarchy process.

Tat'yana Andreyeva, Postgraduate at the of Computing Machines and Systems Department. E-mail: atv@pgta.ru Valery Chulkov, Doctor of Engineering, Associate Professor, Professor at the of Computing Machines and Systems Department. E-mail: chu@pgta.ru