CC BY
15
Имитационное моделирование показателей научной деятельности вузов
О.А. Зятева Петрозаводский государственный университет
Аннотация: На основе разработанных оригинальных алгоритмов приведены результаты имитационного моделирования основных наукометрических показателей вуза и определения его места в рейтинге научной деятельности. Анализируется влияние входных управляющих параметров системы на выходные интегральные показатели функционирования вуза, что позволяет предложить проекты управленческих решений для достижения плановых значений показателей научной деятельности.
Ключевые слова: имитационное моделирование, показатели эффективности, вузы, научная деятельность, публикационная активность, Web of Science, Scopus, РИНЦ.
В настоящее время информация стала одним из важных управленческих ресурсов. Публикуемые в открытом доступе мониторинги и рейтинги позволяют проводить оценку в различных разрезах всех видов деятельности организаций, особенно относящихся к бюджетной сфере. Высокая оценка дает возможность получить дополнительные меры поддержки от государства, что является необходимым для эффективного функционирования и развития организаций. Поэтому актуальным для организаций является не только выполнение установленных учредителем показателей, но и попадание в ТОП авторитетных рейтингов как общих, так и по конкретному виду деятельности.
Важнейшей составляющей работы вуза в целом, отдельных его подразделений, сотрудников является научная деятельность. На ее основе происходит оценка вуза внешней средой (учредитель, рейтинговые агентства, население и т.д.), а также рейтинг делает его более привлекательным в глазах абитуриентов. Задача определения как текущего, так и перспективного места вуза в рейтинге и поиска проекта управленческих решений по увеличению численных значений показателей, которые влияют на него, остается актуальной и на сегодняшний день.
Научное сообщество уделяет большое внимание проблемам, с которыми сталкиваются современные вузы [1], и вопросам управления различными показателями их деятельности. Методика управления показателями приёмной кампании университета представлена в работе [2], повышение показателей эффективности вуза посредством регулирования пороговых значений ЕГЭ в [3]. Математические модели и методы моделирования и прогнозирования показателей эффективности образовательной деятельности вуза представлены в [4, 5]. Вопросы моделирования показателей научной деятельности вуза, используемые в процессе создания информационно-аналитической системы рассмотрены в [6], подходы к оценке эффективности и способы стимулирования публикационной активности в [7]. Опыт разработки и реализация программы стратегического развития вуза, как инструмента организации деятельности, направленной на достижение основных показателей эффективности деятельности вуза Минобрнауки, а также улучшению позиций в ведущих российских и международных рейтингах обобщен в [8]. Обзор исследований по сформулированной проблеме показал, что вопросы управления эффективностью деятельности вуза не теряют своей актуальности. Поэтому целью данного исследования является построение прогнозов показателей научной деятельности вузов и рейтингов на их основе методами имитационного моделирования.
Объектом исследования являются вузы России, предметом -показатели деятельности, в данном случае - научные.
При моделировании и прогнозировании значений показателей необходимо учесть изменения внешней среды - это вузы, входящие в интересующий диапазон мест. Одним из сложных вопросов теории прогнозирования является предсказание поведения несуществующего объекта в несуществующей внешней среде. Возникает задача построения
модели изменения внешней среды и частной модели поведения вуза, погруженного во внешнюю среду. Модель внешней среды строится на основе ретроспективных данных.
При моделировании функционирования объекта - научной деятельности вуза, элементами вектора управляющих параметров ц были выбраны количество баллов за публикацию (пь), стоимость 1 балла (сь), нагрузка (T) на 1 ставку ППС группы l (l=1..6), материально-техническая база вуза (L), внутренние гранты организации (VGi), выделенные группе l, премирование за достигнутые результаты (Ei) группы l:
р = (пь, сь, Ti, L, VGi, E i) e a^ (1)
где a^ - область допустимых значений ц.
Возьмем за основу известный в России рейтинг вузов, одной из составляющих которого является частный рейтинг научной деятельности. В качестве примера рассмотрим Петрозаводский государственный университет (далее - ПетрГУ), который последние несколько лет входил во вторую сотню, и хотел бы улучшить свои позиции и войти в Т0П-50.
Итоговое место вуза в частном рейтинге зависит от количества баллов, которое он набирает. Баллы, в свою очередь, зависят от значений 9 показателей, которые входят в формулу расчета баллов с разными весовыми коэффициентами. Наибольший вклад (25%) вносят наукометрические показатели - среднее число публикаций на 1 научно-педагогического работника в Web of Science (далее - WoS) и Scopus (далее - Sc) (15%), а также в РИНЦ (10%).
Основываясь на методике расчета наукометрических показателей частного рейтинга, из открытых официальных источников была получена информация о количестве публикаций вузов, входящих в ТОП-50 рейтинга, в базах данных WoS, Scopus, РИНЦ и числу научно-педагогических работников (далее - НПР) за период с 2013 по 2020 гг. включительно. А
также официальные результаты рейтинга по интересующим вузам за период 2017-2021 гг. На основе данных рейтинга по прошлым периодам, были рассчитаны темпы роста среднего числа публикаций вузов Т0П-50. Для анализа и последующего моделирования были выбраны произвольным образом 16 вузов, которые входили в разные десятки, а также те, которые располагаются на местах с 40-50 и ПетрГУ.
На основе исходных данных по среднему числу публикаций и темпам роста была построена стохастическая модель прогнозирования среднего числа публикаций вуза в W/S до 2030 г.:
(wiv/sO)) = (^w/s(ß)). ■ (kw/s)lj ■ (gw/s)lj> (kw/s)lj e [min (TAW/S)j, max (TAW/S)j],
{ww/sQ0) =^г~5—¿Г' i = 1-N'j = 1-v 5'Zk=iSj
(2)
где (w^/s C И-) ) . - среднее число публикаций в следующий период
времени для j-го вуза, {kW / s) - ретроспективный коэффициент роста,
который является случайной величиной, распределенной по равномерному закону, и принимает значение, исходя из промежутка между минимальным и максимальным значением темпа роста, который был у данного вуза за
рассчитанные периоды, (gW/s) - перспективный коэффициент роста вузов
внешней среды, задается при моделировании, V - число вузов, N - число итераций, которое будет использоваться в имитационном моделировании, NW/S - число публикаций в W/S, S - число НПР.
В результате анализа исходных данных было установлено, что все выбранные вузы значительно отличаются по среднему числу публикаций, поэтому для сравнительного анализа и построения будущих сценариев развития показателей научной деятельности ПетрГУ (далее - сценарии) были
выбраны те, что находятся ближе к значениям ПетрГУ ^_17). Таких вузов оказалось 7.
Было проведено моделирование показателя среднего числа публикаций ). На графике представлены результаты изменения среднего числа публикаций в вузах при сохранении их динамики на перспективе
(дш/Б=1), а также предложенные сценарии по увеличению публикационной активности ПетрГУ на 35%, 40% и 45%, соответственно, 8Ш\/5=35%, =40% и 8Шш/Б=45% (рисунок 1).
Рис. 1. - Число статей на 1 НПР среди вузов, наиболее близких по значению.
Применительно к выработке управленческих решений видно, что при развитии ситуации с сохранением динамики ПетрГУ сможет достичь показатели вуза-соперника только к 2025 году, а к концу рассматриваемого периода опередить только 3 вуза. Это не соответствует поставленным целям. Сценарии «8Ш\/5=35%», «8Ш\/5=40%» и «8Ш\/5=45%» дают более быстрый результат (рисунок 2). Так, при реализации сценария «8Ш\/Б=35%» к 2024 году уже 3 вуза будут иметь показатели меньше ПетрГУ, а к 2027 году
- все семь. Сценарии «8Ш\/5=40%» и «8Ш\/5=45%» дают более быстрый результат, максимальный - к 2024 году, но их на практике реализовать сложнее.
0 -
2021 2022 2023 2024 2025 2026 2027 2028 2029 2030 -♦—Сцен_35% —■—Сцен_40% Сцен_45%
Рис. 2. - Распределение числа вузов, показатели W/S которых будут ниже
показателей ПетрГУ.
В результате анализа предложенных сценариев получается, что оптимальное значение ежегодного темпа прироста публикационной активности в W/S - 35% (рисунок 3).
Аналогичное стохастическое моделирование было проведено и по показателям среднего числа публикаций в РИНЦ:
(^ринц(м)) . = (МринцОО). ■ (к ринц) ■ ' (й'ринц) ■> (^ринц) ■ 6 [min (TApmu)j,max(TApmu)j\,
' j
ч t-k
, Ч Ш=1(^ринц)-(^РИНЦ 00) = —-"-= 1- ■ = 1..У
(3)
В среднем, увеличение среднего числа публикаций ^РИНц в ПетрГУ составляет 14%. Поэтому были предложены сценарии увеличения на 20%, 25%, 30%, 35% и 40%, соответственно, 8^РИНц=20%, 8^РИНц=25%, 8^РИНц=30%, 8^РИНц=35% и 8^РИНц=40%. Из полученных данных видно, что увеличение хотя бы на 20% приведет к опережению 3 вузов в первый же год. Оптимальными являются сценарии «8^РИНц=30%» и «8^РИНц=35%»,
они к 2024 году приведут к желаемому результату, что иллюстрирует график (рисунок 4).
Рис. 3. - Число статей W/S на 1 НПР в общем числе вузов.
О Н-1-1-1-1-1-1-1-1-1-
2021 2022 2023 2024 2025 2026 2027 2028 2029 2030
—Сцен_2 0% -Сцен_2 5% ■ Сшн_30% —Спен_3 5%—Сцен_40%
Рис. 4. - Распределение числа вузов, показатели РИНЦ которых будут ниже
показателей ПетрГУ.
На рисунке 5 представлены результаты по изменению среднего числа публикаций РИНЦ (^ринц) в вузах при сохранении динамики на перспективе, а также предложенные сценарии по увеличению публикационной активности ПетрГУ «5^ринц=30%» и «5^ринц=35%». Основываясь на них, можно сделать предварительный вывод о том, что оптимальными сценариями развития по увеличению среднего числа публикаций и ^ринц для ПетрГУ являются комбинации сценариев
=35%» и «5^ринц=25%», «5^ринц=30%» соответственно.
Рис. 5. - Число статей РИНЦ на 1 НПР в общем числе вузов. Таким образом, были получены сценарии перспективного развития вузов внешней среды. Для моделирования показателей объекта управления
(ПетрГУ), с целью повышения точности прогнозирования, используем разработанную ранее модель [9] однородного Марковского процесса с дискретным временем зависимости значения показателя от внутренних возможностей организации. Число сотрудников, у которых будут достигнуты соответствующие показатели в следующий момент времени 5с+1(д) зависит от текущего значения ^(м), вероятности перехода из одной группы в другую, представленных в виде матрицы переходных вероятностей Р(ц), а также вновь принятых в данную организацию и™ и покинувших ее по различным причинам. Значение показателя в следующий момент времени рассчитывается как произведение численности ППС группы на среднее значение показателя в ней ш (ц):
Марковская модель движения сотрудников по группам создана для прогнозирования более точного числа публикаций, по сравнению с экстраполяционным методом, который применен для моделирования внешней среды.
Результаты моделирования сравнивались на контрольной части ретроспективных данных. Средняя относительная ошибка в случае прогнозирования с использованием модели оказалась равной 5,3%, а при экстраполяционном методе - 9,7%. Таким образом, модель (4) дает более точный результат. Кроме этого, она включает в себя зависимость от вектора управляющих параметров ц.
Попытка решить вопрос прогнозирования числа публикаций с использованием нейронных сетей дал неутешительный результат. Лучший из них показал перцептрон. Из-за малого числа данных, ошибка варьировалась в пределах 40-70%, в зависимости от инициализации весов.
5С+1(Д) = РО) X + и[п - Щиг, е дпхп,50) е дпх1 . = шОг) ■ ш(11) е Д1хп
1X71
(4)
М Инженерный вестник Дона, №5 (2022) ivdon.ru/ru/magazine/arcliive/n5y2022/7660
Далее переходим к прогнозированию мест вузов в частном рейтинге. Определим ретроспективный [ . . . 0 — 1 ] и перспективный [ £ 0 ,.. периоды расчета. Переменные £0 — 1 обозначают начало и конец ретроспективного периода, £ 0, ^ - начало и конец перспективного периода. Проведенный анализ зависимости места и баллов, полученных в рейтинге на ретроспективных данных за период с 2017 по 2020 гг., показали, что корреляция между этими показателями высокая и составляет 0,97% (рисунок 6).
Рис. 6. - Зависимость баллов и мест в рейтинге за 2017-2020.
Зависимость между баллами ( В (д) ) и местом в рейтинге ( Ян и Р (д) ) описывается выражением:
Я н и р (д) = (^(г)"а'Ь £Я (5)
где В ( д) - функция, зависящая от среднего числа публикаций 1/1^/5 ( Д) , / и н ц (д) , и иных показателей ( £(д) ), которые участвуют в построении рейтинга:
(6)
Темпы роста баллов SВ (ß) за исследуемый период и их средние значения у вузов, находящихся в ТОП-20, очень разбросаны, а вот у «хвоста» оно меняется в пределах от 4% до 6%.
При построении алгоритма вычисления интегрального рейтинга по научной деятельности исходными данными являются Rн и pt,t Е [ ts, ...,t0 — 1, V - количество вузов, которые рассматриваются при моделировании, - период, за который имеются реальные данные, -
длина периода ретроспективы, А - матрицы исходных данных по числу публикаций W/S и РИНЦ, взятых из официальных источников (международные базы данных, мониторинг эффективности деятельности вузов). На рисунке 7 представлена блок-схема Алгоритма 1 построения итогового рейтинга по научной деятельности.
Результатом работы алгоритма являются рассчитанные значения рейтинга .
Учитывая, что основной задачей является определение траекторий развития вуза с целью попадания в определенный диапазон мест к заданному году, был предложен метод поиска оптимального сценария развития. Пусть vm(ß) - вектор модельных значений показателей функционирования:
vm (ß)= (ww/s (/л,д) ,№РШц (ß,g) ,В (ß,g ),S (ß) ,R (ß,g) ,C (ß)) (7)
М Инженерный вестник Дона, №5 (2022) ivdon.ru/ru/magazine/arcliive/n5y2022/7660
Рис. 7. - Блок-схема Алгоритма 1 построения итогового рейтинга по научной деятельности вузов.
Целевая функция задачи оптимизации Р ( V(д) ) задается в виде суммы взвешенных квадратов разностей модельных значений ^ (д) и соответствующих им желаемых администрацией вуза значений показателей:
Р 00 ) = I к=! и [ 00 ) к — к] ,0<ш|сеЯ<1 , I лс^лс = 1 (8)
и
На рисунке 8 представлен Алгоритм 2 реализации предложенного метода, условием выбора оптимального решения является С(ц) ^ min .
Рис. 8. - Блок-схема Алгоритма 2 численного метода поиска оптимального сценария развития.
Предложенный численный метод позволяет рассчитать различные сценарии развития на перспективный период t 6 [t0, Исходными
данными являются процент повышения публикационной активности по W/S (SWW/S(ß)) и РИНЦ (5^рИНц(д)), а также планируемые затраты (C(ß)). Выходные значения - среднее число НПР (S(ß)), число публикаций в W/S (WW/S(ß)) и РИНЦ ^РИНц(д)) к заданному периоду нарастающим итогом, место в рейтинге (R(ß)), а также необходимые затраты (С(д)). При этом средний темп роста итоговых баллов сохранится в пределах от 4% до 6%.
Модели (1) - (8), Алгоритм 1 и Алгоритм 2 являются компонентами системы имитационного моделирования, с помощью которой был проведен
численный эксперимент. Необходимо определить оптимальный сценарий, чтобы к 2025 году войти 40-50 лучших, т.е. víí = ( 0 , 0 , 0 ,4 1 — 5 0 , 0) с весовыми коэффициентами .
Средние значения темпов роста показателей на ретроспективном периоде по среднему числу статей 1^/5 и 1Р и н ц в ПетрГУ составили 23% и 14% соответственно. С помощью предложенной модели были рассчитаны все возможные варианты изменения входных параметров с шагом 1 п.п. от исходных средних значений темпов роста. Предполагается, что вузы внешней среды увеличивают свои показатели при сохранении их динамики на перспективе (д^/я = 9Р ин ц = 1 ). В таблице 1 представлены результаты реализации предложенной модели для наиболее показательных сценариев. В качестве входящих параметров были выбраны сценарии =25%,
5 1^=30% и 5 1^=35%, а 5 1Р и н ц = 20%, 5 1Ри н ц = 25%, 5 1Ри н ц = 30%, ^ 1Р и н ц = 35% и 5 1Р и н ц = 40%.
Желаемый результат к 2025 году можно достигнуть при реализации сценария «5 1^/5=25%» и « 5 1Р ин ц = 25%», он же и наименее затратный. Другие сценарии также дают желаемый результат, но они значительно дороже и более трудозатратны в плане нагрузки на НПР. Стоит отметить, что при изменении сценария 5 на 1 п.п. в большую сторону, итоговый результат мало меняется с позиции мест, а затраты возрастают на 6,8 млн. руб. (2,8%). При изменении сценария 5 1Р и н ц на 1 п.п. в большую сторону, итоговый результат так же мало меняется с позиции мест, а затраты возрастают на 2,8 млн. руб. (1,2%). При одновременном увеличении сценариев на 1 п.п., результат к 2025 году мало меняется с позиции мест, как и в предыдущих случаях, затраты возрастут на 9,7 млн. руб. (4%). Учитывая, что цель к 2025 году может быть достигнута при реализации любого из предложенных сценариев, рекомендуется к выбору сценарий 25/25.
Таблица 1.
Сценарий W/S, % Сценарий РИНЦ, % НПР (среднее) Число статей W/S Число статей РИНЦ Год Место Затраты
SWw/s(n) Щшц(Р-) ОД Nw/s(ß) ЯринцОО t вд ОД
23 14 635,40 4638 14646 2025 >50 206 282 610,00
25 20 635,40 4849 19357 2025 >50 227 790 658,93
25 25 635,40 4849 23740 2025 41-50 240 939 880,42
26 25 635,40 5045 23740 2025 41-50 247 786 722,41
25 26 635,40 4849 24705 2025 41-50 243 834 641,65
26 26 635,40 5045 24705 2025 41-50 250 681 483,63
25 30 635,40 4849 28883 2025 41-50 256 369 976,43
25 35 635,40 4849 34882 2025 31-40 274 365 591,34
=3. 25 40 635,40 4849 41838 2025 31-40 295 234 123,57
30 20 635,40 5900 19357 2025 >50 264 560 887,32
30 25 635,40 5900 23740 2025 41-50 277 710 108,82
30 30 635,40 5900 28883 2025 41-50 293 140 204,82
30 35 635,40 5900 34882 2025 31-40 311 135 819,73
30 40 635,40 5900 41838 2025 31-40 332 004 351,97
35 20 635,40 7125 19357 2025 41-50 307 444 798,72
35 25 635,40 7125 23740 2025 41-50 320 594 020,22
35 30 635,40 7125 28883 2025 31-40 336 024 116,22
35 35 635,40 7125 34882 2025 31-40 354 019 731,13
35 40 635,40 7125 41838 2025 31-40 374 888 263,37
Vd Vd1 Vd2 0 0 0 0 41-50 0
w Vm(ß)1 vm(ß)2 0 0 0 0 0,5 0,5
Разработанная система имитационного моделирования, компонентами которой также являются алгоритмы идентификации параметров модели построения рейтингов [10, 11], позволяет получать различные варианты субоптимальных сценариев динамического развития показателей научной деятельности вузов и мест в рейтинге. Это может быть использовано администрацией вузов для принятия научно-обоснованных управленческих решений.
Стоит отметить, что данный подход к моделированию и прогнозированию показателей деятельности вуза и мест в рейтинге является универсальным. Аналогичные рассуждения могут быть применены как к
другим показателям и другим частным рейтингам вуза, так и для других
бюджетных организаций различных видов экономической деятельности.
Литература
1. Котенко Ю.С., Названова И.А., Подопригора М.Г. Проблемы современного вуза и маркетинговые методы их выявления и оценки // Инженерный вестник Дона, 2013, №2. URL: ivdon.ru/ru/magazine/archive/n2y2013/1631.
2. Гаранин М.А. Управление показателями университета на рынке образовательных услуг // Креативная экономика. 2019. Т. 13. № 9. С. 1699-1712.
3. Пыхтин А.И., Овчинкин О.В., Зарубина Н.К. Повышение показателей эффективности вуза посредством регулирования пороговых значений ЕГЭ // Известия Юго-Западного государственного университета. Серия: Экономика. Социология. Менеджмент. 2018. Т. 8. № 2 (27). С. 113-119.
4. Яндыбаева Н.В., Кушников Н.В. Математические модели, алгоритмы и комплексы программ для мониторинга эффективности образовательной деятельности вуза // Проблемы управления. 2015. № 1. С. 53-62.
5. Яндыбаева Н.В. Моделирование и прогнозирование показателей эффективности образовательной деятельности высшего учебного заведения // Вестник Мордовского университета. 2018. Т. 28. № 1. С. 120136.
6. Малецкий Р.В., Пикулин В.В. Моделирование показателей научной деятельности при создании информационно-аналитической системы вуза // Программные продукты и системы. 2012. №1. С. 104-107.
7. Николенко В.Н., Вялков А.И., Мартынчик С.А., Глухова Е.А. Подходы к оценке эффективности и способы стимулирования публикационной
активности в крупном медицинском вузе // Высшее образование в России. 2014. № 10. С. 18-25.
8. Овчинкин О.В., Пыхтин А.И., Остроцкая С.В., Тимошенко А.А. Система внутреннего мониторинга выполнения показателей эффективности деятельности вуза // Современные наукоемкие технологии. 2019. № 4. С. 50-54.
9. Zyateva O.A., Pitukhin E.A., Peshkova I.V. Modeling Publication Activity of the Faculty and Managing Scientific Indicators of the University // SPBPU IDE '19: Proceedings of the 2019 International SPBPU Scientific Conference on Innovations in Digital Economy. 2019. P. 1-5.
10.Питухин Е.А., Зятева О.А., Питухин П.В. Алгоритм поиска искажений в данных при оценке параметров множественной линейной регрессии // Инженерный вестник Дона, 2019, №4. URL: ivdon.ru/ru/magazine/archive/n4y2019/5873.
11.Zyateva O.A, Pitukhin E.A., Peshkova I.V. Upwards excursion algorithm providing the weight rankings coefficients of universities // Proceedings of the First International Workshop on Stochastic Modeling and Applied Research of Technology (SMARTY 2018), Petrozavodsk, 2018. №2278. P. 62-70.
References
1. Kotenko Yu.S., Nazvanova I.A., Podoprigora M.G. Inzenernyj vestnik Dona, 2013, №2. URL: ivdon.ru/ru/magazine/archive/n2y2013/1631.
2. Garanin M.A. Kreativnaya ekonomika. 2019. V. 13. № 9. pp. 1699-1712.
3. Pyhtin A.I., Ovchinkin O.V., Zarubina N.K. Izvestiya YUgo-Zapadnogo gosudarstvennogo universiteta. Seriya: Ekonomika. Sociologiya. Menedzhment. 2018. V. 8. № 2(27). pp. 113-119.
4. Yandybaeva N.V., Kushnikov N.V. Problemy upravleniya. 2015. №1. pp. 5362.
М Инженерный вестник Дона, №5 (2022) ivdon.ru/ru/magazine/arcliive/n5y2022/7660
5. Yandybaeva N.V. Vestnik Mordovskogo universiteta. 2018. V. 28. № 1. pp. 120-136.
6. Maleckij R.V., Pikulin V.V. Programmnye produkty i sistemy. 2012. №1. pp. 104-107.
7. Nikolenko V.N., Vyalkov A.I., Martynchik S.A., Gluhova E.A. Vysshee obrazovanie v Rossii. 2014. №10. pp.18-25.
8. Ovchinkin O.V., Pyhtin A.I., Ostrockaya S.V., Timoshenko A.A. Sovremennye naukoemkie tekhnologii. 2019. №4. pp.50-54.
9. Zyateva O.A., Pitukhin E.A., Peshkova I.V. SPBPU IDE '19: Proceedings of the 2019 International SPBPU Scientific Conference on Innovations in Digital Economy, 2019. pp. 1-5.
10. Pitukhin E.A., Zyateva O.A., Pitukhin P.V. Inzenemyj vestnik Dona, 2019, №4. URL: ivdon.ru/ru/magazine/archive/n4y2019/5873.
11. Zyateva O.A, Pitukhin E.A, Peshkova I.V. First International Workshop on Stochastic Modeling and Applied Research of Technology (SMARTY 2018). Petrozavodsk, 2018. pp. 62-70.
