CC BY
15
Высшее образование в России Vysshee obrazovanie v Rossii = Higher Education in Russia
ISSN 0869-3617 (Print), ISSN 2072-0459 (Online) http://vovr.elpub.ru
Статистический анализ влияния грантовой деятельности на устойчивость российских вузов
Научная статья
DOI: 10.31992/0869-3617-2023-32-2-25-42
Ендовицкий Дмитрий Александрович - д-р экон. наук, проф., ректор; вице-президент Российского союза ректоров; председатель Совета ректоров вузов Воронежской области; председатель Ассоциации вузов Черноземья, ORCID: 0000-0003-2727-6552, ResearcherlD: ABB-6534-2020, rector@vsu.ru
Коротких Вячеслав Владимирович - канд. экон. наук, доцент, доцент кафедры информационных технологий и математических методов в экономике, ORCID: 0000-0001-9029-7466, ResearcherlD: ABB-5766-2020, korotkikh@econ.vsu.ru
Бубнова Екатерина Юрьевна - аспирант кафедры экономического анализа и аудита, ORCID:
0000-0002-2171-3769, bubnova_ey@econ.vsu.ru
Воронежский государственный университет, Воронеж, Россия
Адрес: 394018, г. Воронеж, Университетская пл., д. 1
Аннотация. В исследовании представлены результаты количественного анализа вклада грантовой деятельности в обеспечение устойчивого развития образовательных организаций высшего образования РФ. Рассматривается устойчивость по следующим аспектам деятельности: образовательный, научно-исследовательский, международным, финансово-экономический и социальный. Эмпирическую базу исследования составили данные мониторинга эффективности образовательных организаций высшего образования в 2014-2022 гг. Предложенная и использованная в работе спецификация квантильной статистической модели позволила идентифицировать в динамике целевых показателей эффекты инерционного развития и эффекты, связанные с грантовой деятельностью. Параметрическая идентификация модели производилась отдельно в каждой из десяти кван-тильных групп, что позволило протестировать центральную гипотезу исследования о квантильной неоднородности чувствительности целевых показателей вузов к интенсивности и эффективности грантового финансирования. Получены свидетельства, что существенный вклад в устойчивость целевых показателей вузов, представляющих группы опережающего развития, вносит инерционный характер их развития, однако по чувствительности к эффективности и интенсивности грантовой деятельности они уступают вузам из групп догоняющего развития практически по всем аспектам деятельности. Выявленные паттерны показателей чувствительности к грантовому финансированию указывают на высокий потенциал конвергенции («эффект догоняющего развития») в системе высшего образования РФ, учёт которого будет способствовать поиску точек роста, целенаправленное грантовое воздействие на которые будет иметь более высокую эффективность.
Контент доступен под лицензией Creative Commons Attribution 4.0 License. This work is licensed under a Creative Commons Attribution 4.0 License. © Ендовицкий Д.А., Коротких В.В., Бубнова Е.Ю., 2023.
И]
Ключевые слова: интенсивность грантовой деятельности, региональная неоднородность, система высшего образования, культура научного цитирования, устойчивое развитие Для цитирования: Ендовицкий Д.А, Коротких В.В, БубноваЕ.Ю. Статистический анализ влияния грантовой деятельности на устойчивость вуза // Высшее образование в России. 2023. Т. 32. № 2. С. 25-42. DOI: 10.31992/0869-3617-2023-32-2-25-42
Grant Activities and Sustainability of Higher Education Institutions: Evidence from Russia
Original article
DOI: 10.31992/0869-3617-2023-32-2-25-42
Dmitry А. Endovitsky - Dr. Sci. (Economics), Full Prof., Rector; Vice-President and a member of the executive board of the Russian Rectors' Union; Chairman of the Regional Council of University Rectors, Chairman of Association of Higher Education Institutions in Chernozem Region, ORCID: 0000-0003-2727-6552, ResearcherlD: ABB-6534-2020, rector@vsu.ru
Viacheslav V. Korotkikh - Cand. Sci. (Economics), Assoc. Prof., ORCID: 0000-0001-9029-7466, ResearcherlD: ABB-5766-2020, korotkikh@econ.vsu.ru
Ekaterina Y. Bubnova - graduate student, ORCID: 0000-0002-2171-3769, bubnova_ey@econ.vsu.ru Voronezh State University, Voronezh, Russian Federation Address: 1, University sq., Voronezh, 394018, Russian Federation
Abstract. This paper presents the results of a quantitative analysis of the contribution of grant activities to ensuring the sustainable development of higher education institutions in the Russian Federation. The authors consider sustainability in five aspects of activity: educational, research, international, financial and social. Results of higher educational institutions performance monitoring (2014-2022) formed the empirical basis of the study. In this research, we used the quantile regression model to identify the effects of inertial development and the effects associated with grant activities in the dynamics of universities performance indicators. We estimated the model parameters separately in each of the decile groups. Thus, we tested the central hypothesis of the study about the quantile heterogeneity of the sensitivity of university target indicators to the intensity and effectiveness of grant funding. This paper provides evidence of significant contributions the inertial nature of the development of universities, representing advanced development groups, into the sustainability of target performance indicators. However, in terms of sensitivity to the effectiveness and intensity of grant activities, they are inferior to universities from catch-up development groups in almost all aspects of their activities. The identified patterns of sensitivity to grant funding indicate a high potential for convergence ("catch-up development effect") in the higher education system of the Russian Federation. These patterns can improve the effectiveness of management decisions in higher education by focusing on growth points with high sensitivity to grant support.
Keywords: level of grant activities, regional heterogeneity, higher education system, culture of scientific citation, sustainable development
Cite as: Endovitsky, D.A., Korotkikh, V.V., Bubnova, E.Y. (2023). Grant Activities and Sustainability of the Higher Education Institutions: Evidence From Russia. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 32, no. 2, pp. 25-42, doi: 10.31992/0869-3617-2023-32-225-42 (In Russ., abstract in Eng.)
Введение
В активной дискуссии о проблемах грантовой поддержки научных исследований, происходящей сегодня в академическом сообществе, можно выделить два укрупнённых направления. В рамках первого направления ведётся обсуждение механизма принятия решений о грантовой поддержке научных исследований [1-3], его регулирования [4; 5], роли научно-исследовательской деятельности университетов в развитии регионов [6], а также разработки и обоснования системы оценки результативности деятельности фондов [7].
Представители второго направления уделяют значительное внимание анализу и количественным оценкам эффективности грантовой деятельности образовательных организаций. Оценка результативности научно-исследовательской деятельности образовательных организаций рассматривается авторами в качестве компоненты общей оценки эффективности деятельности образовательных организаций [8]. Стоит обратить внимание на то, что если в таких оценках и встречаются показатели эффективности грантовой деятельности, то они выступают в роли объясняемых, но не объясняющих переменных. Наиболее часто в моделях встречаются показатели числа и размера грантов [9-16].
Мы вынуждены констатировать, что вопросам анализа влияния грантовой деятельности на целевые показатели эффективности деятельности образовательной организации не уделяется достаточного внимания. Целью настоящей работы является проведение статистического анализа влияния эффективности и интенсивности грантовой деятельности на устойчивость целевых показателей деятельности образовательных организаций высшего образования в период 2013-2022 гг.
В исследовании рассматриваются три рабочие гипотезы:
1. Чувствительность целевых показателей мониторинга эффективности к показателям научной и экономической эффектив-
ности их грантовой деятельности различается для образовательных организаций высшего образования, расположенных в двух городах федерального значения (Москва, Санкт-Петербург) и остальных субъектах РФ (далее - гипотеза о региональной неоднородности).
2. Чувствительность целевых показателей мониторинга эффективности к показателям научной и экономической эффективности их грантовой деятельности различается для образовательных организаций высшего образования, относящихся к различным квантиль-ным группам, сформированным по значениям целевых показателей (далее - гипотеза о неоднородности чувствительности).
3. Показатели цитируемости публикаций могут быть подвержены манипуляции со стороны заинтересованных сторон, что снижает значимость их влияния на целевые показатели мониторинга (далее - гипотеза о культуре научного цитирования в академическом письме).
В следующем разделе представлены использованные в работе методы статистического анализа, а также качественное описание исходных данных. В разделе с результатами исследования представлена параметрическая идентификация статистических моделей, используемых для тестирования рабочих гипотез. В разделе с обсуждением полученных результатов описан научный вклад. В заключении сформулированы основные выводы.
Методология исследования и данные
Выборочная совокупность сформирована из числа образовательных организаций высшего образования, принимавших участие в мониторингах эффективности в 2014-2022 гг., за исключением организаций, которые не осуществляют обучение в очной форме по программам бакалавриата и спе-циалитета за счёт средств соответствующих бюджетов бюджетной системы Российской Федерации, а также тех, которые осущест-
вляют подготовку кадров в интересах обороны и безопасности государства, обеспечения законности и правопорядка. Данное ограничение на выборочную совокупность исследования не снижает её репрезентативности. В среднем каждый год выборки представлен 528 образовательными организациями. Минимум (507) и максимум (538) наблюдались в 2014 и 2022 гг. соответственно. Общий объём выборки составил 4 753 наблюдения. Устойчивость образовательной организации будет рассматриваться по следующим аспектам деятельности: образовательный, научно-исследовательский, международный, финансово-экономический и социальный.
Содержаательная интерпретация исходных данных для параметрической идентификации статистических моделей, а также введённые условные обозначения переменных, приведены в таблице 1. При формировании объясняющих переменных основной акцент был сделан на показатели научной и экономической эффективности грантовой деятельности образовательной организации. Обращаем внимание на двойное назначение целевых показателей эффективности деятельности образовательных организаций высшего образования, предусмотренные методикой расчёта показателей мониторинга по основным направлениям деятельности образовательных организаций высшего об-разования1 (далее - мониторинг ВО). Текущие значения целевых показателей S' использованы в работе в качестве объясняемых переменных, а запаздывающие значения целевых показателей (значения предыдущего года, S(/-)1) - в качестве объясняющих, что позволит оценить величину инерционных эффектов в динамике целевых показателей.
Для наблюдений, относящихся к одному году, проведена z-стандартизация значений
1 Информационно-аналитические материалы по результатам проведения мониторинга деятельности образовательных организаций высшего образования. URL: https://momtoring.miccedu. ru/?m=vpo (дата обращения: 11.11.2022)
всех количественных переменных с целью нивелирования влияния масштаба измерений на величину оценок чувствительности.
Стоит отметить, что в результатах мониторинга ВО отсутствуют данные, непосредственно свидетельствующие об объёмах грантового финансирования НИОКР. В то же время объём грантового финансирования, как правило, занимает значительную долю в объёме доходов от НИОКР и высоко коррелирован с ним. Тогда с учётом ^-стандартизации удельный вес доходов от НИОКР в общих доходах и отношение общего объёма НИОКР к количеству полученных грантов за отчётный год в расчёте на 100 НПР могут рассматриваться как прокси-показатели эффективности грантовой деятельности образовательной организации.
Для целей тестирования первой рабочей гипотезы исследования в состав объясняющих переменных была введена дополнительная фиктивная переменная (Сар), принимающая значения «1» у образовательных организаций, зарегистрированных на территории г. Москва и г. Санкт-Петербург, и значение «0» - в противном случае.
В таблице 2 приведены парные коэффициенты корреляции между переменными, использованными в статистическом анализе. Наиболее тесная линейная связь между объясняющими переменными наблюдается между показателями цитирования и публикационной активности (0,423), однако этого недостаточно для возникновения коллинеарности в статистических моделях и получения неэффективных оценок их параметров. Ожидаемо высокая корреляция наблюдается между объёмом НИОКР в расчёте на одного НПР и долей доходов от НИОКР в общих доходах образовательной организации (0,805).
Для тестирования гипотезы о квантиль-ной неоднородности будем полагать, что для описания объясняемой переменной во всех квантильных группах будут использоваться одинаковые спецификации статистических моделей, однако характер
Таблица 1
Описание переменных
Table 1
Variables description
Условное обозначение Назначение переменной Наименование показателя в мониторинге эффективности Аспект деятельности
¿1 Объясняемая, объясняющая Средний балл ЕГЭ студентов, принятых по результатам ЕГЭ на обучение в очной форме по программам бакалавриата и специалитета за счёт средств соответствующих бюджетов бюджетной системы Российской Федерации и с оплатой стоимости затрат на обучение физическими и юридическими лицами, балл Образовательный
¿2 Объясняемая, объясняющая Объём НИОКР в расчёте на одного НПР, тыс. руб. Научно- исследовательский
Объясняемая, объясняющая Удельный вес численности иностранных студентов, обучающихся по программам бакалавриата, специалитета, магистратуры, в общей численности студентов (приведённый контингент), % Межддународный
Объясняемая, объясняющая Доходы образовательной организации из всех источников в расчёте на одного НПР, тыс. руб. Финансово-экономический
¿5 Объясняемая, объясняющая Отношение заработной платы ППС к средней заработной плате по экономике региона, % Социальный
Cit Объясняющая Количество цитирований публикаций, изданных за последние 5 лет, индексируемых в РИНЦ в расчёте на 100 НПР, ед. Научно- исследовательский
Pub Объясняющая Число публикаций организации, индексируемых в информационно-аналитической системе научного цитирования РИНЦ, в расчёте на 100 НПР, ед. Научно- исследовательский
Inc Объясняющая Удельный вес доходов от НИОКР в общих доходах образовательной организации, % Научно- исследовательский
Avg Объясняющая Отношение общего объёма НИОКР к количеству полученных грантов за отчётный год в расчёте на 100 НПР, тыс. руб. Научно- исследовательский
влияния объясняющих переменных может быть разным. Данное представление позволяет использовать метод квантильной регрессии, в соответствии с которым оценка параметров статистической модели проводится изолированно в каждой квантильной группе. Преимуществом данного метода является получение устойчивых к выбросам оценок параметров.
В работе рассматриваются 10 кван-тильных групп, которые соответствуют Т-квантилям объясняемых переменных, где Т1 = 0,05 соответствует группе организаций аутсайдеров, а Т1 = 0,95 - группе организаций лидеров. Группы выше медианного уровня характеризуются опережающим развити-
ем, а ниже - догоняющим. Такое разделение выборочной совокупности на однородные группы позволяет воспользоваться подходом Коэнкера [17; 18], и с учётом обозначений, введённых в таблице 1, провести тестирование рабочих гипотез исследования с использованием следующей спецификации квантильной статистической модели:
где Ь - оцениваемые параметры;
- ненаблюдаемая ошибка.
Таблица 2
Парные коэффициенты корреляции
Table 2
Correlation between variables
Переменные Si S2 S3 S4 S5 Cit Pub Inc
Si 1
S2 0,144 1
S3 0,100 0,106 1
S4 0,129 0,419 0,057 1
S5 0,045 0,120 0,025 0,161 1
Cit -0,123 0,062 -0,018 0,072 -0,001 1
Pub -0,198 0,023 -0,005 0,035 0,034 0,423 1
Inc 0,037 0,805 0,078 0,136 0,060 0,056 0,033 1
Avg 0,086 0,272 0,024 0,156 0,020 -0,017 -0,036 0,244
Для оценки объясняющей способности статистических моделей будет использоваться псевдо-коэффициент детерминации [19].
Результаты исследования
Анализ устойчивости целевого показателя образовательной деятельности.
Во всех рассматриваемых квантильных группах наблюдается достаточно высокая объясняющая способность статистических моделей, на что указывает ^2Сох ^ > 0,85 Табл. 3). Оценки параметра при запаздывающем значении St_1 г не превосходят единицу, что свидетельствуют о необходимость реализации мер дополнительной поддержки для обеспечения устойчивого роста целевого показателя образовательной деятельности. Интерес представляет отрицательная чувствительность целевого показателя эффективности образовательной деятельности к показателю публикационной активности в квантильных группах выше медианного уровня, что может свидетельствовать о более высоком качестве публикаций и при их относительно меньшем количестве. Наиболее ярко различия между лидерами и аутсайдерами проявляются в чувствительности целевого показателя образовательной деятельности к доле доходов от НИОКР в общих доходах организации. Значимо поло-
жительная чувствительность характерна для групп догоняющего развития. Причём по мере увеличения уровня квантильной группы от 0,05 до 0,55 наблюдается монотонное убывание чувствительности с 0,091 до 0,009. Как правило, целевой показатель образовательной деятельности не подвержен влиянию со стороны объёма НИОКР в отчётном году в расчёте на 100 НПР. Исключение составляют две региональные группы догоняющего развития со значимо положительными показатели чувствительности 0,016 и 0,018 соответственно.
Анализ устойчивости целевого показателя научно-исследовательской деятельности.
Предложенная в исследовании факторная спецификация статистической модели объясняет от 74,1 до 91,3% вариации целевого показателя научно-исследовательской деятельности, причём при увеличении уровней квантильных групп имеет место тенденция к росту объясняющей способности (Табл. 4).
Оценки параметра при запаздывающем значении монотонно возрастают при переходе от группы аутсайдеров к группе лидеров с 0,231 до 0,658. В целом низкие значения оценок данного параметра указывают на значительный вклад интенсивности и эффективности грантовой деятельности в фор-
мирование устойчивости научно-исследовательской деятельности образовательных организаций. Снижение грантового финансирования может способствовать резкому усилению разрыва между аутсайдерами и лидерами по целевому показателю научно-исследовательской деятельности.
Перейдём к рассмотрению оценок чувствительности целевого показателя результативности научно-исследовательской деятельности к показателям интенсивности и эффективности грантовой деятельности. Оценки чувствительности к показателям цитирования устойчивых паттернов значимо положительны в квантильных группах на уровнях 0,55-0,75, но устойчивых паттернов не образуют. Положительное статистически значимое влияние публикационной активности на величину целевого показателя научно-исследовательской деятельности характерно почти для всех групп (за исключением групп лидеров и смежной с ней). Наибольшую чувствительность к показателю публикационной активности демонстрируют организации-аутсайдеры, для следующих групп наблюдается монотонное убывание чувствительности. Схожие паттерны встречаются в квантильных группах региональных вузов по величине чувствительности к объёму НИОКР в отчётном году в расчёте на 100 НПР. Чувствительность к доле дохода от НИОКР в общих доходах вуза вносит наибольший вклад в формирование устойчивости целевого показателя научно-исследовательской деятельности во всех группах организаций. В группе лидеров чувствительность почти на 50% больше, чем в группе аутсайдеров.
Анализ устойчивости целевого показателя международной деятельности.
Вариация показателей интенсивности и эффективности грантовой деятельности в рамках предложенной факторной спецификации объясняет от 82 до 95,2% вариации целевого показателя международной деятельности (Табл. 5). Динамика данного показателя характеризуется наибольшей
устойчивостью среди всех рассматриваемых в работе. В группах опережающего развития оценка параметра при его запаздывающем значении близка к единице либо превышает её.
Интересно отметить, что единственным значимым параметром в модели для организаций-лидеров, связанных с грантовой деятельностью, является чувствительность к показателю цитирования. Более того, данный параметр является наибольшим по величине среди всех групп и среди всех рассматриваемых факторов. Данный факт объясняется высокой инерцией в международной деятельности, обусловленной в т. ч. долгосрочными международными соглашениями. Цитируемость работ сотрудников образовательных организаций этой группы повышает международную привлекательность и увеличивает международный охват. Публикационная активность способствует повышению эффективности международной деятельности организаций в группах догоняющего развития и некоторых группах опережающего развития.
Анализ устойчивости целевого показателя финансово-экономической деятельности.
В рамках предложенной факторной спецификации нам удалось объяснить от 62,2 до 93,9% вариации целевого показателя финансово-экономической деятельности (Табл. 6). Динамика данного показателя близка к устойчивой в трёх лидирующих группах. В остальных случаях устойчивость снижается и достигает минимума в группе аутсайдеров.
Наличие слабоположительных эффектов от цитирования имеет место в квантильных группах опережающего развития на уровнях 0,75 и 0,85. Более чем в половине кван-тильных групп выявлена значимая положительная чувствительность к показателю публикационной активности. Уровень таких групп преимущественно ниже медианного, а наибольшая по величине чувствительность (0,051) наблюдается в группе аутсайдеров.
Оценка влияния грантовой деятельности на устойчивость целевого показателя образовательной деятельности The estimation of influence of grant activities on education indicators sustainability
Ki
Независимые переменные Зависимая переменная: S) j
Ti = 0,05 12 = 0,15 тз = 0,25 14 = 0,35 15 = 0,45 Xt, = 0,55 T7 = 0,65 is = 0,75 xq = 0,85 тю = 0,95
0,863"* t= 44,347 0,901*** t = 104,248 0,919*** t = 116,242 0,932*** t = 162,915 0,937*** t= 169,144 0,932*** t = 174,872 0,929*** t = 158,166 0,918"* t = 159,639 0,905*** t = 92,504 0,878*** t = 40,171
Cit, -0,037 t = -1,103 -0,008 t = -1,428 -0,010*** t = -2,682 -0,013" t =-2,218 -0,012* t =-1,763 -0,008* t =-1,959 -0,003 t =-0,319 -0,003 t =-0,615 -0,011" t = -2,154 -0,026" t =-2,040
Pub, 0,012 t = 0,596 -0,007 t = -1,573 -0,005 t = -0,627 -0,002 t =-0,522 -0,010*** t = -4,416 -0,017*** t =-7,616 -0,020*** t =-4,417 -0,030*** t =-6,446 -0,039*** t =-9,099 -0,049*** t =-2,607
Inc, 0,081"* t = 3,662 0,048*** t = 7,458 0,033*** t = 4,438 0,020*** t = 4,845 0,014" t = 2,475 0,009* t = 1,858 0,006 t = 1,038 0,001 t = 0,118 -0,018" t =-2,091 -0,020 t =-1,193
Avg, 0,007 t = 0,086 0,016*** t= 3,498 0,024 t = 1,025 0,018* t = 1,866 0,016 t = 0,842 0,019 t = 1,216 0,015 t = 0,804 0,018 t = 1,032 0,010 t = 0,556 -0,055 t =-0,915
Cap 0,033 t = 0,602 0,005 t = 0,224 0,051" t = 2,455 0,060*** t = 4,127 0,089*** t = 5,666 0,097*** t = 7,475 0,113*** t = 7,055 0,146"* t = 8,709 0,201*** t = 7,724 0,299*** t = 5,482
Avg,x Cap -0,009 t = -0,125 -0,029*** t =-3,580 -0,029 t = -1,124 -0,022* t =-1,794 -0,022 t =-1,085 -0,021 t =-1,284 -0,020 t =-1,123 -0,029* t =-1,688 -0,022 t =-1,236 0,031 t = 0,515
(Intercept) -0,581*** t = -25,503 -0,300*** t = -35,837 -0,188*** t = -21,628 -0,107*** t = -17,812 -0,049*** t = —8,251 0,013" t = 2,378 0,073*** t = 11,676 0,146"* t = 22,558 0,249*** t = 25,187 0,504*** t = 21,319
T/1 Cox, Snell 0,849 0,905 0,92 0,926 0,929 0,931 0,933 0,932 0,927 0,903
Оценка влияния грантовой деятельности на устойчивость показателей международной деятельности The estimation of influence of grant activities on international performance indicators sustainability
-ь.
Независимые переменные Зависимая переменная: Szr2
xi = 0,05 X2 = 0,15 хз = 0,25 14 = 0,35 X5 = 0,45 Хь = 0,55 X7 = 0,65 xs = 0,75 xq = 0,85 xio = 0,95
J /-1,3 0,716" t = 43,933 0,830*** t = 107,690 0,874*** t= 125,422 0,907*** t = 159,136 0,931*** t= 157,667 0,964*** t = 132,788 0,994*** t= 134,346 1,030*** t = 117,697 1,064*** t = 82,413 1,120*** t = 41,284
Cit, -0,018 t = -1,574 -0,001 t =-0,176 -0,0001 t =-0,067 -0,001 t = -0,401 -0,001 t =-0,346 -0,001 t = -0,246 0,005 t = 0,610 0,007 t = 0,632 0,011 t = 0,954 0,072*** t = 3,516
Pub, 0,014" t = 2,415 0,010*** t = 3,042 0,012*** t = 2,655 0,009*** t = 2,587 0,006* t = 1,860 0,007 t = 1,472 0,009* t = 1,703 0,014 t = 1,477 0,034*** t = 2,840 0,013 t = 0,386
Inc, 0,003 t = 0,592 0,004 t = 0,656 0,013*** t = 2,743 0,011*** t = 3,086 0,019*** t = 3,746 0,016*** t = 3,476 0,016" t = 2,565 0,020" t = 2,532 0,020* t = 1,902 0,036 t= 1,066
Avg, 0,056 t = 1,509 0,034*** t = 5,336 0,033*** t = 2,716 0,034*** t = 2,753 0,023 t = 1,523 0,019" t = 2,510 0,022 t = 0,999 0,031 t = 0,886 0,060*** t = 4,050 0,076 t = 0,919
Cap -0,095"* t = -3,458 -0,055*** t =-4,871 -0,052*** t =-4,040 -0,044*** t = -4,585 -0,049*** t = —5,415 -0,041*** t = -3,265 -0,045*** t = -3,519 -0,060*** t = -3,721 -0,061*** t = -2,662 -0,079 t = -1,529
Avg,x Cap -0,039 t = -1,065 -0,023*** t = -3,042 -0,024* t = -1,933 -0,028" t = -2,255 —0,017 t =-1,107 -0,013 t = -1,481 -0,022 t = -0,979 -0,033 t = -0,937 -0,059*** t = -2,823 -0,078 t = -0,956
(Intercept) -0,428*** t =-24,738 -0,253*** t = -34,823 -0,169*** t = -26,453 -0,108*** t = -19,879 -0,056*** t = -9,407 0,002 t = 0,304 0,070*** t = 9,049 0,161*** t = 15,821 0,280*** t = 22,744 0,582*** t = 20,043
-^Cox.Snell 0,82 0,896 0,921 0,934 0,942 0,947 0,95 0,952 0,95 0,932
Оценка влияния грантовой деятельности на устойчивость целевого показателя заработной платы ППС The estimation of influence of grant activities social indicators sustainability
ON
Независимые Зависимая переменная:
переменные xi = 0,05 X2 = 0,15 хз = 0,25 14 = 0,35 X5 = 0,45 Хь = 0,55 X7 = 0,65 xs = 0,75 xq = 0,85 xio = 0,95
J /-1,5 0,383™ 0,427" 0,477" 0,514" 0,544" 0,544" 0,558" 0,597*** 0,599" 0,454***
t = 9,268 t = 23,306 t = 29,838 t = 32,795 t = 37,576 t = 35,246 t = 32,378 t = 26,963 t = 23,214 t = 11,625
Cit, -0,112" -0,036 0,001 -0,008 0,006 0,027 0,028 0,032 0,083* 0,009
t = -2,720 t = -0,839 t = 0,096 t = -0,810 t = 0,325 t = 1,482 t = 1,461 t = 1,247 t = 1,794 t = 0,166
Pub, 0,146" 0,092" 0,064" 0,058" 0,026" 0,008 0,002 -0,006 0,010 0,010
t = 3,714 t = 4,436 t = 15,394 t = 5,557 t = 5,275 t = 0,522 t = 0,108 t = -0,282 t = 0,285 t = 0,165
Inc, 0,058 0,050" 0,064" 0,072" 0,075" 0,085" 0,088" 0,121*** 0,114" 0,184***
t = 1,573 t = 2,555 t = 2,910 t = 4,766 t = 4,615 t = 4,363 t = 4,064 t = 4,261 t = 4,098 t = 4,934
Avg, 0,273 0,169" 0,155" 0,130* 0,179" 0,130" 0,117" 0,117" 0,113 -0,024
t = 1,237 t = 3,916 t = 2,157 t = 1,858 t = 3,983 t = 4,338 t = 2,038 t = 2,314 t = 1,269 t = -0,143
Cap -0,304" -0,302" -0,161" -0,142" -0,142*** -0,125" -0,062 -0,037 -0,018 -0,015
t = -2,893 t =-5,467 t = -4,172 t = -3,643 t = -4,319 t = -3,229 t = -1,427 t = -0,782 t = -0,271 t = -0,113
Avg,x Cap -0,312 -0,170" -0,171" -0,125 -0,176*** -0,134" -0,113* -0,117" -0,111 -0,003
t =-1,371 t = -3,287 t = -2,366 t = -1,617 t = -3,828 t = -4,203 t = —1,745 t = -2,055 t = —1,254 t = -0,018
(Intercept) -1,164" -0,679" -0,436" -0,258" -0,078*** 0,078" 0,253" 0,464*** 0,794" 1,443***
t = -20,911 t = -35,271 t = -21,107 t = -13,361 t = -4,823 t = 4,838 t = 13,204 t = 19,220 t = 27,062 t = 25,477
-^Cox.Snell 0,641 0,624 0,605 0,604 0,614 0,631 0,65 0,669 0,681 0,656
Также в группе аутсайдеров наблюдается значимая отрицательная чувствительность к величине доли доходов от НИОКР в общих доходах вуза. При этом в региональных группах догоняющего развития наблюдаются положительные эффекты от экстенсивного роста грантовой деятельности, о чём свидетельствуют коэффициенты при переменной Ave.
Анализ устойчивости целевого показателя заработной платы ППС.
В сравнении с рассмотренными ранее целевыми показателями мониторинга ВО объясняющая способность статистических моделей, описывающих отношение заработной платы ППС к средней заработной плате по региону, несколько ниже (Табл. 7). Минимума (60,4%) она достигает в квантильной группе на уровне 0,35, а максимума (68,1%) -в группе лидеров.
Образовательные организации, отнесённые к квантильным группам догоняющего развития, демонстрируют положительную и значимо отличную от нуля чувствительность к показателю публикационной активности. Чувствительность к доле доходов от НИОКР в общем объёме доходов характерна для всех квантильных групп, кроме аутсайдеров. Причём по мере роста уровня квантиля чувствительность повышается. Для большинства региональных вузов (за исключением групп аутсайдеров и лидеров) наблюдается положительная чувствительность к объёму НИОКР, полученному в отчётном году, в расчёте на 100 НПР. Интересная закономерность выявлена для различий между регионами и городами федерального значения. Целевой показатель значимо выше в регионах только в группах догоняющего развития.
Обсуждение результатов
Научный вклад настоящего исследования заключается в следующем.
Во-первых, региональная неоднородность системы высшего образования является её сущностной характеристикой не только в РФ [20; 21] и находит отражение в различных аспектах деятельности обра-
зовательных организаций. В исследовании возможности использования метода двух-шаговой процедуры DEA в анализе влияния политики в сфере высшего образования в РФ на эффективность российских университетов [22] также отмечают высокую степень неоднородности, связанную с различиями в условиях конкурентного окружения, в целях и направлениях стратегического развития, в моделях деятельности и в доступе к ключевым ресурсам. Особенность нашего исследования заключается в том, что мы не только оценили различия в целевых показателях мониторинга эффективности у образовательных организаций, расположенных в городах федерального значения и в регионах, но и выделили вклад коэффициентов чувствительности к показателям эффективности грантовой деятельности в формирование таких различий.
Во-вторых, в работе установлено, что неоднородность также проявляется и в различной степени восприимчивости образовательных организаций к воздействию грантовой поддержки научных исследований. Региональные организаций с низкими целевыми показателями мониторинга более чувствительны к повышению экстенсивности грантовой деятельности. Различия в чувствительности к интенсивности и эффективности грантовой деятельности не дают исчерпывающего объяснения региональной неоднородности образовательных организаций по большинству целевых показателей мониторинга ВО. На наш взгляд, данный аспект неоднородности безусловно заслуживает внимания, но остаётся малоизученным в настоящее время. Данный результат полезен как для внутренних пользователей, так и для внешних, поскольку позволяет выявить точки роста с наибольшим потенциалом системного развития.
В-третьих, число цитирований как показатель эффективности грантовой деятельности лишь в редких случаях вносит статистически значимый вклад в формирование устойчивости того или иного аспекта дея-
тельности образовательных организаций. Данный результат можно объяснить с точки зрения ключевых тенденций развития академического письма и «культуры цитирования» в исследуемом периоде. Так, для исследуемого периода характерны манипуляции показателями цитирования, во многом обусловленные редакционной политикой «хищнических» журналов [23-27], что неизбежно способствовало искажению реальной востребованности. Кроме того, нередко исследователи считают «дурным тоном» ссылаться на собственные работы даже в тех случаях, когда имеют значительный задел по научной проблеме. Хотя, стоит отметить, две эти крайности, характеризующие «культуру цитирования», в настоящее время идут на спад. Наконец, несмотря на консерватизм научной среды и академических институтов происходит усиление цифровых практик в академическом письме, в частности ориентированных на освещение результатов исследований в цифровом пространстве [28], что в перспективе потребует введения специальных метрик для учёта академического медиаконтента.
Заключение
В настоящей работе предложена спецификация квантильной статистической модели, которая позволяет по данным из открытых источников исследовать зависимость устойчивости целевых показателей мониторинга эффективности образовательных организаций высшего образования от интенсивности и эффективности грантовой деятельности. В эмпирической части работы представлены свидетельства того, что показатели эффективности грантовой деятельности вносят наибольший вклад в объясняющую способность квантильных статистических моделей, описывающих целевые показатели образовательной, научно-исследовательской, международной, финансово-экономической деятельности. В среднем значения псевдокоэффициентов детерминации квантильных регрессионных уравнений для указанных
показателей составляют не менее 0,85. Практически на треть меньший вклад они вносят в объясняющую способность моделей, описывающих влияние показателей эффективности грантовой деятельности в отношении целевого показателя по заработной плате ППС, о чём свидетельствует среднее значение псевдо-коэффициента детерминации (0,63). По результатам исследования ни одна из трёх рабочих гипотез не была отклонена.
Для тестирования гипотезы о региональной неоднородности в спецификацию статистической модели были включены два дополнительных параметра, отражающих среднюю поправку целевого показателя на географическое расположение образовательной организации и среднюю поправку коэффициента чувствительности целевого показателя к объёму НИОКР, полученному в отчётном году, в расчёте на 100 НПР. В большинстве случаев данные поправки были статистически значимы, однако в зависимости от целевого показателя принимали как положительные, так и отрицательные значения, что свидетельствует о наличии региональной неоднородности, в т. ч. обусловленной грантовой деятельностью.
При тестировании гипотезы о неоднородности чувствительности учитывались три показателя эффективности грантовой деятельности. Влияние публикационной активности на целевые показатели деятельности образовательных организаций значимо различается между группами догоняющего и опережающего развития. Больший положительный отклик характерен для групп, примыкающих к аутсайдерам. Образовательные организации с более высокими значениями целевых показателей по всем видам деятельности, кроме образовательной и финансово-экономической, демонстрируют значимо положительную чувствительность к доле доходов от НИОКР в общем объёме доходов организации, т. е. имеют высокую чувствительность к структуре доходов. Из этого следует, что в анализируемом периоде времени необходимым условием повышения
устойчивости деятельности образовательных организаций было превышение темпов роста доходов от НИОКР над темпами роста общего объёма доходов. При сравнении квантильных групп региональных образовательных организаций установлено, что с увеличением уровня группы статистически значимая положительная чувствительность к среднему объёму гранта, полученному в отчётном году, в расчёте на 100 НПР убывает, а у групп лидеров вовсе близка к нулю. Для повышения устойчивости деятельности образовательных организаций с более низкими значениями целевых показателей было достаточно экстенсивного увеличения объёмов грантового финансирования. «Близость к состоянию насыщения», а также снижение предельных эффектов от экстенсивного расширения грантовой деятельности является отличительной чертой организаций с более высокими целевыми показателями.
Результаты тестирования гипотезы о неоднородности чувствительности в совокупности с выявленными эффектами позволяют предположить, что в системе высшего образования РФ всё указывает на высокий потенциал конвергенции («эффект догоняющего развития»). Наличие данного эффекта может способствовать поиску точек роста, целенаправленное грантовое воздействие на которые будет иметь более высокую эффективность.
В работе также были получены свидетельства, не опровергающие гипотезу о культуре научного цитирования в академическом письме. Несмотря на количественную природу показателей цитирования, являющихся своеобразной мерой научного резонанса результатов исследований, нам не удалось выявить устойчивые эффекты влияние данного показателя на целевые показатели мониторинга эффективности организаций высшего образования. Вероятно, усреднение показателей цитирования способствует снижению их ценности. Кроме того, усиление цифровых практик в академическом письме ставит вопрос о разработке специальных метрик
и критериев оценивания, обеспечивающих объективность измерений.
Несмотря на наличие некоторых методологических недостатков, мы полагаем, предложенный в работе подход к статистическому анализу влияния грантовой деятельности на устойчивость целевых показателей эффективности образовательных организаций имеет высокий потенциал как вспомогательный инструмент при анализе и обосновании политики в сфере высшего образования в России.
Литература
1. Feliciani Т., Morreau M, Luo J., Lucas P., Shankar K. Designing grant-review panels for better funding decisions: Lessons from an empirically calibrated simulation model // Research Policy. 2022. Vol. 51. No. 4. DOI: 10.1016/j.re-spol.2021.104467
2. Fong E. A., Wilhite A. W. The Impact of False Investigators on Grant Funding // Research Policy. 2021. Vol. 50. No. 10. DOI: 10.1016/j.re-spol.2021.104366
3. Dziezyc M., Kazienko P. Effectiveness of research grants funded by European Research Council and Polish National Science Centre // Journal of Informetrics. 2022. Vol. 16. No. 1. DOI: 10.1016/j.joi.2021.101243
4. Белявский О.В. Проблемы правового регулирования грантовой поддержки фундаментальных научных исследований в Российской Федерации // Труды Института государства и права Российской академии наук. 2018. Т. 13. № 4. С. 170-189.
5. Бубнова Е.Ю. Экспертная оценка грантов: проблемы и пути развития // Вестник Воронежского гос. ун-та. Серия: Экономика и управление. 2022. № 2. С. 112-123. DOI: 10.17308/econ.2022.2/8324
6. ТрещевскийЮ.И, ИвановИ.С, РудневЕ.А. Роль вузов в реализации возможностей и сдерживании угроз инновационному развитию экономики - мнения экспертов // Вестник Воронежского гос. ун-та. Серия: Экономика и управление. 2020. № 3. С. 60-69. DOI: 10.17308/econ.2020.3/3105
7. Леонова Т.Н. Эффективность грантового финансирования научно-исследовательских работ: мировой опыт и российские перспективы
|| Экономическая наука современной России. 2014. № 4. С. 89-101.
8. Aлecкepов Ф.Т., Бeлоуcова BM, Пeтpу-щeнко B.B. Модели оболочечного анализа и анализа стохастической границы в задаче оценки эффективности деятельности университетов || Проблемы управления. 2015. № 5. С. 2-19.
9. Бeляков Н.С., Бeляков C.A.. Обзор международного опыта оценки эффективности образования ll Университетское управление: практика и анализ. 2018. Т. 22. № 1. С. 105-117. DOI: 10.15826|umpa.2018.01.010
10. Friedman L, Sinuany-Stern Z. Scaling units via the canonical correlation analysis in the DEA context ll European Journal of Operational Research. 1997. Vol 100. No. 1. P. 629-637.
11. Kempkes G., Pohl C. The efficiency of German universities some evidence from nonparametric and parametric methods ll Applied Economics. 2010. Vol. 42. No. 16. P. 2063-2079. DOI: 10.1080l00036840701765361
12. Allen D.O., Flegg A.T. Does expansion cause congestion? The case of the Older British universities, 1994-2004 || Education Economics. 2007. Vol. 15. No. 1. P. 75-102. DOI: 10.1080l09645290601133928
13. Johnes J. Efficiency and productivity change in the English higher education sector from 1996|97 to 2004l5 ll The Manchester School. 2008. Vol. 76. No. 6. P. 653-674. DOI: 10.1111|j.1467-9957.2008.01087.x
14. Katharakis G., Katharaki M. A comparative assessment of Greek universities' efficiency using quantitative analysis ll Intern. Journal of Educational Research. 2010. Vol. 49. No. 4-5. P. 115-128.
15. Johnes J., Yu L. Measuring the research performance of Chinese higher education institutions using data envelopment analysis ll China Economic Review. 2008. Vol. 19. No. 4. P. 679-696. DOI: 10.1016lj.chieco.2008.08.004
16. Cherchye L, Vanden Abeele P. On research efficiency: A micro-analysis of Dutch university research in Economics and Business Management || Research Policy. 2005. Vol. 34. No. 4. P. 495-516. DOI: 10.1016|j.respol.2005.03.005
17. Koenker R.W, Bassett G.W. Regression quan-tiles || Econometrica. 1978. Vol. 46. No. 1. P. 33-50. DOI: 10.2307l1913643
18. Koenker R.W., D'Orey V. Computing regression quantiles ll Journal of the Royal Statistical
Society Series C, Royal Statistical Society. 1987. Vol. 36. No. 3. P. 383-393. DOI: 10.2307/2347802
19. Cox D.R, Snell E.J. Analysis of Binary Data. London: Chapman & Hall, 1989.
20. Ендовицкий Д.А., Коротких В.В, Воронова М.В. Конкурентоспособность российских университетов в глобальной системе высшего образования: количественный анализ // Высшее образование в России. 2020. Т. 29. № 2. С. 9-26. DOI: 10.31992/0869-3617-202029-2-9-26
21. Ендовицкий Д.А., Коротких В.В, Кривошеев А.В. Статистический анализ уровня финансовой устойчивости образовательных организаций высшего образования РФ // Высшее образование в России. 2021. Т. 30. № 10. С. 22-37. DOI: 10.31992/0869-3617-2021-30-10-22-37
22. Зинченко Д.И, Егоров А.А. Моделирование эффективности российских университетов // Экономический журнал ВШЭ. 2019. Т. 23. № 1. С. 143-172. DOI: 10.17323/1813-86912019-23-1-143-172
23. Иванов Д.Ю, Дмитриев П.А. Исследование динамики некоторых показателей рынка «платных» научных публикаций // Высшее образование в России. 2020. Т. 29. № 4. С. 75-79. DOI: 10.31992/0869-3617-2020-29-7-75-79
24. Орлов А.И. Современные проблемы науковедения и наукометрии // Biocosmology neo-Aristotelism. 2017. Vol. 7, № 3-4. С. 389-410.
25. Орлов А.И. Число цитирований - ключевой показатель эффективности научной деятельности исследователя и организации // Политематический сетевой электронный научный журнал Кубанского гос. аграрного ун-та. 2016. № 124 (10). C. 984 - 1009.
26. Орлов А.И. О показателях эффективности научной деятельности // Экономический анализ: теория и практика. 2014. № 7 (358). С. 21-29.
27. Трубникова Е.И. Асимметрия информации и тенденции рынка научных публикаций // Высшее образование в России. 2017. № 3 (210). С. 26-36.
28. Сафонова М.А, Сафонов А.А. Трансформация академического письма в цифровую эпоху // Высшее образование в России. 2021. Т. 30. № 2. С. 144-153. DOI: 10.31992/08693617-2021-30-2-144-153
Статья поступила в редакцию 21.12.2022 Принята к публикации 26.01.2023
Reference
1. Feliciani, T., Morreau, M., Luo, J., Lucas, P., Shankar, K. (2022). Designing Grant-review Panels for Better Funding Decisions: Lessons from an Empirically Calibrated Simulation Model. Research Policy. Vol. 51, no. 4, doi: 10.1016/j.respol.2021.104467
2. Fong, E.A., Wilhite, A.W. (2021). The Impact of False Investigators on Grant Funding. Research Policy. Vol. 50, no. 10, doi: 10.1016/j.respol.2021.104366
3. Dziezyc, M., Kazienko, P. (2022). Effectiveness of Research Grants Funded by European Research Council and Polish National Science Centre. Journal of Informetrics. Vol. 16, no. 1, doi: 10.1016/j.joi.2021.101243
4. Belyavskiy, O.V. (2018). Problems of Legal Regulation of the Grant Support of Fundamental Scientific Research in the Russian Federation. Trudy Instituta gosudarstva i prava Rossiiskoi akademii nauk = Proceedings of the Institute of State and Law. Vol. 13, no. 4, pp. 170-189 (In Russ., abstract in Eng.).
5. Bubnova, E.Y. (2022). Challenges and Development Pathways for the Expert Examination of Grants. Vestnik Voronezhskogo gosudarstvennogo universiteta. Seriya: Ekonomika i upravle-nie = Proceedings of Voronezh State University. Series: Economics and Management. No. 2, pp. 112-122, doi: 10.17308/econ.2022.2/8324 (In Russ., abstract in Eng.).
6. Treschevsky, Y.I., Rudnev, E.A., Ivanov, I.S. (2020). The Role of Universities in the Realization of Opportunities and Curbing Threats to Innovative Economic Development - Expert Opinions. Vestnik Voronezhskogo gosudarstvennogo universiteta. Seriya: Ekonomika i upravlenie = Proceedings of Voronezh State University. Series: Economics and Management. No. 3, pp. 58-69, doi: 10.17308/econ.2020.3/3105 (In Russ., abstract in Eng.).
7. Leonova, T.N. (2014). Efficiency of Grant's Funding of Research Work: International Experience and Prospects of Russia. Ekonomicheskaya nauka sovremennoi Rossii = Economics of Contemporary Russia. No. 4, pp. 89-101. (In Russ., abstract in Eng.).
8. Aleskerov, F.T., Belousova, V.Y., Petruschenko, V.V. (2015). Models of Shell Data Analysis and Stochastic Frontier Analysis in the Problem of Evaluating the Efficiency of Universities. Problemy upravleniya = Control Sciences. No. 5, pp. 2-19. (In Russ.).
9. Belyakov, N.S., Belyakov, S.A. (2018). Evaluation of Efficiency of Education: Overview of International Experience. Universitetskoe upravlenie: praktika i analiz = University Management: Practice and Analysis. Vol. 22, no. 1, pp. 105-117, doi: 10.15826/umpa.2018.01.010 (In Russ., abstract in Eng.).
10. Friedman, L., Sinuany-Stern, Z. (1997). Scaling Units via the Canonical Correlation Analysis in the DEA Context. European Journal of Operational Research. Vol. 100, no. 1, pp. 629-637.
11. Kempkes, G., Pohl, C. (2010). The Efficiency of German Universities Some Evidence from Non-parametric and Parametric Methods. Applied Economics. Vol. 42, no. 16, pp. 2063-2079. doi: 10.1080/00036840701765361
12. Allen, D.O., Flegg, A.T. (2007). Does Expansion Cause Congestion? The Case of the Older British Universities, 1994-2004. Education Economics. Vol. 15, no. 1, pp. 75-102. doi: 10.1080/ 09645290601133928
13. Johnes, J. (2008). Efficiency and Productivity Change in the English Higher Education Sector from 1996/97 to 2004/5. The Manchester School. Vol. 76, no. 6, pp. 653-674, doi: 10.1111/j.1467-9957.2008.01087.x
14. Katharakis, G., Katharaki, M. (2010). A Comparative Assessment of Greek Universities' Efficiency Using Quantitative Analysis. Intern. Journal of Educational Research. Vol. 49, no. 4-5), pp. 115-128.
15. Johnes, J., Yu, L. (2008). Measuring the Research Performance of Chinese Higher Education Institutions Using Data Envelopment Analysis. China Economic Review. Vol. 19, no. 4, pp. 679-696, doi: 10.1016/j.chieco.2008.08.004
16. Cherchye, L., Vanden Abeele, P. (2005). On Research Efficiency: A Micro-analysis of Dutch University Research in Economics and Business Management. Research Policy. Vol. 34, no. 4, pp. 495-516, doi: 10.1016/j.respol.2005.03.005
17. Koenker, R.W., Bassett, G.W. (1978). Regression Quantiles. Econometrica. Vol. 46, no. 1, pp. 33-50, doi: 10.2307/1913643
18. Koenker, R.W., D'Orey, V. (1987). Computing Regression Quantiles. Journal of the Royal Statistical Society Series C, Royal Statistical Society. Vol. 36, no. 3, pp. 383-393, doi: 10.2307/2347802
19. Cox, D.R., Snell, E.J. Analysis ofBinary Data. London: Chapman & Hall, 1989.
20. Endovitsky, D.A., Korotkikh, V.V., Voronova, M.V. (2020). Competitiveness of Russian Universities in the Global System of Higher Education: Quantitative Analysis. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 29, no. 2, pp. 9-26, doi: 10.31992/0869-3617-2020-292-9-26 (In Russ., abstract in Eng.).
21. Endovitsky, D.A., Korotkikh, V.V., Krivosheev, A.V. (2021). Financial Sustainability of the Russian Higher Education Institutions: Quantitative Analysis. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 30, no. 10, pp. 22-37, doi: 10.31992/0869-3617-2021-30-10-2237 (In Russ., abstract in Eng.).
22. Zinchenko, D.I., Egorov, A.A. (2019). Efficiency Modeling of Russian Universities. Ekonomich-eskii zhurnal VShE = HSE Economic Journal. Vol. 23, no. 1, pp. 143-172, doi: 10.17323/18138691-2019-23-1-143-172 (In Russ., abstract in Eng.).
23. Ivanov, D.Yu., Dmitriev, P.A. (2020). The Dynamics of Some Market Indicators of "Paid" Scientific Publications. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 29, no. 4, pp. 75-79, doi: 10.31992/0869-3617-2020-29-7-75-79 (In Russ., abstract in Eng.).
24. Orlov, A.I. (2017). Contemporary Challenges to the Study of Science and Scientometrics. Bio-cosmology neo-Aristotelism. Vol. 7, no. 3-4, pp. 389-410. (In Russ., abstract in Eng.).
25. Orlov, A.I. (2016). Number of Citations as a Key Performance Indicator of Scientific Activity of Researchers and Organizations. Politematicheskii setevoi elektronnyi nauchnyi zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta = Scientific Journal of KubSAU. No. 124 (10), pp. 984-1009 (In Russ., abstract in Eng.).
26. Orlov, A.I. (2014). About the Indicators of Scientific Activities. Ekonomicheskii analiz: teoriya i praktika = Economic Analysis: Theory and Practice. No. 7 (358), pp. 21-29. (In Russ., abstract in Eng.).
27. Trubnikova, E.I. (2017). The Information Asymmetry and Tendencies of the Market of Scientific Publications. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 3 (210), pp. 26-36. (In Russ., abstract in Eng.).
28. Safonova, M.A., Safonov, A.A. (2021). Transformation of Academic Writing in the Digital Age Vysshee obrazovanie v Rossii = Higher Education in Russia.. Vol. 30, no. 2, pp. 144-153, doi: 10.31992/0869-3617-2021-30-2-144-153 (In Russ., abstract in Eng.).
The paper was submitted 21.12.2022 Accepted for publication 26.01.2023
