CC BY
10Вестник ВГУ. Серия: Экономика и управление. 2022. № 2. C. 3-17. Proceedings of Voronezh State University. Series: Economics and Management. (2), 3-17.
W
Вестник Воронежского государственного университета
Серия: Экономика и управление
Математические и инструментальные методы экономики
Научная статья УДК 330, 303.094
DOI: https://doi.Org/10.17308/econ.2022.1/7562 JEL: C14; C61; I29; M12
Применение DEA в оценке деятельности научно-педагогических работников
Д. А. Ендовицкий1, С. Н. Коменденко213
1 2 Воронежский государственный университет, Университетская пл., 1, 394018, Воронеж, Российская Федерация
Предмет. Рост результативности каждого научно-педагогического работника - важное условие достижения вузом высоких показателей. Современная система эффективного контракта в российском высшем образовании предоставляет аналитикам широкие возможности выявления резервов роста. Рациональное использование данных возможностей требует применения надлежащих методов анализа.
Цели. Поиск наилучшего варианта применения непараметрического метода Data Envelopment Analysis в задаче оценки эффективности каждого научно-педагогического работника крупного вуза. Методология. Использовалась модель одноэтапного Data Envelopment Analysis с постоянной и переменной отдачей от масштаба, включающая неуправляемые (экзогенные) переменные. Выбор конкретной модели опирался как на количественную, так и на содержательную интерпретацию получаемых результатов.
Результаты. Модель R. D. Banker и R. C. Morey продемонстрировала адекватную оценку работников, а также способность предоставлять руководству университета ценную информацию для управления эффективностью персонала. Выявлены наиболее вероятные затруднения в применении аналогичных моделей к большой выборке работников в реальных условиях. Получены данные о распределении оценок эффективности и о зависимости эффективности от занятости работников, требующие дальнейшего анализа.
Выводы. Базовые одноэтапные модели Data Envelopment Analysis вполне достаточны для оценки эффективности работников, если осторожно вводить экзогенные переменные и контролировать устойчивость решения. Однако нельзя игнорировать особенности, присущие всем моделям Data Envelopment Analysis: они ставят достижимые цели по улучшению имеющихся результатов, но не отыскивают новые возможности, информируют о достижении целей, но не о значимости достигнутых результатов для вуза.
Ключевые слова: data envelopment analysis, экзогенные переменные, эффективность персонала, высшие учебные заведения.
Для цитирования: Ендовицкий Д. А., Коменденко С. Н. Применение DEA в оценке деятельности научно-педагогических работников // Вестник Воронежского государственного университета. Серия: Экономика и управление. 2022. №2. С. 3-17. DOI: https://doi.org/10.17308/econ.2022.1/7562
© Ендовицкий Д. А., Коменденко С. Н., 2022 ©Ф Материал доступен на условиях лицензии CC BY 4.0
Введение
С 2013-2014 гг. в Российской Федерации продолжается развитие системы материального стимулирования работников государственных и муниципальных учреждений, известной под названием «эффективный контракт». Учреждения устанавливают показатели эффективности деятельности работников и способы расчета стимулирующих выплат за достижение данных показателей. К настоящему моменту в высшем образовании сформировались достаточно развитые и разносторонние системы показателей, включающие десятки индикаторов и предоставляющие широкие возможности для анализа эффективности деятельности научно-педагогических работников.
При наличии развитой системы индикаторов эффективности (KPI) одним из наиболее перспективных методов поиска резервов роста является data envelopment analysis (далее - DEA). Преимущества DEA заключаются прежде всего в отсутствии произвольных допущений о форме эффективной границы: она полностью определяется множеством данных. Метод работает с абсолютными показателями, интерпретируя их как затраченные ресурсы и произведенные результаты (переменные «на входе» и «на выходе»).
Несмотря на высокую популярность метода за рубежом, в России он остается слабо востребованным. Так, по данным Web of Science за 2019-2021 гг., количество публикаций, посвященных различным применениям DEA, превысило 1,5 тыс. в год; по данным РИНЦ, на русском языке за год выходит около 10-15 публикаций по данной тематике. Метод DEA вполне пригоден для оценки эффективности работников, что неоднократно подтверждалось прикладными исследованиями. К сожалению, как у отечественных, так и у зарубежных авторов отсутствуют работы, предметом которых было бы применение DEA к комплексной оценке эффективности персонала высших учебных заведений (обзор отдельных частных результатов приводится далее). Поэтому цель нашего исследования состояла в поиске наилучшего варианта применения DEA в задаче выявления резервов роста эффективности деятельности научно-педагогических работников в условиях, определяемых сложившейся системой показателей эффективности учреждения высшего образования.
Литературный обзор
Непосредственным предшественником приложений DEA к анализу эффективности персонала можно считать исследования достижений бейсбольных игроков, начавшиеся с публикации M. J. Mazur (1994) [11]. Применение метода к анализу продуктивности наемных работников связано с публикацией J. C. Paradi, S. Smith и C. Schaffnit-Chatterjee (2002) «Knowledge worker performance analysis using DEA...» [15], где в качестве объекта исследования выступала команда разработчиков компании Bell Canada. Авторы выбрали DEA как оптимальный метод анализа в условиях множественных критериев затрат и результатов. В обзоре Y. W. Ramirez и D. A. Nembhard (2004) DEA уже упоминается как один из перспективных и универсальных методов оценки эффективности интеллектуального труда [16], поскольку альтернативные подходы или применимы лишь к конкретной деятельности (например, к работе программистов), или требуют наличия пооперационных нормативов трудоемкости.
В последующие годы были опубликованы результаты нескольких прикладных исследований, относящихся к так называемым case study (ситуационным примерам). Характерной чертой таких исследований в коммерческом секторе являлся малый объем выборки. Например, в работе T. R. Manoharan, C. Muralidharan и S.G. Deshmukh (2009) «Employee performance appraisal using data envelopment analysis.» [10] объектом выступала индийская компания, производящая комплектующие для карбюраторов (23 чел., включая руководство). Отметим, что в данном случае объем выборки был почти на минимальном пределе применимости DEA, определяемом количеством переменных модели (использовалось 6 переменных). В исследовании H. Shirouyehzad, F. H. Lotfi, M. B. Aryanezhad и R. Dabestani (2012) [19] объектом выступала иранская компания, выпускающая пластиковые трубы (55 чел., модель с 4 переменными). Примерно эквивалентную по объему выборку использовал P. Zbranek (2013) [23], анализировавший хлебопекарное предприятие (60 чел., 6 переменных). Его модель впоследствии была использована M. Dugelova и M. Strenitzerova (2015) для оценки IT-компании с 11 сотрудниками [6]. Номинально DEA сохраняет работоспособность и на столь малых выборках, но его «разрешающая
способность» существенно ухудшается. Известно несколько эмпирических правил для нижней границы количества анализируемых объектов, опирающихся на число входных и выходных переменных (m и n): m х n, 2(m + n), 3(m + n) и т. п. [16].
Параллельно DEA достаточно широко применялся в публичном секторе. По рассматриваемому вопросу можно отметить комплексное исследование I. H. Osman, L. N. Berbary, Y. Sidani, B. Al-Ayoubi и A. Emrouznejad (2011), которые использовали DEA для оценки эффективности персонала по уходу за пациентами [14] и продолжали развивать данное направление в последующие годы; последние результаты опубликованы в работе A. V. Najar, A. Pooya, A. A. Zoeram и A. Emrouznejad (2018) [13].
Результаты, полученные в сфере образования, весьма фрагментарны. Несмотря на то что DEA многократно применялся для сравнительной оценки университетов и их структурных подразделений, мы можем отметить лишь два надлежащим образом проведенных исследования результативности отдельных работников сферы образования, выполненных одной и той же группой в разные годы. G. Koronakos, D. Sotiros, D. K. Despotis и D. Apostolou (2015) [9] анализировали методом DEA публикационную активность на выборке из 40 научно-педагогических работников. Модель охватывала четыре переменные: стаж в занимаемой должности, суммарную оплату труда за все годы, количество публикаций и количество цитирований (также за все годы). Использование полного стажа научно-педагогического работника в качестве входного показателя было вполне оправданным, так как число публикаций и цитирований бралось за тот же период. Затем E. Thanassoulis, D. Sotiros, G. Koronakos и D. Despotis (2018) [21] опубликовали результаты расширенного исследования публикационной активности ( модель с 7 переменными, детализирующая публикации по рейтингам журналов), но на меньшей выборке (38 научно-педагогических работников). Целью последней из названных работ была стоимостная оценка эффективности привлечения научно-педагогических работников. Интересно, что по итогам анализа релевантности модели авторы отказались от переменной «оплата труда», оставив только стаж в занимаемой должности и бинарный признак « первый год в занимаемой должности», таким образом, расходы на персонал
соотносились с научными результатами лишь косвенно, в предположении сопоставимых по величине окладов.
У отечественных авторов практически отсутствуют публикации по рассматриваемому вопросу, а имеющиеся работы носят тезисный и общетеоретический характер. В качестве характерных примеров можно привести две работы. К. А. Дюсекеев и О. М. Шикульская (2016) предложили структуру DEA-модели оценки научно-педагогических работников, выделив блоки образовательной, научной и международной деятельности [1]. Мнение авторов заключалось в необходимости отбора показателей в соответствии со стратегическими приоритетами вуза, поэтому в блоке образовательной деятельности в качестве примера было конкретизировано всего два показателя (преподавание на родном и иностранном языке), а в блоке научной деятельности - один показатель (публикации). Результаты анонсированной в статье апробации данной модели не были опубликованы. Е. П. Моргунов и О. Н. Моргунова [2] рассматривали гипотетическую ситуацию применения DEA к оценке IT-специалистов, приводя в качестве примера некоторые потенциально возможные показатели.
Таким образом, практические примеры применения DEA для всесторонней, комплексной оценки эффективности деятельности научно-педагогических работников отсутствуют как в отечественной, так и в зарубежной научной литературе. Указанные выше исследования G. Koronakos и др. охватывают лишь частные показатели научной продуктивности (публикации и цитирование). Вместе с тем данные, накопленные российскими университетами благодаря введению «эффективного контракта», вполне позволяют провести соответствующее полномасштабное исследование.
Методология исследования
В настоящее время существует несколько вариантов метода DEA. Модель с постоянной отдачей от масштаба в форме, удобной для практического использования, была сформулирована A. Charnes, W. W. Cooper, E. Rhodes (1978) [5] и часто обозначается аббревиатурой CCR (по фамилиям авторов). Модель с переменной отдачей от масштаба как дальнейшее развитие CCR была предложена R. D. Banker, A. Charnes, W. W. Cooper (1984) [3], поэтому нередко обозначается аббревиатурой BCC.
В геометрической интерпретации модель CCR определяет эффективную границу множества как и-мерную плоскость, модель BCC - как и-мерный многогранник.
«Идеальные» эффективные значения затрат и результатов в DEA соответствуют проекции неэффективной точки на эффективную поверхность. В модели CCR затраты при этом могут многократно превосходить как исходные значения объекта, так и значения опорной точки, через которую проходит эффективная гиперплоскость. В модели BCC они всегда представляют собой линейную комбинацию опорных точек (вершин и-мерного многогранника). Достижимость таких значений вызывает намного меньше сомнений.
Выбор между подходами CCR и BCC определялся экономическим содержанием решаемой задачи: кратное увеличение ресурсов, т. е. числа занимаемых ставок и окладов работников, здесь невозможно. Аналогичный выбор был сделан и в последней работе E. Thanassoulis, D. Sotiros, G. Koronakos и др. [21]. Мы также сопоставили количественные результаты CCR и BCC на фактических данных. Как и предполагалось, CCR почти во всех случаях рекомендовала увеличение занятости сверх разумных пределов, тогда как BCC демонстрировала адекватные оценки.
Обе модели могут как максимизировать отдачу, так и минимизировать удельный расход ресурсов, при этом эффективная поверхность строится по одним и тем же опорным точкам, а оценки эффективности являются взаимно обратными величинами. Мы использовали модель, «ориентированную на выход» (максимизацию отдачи), но для удобства восприятия конвертировали оценки в формат модели, «ориентированной на вход», где они находятся в диапазоне от 0 до 1 (единица соответствует полной эффективности). Альтернативные показатели эффективности, такие как «оценка по остаткам» (slacks-based measure), предложенная K. Tone (2001) [22], не применялись. В частности:
- базовой моделью для «оценки по остаткам» является CCR, а не BCC;
- данная оценка максимизирует разность результатов и затрат, а не отдачу от ресурсов, что не соответствует постановке задачи.
Однако расчеты по модели CCR использовались нами для измерения эффекта масштаба, который представляет интерес для руководства
(насколько выше или ниже продуктивность работников с неполной занятостью).
Среди результатов деятельности научно-педагогических работников могут быть бинарные и целочисленные, к которым неприменимо масштабирование, а также показатели, имеющие смысл лишь для отдельных групп (например, только для преподавателей с ученой степенью). Во многих случаях, включая рассматриваемую систему показателей, достаточно зафиксировать такие показатели, как экзогенные переменные, поэтому мы выбрали модель, предложенную R. D. Banker и R. C. Morey (1986) [3] и расширенную B. Golany и Y. Roll (1993) [7]:
go + Г=1 si0 + Z"h1 sj0) max>
ZN .
k=1\yik + So = 0, Vi e ID ,
ZN
k1\yik - Si0 = y¡0, V 1 e JF, (1)
ZN
M^kXik + sj0 = v v7 e/>
z -1,
где yik - результаты вида i по объекту k; xjk - затраты вида j по объекту k; Xk - весовые коэффициенты объектов k = 1, 2..., N; g0 - эффективность анализируемого объекта (k = 0); si0 и sj0 - вспомогательные переменные (slacks) объекта k = 0 для результатов вида i и затрат вида j соответственно; s - малое число (неархимедова переменная); ID - индексы масштабируемых результатов (из всех i = 1, 2..., m); IF - индексы немасштабируемых (экзогенных) результатов; J - множество индексов затрат (j = 1, 2..., n).
Для CCR-оценки использовалась другая модель тех же авторов:
g о + «(Х м sio+ X "=1 sjo) max>
ZN
кЛУ(к + siо = 0Vl е Id'
^N . (2)
Ь k=Л(У 0 - yik) + siо = 0' Vl e 1F >
ZN .
k=1\Xik + Sj0 = Xj0> V7 e J■
Переменные, принадлежащие множеству IF, принято называть неконтролируемыми, неуправляемыми (non-discretionary) или экзогенными. Этот термин сложился применительно к ресурсам (xj0) и не совсем точно описывает характер результатов (yi0), которые вполне управляемы и, вообще говоря, эндогенны. В контексте DEA их можно было бы назвать также «немасштабируемыми».
Исходные допущения, лежащие в основе (1) и (2), и область их применения были подробно исследованы M. J. Syrjanen (2004) [20] и полностью отвечают поставленной нами задаче. В отличие от альтернатив, таких как модели J. Ruggiero (1996) [17], M. Muniz, J. Paradi, J. Ruggiero и др. (2006) [12] и т. д., подход R. D. Banker и R. C. Morey использует весь набор данных, не исключая объекты из выборки, а лишь предотвращая масштабирование выбранных переменных (в модели (2) за это отвечает третье уравнение). В отличие от популярных в последние годы двух- и трехфазных моделей, сводный обзор которых можно найти, например, у J.-M. Huguenin (2019) [8], расчет по моделям (1) и (2) легко прослеживается, а реакция на изменение входных параметров достаточно предсказуема, что важно в задачах большой размерности с потенциально неустойчивым решением.
Важно учитывать, что модели (1) и (2) могут не найти решения для части объектов. Это происходит, когда у оцениваемого объекта из ненулевых результатов есть только экзогенные (немасштабируемые) показатели. Парные к (1) и (2) модели, минимизирующие затраты, при этом покажут эффективность, равную 0.
Исходными данными для анализа послужили результаты оценки эффективности научно-педагогических работников университета за 2021 г. Мы использовали существующий набор показателей эффективности как достаточно разносторонний и охватывающий практически все количественно измеримые аспекты научной, методической и общественной деятельности. Система имела трехуровневую структуру (приводится с сокращениями).
1. Группа показателей учебно-методической работы.
1.1. Издание учебников (детализируется на три показателя с выделением учебников в центральных издательствах и учебников на иностранном языке).
1.2. Издание учебных пособий (аналогичное деление).
1.3. Разработка открытых онлайн-курсов (MOOC, два показателя).
1.4. Разработка сетевых образовательных программ (один показатель).
1.5. Разработка дисциплины на иностранном языке (один показатель).
1.6. Доходы от реализации программ дополнительного образования (детализация на семь показателей в зависимости от суммы).
1.7. Победа на конкурсе учебных изданий (три показателя в зависимости от статуса конкурса: международный, всероссийский, региональный).
2. Группа показателей научно-исследовательской деятельности.
2.1. Защиты диссертаций (два показателя: кандидатские, докторские).
2.2. Издание монографий (четыре показателя в зависимости от статуса издательства).
2.3. Публикация научных статей (четыре показателя в зависимости от рейтинга издания).
2.4. Доходы от НИР (гранты, девять показателей в зависимости от суммы).
2.5. Регистрация прав на результаты интеллектуальной деятельности (четыре показателя по типам результатов).
2.6. Членство в диссертационных советах (три показателя по занимаемой позиции).
2.7. Научное руководство защищенными диссертациями (два показателя: кандидатские, докторские).
2.8. Организация научных конференций (три показателя в зависимости от статуса конференции: международная, всероссийская, региональная).
2.9. Редактор продолжающегося научного издания (два показателя).
2.10. Победа на конкурсах научных изданий (три показателя в зависимости от статуса: международный, всероссийский, региональный).
2.11. Пленарные доклады на конференциях (аналогичное деление).
2.12. Победители научной сессии университета (три показателя).
3. Группа показателей работы со студентами и абитуриентами.
3.1. Подготовка победителей студенческих олимпиад и конкурсов (три показателя в зависимости от статуса: международный, всероссийский, региональный).
3.2. Руководство студенческими научными обществами (один показатель).
3.3. Руководство отделением научного общества учащихся (один показатель).
4. Группа показателей репутационной деятельности.
4.1. Руководство ведущей научной школой (один показатель).
4.2. Организация просветительских проектов (два показателя).
4.3. Совместные образовательные и научные проекты с зарубежными учеными (два показателя).
4.4. Членство в экспертном совете ВАК (один показатель).
Баллы за достигнутые результаты не делятся на количество занимаемых ставок, но делятся на количество соавторов результата (статьи и т. п.). Моделирование проводилось по показателям второго уровня, которые получаются простым сложением баллов показателей третьего уровня. Использование всех 73 показателей третьего уровня, помимо вычислительных трудностей и трудностей интерпретации, в данном случае имело принципиальный недостаток: одни и те же результаты попадали в разные показатели (например, в зависимости от суммы гранта), что так или иначе требовало свертки. Чтобы не вводить произвольных допущений о степени значимости отдельных результатов (например, насколько грант в 200 млн руб. более значим, чем грант в 100 млн руб.), мы приняли соотношения баллов, установленные университетом. В итоге модель включала 26 видов результатов, три из которых были зафиксированы как неуправляемые (экзогенные): пп. 2.1, 4.1 и 4.4. Заметим, что соотношение между баллами второго уровня не влияло на результаты анализа (DEA инвариантен к единицам измерения).
В качестве показателя затрат было выбрано число ставок, занимаемых работником, приведенное к полным ставкам: значения свыше 1 приравнивались к 1. С содержательной точки зрения такой показатель хорошо отражает время, уделяемое обязанностям преподавателя (в том числе при совмещении с другой работой внутри и вне университета). Мы также протестировали альтернативные варианты (в том числе принимать ставки как есть, приравнивать все к 1 и др.), результаты либо были неадекватными (например, все преподаватели оказывались полностью эффективными), либо их отличие от полученных по приведенным ставкам было несущественным.
В выборку вошли все научно-педагогические работники, в анкетах которых имелся хотя бы один ненулевой показатель эффективности. Предварительная обработка включала поиск выбросов (по отклонениям от среднего и от границы третьего квартиля, четыре точки были исключены как явные выбросы) и кластерный
анализ (методом ^-средних). Итоговый объем выборки составил 680 записей. Все выбросы характеризовал более чем двукратный отрыв от предыдущего значения при отсутствии сопоставимых разрывов в остальной части данных, а кластерный анализ стабильно обособлял данные точки в отдельные вырожденные кластеры. Перед исключением каждый выброс рассматривался по существу. Очистка от выбросов существенно повысила стабильность и адекватность результатов (в сравнении с тестовыми расчетами без очистки). Впоследствии такие точки могут быть соотнесены с эффективной поверхностью, построенной без их участия.
Помимо количества занимаемых ставок, к каждой записи базы данных были привязаны сведения об ученой степени, ученом звании, возрасте и структурном подразделении. Когда работник занимал должности в нескольких подразделениях, выбиралось то, где доля ставки была максимальна, а при равенстве долей - указанное им самим в качестве основного места работы.
Результаты исследования
Статистические характеристики исходных данных отражены на рис. 1 (обозначения показателей эффективности соответствуют приведенному ранее перечню). Наиболее интересной особенностью оказалось большое количество нулевых результатов почти по всем показателям, а также редкость сочетания нескольких ненулевых результатов у одного и того работника (рис. 2). Доминирующим по числу положительных результатов стал показатель публикаций (п. 2.3 в приведенном выше списке, доля - 78,5 %), за ним с большим отрывом следуют показатели п. 1.2 (издание учебных пособий, 30,3 %), п. 2.6 (членство в диссертационных советах, 22,5 %) и п. 2.11 (пленарные доклады, 13,5 %). Средняя доля положительных значений по прочим показателям составляет 4,0 % от объема выборки. Поскольку при таком распределении не только медианы, но и границы третьего квартиля в большинстве случаев равны нулю (только по двум показателям -п. 1.2 и п. 2.6 - они положительны), на рис. 1 представлена статистика без учета нулевых значений. На рис. 3 в качестве примера приводится распределение положительных значений наиболее представительного критерия - числа публикаций (интервалы соответствуют 0,25а ненулевых значений показателя). Частоты других показателей распределены схожим образом.
6O
5O
4O
3O
2O
lO
1 " ' 1 «
'u íí ml W T ö
~ I I I I I I I I I I I г
^(Nm^r^soo^íNm^r^sooooc^ dddddddddddddddd
(N (N <N
i i i I
(N^fNm^íNm^r CO on со
И И И И И И И
и а и
Рис. 1. Границы квартилей положительных значений показателей эффективности (в баллах, точками отмечены средние значения)
1 2 3 4 5 6 7 8 9 10 11 12 13 Рис. 2. Доли работников, имеющих данное количество положительных показателей эффективности, от общего объема выборки
0,20
0,15
0,10
0,05
0,00
5550555 » H «N : <N H »
5
H (S| «
: un : un : un
íNíN^íNmíN^m^TíN^^T^íN^^sOíN^so
Рис. 3. Распределение значений п. 2.3 (в баллах, только положительные значения, по вертикальной оси - доля от общего количества, интервалы измеряются в стандартных отклонениях и отсчитываются от среднего)
O
Использованный набор исходных данных является сильно разреженной и плохо обусловленной матрицей, что в сочетании с ее размером приводит к вычислительной неустойчивости решения. Для устранения проблемы оказалось достаточным провести нормирование: каждый показатель по отдельности делился на его максимальное значение в выборке. Такая процедура не изменяет набор опорных точек и не влияет на оценку эффективности.
Результаты моделирования эффективной поверхности в значительной степени обусловлены однородностью исходных данных. Когда в составе объектов выделяются хорошо локализованные группы со значительным различием в наборах ненулевых показателей, число полностью эффективных объектов в общем случае увеличивается.
В данном случае практически все частные показатели были универсальными и могли присутствовать у любого работника (за исключением пп. 2.6, 2.7, 4.1 и 4.4, которые неприменимы к преподавателям без ученой степени). Однако анализ показал существенный разброс медианной статистики по факультетам и в зависимости от ученой степени, также как и различия в доле положительных значений отдельных показателей. На рис. 4 такие доли сопоставлены по факультетам (без учета прочих структурных подразделений). Визуальные отличия подтверждаются серией точных тестов Фишера: значимая разница между факультетами характерна как минимум для показателей пп. 1.2, 2.2-2.4, 2.6, 2.11, 3.1 и 3.2 (всего по 8 из 26).
Дополнительно тестировалась гипотеза об отсутствии статистического доминирования
факультетов и квалификационных групп работников по показателям, выраженным в баллах. Тестирование опиралось на H-критерий Кра-скела - Уоллиса. В отношении факультетов на уровне значимости 5 % гипотеза об отсутствии доминирования подтвердилась по показателям 1.1, 1.3, 1.4, 1.6, 2.7-2.10, 3.3 и 4.2-4.4, т. е. по 12 из 26 показателей. Еще по четырем показателям -1.5, 2.1, 2.12 и 4.1 - гипотеза подтверждается при незначительном снижении требований к пороговой вероятности (P-значение близко к 5 %). Таким образом, значимые различия в баллах проявляются примерно по тем же показателям, по которым выше было установлено расхождение в долях положительных значений.
Значимые межфакультетские различия по п. 2.3 «Научные публикации» связаны не только с особенностями публикационной активности в различных областях знаний, но и со способом расчета показателя: в п. 2.3 не включаются статьи как в нерецензируемых и неиндексируемых изданиях, так и в изданиях, входящих в два верхних квартиля по цитируемости в Web of Science и Scopus (такие статьи учитываются отдельно).
Диапазон оценок эффективности, получаемых методом DEA, может существенно сократиться при мультиколлинеарности показателей. Кроме того, мультиколлинеарность способна вызвать затруднения при вычислительной реализации метода. В рассматриваемом наборе данных ни анализ матриц парной линейной и ранговой корреляции, ни серия расчетов многофакторной линейной регрессии не выявили признаков существенных зависимостей, способных негативно повлиять на дальнейший анализ.
00 80 60 40 20
т
г
J т в
Jl táUJAwm,,..
'—< '—< '—< '—< '—< '—'(NCNCNCNCNCNCNCNCN
вввввввввввввввв
<N <N (N
ro ro ro
И в в в в ив
в в в
Рис. 4. Квартили долей положительных показателей по факультетам (по вертикальной оси доли в %, точками отмечены средние положительные значения)
0
Основной этап анализа включал получение и интерпретацию оценок по модели ВСС (с переменной отдачей от масштаба) одной переменной на входе, 23 управляемыми и 3 неуправляемыми (экзогенными) переменными на выходе. Сводная статистика результатов анализа приведена в табл. 1 (для сравнения дана статистика оценок ССИ, полученных с тем же составом переменных, т. е. при частичном запрете масштабирования, и статистика по суммам баллов).
160 из 680 научно-педагогических работников (23,5 %) достигли максимально возможной продуктивности (ВСС-эффективность равна 1). Эффект масштаба в табл. 1 рассчитывался как частные от деления ВСС-эффективности на ССИ-эффективность по каждому работнику. В последней графе приводится статистика по суммам баллов, набранных работниками с ВСС-эффективностью, равной 1 (т. е. полностью эффективно использовавших рабочее время). Разброс их значений иллюстрирует тот факт, что
эффективное использование ресурсов не всегда означает востребованность достигнутых результатов (напомним, что сумма баллов - это оценка значимости результатов для университета).
По нашему мнению, наблюдаемые расхождения не свидетельствуют о недостатках DEA, а сигнализируют о возможной необходимости пересмотра системы стимулирующих выплат. Если данный вид результатов представляет ценность для вуза (иначе он не вошел бы в состав показателей), но до такой степени непривлекателен для работников, что лучший из всех результатов настолько незначителен (BCC-эффективность, равная единице, означает, что остальные результаты такие же или хуже), система явно нуждается в совершенствовании.
На рис. 5 показано наблюдаемое распределение BCC-оценок по частоте получения. Их общий разброс (в стандартных отклонениях) намного меньше, а равномерность выше, чем у сумм баллов. Пик в правой части - это
Т а б л и ц а 1
Результаты анализа эффективности научно-педагогических работников
Показатель Оценки
BCC CCR эффект масштаба баллы баллы при BCC = 1
Минимум 0,0046 0,0028 0,0125 0,2 1,0
Первый квартиль 0,1146 0,0555 0,4023 4,0 10,0
Медиана 0,3526 0,1567 0,4970 9,0 18,5
Третий квартиль 0,9245 0,3504 0,6569 18,5 38,2
Максимум 1,0000 1,0000 1,0000 142,0 142,0
Среднее 0,4731 0,2615 0,5330 14,1 26,4
Стандартное отклонение 0,3742 0,2776 0,2272 15,7 22,8
Число работников с показателем, равным 1 160 38 61 X X
0,25
0,20
0,15
0,10
0,05
0,00
1-
1... 1-
1пП
<1 о
Рис. 5. Распределение ВСС-оценок эффективности (по вертикальной оси доля работников от общей численности в выборке, интервалы измерены в стандартных отклонениях и отсчитываются в обе стороны от среднего)
Т а б л и ц а 2
Зависимости BCC- эффективности в сравнении с суммой баллов
Фактор Критерий Статистика для оценки P-значение, %
BCC сумма баллов BCC сумма баллов
Место работы (факультет) Краскела - Уоллиса 52,0100 36,1104 0,00 0,68
Ученая степень Краскела - Уоллиса 80,3915 172,361 0,00 0,00
Возраст í-статистика ранговой корреляции 2,7732 4,1832 0,57 0,00
Сумма баллов í-статистика ранговой корреляции 28,5277 X 0,00 X
множество точек, сформировавших эффективную поверхность.
Мы проанализировали связь полученных оценок с доступными для анализа факторами, включая принадлежность научно-педагогических работников к структурным подразделениям, наличие ученой степени, возраст и общую сумму набранных баллов (табл. 2).
Гипотезы об отсутствии зависимостей отклоняются не только на общепринятом уровне значимости а = 5 %, но и при а = 1 % по всем факторам. Коэффициент ранговой корреляции ВСС-эффективности с суммой баллов составил 0,7386, коэффициент парной линейной корреляции - 0,6104 (он также статистически значим). Это не означает, что ВСС-эффек-тивность сводится к сумме баллов: линейная зависимость объяснила бы лишь 37 % дисперсии. Результаты ранжирования факультетов по суммам баллов и по ВСС-эффективности в целом весьма схожи. Напротив, средние ранги групп, выделенных по наличию ученой степени,
упорядочены по-разному. По сумме баллов на первом месте находятся доктора наук, затем почти с двукратным отрывом - кандидаты наук, и на последнем месте, с небольшим отрывом от предыдущего, - преподаватели без ученой степени. По BCC-эффективности разрывы между средними рангами по группам значительно сократились и выровнялись (в пределах 23-25 %), а на второе место поднялись преподаватели без ученой степени. Из наблюдаемого изменения рангов не стоит делать далеко идущих выводов, в том числе потому что BCC-эффективность отражает лишь отдачу от затрат рабочего времени, а не значимость достигнутых результатов.
Основной целью применения DEA были выявление и количественная оценка резервов роста производительности работников. Метод позволил сформировать для каждого работника индивидуальные, простые, понятные и выполнимые рекомендации. Ниже приведен пример таких рекомендаций (номера работников ус-ловные)(табл. 3).
Т а б л и ц а 3
Индивидуальные рекомендации для работников
№ Эффективность Уч. степень, уч. звание, доля ставки, факультет
10 0,573029 д.н., проф., 0,5 ст., физический
Опорные точки на эффективной поверхности:
№ Удельный вес Уч. степень, уч. звание, доля ставки, факультет
19 0,406893 д.н., проф., 0,5 ст., физический
176 0,022874 д.н., проф., 1,5 ст., фармацевтический
181 0,278853 д.н., проф., 0,25 ст., химический
305 0,291380 д.н., доц., 0,7 ст., физический
Фактические (Ф) и целевые (Ц) значения показателей, в баллах
п. 1.1 п. 1.2 п. 1.6 п. 2.3 п. 2.4 п. 2.5 п. 2.6 п. 2.7 п. 2.9 п. 2.12 п. 3.1 п. 3.3 п. 4.1
Ф - 2,0 - 6,0 4,0 - 5,0 - - - - - -
Ц - 3,5 - 10,5 7,0 - 8,7 - - - - - -
Средневзвешенные значения по опорным точкам
0,2 3,5 0,1 10,5 7,0 0,5 9,2 4,1 I 2,5 0,3 0,8 1,5 4,1
В данном случае для достижения максимальной эффективности работнику рекомендуется пропорционально повысить результаты по п. 1.2 (издание учебных пособий), п. 2.3 (научные публикации), п. 2.4 (доходы от НИР) и п. 2.6 (членство в диссоветах). Нижняя строка (отмеченная «*») в рекомендации не входит и иллюстрирует разницу между средневзвешенными результатами опорных точек и результатами, необходимыми для выхода на полную эффективность, равную значениям вспомогательных переменных модели (1). Векторы переменных и компенсируют неточность попадания на эффективную поверхность при пропорциональном увеличении всех масштабируемых результатов в g0 раз.
По итогам ВСС-анализа работник никогда не получит рекомендаций для достижения показателей, которые у него были равны нулю. Это и преимущество, и недостаток метода: рекомендации всегда выполнимы, но не информируют о новых возможностях. Потому и работникам, и руководству должны быть полезны также сведения о показателях всех угловых точек (вершин) эффективной поверхности, приведенных к единому базису затрат (в нашем случае удобно приводить их к работе на полную ставку 1,0).
Помимо эффекта масштаба, целесообразно оценивать, убывает или увеличивается отдача с ростом затрат, что делается по сумме удельных весов 1Хк в ССИ-модели (2). Значение 1 соответствует максимальной отдаче от масштаба, менее 1 - растущей, а свыше 1 - убывающей [1; 2]. Это более информативный и надежный показатель, чем эффект масштаба из табл. 1, в т. ч. потому что с ростом затрат 1Хк обычно изменяется монотонно. На анализируемом на-
боре данных большинство работников (88,7 %) находилось на участке убывающей отдачи от масштаба, 9,7 % - в точке максимальной отдачи от масштаба (речь идет только об оценке с точки зрения показателей эффективности, в состав которых не входят результаты учебной работы). Статистика показателя приведена в табл. 3. Благодаря большому объему выборки группы, выделенные по наличию ученой степени, достаточно однородны как по распределению количества ставок на одного работника, так и по факультетам.
Коэффициент ранговой корреляции Спир-мена между числом занимаемых ставок и ЕХк составил +0,6141, коэффициент парной линейной корреляции - +0,6135 (Р-значения их í-ста-тистики намного лучше уровня значимости а = 1 %). При том же уровне значимости а = 1 % отклоняются гипотезы об отсутствии различий медиан ЕХк по структурным подразделениям, наличию ученой степени (в обоих случаях использовалась статистика Краскела - Уоллиса) и возрасту работника (использовалась í-стати-стика ранговой корреляции). Следует учитывать, что все отмеченные факторы действуют в комплексе, в т.ч. во взаимосвязи с не вошедшими в анализ переменными, а наблюдаемая парная линейная корреляция этих факторов с ЕХк сама по себе слишком мала, чтобы опираться на нее при построении однофакторных моделей. Данный вопрос требует отдельного и более глубокого исследования.
Заключение
Метод DEA показал себя вполне пригодным для оценки эффективности деятельности научно-педагогических работников. Получаемые результаты позволяют не только констатиро-
Т а б л и ц а 4
Статистика расстояний по лучу модели CCR (EXk)
Показатель Без ученой степени Кандидаты наук Доктора наук Всего
Минимум 0,5000 0,4000 0,6902 0,4000
Первый квартиль 1,7987 2,0000 2,3685 2,0000
Медиана 2,0000 4,0000 3,5221 3,4936
Третий квартиль 4,0000 4,0000 4,0000 4,0000
Максимум 4,0000 6,6667 6,6667 6,6667
Среднее 2,4010 3,0873 3,3880 3,0794
Стандартное отклонение 1,1397 1,1622 1,5322 1,3125
Среднее количество ставок, занимаемых одним работником 0,80 0,91 0,91 0,90
вать уровень эффективности, но и формировать адекватные рекомендации для работников, основанные на разумных, достижимых ориентирах. Однако не следует полагаться исключительно на результаты индивидуальной оценки работника: целесообразно предоставлять персоналу сведения обо всех вариантах достижения полной эффективности, которые находит DEA (т. е. о конфигурации эффективной границы).
Не вызывает сомнений, что анализ должен опираться на тот или иной вариант модели BCC. Однако ее практическое применение требует учитывать дискретность ряда показателей эффективности, установленных вузом, и неприменимость отдельных показателей к конкретным группам работников. Исследуемая система критериев позволила использовать модель R. D. Banker и R. C. Morey (1986), однако для других вузов может потребоваться решение гибридных задач целочисленного программирования, а также обращение к двух- или трехэтапному DEA. Мы придерживаемся позиции, что следует избегать методов, которые исключают из сравнения значительные группы работников, так как получаемые оценки индивидуальной эффективности будут в общем случае несопоставимы. Выбранная модель позволила сохранить общность референтного множества ценой запрета масштабирования нескольких показателей (3 из 26 результатов).
Наш набор данных представлял собой сильно разреженную матрицу. Вероятно, такими характеристиками будут обладать данные многих вузов, имеющих большое количество
Библиографический список
1. Дюсекеев К.А., Шикульская О.М. Модели оценки эффективности деятельности сотрудников вуза // Вестник Воронежского государственного университета инженерных технологий. 2016. № 4(70). С. 446452. DOI: 10.20914/2310-1202-2016-4-446-452
2. Моргунов Е.П., Моргунова О.Н. Применение метода Data Envelopment Analysis для оценки эффективности IT-специалистов // Решетневские чтения. 2017. Т. 2. С. 450-451.
3. Banker R.D., Charnes A., Cooper W.W. Some models for estimating technical and scale inefficiencies in data envelopment analysis // Management Science. 1984. Vol. 30, iss. 9. P. 1078-1092. DOI: 10.1287/mnsc.30.9.1078
4. Banker R.D., Morey R.C. Efficiency analysis for exogenously fixed inputs and outputs // Operations
частных показателей эффективности. Поэтому при выборе неуправляемых (экзогенных) переменных, а также контроле устойчивости решения требуется соблюдать осторожность.
Для руководства вуза, помимо оценок эффективности, представляют интерес распределение отдачи от масштаба, т.е. сведения о том, настолько загруженность работников влияет на достижение показателей эффективности, а также выявляемые признаки несбалансированности системы стимулирующих выплат, когда работники достигают полной эффективности при низких абсолютных значениях соответствующих показателей.
На наш взгляд, в современных условиях DEA не способен заменить повсеместно распространенные и более простые модели в расчете стимулирующих выплат. Конкурирующая модель должна быть в первую очередь интуитивно понятна работникам, что нельзя сказать о DEA. Кроме того, обычный DEA не учитывает значимость конкретных результатов для вуза (однако существуют модификации с заданием веса показателей). Мы полагаем, что перспективы применения метода сосредоточены не в сфере расчета вознаграждений, а в области управления эффективностью интеллектуального и творческого труда, а также организационной и общественной работы ученых и преподавателей.
Конфликт интересов
Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.
Research. 1986. Vol. 34, iss. 4. P. 513-521. DOI: 10.1287/opre.34.4.513
5. Charnes A., Cooper W.W., Rhodes E. Measuring efficiency of decision-making units // European Journal of Operational Research. 1978. Vol. 2, iss. 6. P. 429-444. DOI: 10.1016/0377-2217(78)90138-8
6. Dugelova M., Strenitzerova M. The using of Data Envelopment Analysis in human resource controlling // Procedia Economics and Finance. 2015. Vol. 26. P. 468-475. DOI: 10.1016/S2212-5671(15) 00875-8
7. Golany B., Roll Y. Some extensions of techniques to handle non-discretionary factors in data envelopment analysis // Journal of Productivity Analysis. 1993. Vol. 4, iss. 4. P. 419-432. DOI: 10.1007/BF01073549
8. Huguenin J.-M. Adjusting for the environment in DEA: A comparison of alternative models based on
empirical data // Socio-Economic Planning Sciences. 2015.Vol. 52. P. 41-54. DOI: 10.1016/j.seps.2015.10.004
9. Koronakos G., Sotiros D., Despotis D. K., Aposto-lou D. Performance evaluation of academic research activity in a Greek university: A DEA approach // Intelligent Decision Technologies. IDT 2017. Smart Innovation, Systems and Technologies / Neves-Silva R., Jain L., Howlett R., editors. Cham: Springer, 2015. Vol. 39. P. 373-383. DOI: 10.1007/978-3-319-19857-6_33
10. Manoharan T. R., Muralidharan C., Deshmukh S. G. Employee performance appraisal using data envelopment analysis: A case study // Research and Practice in Human Resource Management. 2009. Vol. 17, no. 1. P. 92-111.
11. Mazur M. J. Evaluating the relative efficiency of baseball players // Charnes A. et al. Data Envelopment Analysis: Theory, methodology and application. Boston : Kluwer Academic Publisher, 1994. P. 369-391.
12. MunizM., Paradi J., Ruggiero J., YangZ. Evaluating alternative DEA models used to control for non-discretionary inputs // Computers & Operations Research. 2006. Vol. 33, iss. 5. P. 1173-1183. DOI: 10.1016/j.cor.2004.09.007
13. Najar A. V., Pooya A., Zoeram A. A., Emrouzne-jad A. Assessing the relative performance of nurses using Data Envelopment Analysis matrix (DEAM) // Journal of Medical Systems. 2018. Vol. 42, iss. 7. Article num. 125. DOI: 10.1007/s10916-018-0974-x
14. Osman I. H., Berbary L. N., Sidani Y., Al-Ayou-bi B., Emrouznejad A. Data Envelopment Analysis model for the appraisal and relative performance evaluation of nurses at an intensive care unit // Journal of Medical Systems. 2011. Vol. 35, iss. 5. P. 10391062. DOI: 10.1007/s10916-010-9570-4
15. Paradi J. C., Smith S., Schaffnit-Chatterjee C. Knowledge worker performance analysis using DEA: an application to engineering design teams at Bell Canada // IEEE Transactions on Engineering and Man-
agement. 2002. Vol. 49, iss. 2. P. 161-172. DOI: 10.1109/ TEM.2002.1010884
16. Ramirez Y. W., Nembhard D. A. Measuring knowledge worker productivity: A taxonomy // Journal of Intellectual Capital. 2004. Vol. 5, no. 4. P. 602-628. DOI: 10.1108/14691930410567040
17. Ruggiero J. On the measurement of technical efficiency in the public sector // European Journal of Operational Research. 1996. Vol. 90, iss. 3. P. 553-565. DOI: 10.1016/0377-2217(94)00346-7
18. Sarkis J. Preparing your data for DEA // Modeling data irregularities and structural complexities in data envelopment analysis / Zhu J., Cook W.D., editors. New York, Boston : Springer. 2007. P. 305-320. DOI: 10.1007/978-0-387-71607-7_17
19. Shirouyehzad H., Lotfi F. H., Aryanezhad M. B., Dabestani R. A data envelopment analysis approach for measuring the efficiency of employees: A case study // South African Journal of Industrial Engineering. 2012. Vol. 23, no. 1. P. 191-201. DOI: 10.7166/23-1-230
20. Syrjanen M. J. Non-discretionary and discretionary factors and scale in data envelopment analysis // European Journal of Operational Research. 2004. Vol. 158, iss. 1. P. 20-33. DOI: 10.1016/S0377-2217(03)00362-X
21. Thanassoulis E., Sotiros D., Koronakos G., Despotis D. Assessing the cost-effectiveness of university academic recruitment and promotion policies // European Journal of Operational Research. 2018. Vol. 264, iss. 2. P. 742-755. DOI: 10.1016/j.ejor.2017.06.046
22. Tone K. A slacks-based measure of efficiency in data envelopment analysis // European Journal of Operational Research. 2001. Vol. 130, iss. 3. P. 498-509. DOI: 10.1016/S0377-2217(99)00407-5
23. ZbranekP. Data envelopment analysis as a tool for evaluation of employees' performance // Acta Oeconomica et Informatica XVI. 2013. No. 1. P. 12-21. DOI: 10.15414/raae.2013.16.01.12-21
Ендовицкий Дмитрий Александрович,
д-р экон. наук, профессор, ректор, вице-президент Российского союза ректоров, Воронежский государственный университет, Воронеж, Российская Федерация E-mail: rector@vsu.ru ORCID ID: 0000-0002-0030-0252
Коменденко Сергей Николаевич, канд. экон. наук, доцент, кафедра экономического анализа и аудита, Воронежский государственный университет, Воронеж, Российская Федерация
E-mail: komendenko@econ.vsu.ru ORCID ID: 0000-0002-6567-4765
Поступила в редакцию 17.02.2022 Подписана в печать 17.03.2022
Вестник ВГУ. Серия: Экономика и управление. 2022. № 2. C. 3-17 Proceedings of Voronezh State University. Series: Economics and Management. (2), 3-17.
Proceedings of Voronezh State University
Series: Economics and Management
Mathematical and Instrumental Methods of Economy
Original article UDC 330, 303.094
DOI: https://doi.Org/10.17308/econ.2022.1/7562 JEL: C14; C61; I29; M12
Application of DEA to measure the productivity of the academic staff
D. A. Endovitsky1, S. N. Komendenko2®
1 2 Voronezh State University, 1 University sq., 394018 Voronezh, Russian Federation
Subject. Increasing the productivity of each academic staff member is an important condition for the achievement of high indicators by the university. The modern system of the effective contract in Russian higher education institutions provides great growth opportunities which need to be identified by analysts. Appropriate analysis methods are needed to secure a rational use of these opportunities. Objectives. Our goal was to find the best option for using the non-parametric method of Data Envelopment Analysis to solve the task related to the assessment of the productivity of each academic staff member at a middle-size university.
Methodology. We used single-stage DEA models with constant and variable returns to scale, including non-discretionary outputs. The choice of a specific model was based on both quantitative and content interpretation of the obtained results.
Results. It was established that R.D. Banker and R.C. Morey's model can properly measure the productivity of academic staff and provide the university management with valuable information which can be used to efficiently manage the productivity of the employees. We identified the most probable difficulties regarding the application of similar models to a large sample of employees under real conditions. We obtained data on the productivity distribution and the dependence of productivity on occupation, which require further analysis.
Conclusions. The basic single-stage DEA models are sufficient to measure the productivity of employees if non-discretionary outputs are carefully introduced and the solution's sustainability is controlled. However, the features characteristic of all DEA models cannot be ignored: they set achievable goals to improve the existing results, however they do not search new opportunities; they inform that the goals are achieved but not how significant the achieved results are for the university.
Key words: data envelopment analysis, non-discretionary outputs, personnel productivity, higher education institutions.
Cite as: Endovitsky, D.A., Komendenko, S.N. (2022) Application of DEA to measure the productivity of the academic staff. Proceedings of Voronezh State University. Series: Economics and Management. (2), 3-17. (In Russ., abstract in Eng.). DOI: https://doi.org/10.17308/econ.2022.1/7562
Conflict of Interest
The authors declare the absence of obvious and potential conflicts of interest related to the publication of this article.
©® This work is licensed under a Creative Commons Attribution 4.0 International License
References
1. Dyusekeyev, K.A. & Shikulskaya, O.M. (2016) Efficiency assessment models of higher education institution staff activity. Vestnik VSUET [Proceedings of VSUET]. 4, 446-452. (In Russian)
2. Morgunov, E.P. & Morgunova, O.N. (2017) Application of the Data Envelopment Analysis method for assessment of efficiency of IT-specialists. Reshet-
nevskie chteniya [Reshetnev Readings]. 2, 450-451. (In Russian)
3. Banker, R.D., Charnes, A. & Cooper, W.W. (1984) Some models for estimating technical and scale inefficiencies in data envelopment analysis. Management Science. 30 (9), 1078-1092. DOI: 10.1287/mnsc.30.9.1078
4. Banker, R.D. & Morey, R.C. (1986) Efficiency analysis for exogenously fixed inputs and outputs. Operations Research. 34 (4), 513-521. DOI: 10.1287/opre.34.4.513
5. Charnes, A., Cooper, W.W. & Rhodes, E. (1978) Measuring efficiency of decision-making units. European Journal of Operational Research. 2 (6), 429-444. DOI: 10.1016/0377-2217(78)90138-8
6. Dugelova, M. & Strenitzerova, M. (2015) The using of Data Envelopment Analysis in human resource controlling. Procedia Economics and Finance. 26, 468-475. DOI: 10.1016/S2212-5671(15)00875-8
7. Golany, B. & Roll, Y. (1993) Some extensions of techniques to handle non-discretionary factors in data envelopment analysis. Journal of Productivity Analysis. 4 (4), 419-432. DOI: 10.1007/BF01073549
8. Huguenin, J.-M. (2015) Adjusting for the environment in DEA: A comparison of alternative models based on empirical data. Socio-Economic Planning Sciences. 52, 41-54. DOI: 10.1016/j.seps.2015.10.004
9. Koronakos, G., Sotiros, D., Despotis, D.K. & Apostolou, D. (2015) Performance evaluation of academic research activity in a Greek university: A DEA approach. In: Neves-Silva, R., Jain, L. & Howlett, R. (eds). Intelligent Decision Technologies. IDT 2017. Smart Innovation, Systems and Technologies. Cham, Springer. Vol. 39, 373-383. DOI: 10.1007/978-3-319-19857-6_33
10. Manoharan, T.R., Muralidharan, C. & Desh-mukh, S.G. (2009) Employee performance appraisal using data envelopment analysis: A case study. Research and Practice in Human Resource Management. 17 (1), 92-111.
11. Mazur, M.J. (1994) Evaluating the relative efficiency of baseball players. In: Charnes, A. et al. Data Envelopment Analysis: Theory, methodology and application. Boston, Kluwer Academic Publisher, pp. 369-391.
12. Muniz, M., Paradi, J., Ruggiero, J. & Yang, Z. (2006) Evaluating alternative DEA models used to control for non-discretionary inputs. Computers & Operations Research. 33 (5), 1173-1183. DOI: 10.1016/j. cor.2004.09.007
13. Najar, A.V., Pooya, A., Zoeram, A.A. & Emrou-znejad, A. (2018) Assessing the relative performance of nurses using Data Envelopment Analysis matrix
(DEAM). Journal of Medical Systems. 42 (7), article num. 125. DOI: 10.1007/s10916-018-0974-x
14. Osman, I.H., Berbary, L.N., Sidani, Y., Al-Ayou-bi, B. & Emrouznejad, A. (2011) Data Envelopment Analysis model for the appraisal and relative performance evaluation of nurses at an intensive care unit. Journal of Medical Systems. 35 (5), 1039-1062. DOI: 10.1007/s10916-010-9570-4
15. Paradi, J.C., Smith, S. & Schaffnit-Chatterjee, C. (2002) Knowledge worker performance analysis using DEA: an application to engineering design teams at Bell Canada. IEEE Transactions on Engineering and Management. 49 (2), 161-172. DOI: 10.1109/TEM.2002.1010884
16. Ramirez, Y.W. & Nembhard, D.A. (2004) Measuring knowledge worker productivity: A taxonomy. Journal of Intellectual Capital. 5 (4), 602-628. DOI: 10.1108/14691930410567040
17. Ruggiero, J. (1996) On the measurement of technical efficiency in the public sector. European Journal of Operational Research. 90 (3), 553-565. DOI: 10.1016/0377-2217(94)00346-7
18. Sarkis, J. (2007) Preparing your data for DEA. In: Zhu, J. & Cook, W.D. (eds.) Modeling data irregularities and structural complexities in data envelopment analysis. New York, Boston, Springer, pp. 305-320. DOI: 10.1007/978-0-387-71607-7_17
19. Shirouyehzad, H., Lotfi, F.H., Aryanezhad, M.B. & Dabestani, R. (2012) A data envelopment analysis approach for measuring the efficiency of employees: A case study. South African Journal of Industrial Engineering. 23 (1), 191-201. DOI: 10.7166/23-1-230
20. Syrjanen, M.J. (2004) Non-discretionary and discretionary factors and scale in data envelopment analysis. European Journal of Operational Research. 158 (1), 20-33. DOI: 10.1016/S0377-2217(03)00362-X
21. Thanassoulis, E., Sotiros, D., Koronakos, G. & Despotis, D. (2018) Assessing the cost-effectiveness of university academic recruitment and promotion policies. European Journal of Operational Research. 264 (2), 742-755. DOI: 10.1016/j.ejor.2017.06.046
22. Tone, K. (2001) A slacks-based measure of efficiency in data envelopment analysis. European Journal of Operational Research. 130 (3), 498-509. DOI: 10.1016/S0377-2217(99)00407-5
23. Zbranek, P. (2013) Data envelopment analysis as a tool for evaluation of employees' performance. Acta Oeconomica et Informatica XVI. 1, 12-21. DOI: 10.15414/raae.2013.16.01.12-21
Dmitry А. Endovitsky, Dr. Sci. (Econ.), Full Prof., Rector, Vice-President of the Russian Rector's Union, Voronezh State University, Voronezh, Russian Federation
E-mail: rector@vsu.ru ORCID ID: 0000-0002-0030-0252
Sergey N. Komendenko, Cand. Sci. (Econ.), Assoc. Prof., Department of Economic Analysis and Auditing, Voronezh State University, Voronezh, Russian Federation
E-mail: komendenko@econ.vsu.ru ORCID ID: 0000-0002-6567-4765
Received: 17.02.2022 Accepted: 17.03.2022
