CC BY
11УДК 330.43
МОДЕЛЬ И АЛГОРИТМЫ ОЦЕНКИ ЭФФЕКТИВНОСТИ ПРОФЕССИОНАЛЬНОЙ ДЕЯТЕЛЬНОСТИ СОТРУДНИКОВ НА БАЗЕ ИНФОРМАЦИОННОЙ СИСТЕМЫ
МЕДИА-ХОЛДИНГА АО «ИЗДАТЕЛЬСКИЙ ДОМ „НОВОСТИ ЮГРЫ"»
1 2 Д. А. Федоров , М. Г. Белошапка
1 Сургутский государственный университет, fda.polytech@gmail.com 2Издательский дом «Новости Югры», maxim@incredible-house.ru
Статья посвящена разработке модели и алгоритмов оценки эффективности профессиональной деятельности сотрудников на базе информационной системы медиа-холдинга АО «Издательский дом „Новости Югры"». Формализован процесс постановки и контроля задач внутреннего корпоративного сайта. Объект «задача» определяется ключевыми полями: «Тип задачи», «Уровень сложности», «Крайний срок», «Ответственный». Получен алгоритм расчета баллов и индекса эффективности сотрудника за выполненную задачу. На основе статистического материала деятельности двух отделов организации построена модель по расчету индекса эффективности сотрудника. Зависимой переменной в уравнении порядковой регрессии является «Премия» - значение фактического начисления премии сотруднику в организации. Ковариатами являются переменные «Сложность», «Опережение», «Оценка», «Индекс трудовой деятельности». В пакете статистической обработки информации определены пороговые значения для расчетного показателя премирования и размер премии в процентном соотношении. Представлен алгоритм работы системы помощи принятия решений, который основывается на расчете максимальной частоты значений атрибутов «Тип задачи» и «Уровень сложности» из всех задач, выполненных сотрудником максимально успешно за месяц. Разработанные модель и алгоритм прошли апробацию на базе внутреннего корпоративного сайта медиа-холдинга АО «Издательский дом „Новости Югры"».
Ключевые слова: порядковая логистическая регрессия, индекс эффективности сотрудника, индекс текущей деятельности, оценка персонала, система поддержки принятия решений, экспертная оценка, информационная система.
MODEL AND ASSESSMENT ALGORITHMS OF THE PROFESSIONAL ACTIVITY EFFICIENCY OF EMPLOYEES ON THE BASIS OF THE INFORMATION SYSTEM OF JSC PUBLISHING HOUSE "NOVOSTI UGRY"
D. A. Fedorov 1, M. G. Beloshapka 2
1 Surgut State University, fda.polytech@gmail.com 2 PublishingHouse"Novosti Ugry", maxim@incredible-house.ru
The article is devoted to the development of models and assessment algorithms of the employees' professional activity efficiency on the basis of the information system of the publishing house "Novosti Ugry". The process of setting and monitoring the tasks of the internal corporate website is developed. The "task" object is defined by the key fields: "Task type", "Difficulty level", "Deadline", "Responsible". An algorithm for calculating and analyzing the efficiency for the completed task is obtained. Based on the statistical material of the activities of the two departments of the organization, a model for calculating the employee's efficiency index is constructed. The dependent variable in the ordinal regression equation is the "Premium" - the value of the actual accrual of the premium to the employee in the organization. Covariates are variables "Complexity",
"Outrunning", "Evaluation", "Labor activity index". In the package of statistical processing of information, threshold values for the calculated bonus figure and the size of the premium in percentage correlation are determined. The algorithm of decision support system based on the maximum frequency of the attribute values "Task type" and "Level of difficulty" of all tasks performed by the employee as successfully as possible in a month is presented. The developed model and algorithm were tested on the basis of the internal corporate site of the publishing house "Novosti Ugry".
Keywords: ordinal logistic regression, employee efficiency index, current activity index, personnel assessment, decision support system, expert evaluation, information system.
Внутренний корпоративный сайт как инструмент управления бизнесом обеспечивает эффективное управление бизнес-процессами и коммуникациями в компании, что снижает издержки, повышает управляемость и гибкость. На внутреннем корпоративном сайте АО «Издательский дом „Новости Югры"» реализованы следующие модули: «Задачи», «Документооборот», «Полиграфия», «Управление событиями», «Учет и контроль рабочего времени», «База знаний».
В модуле «Задачи» корпоративного сайта руководитель создает новую задачу для сотрудника своего отдела и контролирует ее выполнение. При постановке новой задачи руководитель заполняет следующие поля: «Название задачи», «Приоритет», «Тип задачи», «Уровень сложности», «Крайний срок», «Ответственный», «Описание задачи». Уровень сложности задачи руководитель выбирает, исходя из следующих вариантов: «Высокий», «Средний», «Низкий», каждому из которых соответствует свой балл (табл. 1).
Таблица 1
Соответствие уровня сложности определенному баллу
Уровень сложности задачи Соответствующий балл
Высокий 3
Средний 2
Низкий 1
Поле «Тип задачи» может принимать следующее значения: «Аналитическая», «Конст -руктивная», «Техническая», «Коммуникативная», «Информационно-поисковая» (табл. 2). После сохранения задачи сотруднику приходит уведомление на адрес электронной почты. После ознакомления сотрудника с содержанием задачи в разделе «Мои задачи» статус задачи меняется на статус «В работе».
Таблица 2
Описание типов задач
Тип задачи Описание
Аналитическая Задача, основанная на выделении и изучении отдельных частей объектов исследования, результатом чего является новое и продуктивное заключение
Конструктивная Задача, основанная на процессе проектирования объекта, создания продукта, творческой деятельности
Техническая Задача, основанная на репродуктивной (не творческой) деятельности, выполнении типичных технических операций
Коммуникативная Задача, основанная на общении с клиентом, имеющая конкретную и точную цель
Информационно-поисковая Задача, основанная на поиске и систематизации информации, имеющая конкретную и точную цель
По завершении выполнения задачи сотрудник ставит отметку о выполнении, после чего в системе отмечается балл за опережение крайнего срока выполнения задачи, установленного руководителем.
Коэффициент опережения крайнего срока выполнения задачи рассчитывается по следующей формуле:
Т
тт 1 факт /П Коп = 1 ---, (1)
план
где Тфакт - фактическое время выполнения задачи (ч); Тплан - плановое время выполнения задачи (ч).
Результат коэффициента опережения попадает в один из трех диапазонов, которому соответствует определенный балл (табл. 3). Статус задачи меняется на статус «Выполнена». Руководителю приходит отчет о выполнении задачи.
Таблица 3
Соответствие доли времени опережения крайнего срока определенному баллу
Диапазон значений коэффициента опережения крайнего срока выполнения задачи Соответствующий балл
1-0,376 3
0,375-0,126 2
0,125-0 1
После получения отчета руководитель оценивает по пятибалльной шкале качество выполнения задачи. Каждому баллу соответствует точная качественная характеристика, представленная в табл. 4. Статус задачи меняется на статус «Оценено».
Таблица 4
Описание оценки качества выполненной задачи
Балл Описание
5 Задача выполнена без замечаний
4 Задача выполнена с незначительными замечаниями, имеющими рекомендательный характер
3 Задача выполнена удовлетворительно, имеются 1-2 серьезных замечания
2 Задача выполнено плохо. Имеется несколько серьезных замечаний. Но все же выполнение задачи имеет практическое значение
1 Задача выполнена плохо, с грубыми нарушениями или не полностью. Требуется серьезная доработка или переработка всего задания
Если сотрудник превысил установленный крайний срок выполнения задачи, то он обязан написать отчет, указать причину нарушения срока. Руководитель определяет такую задачу в одну из следующих категорий: «Не в срок», «С нарушениями и не в срок», «Не выполнена». Первая категория свидетельствует о том, что задача выполнена без замечаний, но с превышением отведенного на нее времени. Каждой категории соответствует значение штрафного балла как представлено в табл. 5.
Таблица 5
Описание оценки качества выполненной задачи
Штрафная категория Соответствующий балл Описание
Не в срок -1 Задача выполнена без замечаний, но сотрудник не уложился в отведенное для задачи время
С нарушениями и не в срок -2 Выполнена удовлетворительно и не в срок, имеются несколько серьезных замечания
Не выполнена -3 Задача не выполнена
В случае успешного завершения в рамках установленного времени индекс эффективности выполнения задачи (ИЭВЗ) будет равен сумме баллов: сложности задачи (Всложн), скорости выполнения (Вскор) и оценки (Воц).
ИЭВЗ Всложн + Вскор + Воц (2)
В случае нарушения установленного руководителем времени на задачу индекс эффективности выполнения задачи будет соответствовать штрафному коэффициенту.
На рис. 1. представлен алгоритм расчета баллов и индекса эффективности сотрудника за выполненную задачу.
В табл. 6 представлены два примера. Для задачи № 1 руководитель определил высокий уровень сложности, соответственно, системой было назначено 3 балла, задача была выполнена с коэффициентом опережения 0,28, которому соответствует 2 балла, в итоге руководитель оценил качество выполнения задачи на 4 балла. Индекс эффективности выполнения задачи равен 9.
Задача № 2 выполнена с превышением крайнего срока и имелись несколько замечаний руководителя, который определил данную задачу в категорию «С нарушениями и не в
срок», соответствующий штрафной балл--2. Индекс эффективности выполнения задачи
равен -2.
Таблица 6
Пример значений баллов и индекса эффективности выполнения задач
№ Балл Балл скорости Балл Штрафной балл ИЭВЗ
задачи сложности выполнения оценки
1 3 2 4 0 9
2 2 0 0 -2 -2
Каждую неделю руководитель отдела оценивает текущую должностную деятельность сотрудника, не связанную с прямыми заданиями от руководителя, определяя качество работы по одной из следующих категорий: «А», «В», «С». Каждой категории соответствует значение балла и качественная характеристика (табл. 7).
Таблица 7
Соответствие категории и балла за текущую должностную деятельность сотрудника
Категория Соответствующий балл Описание
A 3 Текущая деятельность за неделю выполнялась сотрудником без замечаний, в полном объеме и в надлежащем качестве
B 0 Текущая деятельность за неделю выполнялась сотрудником с замечаниями к качеству продукта, а также, к самому процессу профессиональной деятельности
C -3 Текущая деятельность за неделю выполнялась сотрудником с грубыми нарушениями, не в полном объеме, ненадлежащем качестве. Незначительный практический результат деятельности
Рис. 1. Алгоритм расчета баллов за выполненную задачу
Соответственно индекс текущей деятельности равен:
ИТД = В + в + •••+ вп, (3)
п
где В - балл категории оценки за неделю;
п - количество недель месяца. На рис. 2. представлен алгоритм расчета индекса текущей деятельности.
В табл. 8 приведен пример значений баллов по всем прямым задачам руководителя за
месяц.
Таблица 8
Пример значений баллов прямых задач и текущей деятельности
Сотрудник 1
№ задачи Балл сложности Балл опережения Балл оценки ИЭВЗ Нед. 1 Нед. 2 Нед. 3 Нед. 4
1 3 1 4 8
2 2 2 5 9
3 2 3 3 8
4 1 1 5 7
5 3 1 5 9
6 1 0 -2 -2
7 1 3 4 8
8 2 1 5 8
9 2 1 5 8
10 1 2 3 6
11 3 1 4 8
12 2 1 4 7
13 1 1 4 6
14 1 0 -3 -3
15 1 1 4 6
16 2 1 2 5
17 2 1 1 4 3 3 0 3
18 2 3 5 10
19 1 1 5 7
20 1 2 3 6
21 1 0 -1 -1
22 1 1 4 6
23 2 2 2 6
24 1 1 5 7
25 3 3 5 11
26 2 1 3 6
27 2 0 -2 -2
28 1 2 3 6
29 2 3 4 9
30 2 0 -3 -3
31 2 2 5 9
32 2 1 1 4
Среднее значение ИЭВЗ 5,72
Индекс текущей деятельности (ИТД) 2,25
Начало
Оценка текущей деятельности сотрудника руководителем. Неделя 1
Ввод балла текущей деятельности за неделю 1
1
Оценка текущей деятельности сотрудника руководителем. Неделя 2
1 Г
Ввод балла текущей деятельности за неделю 2
1 Г
Оценка текущей деятельности сотрудника руководителем. Неделя п
1 Г
Ввод балла текущей деятельности за неделю п
\ г
Расчет индекса текущей деятельности за месяц
1 Г
Сохранение индекса в БД
Конец
Рис. 2. Алгоритм расчета индекса текущей деятельности
Для расчета индекса эффективности сотрудника мы использовали метод порядковой регрессии. В табл. 9 представлена выборка данных за 2 месяца - март и апрель 2016 г., по двум отделам организации, где экспериментальная группа составила 11 человек. В выборке представлены 5 переменных.
«Премия» является зависимой переменной в уравнении порядковой регрессии, может принимать 3 значения: «0» - свидетельствует об отсутствии премии за месяц; «1» - о наличии премии за месяц, «-1» - штрафное депремирование. Эти данные получены на основе существующего на данный момент процесса премирования.
Переменные «Сложность», «Опережение», «Оценка», «ИТД» являются ковариатами в уравнении порядковой регрессии. «Сложность», «Опережение», «Оценка» представляют собой средние значения соответствующих переменных по всем прямым заданиям от руководителя, выполненным сотрудником за месяц. «ИТД» - индекс текущей деятельности сотрудника за месяц, т. е. среднее значение оценок деятельности, не связанной с прямыми заданиями руководителя, за все недели месяца.
Для расчета порядковой регрессии использовался программный продукт статистической обработки IBM SPSS [1].
Таблица 9
Выборка данных для расчета порядковой регрессии
Сотрудник Премия Сложность Опережение Оценка ИТД
Сотр. 1, март 0 1,50 1,34 2,88 2,25
Сотр. 1, апрель 0 1,63 1,17 2,08 1,5
Сотр. 2, март -1 1,12 1,04 1,6 0
Сотр. 2, апрель 0 1,24 1,1 1,9 0
Сотр. 3, март 1 1,81 1,42 3,12 3
Сотр. 3, апрель 0 1,63 1,26 2,21 2,25
Сотр. 4, март 0 1,33 1,15 2,48 2,25
Сотр. 4, апрель 0 1,14 1,19 2,14 1,5
Сотр. 5, март 1 2,04 1,61 4,07 3
Сотр. 5, апрель 1 2,00 1,76 4,05 3
Сотр. 6, март 0 1,55 1,18 2,82 1,5
Сотр. 6, апрель 0 1,40 1,35 2,25 2,25
Сотр. 7, март 1 1,74 1,37 3,33 3
Сотр. 7, апрель 0 1,45 1,45 3,1 2,25
Сотр. 8, март 0 1,39 0,89 2,07 0,75
Сотр. 8, апрель 0 1,63 0,95 2,21 0
Сотр. 9, март 1 1,79 1,38 3,79 3
Сотр. 9, апрель 1 1,57 1,52 3,3 3
Сотр. 10, март -1 1,56 1,18 2,56 -0,75
Сотр. 10, апрель 0 1,90 1,1 2,9 0,75
Сотр. 11, март 0 1,75 1,32 3 2,25
Сотр. 11, апрель 0 1,48 1,43 3,14 2,25
Порядковая регрессия позволяет моделировать зависимость политомического порядкового отклика от набора предикторов, которые могут быть факторами или ковариатами [2-3]. Реализация процедуры «Порядковая регрессия» основывается на методологии МакКалага.
Стандартный линейный регрессионный анализ включает минимизацию суммы квадратов разностей между переменной отклика (зависимой) и взвешенной комбинацией предикторных (независимых) переменных. Оцененные коэффициенты отражают, насколько изменения значений предикторов влияет на отклик. В табл. 10 представлен сводный отчет по наблюдениям.
Таблица 10
Сводный отчет по наблюдениям
Параметры № Маргинальный процент
штрафное депремирование 2 9,1 %
Премия отсутствие премии 14 63,6 %
наличие премии 6 27,3 %
Допустимо 22 100,0 %
Пропущенные 0
Всего 22
В табл. 11 представлены оценки параметров порогового значения премирования, а также коэффициенты регрессии «Сложность», «Опережение», «Оценка», «ИТД».
Таблица 11
Оценки параметров
95 %-й доверительный
Параметры Оценка Стандарт- Вальд Ст. св. Знач. интервал
ная ошибка нижняя верхняя
граница граница
Пороговое [премия = -1] 12,837 149,920 0,007 1 0,932 -281,001 306,674
значение [премия = 0] 60,664 156,502 0,150 1 0,698 -246,074 367,402
Положение сложность 4,342 69,829 0,004 1 0,950 -132,521 141,206
опережение -6,672 162,290 0,002 1 0,967 -324,754 311,410
оценка 8,382 55,529 0,023 1 0,880 -100,453 117,216
ИТД 14,080 12,347 1,300 1 0,254 -10,120 38,281
Функция связи: Логит.
С полученными коэффициентами уравнение регрессии будет иметь следующий вид: У = 4,342 * Х1 - 6,672 * Х2 + 8,382 * Х3 +14,080 * Х4, (4)
где X1 - средний балл сложности по всем задачам пользователя за месяц; X2 - средний балл опережения; X3 - средний балл оценки; X4 - ИТД.
где У =
Премия, если У * > 60,664 Нет премии, если 12,837 < У * < 60,664 Штраф, если У * < 12,837
Соответственно, если значение Y больше или равно 60,664, то данное служит основанием для премирования сотрудника. Если диапазон значений Y меньше 60,664 и больше или равен 12,837, это свидетельствует об отсутствии премии. Значение Y меньше 12,837 служит основанием для штрафного депремирования.
В качестве оценки значимости вклада отдельных независимых переменных в улучшение прогнозов, получаемых с помощью модели, также служит отрицательное значение 2ЬЬ (удвоенное значение логарифма функции правдоподобия).
Разность между начальным значением («Только постоянное слагаемое») и конечным значением («Окончательно») указывается в виде значения теста хи-квадрат, которому соотнесен соответствующий уровень значимости. В приведенном примере наблюдается очень значимое улучшение (р < 0,001).
<
Таблица 12
Информация подгонки модели
Модель -2 Ьоц-правдоподобие Хи-квадрат Ст. св. Значение
Только постоянное слагаемое 37,839
Окончательная 0,000 37,839 4 0,000
Для проверки: будут ли наблюдаемые частоты значимо отличаться от ожидаемых частот, рассчитанных на основе модели, выполняется х-квадрат тест по Пирсону.
Его результатом для данного примера является незначимая разность значений (р = 1), что говорит о достижении высокой степени приближения.
Таблица 13
Критерий согласия
Метод Хи-квадрат ст.св. Знач.
Пирсона 0,592 38 1,000
Отклонение 1,062 38 1,000
Мера, вычисленная по методу Нэйджелкерка, является мерой определенности, которая указывает на процентную долю дисперсии, объяснимой при помощи порядковой регрессии, и составляет 98 %, что свидетельствует о высокой адекватности модели.
Таблица 14
Псевдо R-квадрат
Кокса и Снелла 0,821
Нэйджелкерк 0,982
Значимость результатов проверена на контрольной группе. В таблице 15 представлены данные по итогам за май м-ц 2016 г. В колонке «Премия расчетная» значения, полученные в результате расчета индекса эффективности сотрудника на основе нашей системы. В колонке «Премия фактическая» - значения наличия премии, фактически назначенной в организации: «0» - свидетельствует об отсутствии премии за месяц; «1» -свидетельствует о наличии премии за месяц. Совпадения расчетных и фактических результатов 90,9 %, что может свидетельствовать их значимости.
Таблица 15
Соотношение расчетных результатов и фактических
Номер сотрудника ИЭС Премия расчетная Премия фактическая
1 59,95 0 0
2 28,68 0 0
3 68,86 1 1
4 58,37 0 0
5 69,32 1 1
6 57,18 0 0
7 66,57 1 0
8 31,96 0 0
9 78,17 1 1
10 41,54 0 0
11 58,12 0 0
Совпадений 90,9 %
Расчет размера премии или штрафного депремирования производится на основании минимальных и максимальных значений индекса эффективности сотрудника (У в уравнении регрессии) и распределяется в процентном соотношении на 25 %, 50 %, 75 %, 100 % от максимально возможных премии или штрафа.
Минимальным пороговым значением премирования является значение ИЭС = 60,664, максимальное значение ИЭС = 90,504.
ИЭСтх = 4,342 * 3 - 6,672 * 1 + 8,382 * 5 +14,080 * 3 (5)
Соответственно, объем премии распределяется как представлено в табл. 16.
Таблица 16
Объем премии
ИЭС Размер премии
83,044 < и < 90,504 100 %
75,584 < и < 83,044 75 %
68,124 < и < 75,584 50 %
60,664 < и < 68,124 25 %
Максимальным пороговым значением штрафного депремирования является значение ИЭС = 12,836, минимальное значение ИЭС = -67,386
ИЭСЛ = 4,342 * 0 - 6,672 * 0 + 8,382 * -3 +14,080 * -3 (6)
Соответственно объем штрафного депремирования распределяется как представлено в табл. 17.
Таблица 17
Объем штрафного депремирования
ИЭС Размер штрафа
12,836 < и < -7,2195 25 %
-7,2195 < и < -27,275 50 %
-27,275 < и < -47,3305 75 %
-47,3305 < и < -67,386 100 %
Заключение. В исследовании разработан и описан алгоритм постановки задачи руководителем сотруднику отдела, а также оценки индекса эффективности сотрудника на основе системы постановки и контроля задач внутреннего корпоративного сайта. Объект «Задача» определяют ключевые поля: «Тип задачи», «Уровень сложности», «Крайний срок», «Ответственный». Полученный алгоритм служит основой для последующего расчета индекса эффективности сотрудника уравнением порядковой регрессии.
Рассчитан индекс эффективности сотрудника на основе уравнения порядковой регрессии. Зависимой переменной в уравнении является «Премия», т. е. значение фактического начисления премии сотруднику в организации. Ковариатами являются переменные «Сложность», «Опережение», «Оценка», «ИТД».
Определены пороговые значения для расчетного показателя премирования и размер премии в процентном соотношении.
Значимость результатов подтверждена следующими методами: отрицательным значением 2КЬ (Удвоенное значение логарифма функции правдоподобия), х-квадрат тест по Пирсону и методом Нэйджелкерка. Также значимость результатов подтверждена контрольной группой, для которой получены и исследованы расчетные и фактические результаты.
Представлен алгоритм работы системы помощи принятия решений, который основывается на расчете максимальной частоты значений атрибутов «Тип задачи» и «Уровень сложности» из всех задач, выполненных сотрудником максимально успешно за месяц. Следующим шагом является определение для сотрудника неподходящих задач по типу и уровню сложности. Через месяц после запуска системы помощи принятия решений получены результаты и представлена сравнительная характеристика значений индексов эффективности сотрудников до и после внедрения.
Литература
1. Бююль А., Цефель П. SPSS: искусство обработки информации. Анализ статистических данных и восстановление скрытых закономерностей. СПб. : ДиаСофтЮП, 2005. 608 с.
2. Федоров Д. А. Модели и алгоритмы диагностики атеросклероза артерий нижних конечностей // Вестник. кибернетики. 2015. № 4. С. 135-141.
3. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М. : Вильямс, 2007. 912 с.
4. Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: основы моделирования и первичная обработка данных : справ. изд. М. : Финансы и статистика, 1983. 471 с.
5. Микшина В. С., Острейковский В. А., Федоров Д. А. Математическая модель выбора способа лечения облитерирующего атеросклероза на основе логистической регрессии // Инновации на основе информационных и коммуникационных технологий : материалы Международ. науч.-практ. конф.; науч. ред. А. Н. Тихонов. М. : Изд-во МИЭМ НИУ ВШЭ, 2013. С. 565-573.
6. Радченко С. Г. Устойчивые методы оценивания статистических моделей : моногр. Киев : Санспарель, 2005. 504 с.
7. ШестееваТ. В., Елисеева И. И., Курышева С. В. Эконометрика. М. : Финансы и статистика, 2005. 449 с.
8. Басыров-Попов Р. И. 1С-Битрикс. Корпоративный портал. Повышение эффективности компании. СПб. : Питер, 2012. 416 с.
9. Бернстейн А. Справочник статистических решений. М. : Статистика, 1968. 162 с.
