CC BY
10
Разработка методов оценки эффективности человеческих ресурсов на основе алгоритмов глубокого обучения
И.Л. Каширина, Т. В. Азарнова, Ю.В. Бондаренко Воронежский государственный университет
Аннотация: С развитием технологии носимых устройств появились уникальные возможности для обеспечения взаимодействия с пользователем и высокоточного персонализированного распознавания его рабочей деятельности. В статье предлагается подход с использованием гибридной нейронной сети CNN-LSTM, направленный на определение конкретного вида работы, выполняемой специалистами, предоставляющий возможность обеспечения контроля выполнения действий на основе данных с носимых устройств (смарт-часы, смарт-браслеты). Точность разработанного алгоритма при распознавании 18 различных видов действий на тестовой выборке составила более 90 % по метрике Accuracy (доля правильных ответов).
Ключевые слова: человеческий капитал, производительность труда, гибридная нейронная сеть, сверточная нейронная сеть, рекуррентная нейронная сеть.
Введение
Четвертая промышленная революция (Индустрия 4.0) характеризуется изменением экономических отношений и широким использованием интеллектуальных технологий (облачные технологии, большие данные, искусственные нейронные сети и нечеткие множества, интеллектуальный анализ данных и другие). Эти технологии составляют основу цифровой экономики. Для успешного развития государств, регионов, предприятий в эпоху Индустрии 4.0 оценка возможного потенциала эффективности человеческих ресурсов (HR) играет важную роль, так как HR может радикально изменить и повысить развитие и конкурентоспособность хозяйствующих субъектов в современных условиях [1]. В стратегии Индустрия 4.0 человеческие ресурсы являются частью общей стратегии развития государства, региона и предприятия, и позволяют им обеспечить текущее планирование экономической деятельности. Важную роль в этих планах играет оценка степени эффективности человеческих ресурсов как фактора обновления и повышения эффективности производства в общей экономической стратегии региона и предприятия. Создание современных
больших данных о населении, человеческом капитале и управлении им требует обработки большого объема информации с применением интеллектуальной оценки на основе машинного обучения. Это связано с широким спектром задач, решаемых персоналом, как организационных, так и экономических и технологических [1].
Цель данного исследования - предложить методы учета оценки экономической эффективности человеческих ресурсов с использованием больших данных и методов машинного обучения, что позволит в процессе управления человеческим капиталом принимать более обоснованные решения.
Современный уровень развития технологий открывает новые подходы к организации контроля деятельности персонала. Все чаще на предприятиях промышленности используются интеллектуальные системы видеонаблюдения, которые, наряду с контролем выполнения требований промышленной безопасности, контролируют нахождения человека в той или иной рабочей зоне. Существуют попытки решить задачи идентификации рабочей деятельности персонала с использованием методов компьютерного зрения. Кроме того, для решения контроля нахождения персонала в той или иной зоне можно использовать различные носимые устройства (смартфоны, смарт-часы и др.). Наиболее перспективными выглядит методы контроля порядка выполнения работ по данным с датчиков смарт - часов или смарт-браслетов [2]. В отличие от технологии, основанной на компьютерном зрении, сбор данных с носимых устройств хорошо подходит для самых разных условий, обеспечивая высокую точность при гораздо меньших вычислительных затратах. Кроме того, этот метод устойчив к изменениям в атмосферных условиях [3]. Умные часы имеют множество датчиков, подходящих для сбора данных о физической активности и местоположении, таких, как акселерометр, гироскоп, пульсометр и GPS. Сочетание всех этих
М Инженерный вестник Дона, №2 (2022) ivdon.ru/ru/magazine/archive/n2y2022/7459
функций позволяет передавать собранные данные на удаленный сервер и отслеживать физическую активность и потенциально рабочую активность в режиме реального времени. Умные часы очень удобны для пользователей и являются идеальными устройствами для мониторинга активности в течение длительных периодов времени.
Исходные данные
В данном исследовании в качестве исходного набора данных для построения модели распознавания видов деятельности использовался датасет "ШБОМ [4], содержащий данные о различных типах активности людей. WISDM содержит необработанные данные временных рядов с акселерометра и гироскопа часов. Каждый датчик предоставляет данные для трех пространственных измерений (X, Y, 7). WISDM включает данные, собранные от 51 испытуемого, каждому из которых было предложено выполнить 18 различных действий по 3 минуты каждое. Полученные временные ряды разбиты на непересекающиеся 10-секундные интервалы, на каждом из которых представлено только одно из действий. Каждый 10-секундный интервал включает по 200 измерений показаний датчиков. Представленные в датасете действия могут быть сгруппированы в три общие категории (таблица 1).
Таблица № 1
Действия, используемые для обучения модели
Общие виды деятельности человека (не ориентированные на руки) Общие виды деятельности человека(ориентированные на руки) Виды деятельности, связанные с приемом пищи
идет (0); бежит трусцой (1); поднимается по лестнице (2); сидит (3); стоит (4); ведет набирает текст на клавиатуре (5); чистит зубы (6); ведет баскетбольный мяч (14); играет в теннис (13); пишет от руки (15); хлопает в ест суп (7); ест чипсы (8); ест макароны (9); пьет из кружки (10); ест
М Инженерный вестник Дона, №2 (2022) ivdon.ru/ru/magazine/archive/n2y2022/7459
футбольный мяч (12). ладоши (16); складывает одежду (17). бутерброд (11).
В таблице 1 в скобках указаны номера действий в исходном датасете. На рис. 1 и 2 изображены примеры временных рядов датчиков акселерометра и гироскопа для 2 видов различных действий.
Рис.1. - Показания гироскопа за 10 секунд для двух видов действий.
Рис.2. - Показания акселерометра за 10 секунд для двух видов действий
Материалы и методы
Для обработки временных рядов сигналов датчиков, как правило, используются рекуррентные нейронные сети архитектуры LSTM. Однако во многих исследованиях отмечается, что добавление дополнительных признаков, полученных из необработанных сигналов датчиков, часто приводит к повышению производительности сети [5]. Обнаружение адекватных признаков требует экспертных знаний, что неизбежно ограничивает исследование пространства признаков. Для решения этой проблемы будут использоваться сверточные сети (CNN). CNN извлекает
М Инженерный вестник Дона, №2 (2022) ivdon.ru/ru/magazine/archive/n2y2022/7459
признаки из входного сигнала посредством операции свертки сигнала с помощью фильтра (или ядра). Вычисляя свертки в разных областях одного и того же входного вектора, можно обнаружить шаблоны значимых паттернов, при этом коэффициенты ядра свертки оптимизируются в процессе обучения сети. Размерность оператора свертки зависит от размерности входных данных. С одномерной временной последовательностью, такой, как сигнал датчика, обычно используется ядро Conv1D [6]. В области Ш ядро можно рассматривать, как фильтр, способный удалять выбросы или действовать, как детектор признаков, определяемый для максимального реагирования на определенные комбинации значений в пределах временного интервала ядра. Рисунок 3 иллюстрирует, как ядро размера 5 будет двигаться по данным временных рядов акселерометра для трех осей координат. Ядро движется только в одном измерении по оси времени.
Рис. 3. - Иллюстрация работы фильтра Conv1d с размером ядра 5.
Извлеченные сетью CNN признаки передаются далее на вход сети LSTM [7]. В LSTM используется механизм, основанный на покомпонентном умножении векторов (обозначенном на рис. 4. как 0), который определяет поведение каждой отдельной ячейки памяти. На вход ячейки LSTM поступает входной вектор xt и вектор краткосрочной памяти ht_t (равный выходному вектору ячейки на предыдущем шаге). Входные данные, помимо обработки основным слоем ячейки по формуле:
9t = + Vght-1 + Ъд),
поступают в дополнительные слои-шлюзы, которые управляют тем, какая
и
операция выполняется с памятью ячейки: чтение (входной шлюз / с), запись (выходной шлюз ог) или сброс (шлюз забывания /с). Активация нейронов, входящих в шлюзы LSTM (рис. 4.) рассчитывается по формулам [7]:
и = о(уутхг + + ьг)
I с = 67 (Ш^с + и^с-! + Ь Л , ог = а (Ш0Хс + и 0К с _ ± + Ь 0) .
Здесь Шд , Ш^, , Ш0 - это матрицы весовых коэффициентов соответствующих слоев сети LSTM, связанные с входным вектором хс, а и д,и^,и^ ,и0 -матрицы весовых коэффициентов соответствующих слоев, связанных с краткосрочным состоянием .
Рис. 4. - Ячейка LSTM Вектор долгосрочной памяти обновляется по формуле:
Сс = Ъ® Сс- 1 + 1 с® 9 с, После прохождения всех шлюзов вычисляется текущее выходное состояние ячейки LSTM:
уг = /гс = ог ® о(сс).
Результаты и обсуждение
Предлагаемая в данном исследовании гибридная сеть CNN-LSTM - это глубокая нейронная сеть, которая включает сверточные и рекуррентные слои [8]. На рис 5. изображена архитектура такой сети, которая была выбрана по результатам процесса тестирования на этапе поиска гиперпараметров сети и
реализована в библиотеке Keras на языке Python.
Рис.5. Архитектура сети CNN- LSTM С помощью данной сети показания датчиков акселерометра и гироскопа преобразуются двумя сверточными слоями, которые обрабатывают 6 временных рядов (3 ряда показаний акселерометра и три ряда показаний гироскопа) вдоль оси, представляющей время. Затем следует объединяющий слой MaxPooling 2*2, с механизмом Dropout для защиты сети от переобучения. Затем данные поступают на обработку рекуррентному слою LSTM, вслед за которым используется полносвязный слой. Выходные данные модели формируются еще одним полносвязным слоем с функцией активации Softmax, которая определяет вероятности классов действий для каждого входного вектора.
На рис. 6 приведен график изменения метрики точности Accuracy (доля правильных ответов) в зависимости от количества эпох обучения для построенной гибридной модели. Максимальная точность сети на обучающей выборке составила 0.949, на тестовой - 0.901.
На рис. 7 приведена матрица ошибок классификации разработанного алгоритма на тестовой выборке. Видно, что сильнее всего сеть путает классы с номерами 8 и 11, что соответствует действиям "есть бутерброд" и "есть чипсы", так как эти действия очень похожи с точки зрения показаний
и
гироскопа и акселерометра.
Рис 6. Доля правильных ответов сети на обучающей и тестовой выборке
С другой стороны, уже чуть менее похожие действия, такие как "набирать текст на клавиатуре" (5) и "писать от руки" (15), практически не смешиваются друг с другом. В целом, предлагаемая модель обеспечивает приемлемый уровень точности для распознавания 18 различных (в том числе и довольно похожих) действий и может быть обучена и на других примерах временных рядов датчиков умных устройств.
Рис. 7. Матрица ошибок классификации Заключение
Эффективное применение методов искусственного интеллекта для
решения задачи оценки человеческих ресурсов очень важно [10,11]. Применение методов машинного обучения позволяет разработать нейросетевой алгоритм, предназначенный для оценки эффективности расходования рабочего времени и производительности труда с использованием показаний датчиков смарт-часов. Разработанный в исследовании алгоритм поможет решить задачу оценки производительности труда сотрудников с учетом их видов деятельности, на основе подхода, существенно отличающегося от традиционного. В настоящий момент разработанный алгоритм на основе показаний датчиков смарт-часов позволяет с высокой точностью определять 18 типовых видов действий человека.
В качестве направления дальнейших исследований планируется провести ряд экспериментов с распознаванием действий строительных рабочих, чтобы проверить эффективность алгоритма датасет, собранного в условиях реальной трудовой деятельности. Это исследование поможет изучить влияние полученной со смарт-часов информации на производительность труда работников. Во время этих экспериментов планируется обучить сеть специализированным рабочим действиям, обновить алгоритм для распознавания действий, не представленных в обучающей выборке и изучить другие аспекты, связанные с оценкой эффективности человеческих ресурсов на основе обработки данных, поступающих в режиме реального времени.
Благодарности
Исследование выполнено при поддержке РФФИ, проект 19-29-07400.
Литература
1. Cappelli P., Tambe P., Yakubovich V. Artificial Intelligence in Human Resources Management: Challenges and a Path Forward // SSRN Electronic Journal. 2018. DOI: 10.2139/ssrn.3263878.
2. Konstantinou E., Brilakis I. Monitoring construction labour productivity by way of a smart technology approach // Proceedings of the Institution of Civil Engineers - Smart Infrastructure and Construction. 2019. № 172(2), pp. 70-82.
3. Shoaib M., et al. Complex human activity recognition using smartphone and wrist-worn motion sensors // Sensors. 2016. № 4. p. 426.
4. WISDM Smartphone and Smartwatch Activity and Biometrics Dataset. URL: archive-beta.ics.uci.edu/ml/datasets/wisdm+smartphone+and+smartwatch+ activity+and+biometrics+dataset
5. Sanhudo L. et al. Activity classification using accelerometers and machine learning for complex construction worker activities // Journal of Building Engineering. 2021. V. 35, p. 102001.
6. Tao W. et al. Worker Activity Recognition in Smart Manufacturing Using IMU and sEMG Signals with Convolutional Neural Networks // Procedia Manufacturing, 2018. № 26. pp. 1159-1166.
7. Ordonez, F.J., Roggen D. Deep convolutional and LSTM recurrent neural networks for multimodal wearable activity recognition // Sensors. 2016. № 1. p. 115.
8. Lv T., Wang X., Jin L., Xiao Y. Song M. Margin-Based Deep Learning Networks for Human Activity Recognition // Sensors. 2020, № 20. p. 1871.
9. Kashirina I. L., Bondarenko Y. V., Azarnova T.V. Analysis and Forecasting of the Market of Educational Services of the Region // 2021 1st International Conference on Technology Enhanced Learning in Higher Education (TELE). 2021. pp. 30-34. doi: 10.1109/TELE52840.2021.9482804.
10. Яковенко Н. В., Гоголева Т. Н., Каширина И. Л. [и др.]. Человеческий капитал как драйвер развития цифровой экономики региона: теоретические и инструментальные основы исследования. - Воронеж: Цифровая полиграфия. 2020. 234 с.
References
1. Cappelli P., Tambe P., Yakubovich V. SSRN Electronic Journal. 2018. DOI: 10.2139/ssm.3263878.
2. Konstantinou E., Brilakis I. Proceedings of the Institution of Civil Engineers - Smart Infrastructure and Construction. 2019. № 172(2), pp. 70-82.
3. Shoaib M., et al. Sensors. 2016. № 4. p. 426.
4. WISDM Smartphone and Smartwatch Activity and Biometrics Dataset. URL: archive-beta.ics.uci.edu/ml/datasets/wisdm+smartphone+and+smartwatch+ activity+and+biometrics+dataset
5. Sanhudo L. Journal of Building Engineering. 2021. V. 35, p. 102001.
6. Tao W. Procedia Manufacturing, 2018. № 26. pp. 1159-1166.
7. Ordonez, F.J., Roggen D. Sensors. 2016. № 1. p. 115.
8. Lv T., Wang X., Jin L., Xiao Y. Song M. Sensors. 2020, № 20. p. 1871.
9. Kashirina I. L., Bondarenko Y. V., Azarnova T.V. 2021 1st International Conference on Technology Enhanced Learning in Higher Education (TELE). 2021. pp. 30-34. doi: 10.1109/TELE52840.2021.9482804
10. YAkovenko N. V., Gogoleva T. N., Kashirina I. L. [i dr.].Chelovecheskij kapital kak drajver razvitiya cifrovoj ekonomiki regiona: teoreticheskie i instrumental'nye osnovy issledovaniya [Human capital as a driver for the development of the digital economy of the region: theoretical and instrumental foundations of the study]. Voronezh: Digital printing. 2020. 234 p.
