CC BY
30Автоматизированная оценка эффективности деятельности научных работников
С.А. АНТИПОВА, кандидат физико-математических наук
АННОТАЦИЯ
ABSTRACT
Описана программа для автоматизированного расчета показателей научной деятельности научных сотрудников и подразделений организаций и учреждений Минобороны России. Для анализа индивидуальной результативности работников использованы алгоритмы машинного обучения (деревья принятия решений, случайный лес). Спрогнозированы нормативные значения результативности для каждой группы сотрудников с учетом занимаемой должности, стажа работы и возраста.
The paper describes a program for automated calculation of academic activity indices for researchers and subunits of RF MoD organizations and establishments. To analyze individual efficiency of staffers it used machine learning algorithms (decision trees, random forest). The paper also prognosticated normative values of efficiency for each group of staff, given their post, length of service and age.
КЛЮЧЕВЫЕ СЛОВА
KEYWORDS
Оценка результативности деятельности, научный сотрудник, машинное обучение, классификация, деревья принятия решений, случайный лес.
Estimating work efficiency, researcher, machine learning, classification, decision trees, random forest.
НАПРАВЛЕНИЯ реализации Концепции развития военно-научного комплекса Вооруженных Сил Российской Федерации (ВС РФ)1 предполагают проведение ряда мероприятий, ориентированных на повышение качества результатов научных исследований в военной области, эффективности деятельности научных кадров и организаций Министерства обороны Российской Федерации (МО РФ). Предусмотрен комплекс мер по совершенствованию системы планирования и координации деятельности научно-исследовательских организаций и вузов МО РФ. Особое внимание уделяется подбору высококвалифицированных научных кадров, реализуемости результатов их научных исследований в войсках (силах). В свете решения этой задачи в 2020 году Военно-научным комитетом (ВНК) ВС РФ совместно с Главным управлением кадров МО РФ была разработана методика оценки результативности научной деятельности научных работников (далее — Методика), ставшая главным идейным документом для создания программы для ЭВМ2, основные функциональные возможности которой представлены в данной статье.
Правовой основой программы также послужили Национальная стратегия развития искусственного интеллекта на период до 2030 года (далее — Стратегия)3 и ряд других нормативных правовых актов, определяющих направления применения информационных технологий в Российской Федерации4'5. В соответствии с пунктом 32 Стратегии, повышение эффективности оценки научных сотрудников (исследователей), в том числе посредством применения новых критериев результативности их деятельности (помимо научных публикаций), является одной из мер, необходимых для развития фундаментальных и прикладных научных исследований в области искусственного интеллекта.
Стремительное развитие технологических решений, разработанных на основе искусственного интеллекта, обусловливает целесообразность внедрения их результатов в различные аспекты деятельности ВС РФ. Его милитаризация неизбежна и требует ускоренного применения соответствующих технологий как в перспективных образцах военной техники (роботизированных комплексах, системах управления, беспилотных летательных аппаратах и др.), так и для решения частных прикладных задач. Обеспечение поддержки принятия должностными лицами тех или иных управленческих решений предполагает разработку и внедрение программного обеспечения, в котором также используются технологии искусственного интеллекта, в частности алгоритмы машинного обучения. Научные организации не являются исключением. Эффективность и качество работы научных работников является важным фактором в процессе реализации опережающего научно-технического задела, гарантированно обеспечивающего военную безопасность и обороноспособность
государства. Ввиду этого оценка их деятельности, в том числе с применением новых информационных технологий, также необходима для наращивания кадрового и научного потенциала ВС РФ.
Программа обеспечивает сбор отчетных данных через заполнение пользователями специализированных форм, расчет результативности деятельности по основным показателям групп работников, визуализацию выходных данных в виде графиков, формирование отчетных документов в формализованном виде, прогнозирование результативности с использованием алгоритмов машинного обучения. Основной блок программы предназначен для расчета главных показателей эффективности деятельности научных работников на основе балльной системы. Критерием положительной результативности деятельности научного работника является условие, при котором индивидуальное количество баллов за отчетный период не может быть меньше некоторого нормативного значения. Для последующей обработки данных и прогнозирования нормативного значения результативности применяется интеллектуальный анализ на основе общеизвестных алгоритмов машинного обучения с учителем, реализованных в открытой библиотеке Scikit-learn (версия 0.24.0)6. Программа написана на языке программирования Python для операционных систем Windows и Astra Linux, функционирует как в однопользовательском режиме, так и по локальной сети.
Основными достоинствами программы являются:
• удобный графический пользовательский интерфейс;
• универсальность: программа применяется в любом научном структурном подразделении;
• наличие опции по формированию отчетных формализованных
документов в pdf-файл, в том числе общего отчета за всю организацию и индивидуального отчета сотрудника;
• отсутствие потребности в дополнительном специальном программном обеспечении, например, базы данных;
• данные хранятся в формате JSON в защищенной папке без возможности скрытого их изменения;
• применение алгоритмов машинного обучения — деревьев принятия решений, а также случайного леса для оценки важности стажа научной работы, возраста, общего количества набранных в отчетном периоде баллов в целях прогнозирования минимальных значений результативности
для каждой группы научных сотрудников (в зависимости от занимаемых должностей).
При анализе эффективности деятельности сотрудника (рис. 1) в первую очередь учитываются различные показатели результативности: научная квалификация; стаж научно-педагогической деятельности; участие в выполнении научно-исследовательских работ и оперативных заданий, а также в создании перспективных образцов вооружения, военной и специальной техники; разработка научных и учебных трудов, монографий; вклад в изобретательскую, рационализаторскую и патентно-лицензионную работу и др.
Рис. 1. Общий вид главного окна программы
Большим достоинством программы является наличие виджета по обработке статистических данных в интерактивном режиме. В частности, имеется возможность сравнительного анализа результативности подразделений с учетом рассчитанного среднего значения баллов, приходящегося на одного работника, а также между сотрудниками с целью выявления лидеров.
Ключевым свойством программы, в отличие от Методики, является возможность интеллектуального анализа данных в целях выработки прогнозов, т. е. для предсказания нормативного значения результативности для групп работников (в зависимости от занимаемых должностей, их стажа работы в организации и возраста). В Методике же предусматривается, что нормативное значение результативности может быть задано путем усреднения общего количества баллов без учета должности, стажа научной работы, а также возраста ученых (рис. 2а). Вместе с тем руководству организаций для принятия решения об эффективности деятельности научных работников нужна адекватная
Стремительное развитие технологических решений, разработанных на основе искусственного интеллекта, обусловливает целесообразность внедрения их результатов
в различные аспекты деятельности ВС РФ. Его милитаризация неизбежна и требует ускоренного применения соответствующих технологий как в перспективных
образцах военной техники (роботизированных комплексах, системах управления, беспилотных летательных аппаратах и др.), так и для решения частных прикладных задач.
информация в кратчайшие сроки на этапе обобщения данных (рис. 2б).
Проведенный эксперимент по применению программы в научно-исследовательском институте военно-системных исследований Военной академии материально-технического обеспечения имени генерала армии А.В. Хруле-ва выявил много интересных зависимостей. В тестировании участвовали 135 старших научных, научных и младших научных сотрудников (СНС, НС, МНС). Первый и очевидный вывод заключался в сокращении времени для индивидуальной оценки работника (рис. 2). В программу встроен таймер, обработка и обобщение сведений о времени заполнения отчета всеми пользователями позволили рассчитать среднее значение.
Следующим заключением явился тот факт, что наличие множества публикаций не влияет на общую эффективность работника. Первоочередную важность представляет собой участие в государственных испытаниях новых образцов военной техники, опытно-конструкторских работах, а также в работах по созданию новых математических (программных) моделей. Именно они повлияли на максимальный уровень баллов, набранных некоторыми работниками. Кроме того, рассчитанный коэффициент корреляции (ниже 0,5) между показателями «баллы» и «стаж научной работы» свидетельствует, что, как ни парадоксально, утверждение «чем сотрудник опытнее, тем эффективнее» не всегда корректно.
Применение алгоритмов машинного обучения позволило сформировать границы допустимых значений баллов для каждой группы сотрудников (в зависимости от занимаемой должности), а также выявить аномалии при некорректном заполнении отчетов. Создание прогнозирующей модели включает этапы подготовки исходных
Примечание: НИО — научно-исследовательские организации.
Рис. 2. Общий вид процесса оценки эффективности деятельности научного работника: а) вариант расчета согласно Методике; б) с использованием программы
данных, обучения модели, оценки и формирования прогнозов. Важным этапом является выбор алгоритма обучения. Классификаторы на основе дерева принятия решений и случайных лесов являются примером непараметрических моделей машинного обучения с учителем. Выбор и реализация именно этих алгоритмов обусловлены тем, что они не требуют настройки многочисленных гиперпараметров и, как следствие, поддерживают нечисловые данные и работу с нелинейными отношениями. Для контроля переобучения варьируется максимальная глубина дерева, как правило, в меньшую сторону, а в случае случайного леса — увеличивается количество деревьев.
В последние несколько лет в приложениях машинного обучения особую популярность приобрели именно случайные леса из-за хорошей эффек-
тивности классификации, масштабируемости и легкости в применении7. Случайный лес можно рассматривать как ансамбль деревьев принятия решений. В основу случайного леса заложена идея усреднения множества таких деревьев, которые по отдельности склонны к высоким значениям дисперсии. Для построения более надежной модели, обладающей высокой эффективностью обобщения и менее восприимчивой к переобучению, объединение множества деревьев принятия решений с помощью случайных лесов является хорошим вариантом для повышения точности прогнозов. Для коррекции тенденции переобучения модели, использованной в программе, применялся бэггинг (частный случай усреднения модели), дисперсия уменьшалась за счет создания множества деревьев, обученных на случайных подвыборках.
Использование ансамблевой модели на основе случайного леса позволило добиться устойчивости к шуму от индивидуальных деревьев принятия решений. Единственный параметр, о котором действительно нужно всегда помнить — это количество деревьев. Для текущей модели было использовано 10 деревьев. Как правило, чем боль-
ше деревьев, тем выше эффективность классификатора на основе случайного леса за счет увеличенных вычислительных затрат работы процессора ЭВМ.
Для оценки работы модели были использованы различные метрики эффективности: процент правильных прогнозов (корректность), чувствительность и точность (табл.).
Таблица
Расчет метрик оценки эффективности работы модели
Модель «Случайный лес», классы Корректность Чувствительность Точность
СНС 0,897 0,780 0,842
НС 0,885 0,844 0,911
МНС 0,832 0,867 0,875
Корректность — это процент правильных классификаций, количество возвращаемых релевантных результатов определяется чувствительностью. Для ответа на вопрос о том, насколько релевантны результаты, служит точность. Для повышения значений метрик оценки требуется значительное расширение исходного набора данных и настройка гиперпараметров. В дальнейшем для сравнения эффективности обучения планируется использовать и другие алгоритмы машинного обучения
(наивный баейсовский классификатор, метод опорных векторов и т. д.).
Границы минимального рекомендуемого порога баллов после тестирования и обработки данных варьируются следующим образом: для должностей МНС (26,9—49,8), НС (49,9—95,9), СНС (96,0 и более). После обучения модели получаем, что, например, СНС (возраст 35 лет, стаж научной работы 5 лет) в текущем отчетном периоде (1 год) должен набрать не менее 97,8 баллов (рис. 3), а МНС (возраст 25 лет, стаж 2 года) — 28,3 балла.
Рис. 3. Прогнозирование номинального значения результативности для СНС
Изменяя срок отчетного периода от года до трех лет, можно добиться большей интерпретируемости. Естественно, что с увеличением выборки и обучающего набора данных точность прогнозирования тоже будет повышаться. Если сотрудник после заполнения отчетных форм набирает менее рекомендуемого порога баллов, то это может служить дополнительным основанием для проведения более тщательного анализа его деятельности руководством организации.
Таким образом, применение программы в НИО Минобороны России повысит оперативность и качество анализа деятельности научных работников. Отчет о ее результативности, а также прогнозирование индивидуальных количественных признаков
В последние несколько лет в приложениях машинного обучения особую популярность приобрели именно случайные леса из-за хорошей эффективности классификации, масштабируемости и легкости в применении.
(достижений) сотрудников на основе агрегирования, синтеза и обработки данных позволят руководству принимать обоснованные решения при рассмотрении любого научного работника в качестве кандидата на замещение вышестоящих должностей, а также при проведении его аттестации в целях определения степени соответствия замещаемой должности.
ПРИМЕЧАНИЯ
1 Концепция развития военно-научного комплекса Вооруженных Сил Российской Федерации на период до 2025 года и дальнейшую перспективу, утверждена Министром обороны Российской Федерации 23 октября 2015 года.
2 Свид. 2020665934 Российская Федерация. Свидетельство о государственной регистрации программы для ЭВМ. Автоматизированная система оценки результативности научной деятельности сотрудников научно-исследовательских организаций Министерства обороны Российской Федерации с интеллектуальным анализом данных / С.А. Антипова, правообладатель: Федеральное государственное казенное военное учреждение высшего образования «Военная академия материально-технического обеспечения имени генерала армии А.В. Хрулева» Министерства обороны Российской Федерации № 2020665934, заяв. 19 ноября 2020 года, опубл. 2 декабря 2020 года. Реестр программ для ЭВМ. 1 с.
3 Указ Президента Российской Федерации от 10 октября 2019 года № 490
«О развитии искусственного интеллекта в Российской Федерации». URL: http:// www.kremlin.ru/acts/bank/44731 (дата обращения: 22.12.2020).
4 Указ Президента Российской Федерации от 7 мая 2018 года № 204 «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года». URL: http://www. kremlin.ru/acts/bank/43027 (дата обращения: 22.12.2020).
5 Указ Президента Российской Федерации от 9 мая 2017 года № 203 «О Стратегии развития информационного общества в Российской Федерации на 2017—2030 годы». URL: http://kremlin. ru/acts/bank/41919 (дата обращения: 22.12.2020).
6 Scikit-learn: Machine Learning in Python. URL: https://scikit-learn.org/stable/ (дата обращения: 12.01.2021).
7 Рашка С., Мирджалили В. Python и машинное обучение: машинное и глубокое обучение с использованием Python, scikit-learn и TensorFlow, 2-е изд. СПб.: Диалектика, 2019. 656 с.
