CC BY
1
УДК 004.042
doi: 10.21685/2072-3059-2023-3-6
Предиктивная нейросетевая модель для управления бизнес-процессами
М. И. Кревский1, А. С. Бождай2
Государственное казенное учреждение города Москвы «Информационный город», Москва, Россия пензенский государственный университет, Пенза, Россия
1westhemer1@gmail.com, 2bozhday@yandex.ru
Аннотация. Актуальность и цели. Предиктивная аналитика бизнес-процессов является важным инструментом в управлении организационными системами. Рассматриваются подходы к усовершенствованию методов глубокого обучения для предсказания поведения бизнес-процессов. Цель работы состоит в повышении эффективности анализа и предиктивной идентификации проблемных бизнес-процессов за счет улучшения существующих методов глубокого обучения и подхода Process Mining. Реализация предложенных методов позволит эффективно предсказывать проблемы и особенности поведения как единичных процессов, так и целых организационных систем с учетом комплекса временных факторов. Материалы и методы. Используются методы анализа бизнес-процессов на основе протоколов информационных систем (Process Mining), методы глубокого обучения и методы управления организационными системами. Результаты. Выполнен обзор существующих моделей и методов предсказания поведения процессов. Предложено улучшение существующих решений за счет интеграции свойств предиктивных нейросетей и сетей для машинного перевода в рамках единой модели. В частности, использованы модули кодирования и декодирования, а также механизм внимания. Выводы. Экспериментально подтверждена эффективность предложенной нейросетевой модели. Реализованное решение позволило улучшить качество предсказания этапов бизнес-процессов в 1,5-2 раза.
Ключевые слова: бизнес-процесс, машинное обучение, нейросетевые архитектуры, методы предсказания поведения процессов, долгая краткосрочная память, механизм внимания, предиктивная модель
Для цитирования: Кревский М. И., Бождай А. С. Предиктивная нейросетевая модель для управления бизнес-процессами // Известия высших учебных заведений. Поволжский регион. Технические науки. 2023. № 3. С. 83-93. doi: 10.21685/2072-3059-2023-3-6
The predictive neural network model for business processes management
M.I. Krevskiy1, A.S. Bozhday2
:State government institution "Informatsionniy Gorod", Moscow, Russia 2Penza State University, Penza, Russia
:westhemer1@gmail.com, 2bozhday@yandex.ru
Abstract. Background. Predictive business process analytics is an important tool in the management of organizational systems. The study discusses the approaches to improve deep learning methods for business processes prediction. The purpose of the work is to improve the efficiency of analysis and predictive identification of problematic business pro-
© Кревский М. И., Бождай А. С., 2023. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.
cesses by improving existing deep learning methods. The implementation of the proposed methods will effectively predict the problems and the behavior of both single processes and entire organizational systems. Materials and methods. Process Mining methods, deep learning and methods of organizational system management are used. Results. In the course of the work, a review of existing process predicting methods was made. An improvement of existing solutions is proposed by integrating the properties of predictive neural networks and networks for machine translation within a single model. In particular, encoder and decoder were used, as well as the attention mechanism. Conclusions. The work experimentally confirmed the effectiveness of the proposed modification of the neural network architecture. The changes made it possible to improve the quality of predicting the business processes activities by 1.5-2 times.
Keywords: business process, machine learning, neural network architectures, methods for predicting the behavior of processes, long short-term memory, the mechanism of attention, predictive model
For citation: Krevskiy M.I., Bozhday A.S. The predictive neural network model for business processes management. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki = University proceedings. Volga region. Engineering sciences. 2023;(3):83-93. (In Russ.). doi: 10.21685/2072-3059-2023-3-6
Введение
Вследствие повсеместной цифровизации организационных структур современные информационные системы хранят огромное количество данных, отражающих прохождение бизнес-процессов. Это позволяет автоматизировать большинство этапов управления процессами, осуществлять объективный контроль их прохождения, повышать эффективность работы организации и оптимизировать рутинные задачи, применяя подход Process Mining. Операции с большими объемами данных определяют необходимость использования методов машинного обучения и, в частности, нейронных сетей. Применение этих технологий позволяет выявить аномалии и ошибки в работе информационной системы и повысить эффективность управления процессами с учетом жестких временных и ресурсных ограничений.
Часто перед аналитиком встает задача предсказать тренды, сценарии развития событий, аномалии и нарушения в работе системы. Решение этой задачи способно существенно сократить издержки, повысить надежность системы, улучшить качество обслуживания пользователей и, как следствие, увеличить эффективность работы предприятия. Поэтому задача разработки и внедрения модулей предиктивной аналитики в общую структуру системы мониторинга поведения бизнес-процессов является актуальной и практически востребованной. Целью работы является повышение эффективности анализа и предиктивной идентификации проблемных бизнес-процессов за счет улучшения существующих методов глубокого обучения и подхода Process Mining.
Материалы и методы
Начальным этапом решения данной задачи является исследование существующих методов машинного обучения, позволяющих предсказать дальнейшее течение процесса, имея данные о его предыстории и характерных свойствах.
Данные, описывающие бизнес-процессы, обладают рядом свойств, сближающих их с данными из области обработки искусственного языка. У бизнес-процесса есть начало и конец. Этапы процессов последовательны,
упорядочены и развиваются во времени, следуя внутренним закономерностям и логике функционирования системы. Это позволяет провести аналогию между бизнес-процессом и предложением в тексте, между этапом процесса и словом в языке. Это сравнение на текущий момент получило развитие в применении моделей и подходов машинного обучения из сферы обработки естественного языка к области аналитики бизнес-процессов.
В работах [1, 2] исследована возможность эффективного получения компактных и информативных векторных представлений отдельных этапов процесса и процесса в целом. Был проведен сравнительный анализ методов классического машинного обучения и глубокого обучения для создания векторов. На основе данных журналов событий управляющих систем был проведен ряд экспериментов. Анализ результатов эксперимента показал, что для создания векторных представлений отдельных этапов наибольший эффект дает применение метода act2vec, а для представлений бизнес-процессов целиком - применение методов trace2vec и graph2vec. Методы act2vec и trace2vec для анализа процессов позаимствованы из сферы обработки естественного языка. Метод graph2vec применяется в силу аналогии между бизнес-процессом и ориентированным математическим графом. В данной работе рассматривается предсказание ожидаемых этапов процесса на основе его предыстории, поэтому из вышеперечисленных методов векторизации применяется только act2vec.
На данный момент известны некоторые подходы к предсказанию поведения процессов. Например, в статье [3] представлены три нейросетевые модели, способные предсказывать дальнейшие этапы процесса и их временные метки. Все три варианта состоят из кодирующей части, представленной нейронной сетью с долгой краткосрочной памятью (Long short-term memory (LSTM)), и двух выходных модулей (голов): классификатора и регрессии (рис. 1). Голова с регрессией предсказывает время от текущего этапа процесса до следующего. Голова, решающая задачу классификации, предсказывает активность, совершаемую на следующем этапе.
предсказание предсказание
активности
предсказание предсказание активности времени
f ,
LSTMl t
jL
LSTM
A
\ /
вектор признаков этапа а)
\ /
iLSTMl t
А
LSTMl
t
вектор признаков этапа б)
времени
L
тх
+
тх
предсказание предсказание активности времени
п У,
JL
LSTM
t
вектор признаков этапа в)
Рис. 1. Модели предиктивных нейронных сетей [3]
Первая модель (рис. 1,а) имеет два отдельных кодировщика с ЬБТМ. Ни кодировщики, ни головы никак не обмениваются информацией между собой. Таким образом, можно сказать, что параллельно работают две никак не связанные нейронные сети. Одна предсказывает временную метку, другая - активность на этапе. Вторая модель (рис. 1,б) имеет один, общий для обеих голов, кодировщик. В процессе обучения он стремится преобразовать входящую последовательность этапов в информативный вектор, одновременно хранящий знания, по которым можно предсказать и время, и активность этапа. Третья модель (рис. 1,в) является промежуточной между двумя предыдущими. Начальные этапы обрабатываются единым кодировщиком, а затем заданное количество элементов в конце входящей последовательности обрабатывается двумя разными кодировщиками, ведущими в соответствующие головы.
LSTM - нейронная сеть с долгой краткосрочной памятью [4] зарекомендовала себя важным элементом в архитектурах, обрабатывающих последовательности данных. Она часто применяется в области обработки естественного языка [5], временных рядов [6], звука [7], в сфере компьютерного зрения (например, при обработке видеопотока [8]), и биоинформатике [9]. ЬБТМ является разновидностью рекуррентной нейронной сети. Ее устройство разработано специально, чтобы эффективно справляться с распознаванием долговременных зависимостей в данных. Помимо распространенного в рекуррентных нейросетях хранения скрытого состояния, ЬБТМ дополнительно хранит состояние ячейки. Подобно биологическому аналогу, скрытое состояние и состояние ячейки соотносятся с кратковременной памятью и долговременной памятью. Кратковременная память работает в момент поступления информации и в течение нескольких временных шагов после. Долговременная память сохраняет важные знания, позволяя восстановить информацию или вызвать ее позже. Таким образом, архитектура ЬБТМ состоит из рекурсивно связанного набора ячеек памяти.
Ячейки или блоки памяти ЬБТМ (рис. 2) манипулируют информацией через шлюзы, которые контролируют поток информации между ячейками.
Рис. 2. Нейронная сеть с долгой краткосрочной памятью [10]
Существует три типа шлюзов:
- шлюз забывания: решает, какую информацию следует отбросить. В процессе обучения нейросеть определяет, что такая информация бесполезна для достижения цели и только зашумляет долговременную память;
- входной шлюз: добавляет информацию о состоянии ячейки памяти в долговременную память;
- выходной шлюз: извлекает полезную информацию из состояния текущей ячейки памяти, пересылая ее в следующую ячейку кратковременной памяти.
Механизм внимания
Следующим важным шагом в развитии нейросетевых технологий, предваряющим современную эру моделей-трансформеров [11], является изобретение механизма внимания [12]. Впервые он нашел свое применение в задачах машинного перевода типа «последовательность - к - последовательности».
В таких моделях на входящую последовательность слов (предложение) одного языка выдается последовательность слов другого языка, на который осуществляется перевод. Эта задача классически решается применением двух рекуррентных нейронных сетей: кодировщика и декодировщика. Первый кодирует всю информацию о входящей последовательности, а второй декодирует ее и генерирует исходящую последовательность. Однако на практике эта архитектура показывает не самый лучший результат. Размер единственного вектора, передаваемого из кодировщика в декодировщик, зачастую недостаточен, чтобы вместить все необходимые знания о входящей последовательности, а также подвергается наложению и зашумлению информации. Механизм внимания (рис. 3) позволяет решить эту проблему.
Рис. 3. Механизм внимания [13]
При генерации исходящей последовательности декодировщик каждый раз заново проходится по входящему предложению. Он пропускает вектор своего внутреннего состояния через билинейную функцию внимания вместе с векторами входящей последовательности. Затем результаты функции внимания пропускаются через многопеременную логистическую функцию (Softmax), в результате чего формируется вектор значений весов внимания. Эти веса пропорциональны важности каждого слова входящей последовательности для генерации следующего элемента исходящей. Веса умножаются на векторы соответствующих элементов входящей последовательности и складываются. Получившийся вектор конкатенируется с вектором внутреннего состояния декодировщика. Пройдясь по входящей последовательности дважды и имея «двойной» вектор, декодировщик предсказывает следующий элемент значительно эффективнее [12].
Результаты и обсуждение
В данной работе предлагается модифицировать модель, представленную на рис. 1,б, добавив к ней декодировщик и механизм внимания (рис. 4).
Рис. 4. Предиктивная модель для управления бизнес-процессами
Кодировщик состоит из нейронной сети с долгой краткосрочной памятью, подобно всем упомянутым прежде моделям. Декодировщик представляет собой другую сеть ЬБТМ, дополненную механизмом внимания. В декоди-ровщике вектор на выходе из ЬБТМ передается на две головы, предсказывающие время и активность соответствующего ячейке ЬБТМ этапа. Полноценный декодировщик позволяет модели воспринимать предсказываемую после-
довательность активностей полностью и прогнозировать ее как единое целое с внутренней логикой. А механизм внимания дает возможность прослеживать связи с этапами первой половины процесса, что значительно повышает общую эффективность построения предположения.
Для того чтобы на практике оценить преимущества такой усовершенствованной модели, был проведен сравнительный эксперимент. Сравнивалась способность двух моделей - изображенной на рис. 1,б и предложенной в данной статье (рис. 4) к предсказанию второй части процесса по первой.
В роли метрики качества была использована самая популярная метрика для машинного перевода - BLEU (BiLingual Evaluation Understudy - Двуязычная оценка дублера). Метрика рассчитывается как произведение штрафа за слишком короткие последовательности (Brevity Penalty) и среднего геометрического точностей (accuracy) предсказания n-грамм.
А-грамма - это распространенное обозначение непрерывной последовательности из n слов в предложении, или n этапов в процессе. Точность (pn, accuracy) - это отношение верно предсказанных n-грамм к числу всех n-грамм. Штраф за короткие последовательности (Brevity Penalty) считается единицей (BP = 1), если предсказанная длина с больше истинной длины r; BP = e(1 "r/c), если предсказанная длина короче истинной длины:
Обычно среднее геометрическое вычисляется по точностям «-грамм от 1 до 4 (N = 4), и каждое слагаемое под знаком экспоненты умножается на вес, равный 1/N. Но в данной работе в связи с относительно небольшой средней длиной процессов была использована метрика со значением N = 2. Если взять N = 4, то в большом числе последовательностей не найдется «-грамм длины 3 или 4, что приведет к некорректной работе метрики. Значения метрики находятся в диапазоне от 0 до 100 %, где 0 % показывает, что модель совершенно бесполезна, а 100 % - что модель предсказывает процесс с абсолютной точностью.
Программная реализация модели выполнена на языке Python версии 3.9.7 с помощью библиотек SQLAlchemy, Pandas, Numpy, PyTorch и Scikit-learn.
Исходные данные содержат следующую информацию о каждом этапе: временную метку, тип активности на текущем этапе и метку принадлежности к процессу. Активности и временные метки были объединены в отдельные последовательности по меткам процессов. Для каждого этапа была вычислена его длительность как разность между текущей и следующей временными метками. Добавлены искусственные метки начала и конца последовательностей в соответствующие позиции для каждого процесса. Далее методом act2vec были получены векторные представления активностей определенной длины. Длина вектора в act2vec является гиперпараметром и была выбрана равной 4. Соответствующие метки активностей в последовательностях были заменены на векторные представления, а затем в конец каждого вектора было добавлено число, равное нормированному к единице времени этапа. В результате каждый этап во времени представлен вектором размерностью 5.
(1)
Модели машинного обучения были реализованы в нейросетевом фреймворке библиотеки РуТогек. В качестве головы для определения времени была использована полносвязная нейронная сеть с тремя скрытыми слоями. Для головы предсказания активности была применена такая же сеть, но с функцией softmax. Так как оригинальная модель предсказывает только одну активность за одно использование, ее пришлось применить в цикле, основываясь в каждом следующем предсказании на предыдущем, пока не будет предсказана метка конца последовательности.
Результаты эксперимента, представленные в табл. 1, получены на основе обезличенных данных трех журналов событий государственных услуг официального портала мэра и правительства г. Москвы mos.ru [14] за 2022 г.
Таблица 1
Результаты эксперимента
Модель Журнал 1 Журнал 2 Журнал 3
Оригинальная 37 % 42 % 31 %
Модифицированная 70 % 65 % 58 %
Показатели метрики BLEU позволяют сделать вывод, что предложенная модификация действительно улучшает предиктивную способность оригинальной модели в 1,5-2 раза. Механизм внимания подтвердил свою эффективность не только в сфере обработки естественного языка, но и в анализе бизнес-процессов.
Результаты работы используются для информационной поддержки лиц, принимающих решения, автоматизируя решение задач предсказания аномалий и нарушения регламента при оказании государственных услуг в рамках системы интеллектуального анализа процессов «Нерв», используемой в Департаменте информационных технологий г. Москвы [15].
Заключение
Бизнес-процессы являются упорядоченной последовательностью данных. Они схожи с обычными текстовыми последовательностями тем, что этапы в них объединены в процессы конечной длины, аналогичные предложениям, и обладают внутренней логикой, объединяясь в определенном порядке. Различия текста и бизнес-процессов заключаются в значительно меньшем размере «словаря» активностей (максимум 100-200 разных активностей в одном журнале событий), и в обязательной привязке каждого этапа к временной метке.
В статье были рассмотрены некоторые известные нейросетевые модели для предсказания бизнес-процессов, нейронная сеть с долгой краткосрочной памятью и механизм внимания. Предложена модификация одной из классических предиктивных моделей путем добавления декодировщика и механизма внимания. Экспериментальным путем было подтверждено увеличение предсказательной способности улучшенной модели в 1,5-2 раза по метрике BLEU.
Предложенная модель имеет хороший потенциал практического применения в области оказания социально значимых государственных услуг с целью недопущения нарушения регламента и задержек.
Перспективы дальнейших исследований в данном направлении могут
быть связаны с совершенствованием (усложнением) механизма внимания и
применением передовых моделей-трансформеров [11].
Список литературы
1. Кревский М. И., Сметанев Д. М. Анализ подходов к векторизации составных объектов в process mining // Информационные технологии в науке и образовании. Проблемы и перспективы : сб. ст. по материалам VIII Всерос. межвуз. науч.-практ. конф. Пенза, 2021. С. 161-163.
2. Кревский М. И. Исследование применения методов обработки естественного языка для векторизации процессов в process mining // Информационные технологии в науке и образовании. Проблемы и перспективы : сб. ст. по материалам IX Всерос. межвуз. науч.-практ. конф. Пенза, 2022. С. 19-22.
3. Tax N., Verenich I., Rosa M., Duma M. Predictive Business Process Monitoring with LSTM Neural Networks // Advanced Information Systems Engineering. 29th International Conference (CAiSE 2017, Essen, Germany, June 12-16, 2017). 2017. Р. 477492. URL: https://link.springer.com/chapter/10.1007/978-3-319-59536-8_30 (дата обращения: 20.05.2023).
4. Hochreiter S., Schmidhuber J. Long Short-Term Memory // Neural Computation. MIT Press, 1997. Vol. 9, № 8. P. 1735-1780. doi: 10.1162/neco.1997.9.8.1735 (дата обращения: 20.05.2023).
5. Wan S., Jiang J. Learning Natural Language Inference with LSTM // In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, San Diego, California. Association for Computational Linguistics. 2016. Р. 1442-1451. doi: 10.18653/v1/N16-1170
6. Elsworth S., Guttel S. Time Series Forecasting Using LSTM Networks: A Symbolic Approach. 2020. URL: https://arxiv.org/abs/1512.08849 (дата обращения: 31.05.2023).
7. Villanueva C., Vincent J., Slowinski A., Hossei P. Respiratory Sound Classification Using Long-Short Term Memory. 2020. URL: https://arxiv.org/pdf/2008.02900 (дата обращения: 31.05.2023).
8. Lu Y., Lu C., Tang C.-K. Online Video Object Detection using Association LSTM. IEEE International Conference on Computer Vision (ICCV). Venice, 2017. Р. 2363-2371. URL: https://openaccess.thecvf.com/content_ICCV_2017/papers/ Lu__0nline_Video_ICCV_2017_paper.pdf (дата обращения: 29.05.2023).
9. Jurtz V. I., Johansen A. R., Nielsen M., Almagro Armenteros J. J., Nielsen H., S0nderby C. K., Winther O., S0nderby S. K. An introduction to deep learning on biological sequence data: examples and solutions // Bioinformatics (Oxford, England). 2017. Vol. 33 (22). Р. 3685-3690. doi: 10.1093/bioinformatics/btx531
10. Comprehensive Guide to LSTM & RNNs. URL: https://www.turing.com/kb/comprehensive-guide-to-lstm-rnn (дата обращения: 30.05.2023).
11. Vaswani А., Shazeer N., Parma N., Uszkorei J., Jones L., Gomez A. N., Kaiser L., Po-losukhin I. Attention Is All You Need. URL: https://arxiv.org/abs/1706.03762 (дата обращения: 01.06.2023).
12. Bahdanau D., Cho K., Bengio Y. Neural Machine Translation by Jointly Learning to Align and Translate // 3rd International Conference on Learning Representations (ICLR 2015, San Diego, CA, USA). 2015. URL: https://arxiv.org/abs/1409.0473 (дата обращения: 01.06.2023).
13. Lena Voita. Sequence to Sequence (seq2seq) and Attention. URL: https://lena-voita.github.io/nlp_course/seq2seq_and_attention.html (дата обращения: 01.06.2023).
14. Официальный сайт мэра Москвы. URL: https://www.mos.ru (дата обращения: 1.06.2023).
15. Кревский М. И. «НЕРВ» - система интеллектуального анализа процессов оказания государственных услуг // Проблемы информатики в образовании, управлении, экономике и технике : сб. ст. по материалам XXI Междунар. науч.-техн. конф. Пенза, 2022. С. 79-83.
References
1. Krevskiy M.I., Smetanev D.M. Analysis of approaches to vectorization of composite objects into the mining process. Informatsionnye tekhnologii v nauke i obrazovanii. Problemy i perspektivy: sb. st. po materialam VIII Vseros. mezhvuz. nauch.-prakt. konf. = Information technologies in science and education. Problems and prospects: proceedings of the 8th All-Russian interuniversity scientific and practical conference. Penza, 2021:161-163. (In Russ.)
2. Krevskiy M.I. Research on the use of natural language processing methods for vectorization of processes into the mining process. Informatsionnye tekhnologii v nauke i obrazovanii. Problemy i perspektivy: sb. st. po materialam IX Vseros. mezhvuz. nauch.-prakt. konf. = Information technologies in science and education. Problems and prospects: proceedings of the 9th All-Russian interuniversity scientific and practical conference. Penza, 2022:19-22. (In Russ.)
3. Tax N., Verenich I., Rosa M., Duma M. Predictive Business Process Monitoring with LSTM Neural Networks. Advanced Information Systems Engineering. 29th International Conference (CAiSE 2017, Essen, Germany, June 12-16, 2017). 2017:477-492. Available at: https://link.springer.com/chapter/10.1007/978-3-319-59536-8_30 (accessed 20.05.2023).
4. Hochreiter S., Schmidhuber J. Long Short-Term Memory. Neural Computation. MIT Press, 1997;9(8):1735-1780. doi: 10.1162/neco.1997.9.8.1735 (accessed 20.05.2023).
5. Wan S., Jiang J. Learning Natural Language Inference with LSTM. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, San Diego, California. Association for Computational Linguistics. 2016:1442-1451. doi: 10.18653/v1/N16-1170
6. Elsworth S., Guttel S. Time Series Forecasting Using LSTM Networks: A Symbolic Approach. 2020. Available at: https://arxiv.org/abs/1512.08849 (accessed 31.05.2023).
7. Villanueva C., Vincent J., Slowinski A., Hossei P. Respiratory Sound Classification Using Long-Short Term Memory. 2020. Available at: https://arxiv.org/pdf/2008.02900 (accessed 31.05.2023).
8. Lu Y., Lu C., Tang C.-K. Online Video Object Detection using Association LSTM. IEEE International Conference on Computer Vision (ICCV). Venice, 2017:2363-2371. Available at:
https://openaccess.thecvf.com/content_ICCV_2017/papers/Lu_Online_Video_ICCV_
2017_paper.pdf (accessed 29.05.2023).
9. Jurtz V.I., Johansen A.R., Nielsen M., Almagro Armenteros J.J., Nielsen H., S0nderby C.K., Winther O., S0nderby S.K. An introduction to deep learning on biological sequence data: examples and solutions. Bioinformatics (Oxford, England). 2017;33(22):3685-3690. doi: 10.1093/bioinformatics/btx531
10. Comprehensive Guide to LSTM & RNNs. Available at: https://www.turing.com/ kb/comprehensive-guide-to-lstm-rnn (accessed 30.05.2023).
11. Vaswani A., Shazeer N., Parma N., Uszkorei J., Jones L., Gomez A.N., Kaiser L., Po-losukhin I. Attention Is All You Need. Available at: https://arxiv.org/abs/1706.03762 (accessed 01.06.2023).
12. Bahdanau D., Cho K., Bengio Y. Neural Machine Translation by Jointly Learning to Align and Translate. 3rd International Conference on Learning Representations (ICLR 2015, San Diego, CA, USA). 2015. Available at: https://arxiv.org/abs/1409.0473 (accessed 01.06.2023).
13. Lena Voita. Sequence to Sequence (seq2seq) and Attention. Available at: https://lena-voita.github.io/nlp_course/seq2seq_and_attention.html (accessed 01.06.2023).
14. Ofitsial'nyy sayt mera Moskvy = The official website of the Mayor of Moscow. (In Russ.). Available at: https://www.mos.ru (accessed 1.06.2023).
15. Krevskiy M.I. "NERV" - a system for intellectual analysis of processes for providing public services. Problemy informatiki v obrazovanii, upravlenii, ekonomike i tekhnike: sb. st. po materialam XXI Mezhdunar. nauch.-tekhn. konf. = Problems of computer science in education, management, economics and technology: proceedings of the 21st International scientific and engineering conference. Penza, 2022:79-83. (In Russ.)
Информация об авторах / Information about the authors
Михаил Игоревич Кревский старший аналитик, отдел мониторинга и анализа государственных услуг, Государственное казенное учреждение города Москвы «Информационный город» (Россия, г. Москва, 1-й Красногвардейский пр-д, 21, стр. 1)
E-mail: westhemer1@gmail.com
Mikhail I. Krevskiy
Senior analyst, department of monitoring and analysis of public services, State government institution "Informatsionniy Gorod" (building 1, 21 Perviy Krasnogvardeyskiy passage, Moscow, Russia)
Александр Сергеевич Бождай доктор технических наук, профессор, профессор кафедры систем автоматизированного проектирования, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40)
E-mail: bozhday@yandex.ru
Aleksandr S. Bozhday
Doctor of engineering sciences, professor,
professor of the sub-department
of computer-aided design system,
Penza State University (40 Krasnaya
street, Penza, Russia)
Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.
Поступила в редакцию / Received 14.03.2023
Поступила после рецензирования и доработки / Revised 19.05.2023 Принята к публикации / Accepted 21.06.2023
