CC BY
8
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В УПРАВЛЕНИИ
УДК 351; 004 JEL H11; O30; O32 DOI: hpps://doi.org/10.2645/2309-3633-2022-10-4-96-110 Получено: 29.08.2022 Статья доработана после рецензирования: 22.09.2022 Принято: 03.10.2022
Возможности совершенствования процессов подготовки правовых актов государственными органами на основе подхода Process mining
Васильева Елена Викторовна
Д-р экон. наук, проф. департамента бизнес-информатики ORCID: https://orcid.org/0000-0002-0054-832X, e-mail: evvasileva@fa.ru
Долганова Ольга Игоревна
Канд. экон. наук, доц. каф. финансовых технологий ORCID: https://orcid.org/0000-0001-6060-5421, e-mail: oidolganova@fa.ru
Финансовый университет при Правительстве Российской Федерации (Финуниверситет), 125167, Ленинградский пр-т, 49/2, г. Москва, Россия
Аннотация
Процессы создания правовых актов должны отвечать таким критериям, как прозрачность, контролируемость, соответствие регламентам. Однако сейчас эти процедуры крайне забюрократизированы, заранее спланированы и проходят много инстанций во время подготовки, согласования и подписания. Безусловно, большинство этих действий необходимы, выверены временем и законодательно закреплены. Вместе с тем есть операции, которые требуют оптимизации, в том числе и за счет их автоматизации или роботизации. Для их выявления и обеспечения соответствия процессов изменяющимся потребностям государства важно создать условия непрерывного мониторинга, своевременного выявления и оперативной адаптации и оптимизации нормотвор-ческой деятельности органов власти. В этой связи вопрос применения современных технологий и подходов к анализу и формирования рекомендаций по совершенствованию процессов проактивного характера представляется авторам крайне актуальным. Цель настоящего исследования - изучение текущих особенностей подготовки правовых актов федеральными органами исполнительной власти и определение направлений совершенствования нормативных документов на основе глубинного анализа процессов (англ. Process mining). В качестве методов исследования применялись анализ литературы и российской нормативно-правовой базы, анкетирование и моделирование. Проанализирована разработка проектов правовых документов: актов Правительства и Президента Российской Федерации, федеральных законов. Показана необходимость перехода на смарт-управление, принципы которого позволят обеспечить оперативность и гибкость при подготовке нормативных правовых актов. Сформулированы метрики для мониторинга и контроля исполнения соответствующих поручений и выделены перспективы развития их информационной поддержки в результате внедрения технологий Process mining.
Ключевые слова: правовой акт, государственный сектор, нормотворчество, исполнительская дисциплина, Process mining, процесс, цифровое правительство, метрики
Благодарности. Статья подготовлена по результатам исследований, выполненных за счет бюджетных средств, по государственному заданию Финуниверситета.
Цитирование: Васильева Е.В., Долганова О.И. Возможности совершенствования процессов подготовки правовых актов государственными органами на основе подхода Process mining // Управление. 2022. Т. 10. № 4. С. 96-110. DOI: 10.2645/2309-3633-2022-10-4-96-110
© Васильева Е.В., Долганова О.И., 2022.
Статья доступна по лицензии Creative Commons «Attribution» («Атрибуция») 4.0. всемирная http://creativecommons.org/licenses/by/4.0/
MANAGEMENT INFORMATION TECHNOLOGIES
Received: 29.08.2022 Revised: 22.09.2022 Accepted: 03.10.2022
Opportunities for improving the processes of preparing legal acts by public authorities based on the process mining
Elena V. Vasilieva
Dr. Sci (Econ.), Prof. at the Business Informatics Department ORCID: https://orcid.org/0000-0002-0054-832X, e-mail: evvasileva@fa.ru
Olga I. Dolganova
Cand. Sci (Econ.), Assoc. Prof. at Financial Technologies Department ORCID: https://orcid.org/0000-0001-6060-5421, e-mail: oidolganova@fa.ru
Financial University under the Government of the Russian Federation, 49/2, Leningradsky prospekt, Moscow 125167, Russia
Abstract
The processes of creating legal acts must meet such criteria as transparency, controllability, compliance with regulations. However, currently the procedures are extremely bureaucratic, pre-planned and go through many instances during the preparation, approval and signing. Of course, most of these processes are necessary, time-tested and legally fixed. At the same time, there are operations that require optimisation, including due to their automation or robotisation. To identify them and ensure that the procedure meet the changing needs of the state, it is important to create conditions for continuous monitoring, timely identification and operational adaptation and optimisation of the rule-making activities of the authorities. In this regard, the issue of applying contemporary technologies and approaches to analysis and the formation of recommendations for improving proactive processes seems extremely relevant. The purpose of this study is to examine the currend specifics of the preparation of the legal acts by the federal executive authorities and to identify areas for this normative documents' improvement based on the process mining. The research methods used were a literature review and the Russian legal framework analysis, a questionnaire survey and process modelling. The authors analyse how draft legal documents (government and presidential acts, federal laws) are developed in the Russian Federation. They demonstrate the need for a transition to smart management. Its principles will ensure efficiency and flexibility in the preparation of normative legal acts. The metrics for monitoring and controlling the execution of the relevant instructions are formulated and the prospects for the development of their information support as a result of the implementation of process mining technologies are highlighted.
Keywords: legal act, public sector, rulemaking, performance discipline, process mining, process, digital government, metrics
Acknowledgements. The article was prepared on the research results carried out at the expense of budgetary funds under the state assignment of the Financial University under the Government of the Russian Federation.
For citation: Vasilieva E.V., Dolganova O.I. (2022) Opportunities for improving the processes of preparing legal acts by public authorities based on the process mining. Upravlenie /Management (Russia), 10 (4), pp. 96-110. DOI: 10.2645/23093633-2022-10-4-96-110
© Vasilieva E.V., Dolganova O.I., 2022.
This is an open access article under the CC BY 4.0 license (http://creativecommons.org/licenses/by/4.0/)
Введение / Introduction
По мнению американского исследователя цифровых правительств Г. Шолля [Scholl, 2020], с конца второго десятилетия XXI в. началась новая фаза так называемого разумного или смарт- (от англ. smart) управления в автоматизации деятельности органов власти, основанного на современных сквозных технологиях. Искусственный интеллект и алгоритмы машинного обучения с помощью анализа данных способны в режиме реального времени автоматически отслеживать и выявлять потенциальные нарушения требований регулирования. В частности, Г. Шолль приводит пример системы интеллектуального управления регулированием в Гибралтаре с использованием технологии распределенных реестров [Scholl, Bolívar, 2019]. Эта система изменила парадигму регулирования, положив в основу вместо правил принципы. Она предусматривает возможность детального и постоянного надзора со стороны регулирующих органов для обеспечения соблюдения требований, позволяет автоматически отслеживать сроки действия регулирующих документов.
В 2021 г. Организацией по экономическому сотрудничеству и развитию (далее — ОЭСР) были утверждены рекомендации по гибкому управлению нормативными актами для целей использования инноваций1, в которых предлагается скорректировать инструменты управления нормативными требованиями, чтобы обеспечить их соответствие технологическим трендам и гибким подходам, заложить институциональные основы для обеспечения сотрудничества и совместных подходов внутри и между юрисдикциями; помогать новаторам ориентироваться и принимать участие в нормативном регулировании. В частности, авторам рекомендаций представляется целесообразным:
• создать более адаптивные, повторяющиеся и гибкие циклы нормативной оценки с использованием технологических решений;
• внедрить механизмы вовлечения общественности и заинтересованных сторон в процесс регулирования;
• укреплять сотрудничество между директивными ведомствами и регулирующими органами, а также между национальными и субнациональными уровнями правительства.
1 Organisation for Economic Cooperation and Development (2021). Recommendation of the Council for Agile Regulatory Governance to Harness Innovation. Режим доступа: https://legalinstruments. oecd.org/en/instruments/OECD-LEGAL-0464 (дата обращения: 16.08.2022).
Отмечено, что при разработке нормативных правовых актов важно проводить систематический анализ сценариев, прогнозирование и мониторинг регуляторных последствий высокоэффективных инноваций, поощрение непрерывного обучения и адаптации.
Высокую актуальность обозначенной выше проблемы подтверждают созданные в Правительстве Российской Федерации (далее — РФ) на основе информационных технологий (далее — ИТ) инструменты повышения эффективности подготовки федеральными органами исполнительной власти проектов нормативных правовых актов (далее — НПА) и их согласования. Цифровизация расширяет спектр функций и возможностей в направлениях как внутри правительства (прежде всего между министерствами), так и между правительством и бизнесом, правительством и гражданами. Сформулированы процедуры проведения оценки фактического воздействия НПА2, в которых ключевая роль отведена практике их публичного обсуждения на федеральном портале проектов НПА3, также планируется создать платформу для интеграции информационных систем в единую среду нормот-ворческого процесса4.
Технологии Process mining активно применяют в бизнес-среде для анализа и совершенствования процессов [van der Aalst, 2016]. Действенность процессной аналитики подтверждается многими ис-следователями5 [Macak et al., 2020; Aghabaghery et al., 2020; Tang, Matzner, 2020] и практическим опытом коммерческих компаний и государственных струк-тур6 [Sangil, 2020; Stefanini et al., 2020; Myers et al.,
2018]. Эффективность и объективная природа функционирования Process mining позволяет находить оптимальные варианты для выстраивания сложных, плохо структурированных процессов [Codish et al.,
2019], к которым относится деятельность по под-
2 Федеральный портал проектов нормативных правовых актов. Оценка фактического воздействия нормативных правовых актов в 2016 г. Режим доступа: https://clck.ru/32rkD4 (дата обращения: 14.08.2022).
3 Там же.
4 Министерство экономического развития. «Цифровизация» нормотворчества. Режим доступа: https://www.economy.gov.ru/ material/directions/gosudarstvennoe_upravlenie/cifrovizaciya_ normotvorchestva (дата обращения: 19.08.2022).
5 Kerremans M., Kerremans M., Searle S., Srivastava T., Iijima K. (2020) Market guide for process mining. Режим доступа: https:// www.gartner.com/en/documents/3991229 (дата обращения: 19.08.2022).
6 Celonis (2022). Process Excellence. Режим доступа: https:// www.celonis.com/ (дата обращения: 19.08.2022).
готовке правовых актов в федеральных органах государственной власти.
Особенности контроля подготовки проектов нормативных правовых актов в органах государственного управления Российской Федерации / Control features over the the draft regulatory legal acts preparation in the public administration bodies of the Russian Federation
В рамках исследования авторами проведен опрос экспертов — участников процессов подготовки проектов правовых актов (актов Правительства РФ, Президента РФ, федеральных законов), который позволил выделить особенности и проблемы контроля исполнительской дисциплины. Отмечено, что сегодня четко соблюдаются регламенты подготовки и согласования проектов правовых актов. Однако в некоторых случаях установленный срок требует пролонгации. При этом процедура согласовывания его продления крайне забюрократизирована. Снизить риски срыва подготовки и согласования проектов правовых актов помогают письма-напоминания (функция системы электронного документооборота (далее — СЭД)), регулярные совещания коллегиальных органов (комиссий), первоочередность согласования поступившего из вышестоящей инстанции документа. В качестве примера текущих правил подготовки правовых актов в таблице 1 представлен один их этапов этого процесса — подпроцесс докумен-тационного обеспечения проведения заседания
Правительства РФ по вопросам подготовки правовых актов. Здесь показаны ключевые участники, проводимые операции, их последовательность и сроки исполнения.
Как следует из таблицы 1, рассмотренный в ней процесс крайне трудоемкий как с точки зрения реализации, информационного сопровождения, так и выполнения контрольных процедур.
Проведенное исследование позволило выделить проблемы существующих процессов документаци-онного обеспечения и контроля исполнительской дисциплины. Среди них: большое количество возможных разветвлений процесса, исполнителей, различий в сроках, требованиях к составу документов и их оформлению, которые формируются исходя из целого набора разных факторов: вида документа; вопроса, которому посвящен документ; способа инициации его создания (план законодательной деятельности правительства и федеральных органов исполнительной власти (далее — ФОИВ), поручение президента, поручение председателя правительства, федеральный закон или федеральный конституционный закон и прочие); связь с другими документами (например, постановление Правительства, которое связано с указом Президента и издается как приложение к указу). Эта ситуация приводит к возрастанию объема и сложности управления процессами подготовки правовых актов и контроля исполнительской дисциплины.
Таблица 1
Процесс документационного обеспечения проведения заседания Правительства Российской Федерации, в том числе по вопросам подготовки правовых актов
Ответственный исполнитель До заседания, количество дней День заседания После заседания, количество дней
более 14 14 13-6 5 4 3 2 1 0 1 2
Федеральные органы исполнительной власти Подготовка и отправка материала** -
Аппарат Правительства Сбор материала - Сбор замечаний и предложений по проекту повестки заседания • уведомление о заседании лиц, имеющих право на участие; • уведомление СМИ • регистрация участников • протоколирование заседания; • организация брифинга Оформление протокола (в течение 24 часов после заседания) Рассылка подписанного протокола (по списку) (в течение 2-х дней после заседания)
Руководитель Аппарата Правительства • подготовка проекта повестки заседания; • определение состава участников (за 14 дней до заседания) Предо-ставле-ние проекта повестки заседания на одобрение Рассылка участникам проекта повестки заседания (за 5 дней до заседания) - Подготовка списка рассылки -
Окончание табл. 1
Ответственный исполнитель До заседания, количество дней День заседания После заседания, количество дней
более 14 14 13-6 5 4 3 2 1 0 1 2
Председатель Правительства - Одобрение проекта повестки заседания - Утверждение повестки заседания -
Участники заседания - Предоставление замечаний и предложений по проекту повестки заседания (за 24 часа до начала) -
Предсе-дательст-вующее лицо* - Подписание протокола -
*Председатель Правительства, заместитель Председателя Правительства, Президент РФ; **В том числе если требуется, то формируются и отправляются поручения по доработке проектов актов. Срок их исполнения - до 10 дней. Составлено авторами по материалам исследования
Table 1
The process of documentation support for the meeting of the Government of the Russian Federation, including on the preparation of legal acts
Responsible executor Before the meeting, number of days Day of the meeting After the meeting, number of days
more than 14 14 13-6 5 4 3 2 1 0 1 2
Federal executive authorities Material preparation and sending** -
Government Apparatus Material collection - Comments and suggestions on the draft agenda of the meeting collection • notification of persons entitled to participate in the meeting; • media notification • member registration; • meeting transcript; • briefing organization Protocol registration (within 24 hours after the meeting) Distribution of the signed protocol (according to the mailing list) (within two days after the meeting)
Government Staff's Head • preparation of the draft agenda of the meeting; • determination of the composition of participants (14 days before the meeting) Submission of the draft agenda of the meeting for approval Mailing the draft agenda of the meeting to participants (5 days before the meeting) - Mailing list preparation -
Government's Chairman - Draft agenda of the meeting approval - Meeting agenda adoption -
Meeting Participants - Provision of comments and suggestions on the draft agenda of the meeting (24 hours before the start) -
Presiding Person* - Signing of the protocol -
*Prime Minister, Deputy Prime Minister, President of the Russian Federation; **Including, if required, instructions that are formed and sent to finalize draft acts. The deadline for their execution is up to 10 days
Compiled by the authors on the materials of the study
Поскольку на этапах подготовки, согласования, проведения экспертизы, подписания, принятия и прочего участвует множество органов государственной власти (далее — ОГВ), и важно обеспечить своевременное получение от них результата выполнения соответствующих операций, то для этого существует практика ведения согласованных проектов актов с комментариями, замечаниями, заключениями и прочими сопроводительными материалами. А это значит, что контроль должен осуществляться как на уровне ФОИВ, так и на уровне аппарата правительства. Обозначенные выше операции выполняются специалистами службы документационного обеспечения управления или специально назначенными ответственными лицами большей частью в ручном режиме, поскольку СЭД в настоящее время не может взять эту работу на себя в полном объеме именно из-за этой практики многокритериального подхода к определению требований по срокам и документальному сопровождению подготовки проекта конкретного акта.
В рамках подготовки проектов правовых актов контроль исполнительской дисциплины условно осуществляется по двум направлениям: соблюдение сроков и качество выполнения работ.
Сроки подготовки и принятия постановлений и распоряжений Правительства РФ различны. В качестве примера в таблице 2 представлены основные типы подобных правовых актов с приведением списка ответственных исполнителей и сроков их подготовки. Продление срока подготовки проекта правительственного акта может быть разрешено подписанием соответствующего решения Председателем
Подготовка к рассмотрению проекта правов
Правительства или Руководителем Аппарата Прави-тельства7.
В случае если постановление/распоряжение Правительства готовится в рамках исполнения указа/ распоряжения Президента РФ, то срок его принятия составляет не более одного месяца с даты вступления в силу соответствующего правового акта Президента РФ (если в нем не указано иное)8.
Подготовка к рассмотрению проекта правового акта Правительства, как правило, включает следующие виды работ: составление экспертного заключения; подготовка проекта протокола рассмотрения вопроса; оформление документов для подписания. Их осуществляет уполномоченный ФОИВ в соответствии с планом подготовки правовых актов, поручений/распоряжений Правительства или Президента РФ. После разработки, предварительного согласования с заинтересованными субъектами проект акта вместе с сопроводительной документацией вносится на рассмотрение в Правительство. За выполнение этой процедуры отвечает руководитель
7 Постановление Правительства Российской Федерации от 01.06.2004 № 260 (ред. от 19.04.2022) «О Регламенте Правительства Российской Федерации и Положении об Аппарате Правительства Российской Федерации». Режим доступа: http://www.consultant.ru/document/ cons_doc_LAW_47927/6f72cef7fde539b5143f941c8f6806f445299785/ (дата обращения: 18.08.2022).
8 Российская Федерация. Указ Президента РФ от 23.05.1996 № 763 (ред. от 03.03.2022) «О порядке опубликования и вступления в силу актов Президента Российской Федерации, Правительства Российской Федерации и нормативных правовых актов федеральных органов исполнительной власти». Режим доступа: http://www.consultant.ru/ document/cons_doc_LAW_10482/ (дата обращения: 18.08.2022).
Таблица 2
I акта Правительства Российской Федерации
Процесс /процедура Срок исполнения Ответственный исполнитель
1. Подготовка к рассмотрению проекта правового акта (общий случай) 15 дней с момента внесения в Правительство на рассмотрение Аппарат Правительства
2. Подготовка к рассмотрению проектов актов Правительства об утверждении государственных программ РФ 30 дней
3. Подготовка к рассмотрению проектов актов Правительства по предметам совместного ведения РФ и субъектов РФ, проектов актов Президента и Правительства, предусматривающих передачу полномочий ФОИВ в ОИВ субъектов РФ 15 дней со дня истечения 30 дней на предоставление отзывов и предложений
3.1. Направление проекта правового акта в законодательные и высшие исполнительные ОГВ субъекта РФ для подготовки отзыва и предложений 5 дней
3.2. Представление отзывов и предложений по проекту правового акта 30 дней со дня направления Законодательные и высшие исполнительные ОГВ субъекта РФ
4. Опубликование правового акта Правительства 10 дней с момента подписания. Исключение: акты Правительства, кроме содержащих гостайну Аппарат Правительства
РФ - Российская Федерация; ФОИВ - федеральные органы исполнительной власти; ОИВ - органы исполнительной власти; ОГВ - органы государственной власти
Источники 7,8
Table 2
Draft legal act of the Government of the Russian Federation preparation for consideration
Process / procedure Term of execution Responsible executor
1. Preparation for consideration of the draft legal act (general case) 15 days from the date of submission to the Government for consideration Government Apparatus
2. Preparation for consideration of draft acts of the Government on approval of state programmes of the Russian Federation 30 days
3. Preparation for consideration of draft acts of the Government on the subjects of joint jurisdiction of the Russian Federation and the subjects of the Russian Federation, draft acts of the President and the Government providing for the transfer of powers of the federal executive authorities to the executive authorities of the subjects of the Russian Federation 15 days from the date of expiration of 30 days to provide feedback and suggestions
3.1. The direction of the draft legal act to the legislative and supreme executive authorities of the subject of the Russian Federation for the preparation of feedback and proposals 5 days
3.2. Submission of feedback and proposals on the draft legal act 30 days from the date of referral Legislative and supreme executive bodies of state power of the Russian Federation
4. Publication of a legal act of the Government 10 days from the date of signing. Exception: Government acts, except those containing state secrets Government Apparatus
Sources7,8
ФОИВ, являющийся ответственным исполнителем, или один из заместителей Председателя Правительства, в ведении которого находится рассматриваемый в проекте акта вопрос. Если речь идет о проекте поправок к НПА, то его на рассмотрение вносит статс-секретарь ответственного ФОИВ. Если о проекте акта комиссии (по проведению административной реформы или по цифровому развитию, использованию информационных технологий для улучшения качества жизни и условий ведения предпринимательской деятельности) — то документ в Правительство вносит представитель этой комиссии.
Реализация контроля исполнительской дисциплины начинается с постановки на контроль, затем идет отслеживание хода исполнения и снятие с контроля. Помимо этого, реализуются процедуры пролонгации срока исполнения (по запросу исполнителя), анализ исполнительской дисциплины и информирование руководства о ее состоянии.
Как правило, контрольные мероприятия осуществляются как непосредственно в рамках структурных подразделений исполнителя конкретных работ (например, подготовки экспертного заключения, пояснительной записки к проекту акта, протокола совещания), так и специальными должностными лицами Аппарата Правительства, если речь идет о подготовке проектов правовых актов, находящихся в сфере ведения Правительства РФ.
При организации документационного сопровождения подготовки проектов актов правительства, президента, федеральных законов и федеральных конституционных законов данные процедуры крайне
трудоемки, многообразны, но при этом очень важны. Это связано с тем, что контроль должен осуществляться не только за соблюдением срока подготовки того или иного документа, но также за соблюдением требований к формату, структуре и атрибутному составу создаваемого документа, сохранения ссылочной целостности на связанные материалы. Другим направлением контроля является актуальный и полный список рассылки документации по проекту. Например, важно обеспечить получение законопроекта всеми заинтересованными сторонами на этапе предварительного согласования. Отследить, что если представитель ФОИВ из списка согласующих уволился, то текущий документ должен быть передан другому лицу, исполняющему обязанности этого специалиста. Ведь от этого зависит своевременное получение обратной связи, то есть согласованного документа и/или замечаний к нему.
Важной задачей контроля исполнительской дисциплины является контроль хода реализации соответствующего процесса и осуществление проактив-ных мероприятий по увеличению срока выполнения в случае объективной необходимости. В рассматриваемой сфере подобные процедуры крайне забюрократизированы, что не позволяет их реализовать оперативно. Часто приходится согласовывать пролонгацию срока исполнения (подготовки, согласования и прочего) у высшего руководящего состава.
В системах электронного документооборота, которые используются сейчас в подавляющем большинстве ОГВ и местного самоуправления, в качестве базовой функциональной возможности присутствует
опция постановки на контроль, индикации окончания срока исполнения, возможности запроса его продления (с указанием причины) и снятия с контроля. Последняя операция может выполняться как в автоматическом режиме (как только документ перейдет на следующий этап обработки, приобретет новый статус), так и в ручном. Например, документ может быть снят с контроля, если поручение по его исполнению выполнено и с этим согласилось должностное лицо, давшее это поручение.
Подход Process mining для совершенствования процессов создания проектов нормативных актов / Process mining approach to improve processes for drafting regulations
Для выявления и устранения проблемных мест, корректировки набора бизнес-операций или их последовательности широко применяют процессный подход и методы, основанные на анализе данных. В органах государственной власти чаще всего прибегают к агрегированию данных в виде статичных таблиц корпоративных отчетов. В более технологичных учреждениях собранные из информационных систем данные представляются для анализа в виде дашбордов. Однако эти подходы позволяют проанализировать только конкретные этапы процессов, а не исследовать его целиком, в динамике, рассмотреть исключения и частоту их возникновения. Поэтому в бизнес-среде большую популярность завоевывает подход Process mining, с помощью которого анализируется весь процесс на основе данных из журналов событий не одной информационной системы, а всех применяемых сотрудниками. Этот анализ позволяет выстроить все варианты реализации процессов, как они на самом деле осуществляются, включая частные случаи, нетипичные ситуации и прочее. Этот подход базируется на технологиях классического анализа бизнес-процессов, которые соединены с методиками, ориентированными на работу с большими объемами информации. Важно отметить, что для применения Process mining должна быть создана типовая модель процесса [van der Aalst et al., 2011]. В ОГВ все процессы и процедуры зарегламентированы, что позволяет создать описания эталонного административного процесса и изучить реальное положение дел по его реализации. Сведения о выполнении последовательности событий извлекаются из журналов событий корпоративных информационных систем, например BPM, СЭД, ERP, корпоративной почты, портала и т.п. Затем они аккумулируются в системе Process mining, которая выстраивает на их основе каждый экземпляр выполненного процесса. В данном случае анализи-
руется не только их набор, последовательность выполнения, но и время непосредственной реализации, ожидания старта выполнения следующей операции, а также количество циклов возврата на доработку / корректировку и т.п.
Важными целями применения Process mining также являются сравнение процесса до и после усовершенствования и проверка соответствия стандартам и законодательным требованиям, предъявляемым к процессам подготовки правовых актов. В качестве сильных сторон этого подхода можно выделить объективность, полноту, скорость, возможность постоянного применения без участия специалистов. Кроме того, применение технологий Process mining позволяет понять, как на самом деле реализуются соответствующие процессы и найти оптимальный вариант для их коррекции на основе реальных количественных данных и практики исполнения операций сотрудниками. Возможно, стоит рассмотреть целесообразность применения метода Skip Miner для обнаружения и упрощения процессов — этот метод также базируется на результатах, полученных с помощью Process mining [Batista, Solanas, 2019].
Поскольку сроки реализации этапов подготовки правовых актов строго регламентированы, важной задачей, где также может быть применен подход на основе Process mining, является контроль исполнительской дисциплины. В этом случае с помощью подобных технологий может осуществляться сравнительный анализ целевых показателей срока выполнения операции (например, подготовки проекта пояснительной записки) с фактическими значениями. В автоматизированном режиме могут выполняться проактивное управление реализацией процесса или формироваться рекомендации по снижению рисков невыполнения в срок на основе ранее собранных данных [Choi et al., 2021], например, изменяя маршрут исполнения, действий, которые будут инициироваться в порядке исключения, но без нарушения требований законодательства и внутренних локальных правовых актов.
Process mining снижает фактор человеческой ошибки, потому что встроенные алгоритмы сами восстанавливают модель процесса, которую потом можно сравнить с эталонным (регламентным) представлением. Практически все СЭД государственных структур интегрированы с корпоративной электронной почтой, хранилищами документов, системами подписания документов квалифицированной электронной подписью, сервисами межведомственной системы электронного документооборота и прочими ведомственными информационными системами, с которыми осуществляется информационный обмен. Сегодня
ОГВ при организации своей деятельности придерживаются процессного подхода, все действия строго регламентированы, а значит можно спроектировать эталонные модели исследуемых и улучшаемых процессов. Поэтому целесообразным также видится применение метода ремонта модели процесса, предложенного Taro Takei и Hiroki Horita [2021]. С его помощью можно будет формировать рекомендации по изменению нормативно-правовой базы, регламентирующей подготовку рассматриваемых правовых актов.
Поэтому на основе подхода Process mining и инструментов искусственного интеллекта (далее — ИИ) можно:
• выявлять слабые места в управлении процессами разработки и согласования проектов документов;
• разработать и вести (обновлять) рекомендательную систему по принятию релевантных организационных мер на основе дополнительно созданной (собираемой) в СЭД библиотеки подобных кейсов (схожих трудных ситуаций и лучших практик выхода из них), что позволит принимать решение на опережение возникновения срывов исполнительской дисциплины, обеспечить проактивность изменения срока исполнения и загруженности ответственных в случае объективной необходимости;
• внедрить практику информирования исполнителя и контролирующего лица о ходе и текущей ситуации исполнения поручения (в подготовке документа) на половине срока или на «золотом сечении»;
• внедрить практику отправки для ознакомления и согласования (корректировки) предварительного результата;
• реализовать функционал, в котором ИИ классифицирует вид правового акта, который нужно подготовить, и инициирующие документы, подбирает маршрут согласования, перечень исполнителей и контрольные сроки, а специалист только проверяет и корректирует в случае такой необходимости;
• реализовать функционал, в котором ИИ осуществляет контроль за полнотой комплекта документов, передаваемых от исполнителя (ФОИВ) в Аппарат Правительства РФ для рассмотрения;
• реализовать функционал технологии распределенных реестров для возможности детального и регулярного надзора со стороны контролирующих органов над соблюдением требований, автоматического отслеживания сроков действия правовых документов.
Сложности применения Process mining, в первую очередь, связаны с ограничениями систем и данных. Невозможно качественно сопоставить логи, если коммуникация по вопросам обработки или исполнению документов осуществляется не только в СЭД, а еще через переписку в мессенджере или по теле-
фону. Более того, в личной переписке, скорее всего, будут присутствовать аномальные запросы, ответы на которые не находятся в базе знаний. В этой связи необходимо изменение некоторых регламентов, дополнительные процедуры по подготовке данных, такие как предварительное вычленение данных и последующее их сопоставление с инцидентами в системе, внедрение метаданных правовой информации и цифровой разметки документов. Здесь рекомендуется задействовать Process mining, опираясь на принцип Парето [Reinkemeyer, 2020], а также принятие административных и организационных мер, обеспечивающих коммуникацию в рамках реализации процессов в единой информационной системе, откуда решение Process mining сможет забирать данные для анализа эффективности процессов.
Требования к процессу контроля исполнения поручений по подготовке нормативных правовых актов / Requirements for the monitoring process of instructions for the preparation of regulatory acts execution
Процессы создания или корректировки правовых актов должны отвечать таким критериям, как прозрачность, контролируемость и соответствие регламентам и инструкциям по делопроизводству и доку-ментационному обеспечению управления деятельности учреждений, и включать в себя установленные процедуры, сроки, участников и применяемую при этом нормативно-правовую базу. Исходя из многокритериального подхода к определению требований по срокам и документальному сопровождению подготовки проекта правового акта, комплексный контроль может быть построен на основе трех наборов метрик для следующих видов оценки (табл. 3):
• оценка организации процесса подготовки и согласования проектов правовых актов;
• оценка сроков подготовки и согласования проектов правовых актов, исполнения поручений;
• оценка качества подготовки проектов правовых актов.
Кроме того, анализ системы управления нормативным регулированием (англ. Regulatory Management System, RMS) ОЭСР показал целесообразность введения в комплексный контроль таких индикаторов качества системы подготовки принятия новых нормативных актов (см. табл. 3),как отношение числа новых нормативных актов к уже имеющимся, как
9 Organisation for Economic Cooperation and Development (2022). Indicators of Regulatory Management Systems. Режим доступа: https://www.oecd. org/gov/regulatory-policy/Indicators-RMS.htm (дата обращения: 18.08.2022).
10 Колесников Д. (2004). Анализ эффективности работы сотрудников в СЭД. Данные, инструменты, визуализация // Directum. Режим доступа: https://www.directum.ru/blog-post/918 (дата обращения: 18.08.2022).
Таблица 3
Метрики для комплексного отслеживания исполнения процессов контроля поручений и визуализации скрытых данных в системе электронного документооборота
Метрика контроля, единицы измерения Комментарий
Оценка организации процесса подготовки и согласования проектов правовых актов
1. Количество обрабатываемых документов на конкретную дату, ед. 2. Количество исполняемых поручений на конкретную дату, ед. 3. Количество документов и поручений, подготовленных (завершенных) в срок (за период), ед. 4. Количество документов и поручений, неподготовленных (неисполненных) за период, ед. 5. Количество документов и поручений, снятых с контроля по исполнению за период, ед. Сводка СЭД
6. Прозрачность процесса создания или корректировки правовых актов за период, баллы 7. Контролируемость процесса создания или корректировки правовых актов за период, баллы 8. Соответствие регламентам и инструкциям по делопроизводству и ДОУ процесса создания или корректировки правовых актов за период, баллы Качественная характеристика (обобщенная экспертная оценка)
9. Количество выполненных операций (по каждой категории за период), ед. Показывает, сколько операций исполняется одним сотрудником
10. Общая динамика по количеству операций в СЭД за период, ед. Показывает, насколько интенсивно сотрудники используют СЭД, и позволяет определить тенденции исполнения заданий в срок
Оценка сроков подготовки и согласования проектов правовых актов, исполнения поручений
11. Количество проектов документов (объектов в СЭД), подготовленных без нарушения срока исполнения (по сотруднику за период), ед. Расчет количества документов без нарушения срока и просроченных
12. Количество проектов документов (объектов в СЭД), подготовленных с нарушением срока (по сотруднику за период), ед.
13. Процент просроченных поручений на дату, % Показатели требуют детализации с целью проактивного изменения сроков в похожих случаях
14. Процент поручений, потребовавших пролонгации на дату, %
15. Процент срыва сроков подготовки проектов правовых актов на дату (по подразделению / учреждению), % Сводка СЭД
16. Процент срыва сроков согласования проектов правовых актов на дату (по подразделению / учреждению), %
17. Исполнительская дисциплина сотрудника (по срокам), % Характеристика исполнения сотрудником поставленных ему заданий (поручения, согласования документов) в срок. Показатель позволяет выявить системные проблемы с их исполнением
18. Число процессов, завершенных с нарушением срока, шт. Сводка СЭД. Назначение - определение «проблемных» процессов и причин
Оценка качества подготовки проектов правовых актов
19. Соблюдение требований к исполнителям, балл 20. Актуальность списков рассылки документации по проектам, включая этап предварительного согласования, балл 21. Полнота списков рассылки документации по проектам, балл 22. Адресность получения конкретными должностными лицами (персона-лизация) документации по проектам, балл Качественная характеристика (обобщенная экспертная оценка)
Индикаторы качества системы подготовки принятия новых нормативных актов: опыт системы управления нормативным регулированием (ОЭСР)
23. Отношение числа новых нормативных актов к уже имеющимся, % Сводка СЭД
24. Наличие / отсутствие противоречий новых нормативных актов с уже имеющимися, балл 25. Оценка вероятности появления новых нормативных актов с точки зрения их воздействия на ключевые экономические и социальные секторы, балл Качественная характеристика (обобщенная экспертная оценка)
26. Отношение числа законов и числа нормативных актов, % Сводка СЭД. Отношение этих чисел сравнивается с величиной среднего значения по странам ОЭСР
СЭД - система электронного документооброта; ДОУ - документационное обеспечение управления; ОЭСР - Организация экономического сотрудничества и развития
Составлено авторами по материалам источников 9,10 [Каменева, 2008]
UPRAVLENIE / MANAGEMENT (Russia) Vol. 10 No. 3 / 2022. Management information technologies
Table 3
Metrics for complex tracking of the execution of order control processes and visualization of hidden data
in the Electronic Document Management System
Control metric, units of measurement Comment
Assessment of the organisation of the draft legal acts preparing and agreeing process
1. The number of documents processed on a specific date, units 2. Number of executed orders as of the date, units 3. Number of documents and orders prepared (completed) on time for the period, units 4. The number of documents and orders not prepared (not executed) for the period, units 5. The number of documents and orders removed from execution control for the period, units EDMS summary
6. Transparency of the creating or correcting legal acts process for the period, score 7. Controllability of the creating or correcting legal acts process for the period, score 8. Compliance with the regulations and instructions on record keeping and pre-registration of the creating or correcting legal acts process for the period, score Qualitative characteristics (generalised expert assessment)
9. Number of operations performed (for each category during the period), units Shows how many operations are performed by one employee
10. Overall dynamics in the number of operations in the EDMS for the period, units Shows how intensively employees use the EDMS and allows to determine the trends in the execution of tasks on time
Draft legal acts, execution of orders preparation and approval terms assessment
11. The number of draft documents prepared without violating the deadline (by employee for the period), units 12. Number of draft documents prepared in violation of the deadline (by employee for the period), units Calculation of the number of documents without violation of the deadline and overdue
13. Percentage of overdue orders as of the date, % 14. Percentage of orders that required prolongation on the date, % Indicators need to be detailed in order to proactively change the timing in similar cases
15. Percentage of failure to prepare draft legal acts on the date (by division), % 16. Percentage of failure to approve draft legal acts on the date (by division), % EDMS summary
17. Executive discipline of the employee (by terms), % Characteristics of the employee's performance of the tasks assigned to him (instructions, approval of documents) on time. The indicator allows to identify systemic problems with their execution
18. The number of processes completed in violation of the deadline, units EDMS summary. The purpose is to identify "problematic" processes and causes
Draft legal acts preparation quality assessment
19. Compliance with the requirements for performers, score 20. Relevance of mailing lists of project documentation, including the pre-approval stage, score 21. Completeness of mailing lists of project documentation, score 22. Targeting of project documentation by specific officials (personalisation), score Qualitative characteristics (generalised expert assessment)
Quality indicators of the system for preparing the adoption of new regulations: experience of the Regulatory Management System (OECD)
23. The ratio of the new regulations number to the existing ones, % EDMS summary
24. The presence / absence of contradictions of new regulations with existing ones, score 25. Likelihood assessment of the new regulations emergence in terms of their impact on key economic and social sectors, score Qualitative characteristics (generalised expert assessment)
26. The ratio of the number of laws and the number of regulations, % EDMS summary. The ratio of these numbers is compared with the value of the average value for OECD countries
OECD - Organisation for Economic Cooperation and Development; Electronic Document Management System (EDMS)
Compiled by the authors on the materials of the sources9,10 [Kameneva, 2008]
количественно, так и качественно (отсутствие противоречий), оценка вероятности появления новых нормативных актов с точки зрения их воздействия на ключевые экономические и социальные секторы, отношение числа законов и числа нормативных актов (сводный показатель, сравниваемый с мировым средним значением)11.
В составе предложенного в таблице 3 перечня метрик для комплексного отслеживания исполнения процессов контроля поручений и визуализации скрытых данных в СЭД содержатся как показатели, которые должны формироваться СЭД в автоматическом режиме (сводка СЭД), так и качественные показатели в баллах, определяемые на основе обобщения индивидуальных экспертных оценок членов экспертной группы. Для получения предложенных качественных показателей требуется работа экспертной группы, точнее, индивидуальная работа каждого эксперта с последующей групповой обработкой индивидуальных экспертных мнений для получения обобщенной экспертной оценки. Согласно классификации Л.Г. Евланова и В.А. Кутузова [1978], это проблема, для решения которой имеется достаточный информационный потенциал, но основная практическая трудность состоит
11 Organisation for Economic Cooperation and Development (2022).Indi-cators of Regulatory Management Systems. Режим доступа: https://www. oecd.org/gov/regulatory-policy/Indicators-RMS.htm (дата обращения: 18.08.2022).
( Формирование экспертной группы Expert group formation
в подборе экспертов (в силу специфики предметной области) и построении рациональных процедур их опроса в форме анкетирования.
Наличие человеческого фактора в процедуре оценки эффективности реализации процессов циф-ровизации влечет за собой некоторые риски упущенных фактов, неточного измерения, субъективизма. Избежать этого помогут методы экспертного оценивания, которые основаны на проведении экспертами — специалистами в области решаемой проблемы — интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Целью экспертизы может быть получение как количественных, так и качественных оценок. Экспертиза основывается на их личном опыте, компетенциях, а также глубине знаний в предметной области. Коллективная экспертиза позволяет получить более объективную оценку исследуемой ситуации. Для обобщения мнений экспертов, устранения субъективного фактора проводится обработка результатов их работы с использованием ряда количественных методов, а также трансформация качественных оценок в количественные измерители.
Коллективная экспертиза требует соблюдения определенных принципов (рис. 1). Эксперты перед началом своей работы должны располагать определенным фреймворком, схемой, которая поможет направлять их идеи и мнения о проблеме. Важное
• квалификация экспертов experts' qualification
• независимость экспертов experts' independence
Организация экспертизы I Expertise organization
• шкала оценок assessment scale
• инструменты сбора экспертного мнения tools for collecting expert opinion
• методы и технологии экспертизы expertise methods and technologies
ЧКоличестванная и качественная обработка экспертного мнения Quantitative and qualitative expert opinion processing
• согласованность мнения экспертов expert opinion consistency
• анализ результатов analysis of results
Составлено авторами по материалам исследования / Compiled by the authors on the materials of the study
Рис. 1. Принципы экспертного исследования Fig. 1. Expert research principles
значение имеет подбор группы экспертов, используемая методология сбора мнений [Коротков, 2020], их обработки [Васильева и др., 2019; Васильева, Деева, 2017], включая оценку согласованности, ранжирования [Евланов, Кутузов, 1978]. Должен соблюдаться принцип открытости. Так, в дельфийской процедуре предполагается, что во время туров эксперты имеют доступ к оценкам других экспертов, что позволяет им пересмотреть свою точку зрения, а с другой стороны, дальнейшая методика обработки позволяет за счет увеличенной шкалы оценки повлиять на тот критерий, который по их видению важен, но тем не менее получил на предыдущем шаге низкие баллы, что занизило его место в рейтинге всех факторов и повлияет на его вес в общей сумме.
Заключение / Conclusion
Процесс подготовки нормативных актов органов власти необходимо рассматривать как часть общей системы управления нормотворческой деятельностью. Повышение эффективности управления нормативным регулированием можно достичь в результате использования возможностей, предлагаемых цифровыми технологиями и большими данными. Механизмы цифровизации деятельности органов власти по обеспечению подготовки и согласования правовых актов являются значимой частью развития правового регулирования, так как своевременный учет интересов компетентных органов уменьшает потребность дальнейшей корректировки принятых правовых актов. В ходе опроса экспертов — участников процессов подготовки проектов правовых актов (актов Правительства Российской Федерации, Президента Российской Федерации, федеральных законов) авторами выделены особенности и проблемы контроля исполнительской дисциплины. Отмечено, что процессы подготовки и согласования проектов правовых актов жестко регламентированы, в том числе в отношении установленных сроков, которые тем не менее могут быть в ряде случаев пролонгированы.
При этом сама процедура согласования продления срока крайне бюрократизирована.
Даны рекомендации, которые позволят перейти на смарт- и гибкое управление процессами подготовки документов и контроля исполнительской дисциплины. Среди них: использование Process mining и инструментов искусственного интеллекта как технологической поддержки выявления проблемных мест на этапах разработки и согласования проектов документов, ведения рекомендательной системы по принятию релевантных организационных мер для предупреждающего решения возникающих срывов исполнительской дисциплины. Кроме того, может быть реализована процедура автоматической классификации вида разрабатываемого правового акта, согласования его ключевых положений с действующими документами, построения маршрута согласования и определения перечня исполнителей и контрольных сроков.
В целом, применение современных инструментов информационных технологий и методов циф-ровизации деятельности органов власти по обеспечению подготовки и согласования правовых актов может принципиально улучшить межведомственное взаимодействие:
• согласование информационных сред делопроизводства между министерствами устраняет трудоемкие преобразования и дублирование данных, снижает себестоимость информационно-коммуникационной технологической инфраструктуры и упрощает импортозамещение инструментально-программных средств;
• повышается скорость обмена информацией и скорость принятия управленческих решений;
• объем обмена информацией и ее защита существенно возрастают;
• процесс нормотворческого делопроизводства, как критический государственный инфраструктурный процесс, становится более устойчивым и защищенным от воздействия внешней турбулентности.
Список литературы
Алтухова Н.Ф., Васильева Е.В., Деева Е.А., Доценко Д.А., Козлов М.А. (2019). Экономика информационных систем: управление и оценка эффективности: учебник. М.: Кно-рус. 624 с.
Васильева Е.В., Деева Е.А. (2017). Методы экспертных оценок в прикладной информационной экономике для обоснования преимуществ информационных систем и технологий // Мир новой экономики. № 4. С. 14—22.
Евланов Л.Г., Кутузов В.А. (1978). Экспертные оценки в управлении. М.: Экономика. 133 с.
Reference
Altukhova N.F., Vasilieva E.V., Deeva E.A., Dotsenko D.A., Kozlov M.A. (2020), Economics of information systems: management and performance evaluation: textbook, Knorus, Moscow, Russia (in Russian).
Aghabaghery R., Hashemi Golpayegani A., Esmaeili L. (2020), "A new method for organizational process model discovery through the analysis of workflows and data exchange networks", Social Network Analysis and Mining, vol. 10, article number 12, https://doi.org/10.1007/s13278-020-0623-5
Каменева Е.А. (2008). Организация контроля за исполнением поручений // Делопроизводство и документооборот на предприятии. № 2. С. 27—48.
Короткое Э.М. (2020). Исследование систем управления. Москва: Юрайт. 226 с.
Aghabaghery R., Hashemi Golpayegani A., Esmaeili L. (2020). A new method for organizational process model discovery through the analysis of workflows and data exchange networks // Social Network Analysis and Mining. V. 10, Art. Num. 12. https://doi.org/10.1007/s13278-020-0623-5
Batista E., Solanas A. (2019). Skip miner: towards the simplification of spaghetti-like business process models // Proceedings of the 10th International Conference on Information, Intelligence, Systems and Applications (IISA), 2019. Pp. 1-6. https://doi.org/10.1109/IISA.2019.8900713
Choi D, R'bigui H, Cho C. (2021). Candidate digital tasks selection methodology for automation with robotic process automation // Sustainability. V. 13, no. 16. Art. Num. 8980. https://doi.org/10.3390/su13168980
Codish D., Rabin E., Ravid G. (2019). User behavior pattern detection in unstructured processes - a learning management system case study // Interactive Learning Environments, V. 27. Is. 5-6: The new potentials for Intelligent Tutoring with learning analytics. Pp. 699-725. https://doi.org/10.1080/10494820.20 19.1610456
MacakM, VanátI., Merjavy M, Jevocin Т., Buhnova B. (2020). Towards process mining utilization in insider threat detection from audit logs // Proceedings of the Seventh International Conference on Social Networks Analysis, Management and Security (SNAMS). Pp. 1-6. https://doi.org/10.1109/ SNAMS52053.2020.9336573
Myers D., Suriadi S., Radke K., Foo E. (2018). Anomaly detection for industrial control systems using process mining // Computers & Security. V. 78. Pp. 103-125. https://doi. org/10.1016/j.cose.2018.06.002
Reinkemeyer L. (ed.) (2020). Process mining in action. Cham: Springer. 207 p. https://doi.org/10.1007/978-3-030-40172-6
SangilM.J. (2020). Heuristics-based process mining on extracted philippine public procurement event logs // Proceedings of the 7th International Conference on Behavioural and Social Computing (BESC), 2020. Pp. 1-4. https://doi.org/10.1109/ BESC51023.2020.9348306
SchollH.J. (2020). Digital government: looking back and ahead on a fascinating domain of research and practice // Digital Government: Research and Practice. V. 1, no. 1. Pp. 1-12. https://doi.org/10.1145/3352682
SchollH.J., Bolívar M.P.R. (2019). Regulation as both enabler of technology use and global competitive weapon: The Gibraltar Case // Government Information Quarterly. V. 36, no. 3. Pp. 601-613. https://doi.org/10.1016/j.giq.2019.05.003
Stefanini A., Aloini D., Benevento E., Dulmin R., Mininno V. (2020). A data-driven methodology for supporting resource planning of health services // Socio-Economic Planning Sciences. V. 70. Art. Num. 100744. https://doi.org/10.1016/j. seps.2019.100744
Takei T., HoritaH. (2021). Towards goal-oriented business process model repair // Proceedings of the 10th International Congress on Advanced Applied Informatics (IIAI-AAI). Pp. 691-696. https://doi.org/10.1109/IIAI-AAI53430.2021.00123
Tang W., Matzner M. (2020). Creating humanistic value with process mining for improving work conditions - A sociotechnical
Batista E., Solanas A. (2019), Skip Miner: Towards the Simplification of Spaghetti-like Business Process Models, In: Proceedings of the 10th International Conference on Information, Intelligence, Systems and Applications (IISA), pp. 1—6, https://doi. org/10.1109/IISA.2019.8900713
Evlanov L.G., Kutuzov V.A. (1978), Expert assessments in management, Ekonomika, Moscow, Russia (in Russian).
Choi D., R'bigui H. and Cho C. (2021), "Candidate digital tasks selection methodology for automation with robotic process automation", Sustainability, vol. 13, no. 16, article number 8980, https://doi.org/10.3390/su13168980
Codish D., Rabin E., Ravid G. (2019), "User behavior pattern detection in unstructured processes — a learning management system case study", Interactive Learning Environments, vol. 27, issue 5-6: The new potentials for Intelligent Tutoring with learning analytics, pp. 699-725, https://doi.org/10.1080/10494820 .2019.1610456
Kameneva E.A. (2008), "Organization of control over the execution of orders", Deloproizvodstvo idokumentooborot napred-priyatii, no. 2, pp. 27-48.
Korotkov E.M. (2020), Research of control systems, Yurait, Moscow, Russia (in Russian).
Macak M., Vanát I., Merjavy M., Jevocin T., Buhnova B. (2020), "Towards Process Mining Utilization in Insider Threat Detection from Audit Logs", In: Proceedings of the Seventh International Conference on Social Networks Analysis, Management and Security (SNAMS), pp. 1-6, https://doi.org/10.1109/ SNAMS52053.2020.9336573
Myers D., Suriadi S., Radke K., Foo E. (2018), "Anomaly detection for industrial control systems using process mining", Computers & Security, vol. 78, pp. 103-125, https://doi. org/10.1016/j.cose.2018.06.002
Reinkemeyer L. (ed.) (2020), Process Mining in Action, Springer, Cham, https://doi.org/10.1007/978-3-030-40172-6
Sangil M.J. (2020), "Heuristics-Based Process Mining on Extracted Philippine Public Procurement Event Logs", In: Proceedings of the 7th International Conference on Behavioural and Social Computing (BESC), 2020, pp. 1-4, https://doi. org/10.1109/BESC51023.2020.9348306
Scholl H.J. (2020), "Digital government: looking back and ahead on a fascinating domain of research and practice", Digital Government: Research and Practice, vol. 1, no. 1, pp. 1-12, https://doi.org/10.1145/3352682
Scholl H.J., Bolívar M.P.R. (2019), "Regulation as both enabler of technology use and global competitive weapon: The Gibraltar Case", Government Information Quarterly, vol. 36, no. 3, pp. 601-613, https://doi.org/10.1016Xj.giq.2019.05.003
Stefanini A., Aloini D., Benevento E., Dulmin R., Mininno V. (2020), "A data-driven methodology for supporting resource planning of health services", Socio-Economic Planning Sciences, vol. 70, article number 100744, https://doi.org/10.1016/j. seps.2019.100744
Takei T., Horita H. (2021), "Towards Goal-Oriented Business Process Model Repair", In: Proceedings of the 10th International Congress on Advanced Applied Informatics (IIAI-AAI), pp. 691— 696, https://doi.org/10.1109/IIAI-AAI53430.2021.00123
Tang W., Matzner M. (2020), "Creating humanistic value with process mining for improving work conditions - A sociotech-nical perspective", In: Proceedings of the International Conference on Information Systems, ICIS 2020 — Making Digital Inclusive: Blending the Local and the Global.
perspective // Proceedings of the International Conference on Information Systems, iClS 2020 — Making Digital Inclusive: Blending the Local and the Global. Virtual, Online; India; 13-16 December 2020.
van der Aalst W. et al. (2011). Process mining manifesto // Proceedings of the International Conference on Business Process Management. Springer, Berlin, Heidelberg. Pp. 169194. https://doi.org/10.1007/978-3-642-28108-2_19
van der Aalst W.M.P. (2016). Process Mining: Data Science in Action. Berlin/Heidelberg: Springer.
van der Aalst W. et al. (2012), "Process Mining Manifesto", In: Daniel F., Barkaoui K., Dustdar S. (eds) Business Process Management Workshops. BPM 2011. Lecture Notes in Business Information Processing, vol 99, Springer, Berlin, Heidelberg, https://doi.org/10.1007/978-3-642-28108-2_19
van der Aalst W.M.P. (2016), Process Mining: Data Science in Action, Springer, Berlin/Heidelberg, Germany.
Vasileva E.V., Deeva E.A. (2017), "Methods of expert evaluations in applied information economics for the analysis of efficiency investments in development of information systems", The world of new economy, no. 4, pp. 14-22.
