CC BY
194I Journal of Siberian Federal University. Humanities & Social Sciences 2021 14(11): 1674-1689
DOI: 10.17516/1997-1370-0849 УДК 34.096, 328.185, 35.072.61
Anti-Corruption Information Technologies
Aleksey V. Minbaleeva and Kirill S. Evsikov*a b
"Kutafin Moscow State Law University (MSAL) Moscow, Russian Federation bTula State University Tula, Russian Federation
Received 09.06.2021, received in revised form 29.08.2021, accepted 14.09.2021
Abstract. Most countries are making significant efforts to combat corruption. International organizations have developed effective recommendations that have allowed many states to achieve success in the implementation of anti-corruption policies. Using these recommendations Russian Government has developed and implemented effective methods for combating this social phenomenon.
Currently, the results obtained from anti-corruption activities are declining. Having considered the tendencies in the development of anti-corruption mechanisms in Russia and worldwide, the authors concluded that there is a delayed decrease in efficiency from the use of anti-corruption methods. In particular, the method of transparency in the long-term period leads to the complication of relations between the corruption interaction subjects, instead of corruption neutralization.
To overcome the effect of the delayed decrease in efficiency, the authors put forward a hypothesis about the need to introduce big data processing technologies and artificial intelligence into the anti-corruption system. The work analyzes the foreign experience of using these tools. Based on the results of the analysis, the authors identified problems encountered by foreign specialists and gave recommendations on the organization of anti-corruption activity in Russia. The article proposes the author's structure of an artificial intelligence system that carries out a comprehensive anti-corruption response and identifies legal aspects that contribute to its creation and implementation.
Keywords: anti-corruption, information technology, big data, artificial intelligence.
Research area: law.
Citation: Minbaleev, A.V., Evsikov, K.S. (2021). Anti-corruption information technologies. J. Sib. Fed. Univ. Humanit. soc. sci., 14(11), 1674-1689. DOI: 10.17516/1997-1370-0849
© Siberian Federal University. All rights reserved
* Corresponding author E-mail address: [email protected], [email protected] ORCID: 0000-0001-5995-1802 (Minbaleev); 0000-0002-4593-0063 (Evsikov)
- 1674 -
Информационные технологии противодействия коррупции
А. В. Минбалеева, К. С. Евсиков3- б
аМосковский государственный юридический университет имени О. Е. Кутафина (МГЮА) Российская Федерация, Москва бТульский государственный университет Российская Федерация, Тула
Аннотация. Большинство стран мира прикладывают значительные усилия для противодействия коррупции. Международными организациями разработаны эффективные рекомендации, которые позволили многим государствам достичь успехов в реализации антикоррупционной политики. Используя данные рекомендации и международный опыт, Россия сформировала нормативную правовую базу для противодействия коррупции. На основе Национального плана противодействия коррупции разработаны и внедрены эффективные методы борьбы с данным общественным явлением. Успехи в этой сфере отмечены международными организациями.
В настоящее время результаты, получаемые от антикоррупционных мероприятий, снижаются. Рассмотрев тенденции развития механизмов противодействия коррупции в России и в мире, авторы пришли к выводу о наличии эффекта отложенного снижения эффективности от применения методов противодействия коррупции. В частности, метод транспарентности в долгосрочном периоде приводит не к нейтрализации коррупции, а к усложнению связей субъектов коррупционного взаимодействия.
Для преодоления эффекта отложенного снижения эффективности авторами выдвинута гипотеза о необходимости внедрения в систему противодействия коррупции технологий обработки больших данных и искусственного интеллекта. В работе проанализирован зарубежный опыт использования этих инструментов. По результатам анализа выявлены проблемы, с которыми столкнулись иностранные специалисты, и даны рекомендации по организации данной деятельности в Российской Федерации. В статье предложена авторская структура системы искусственного интеллекта, осуществляющего комплексное противодействие коррупции, а также выявлены правовые аспекты, способствующие и препятствующие ее созданию и внедрению.
Ключевые слова: противодействие коррупции, информационные технологии, анализ больших данных, искусственный интеллект.
Научная специальность: 12.00.00 - юридические науки.
Введение и постановка проблемы
Коррупция - это сложное явление, определяемое в широком смысле как злоупотребление имеющейся властью ради личной выгоды. Легальная дефиниция термина закреплена в пункте 1 статьи 1 Федерального закона от 25.12.2008 № 273-Ф3 «О проти-
водействии коррупции» (Federal'nyj zakon, 2008). Согласно данному нормативному правовому акту коррупция - злоупотребление служебным положением, дача взятки, получение взятки, злоупотребление полномочиями, коммерческий подкуп либо иное незаконное использование физическим ли-
- 1675 -
цом своего должностного положения вопреки законным интересам общества и государства в целях получения выгоды в виде денег, ценностей, иного имущества или услуг имущественного характера, иных имущественных прав для себя или для третьих лиц либо незаконное предоставление такой выгоды указанному лицу другими физическими лицами, а также совершение этих деяний от имени или в интересах юридического лица.
По данным Международного Валютного Фонда, государства теряют из-за коррупции ежегодно денежные средства, эквивалентные 1 трлн долларов США, что в 200 раз больше, чем годовой бюджет Афганистана (страны с одним из самых высоких уровней коррупции в мире) (Fiscal Monitor: Curbing Corruption, 2019). Учитывая ущерб, причиняемый данным явлением, борьба с коррупцией становится приоритетным направлением для большинства государств. По данным ООН, за последние 30 лет достигнуты значительные успехи в борьбе с коррупцией (Last 30 years have seen major progress in fight against corruption: senior UN official, 2019), но анализ многочисленных исследований и публикаций в данной сфере позволяет утверждать, что ни одна страна в мире не смогла ее ликвидировать. С 2003 года правовой основой противодействия коррупции на международном уровне является Конвенция ООН против коррупции (United Nations Convention Against Corruption, 2003), к которой в 2006 году присоединилась Российская Федерация. В рамках этого документа Россия обязалась:
1) содействовать принятию и укреплению мер, направленных на более эффективное и действенное предупреждение коррупции и борьбу с ней;
2) поощрять, облегчать и поддерживать международное сотрудничество и техническую помощь в предупреждении коррупции и борьбе с ней, в том числе принимать меры по возвращению активов;
3) поощрять честность и неподкупность, ответственность, а также надлежащее управление публичными делами и публичным имуществом.
Для достижения указанных целей в России принят специализированный Федеральный закон «О противодействии коррупции», внесены антикоррупционные нормы в различные нормативные правовые акты, разработан Национальный план противодействия коррупции на 2018-2020 годы (Nacional'nyj Plane Protivodejstviya Korrupcii, 2018), а также приняты многочисленные подзаконные акты. Принятые нормативные правовые акты позволили нашей стране добиться значительных успехов и внедрить эффективные методы противодействия коррупции. Это было отмечено отечественными и зарубежными специалистами и международными организациями.
Так, исследователи отмечают, что детальное регламентирование процедур оказания государственных услуг, принятие стандартов качества, внедрение электронных очередей и официальных дополнительных платных услуг (например, платная помощь в оформлении платежных документов) сводят проявления бытовой коррупции к минимуму (Truntsevsky, 2017). Информационная система государственных закупок, применяемая в Российской Федерации, зарубежными экспертами признана более эффективной, чем ее аналоги (Rokhmistrov, 2019). Наша страна поднялась в Индексе восприятия коррупции с 154 места в 2010 году до 119 места в 2015 году. Следует отметить, что в дальнейшем сделать значительные системные успехи в противодействии коррупции России не удалось (в 2016-131-е место, в 2017-135-е место, в 2018-138-е место, в 2019-137-е место) (Corruption Perceptions Index 2019).
Однако сегодня наблюдается процесс стагнации эволюции методов борьбы с коррупцией, подтверждаемый отсутствием значительных успехов в этой сфере. Это отмечается многими авторами, которые указывают на наличие недостатков в антикоррупционной работе органов публичной власти и действующем законодательстве и предлагают различные способы повышения эффективности методов предотвращения коррупционных проявлений. Например, предлагают повысить эффективность
- 1676 -
противодействия коррупции через систематизацию законодательства (Kozlov, 2020), обратиться к позитивному правовому регулированию, считая, что, стимулируя правомерное поведение, государство способно улучшить методику противодействия коррупции (Tsirin, 2016). Интересны также предложения по использованию механизмов ротации в системе государственной гражданской службы (Nozdrachev, 2019) и созданию новых правовых фикций, например «скрытой аффилированности» (Tsirin, Matulis, 2020). Безусловно, реализация данных предложений улучшит существующие механизмы противодействия коррупции в России, но не приведет к их качественному изменению. По нашему мнению, сегодня в России субъекты коррупционных правонарушений адаптировались к методам противодействия коррупции. В результате сформировались новые усложненные коррупционные связи, противодействовать которым существующие антикоррупционные механизмы не могут.
Международный опыт
использования информационных технологий для противодействия коррупции
В настоящее время Российская Федерация активно реализует мероприятия по внедрению современных информационных технологий в сферу государственного управления в рамках «цифровой трансформации» органов публичной власти. При этом предполагается, что государство должно перейти от предоставления единичных «точечных» сервисов при помощи государственных (ведомственных) информационных систем (ГИС) и баз данных к комплексному решению жизненных ситуаций человека, которое основано на едином массиве данных и алгоритмах (The Government as a Platform, 2019). Принимая во внимание, что противодействие коррупции - это одна из важнейших задач государства, следует начинать и «цифровую трансформацию» антикоррупционных методов.
Необходимо отметить, что в России и в мире уже используются информационные системы, помогающие борьбе
с коррупцией. Одно из важнейших мест среди них занимают информационно-коммуникационные технологии, раскрывающие информацию о деятельности органов власти, что, реализуя принцип транспарентности, создает возможность контроля за должностными лицами и их решениями. По мнению отечественных (Belyaeva, Truntsevsky, Tsirin, 2019) и зарубежных исследователей (Georgieva, 2017), формирование открытых баз данных является эффективным средством противодействия коррупции.
Мы согласны с указанной точкой зрения, однако хотим отметить, что информационные технологии, обеспечивающие транспарентность органов публичной власти, могут влиять на уровень коррупции до определенного момента, после которого раскрытие информации органами власти теряет свою эффективность как метод борьбы с коррупционными правонарушениями. Указанный вывод подтверждается зарубежными исследованиями. Например, в 2015 году Большой Двадцаткой (G20) разработаны принципы открытых данных по борьбе с коррупцией, что стало значимым шагом на пути к их использованию для обеспечения культуры прозрачности и подотчетности в целях борьбы с коррупцией. В исследовании Transparency International и World Wide Web Foundation проведен анализ реализации данных принципов в следующих странах: Бразилия, Франция, Германия, Индонезия и ЮАР. В качестве итогового вывода эксперты указали, что анализ трехлетнего использования принципов открытости в пяти странах G20 позволяет констатировать о неполном раскрытии их потенциала как движущей силы и средства антикоррупционной работы (Vrushi, Hodess, 2017). При этом в исследовании показано, что уровень открытости данных и место страны в Corruption Perceptions Index не имеют прямой и жесткой взаимосвязи.
Одновременно с этим другая группа исследователей (Oxford Insights) в 2019 году провела анализ уровня открытости данных в государстве и уровня коррупции
- 1677 -
(Petheram, Pasquarelli, Stirling, 2019). Результаты также показали, что прямой жесткой зависимости между уровнем открытости и уровнем коррупции нет. Например, Швейцария, имея низкий уровень открытости данных, имеет низкий уровень коррупции, в то время как Бразилия, имея высокий уровень открытости данных, имеет высокий уровень коррупции. Подобные результаты позволяют признать доказанным вывод об ограниченном влиянии информационных технологий по созданию и опубликованию наборов открытых данных для противодействия коррупции. Более того, раскрытие значительного объема данных без эффективной методики их обработки приводит к усложнению поиска коррупционных проявлений.
По мнению авторов, отсутствие значительного прогресса в эволюции антикоррупционных методов в Российской Федерации связано с тем, что наша страна вышла на точку, когда уровень коррупции может быть снижен только через раскрытие информации, а значит, необходимо перейти на другой этап противодействия коррупции - создание эффективного инструмента анализа данных.
В настоящее время существуют две наиболее эффективные технологии анализа данных: алгоритмы обработки больших данных и система искусственного интеллекта. Обработка больших объемов данных - совокупность подходов, инструментов и методов автоматической обработки структурированной и неструктурированной информации, поступающей из большого количества различных, в том числе разрозненных или слабосвязанных источников информации, в объемах, которые невозможно обработать вручную за разумное время (Strategiya Razvitiya Informacionnogo Obshchestva v Rossijskoj Federacii, 2017). Особенностью этой технологии является не огромный объем данных, а то, что большинство из них не связано с традиционным форматом структурирования данных, обрабатываемых базами данных (Minbaleev, Kamalova, Radchenko, Kaftannikov, Zhirnova, Boychenko, Nikolskaya, 2019).
Искусственный интеллект - комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые как минимум с результатами интеллектуальной деятельности человека. Комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение (в том числе, в котором используются методы машинного обучения), процессы и сервисы по обработке данных и поиску решений (КасюпаГпауа Strategii Razvitiya Iskusstvennogo ШеПе^а, 2019).
Западные эксперты отмечают, что во всех странах мира отрасль государственных технологий (Govtech) только начинает развиваться, хотя и имеет большой потенциал роста ^ап^о, 2019). Применение этих технологий в антикоррупционной сфере может дать государству следующие преимущества.
1. Возможность обрабатывать информацию в таком объеме, который слишком сложен для анализа человеком.
2. Экономия времени должностного лица, осуществляющего противодействие коррупции, за счет возможности работать только с конкретными случаями, выявленными системой.
3. Технология лишена субъективного восприятия, а значит, она более защищена от внешнего воздействия по сравнению с человеком.
Следует отметить, что использование указанных технологий в противодействии коррупции является новацией для нашей правоприменительной практики. В отечественной правовой системе создание и функционирование данных технологий не регламентировано, а их работа может находиться вне правового поля. Однако, как отмечает Т. Я. Хабриева: «Пока государство устанавливает юридические запреты и размышляет о выборе более гибких правовых инструментов, «активная часть общества», игнорируя правовые установления и госу-
- 1678 -
дарственные юрисдикции, строит новое цифровое общество и цифровую экономику» (Khabrieva, 2019).
Анализ публикаций исследований, проведенный авторами, позволяет говорить, что в мире уже начали в порядке экспериментов использовать искусственный интеллект для противодействия коррупции. Наиболее часто его пытаются применить для противодействия коррупции при проведении государственных закупок, что обусловлено значимостью данных общественных отношений. Например, кроме указанных, ряд исследователей предлагают для выявления коррупционных связей при проведении торгов рассчитывать индекс прозрачности, оценивать результаты аудита контрактов, судебную практику, бюджетную отчетность, акты финансового контроля и другие показатели (Fazekas, Toth, King, 2016). В Журнале Европейского Суда Аудиторов размещена статья с алгоритмами, которые могут быть использованы для выявления и предотвращения мошенничества и коррупции в сфере государственных закупок (Adam, Fazekas, 2019). Авторами указывается, что для эффективной работы алгоритма необходимо выделить элементарные индикаторы риска коррупции. В качестве таковых в статье предлагаются следующие:
1. Индикаторы риска торгов - фиксируют результаты тендеров и процесс исполнения контрактов и сигнализируют о коррумпированном манипулировании процессом закупок, например адаптацией условий тендера к одной компании на конкурентном рынке.
2. Индикаторы политических связей -дают ключи к конкретным связям (например, родственные, дружеские или профессиональные отношения) между участниками торгов и должностными лицами, которые могут влиять на процесс государственных закупок, некоторые из них устанавливаются как институционализированные формы связей, такие как финансирование политических партий или лоббирование.
3. Индикаторы риска поставщиков -указывают на использование компаний-
победителей в качестве «подставных фирм» для извлечения прибыли, распределения и сокрытия активов.
4. Индикаторы риска организации-заказчика - отражают недостатки формальных процедур, которые можно использовать для лоббирования интересов конкретной компании.
Эффективность использования анализа больших данных подтверждают и исследования, которые проводились сотрудниками Группы Всемирного Банка. Например, Стефан Циммерманн указывал на эффективность использования данной технологии для поиска коррупционных рисков при проведении торгов (Zimmermann, 2016). Анализ результатов торгов и заявок участников торгов позволил обозначить несколько алгоритмов для выявления возможного сговора. При этом для поиска коррупционных связей предлагалось использовать не только данные о торгах, но и публичные данные компаний, данные из налоговых деклараций, данные финансового мониторинга и зарубежных транзакций.
Исследовательская группа Microsoft, работая с настройкой возможностей искусственного интеллекта по противодействию коррупции, создала шаблоны, которые указывают на возможность коррупционного взаимодействия. При этом использовались данные торгов, информация о победителях и проигравших участниках, а также информация о бенефициарном праве собственности со всего мира. Согласно информации Всемирного Банка, это позволило составить карту сетей аффилированных юридических лиц и использования подставных компаний, оффшорных юрисдикций для устранения потенциальных рисков до заключения контракта (Sharma, 2018).
В Китае также имеется опыт разработки и использования технологии искусственного интеллекта для противодействия коррупции. Система получила название «Zero Trust». В 2019 году проект был приостановлен. Согласно информации, приведенной South China Morning Post, замораживание работы системы может быть связано не с её эффективностью, а с про-
- 1679 -
тиводействием со стороны государственных служащих (Chen, 2019). «Zero Trust» разработана Академией наук Китая и учреждениями внутреннего контроля Коммунистической партии Китая. Она получила доступ к защищенным базам данных в центральных и местных органах власти для перекрестного контроля. «Zero Trust» составляла сложные многоуровневые алгоритмы анализа поведения государственных служащих, что оказалось эффективно для обнаружения подозрительных транзакций в таких сферах, как государственная приватизация, строительство инфраструктурных объектов, выкуп земельных участков, снос домов, закупки и др. Признаками коррупционного взаимодействия служили различные показатели, например необычное увеличение сбережений на счете чиновника в банке, покупка чиновником или одним из членов его семьи дорогого объекта (автомобиля, недвижимости). При этом система сопоставляла эти данные с результатами торгов по государственным контрактам, рассчитывая вероятность коррупционного взаимодействия победителя торгов и должностного лица. Если расчет превышал установленный индикатор, то оператор получал соответствующее уведомление.
Данный эксперимент позволяет выявить сложности, на которые необходимо обратить внимание правоприменителям в других странах.
1. Наличие сложного алгоритма анализа данных, действующего по принципу «черного ящика», давало возможность «Zero Trust» указывать на коррумпированного чиновника, но не всегда позволяло объяснить процесс выбора. Это значит, что пока система способна быть лишь вспомогательным инструментом для человека, осуществляющего противодействие коррупции, или технологией для правоохранительной и оперативно-разыскной деятельности.
2. Китайские чиновники добровольно не представляли данные, необходимые искусственному интеллекту. Это значит, что для работы системы необходим правовой механизм получения информации о госу-
дарственных и муниципальных служащих от третьих лиц, например информация об их банковских транзакциях.
3. Должностные лица изменяли данные, чтобы машина не смогла выявить факты коррупционного взаимодействия. Это системе удалось нивелировать путем сравнения информации из разных источников, которое осуществлял алгоритм поиска разночтений в базах данных.
Следует отметить, что эксперименты по внедрению искусственного интеллекта для противодействия коррупции проходят не только в рамках контроля за должностными лицами органов исполнительной власти. Например, Украина пытается внедрить данную информационную технологию для предотвращения коррупции в парламенте (Апапта, 2019), информация об эффективности этого эксперимента отсутствует.
Перспективы создания искусственного интеллекта, противодействующего коррупции в России
Мировая практика использования алгоритмов анализа больших данных позволяет сделать вывод, что данная технология имеет высокую эффективность для противодействия коррупции, а для ее внедрения необходимо выполнение двух действий.
1. Создать комплексные и структурированные наборы больших данных о деятельности органов публичной власти и информационные базы со вспомогательной информацией.
2. На основе опыта выявления коррупционных взаимосвязей создать алгоритмы обработки этих наборов данных, определив индикаторы риска. Когда алгоритм сможет самостоятельно определять индикаторы и выявлять риски, т. е. имитировать когнитивную деятельность человека, то он станет системой «искусственного интеллекта».
На наш взгляд, в настоящий момент технология искусственного интеллекта является наиболее перспективной для существенного повышения эффективности методики борьбы с коррупцией в России,
- 1680 -
что согласуется с оценками иностранных специалистов. Согласно Oxford Insights, по состоянию на 2019 год Российская Федерация занимала 29-е место из 194 стран по готовности органов публичной власти использовать искусственный интеллект (Government Artificial Intelligence Readiness Index 2019).
Упрощенно технологию искусственного интеллекта, осуществляющего поиск коррупционных проявлений, можно представить следующим набором действий: в информационную систему подгружается «тренировочный» набор данных (дата-сет), а затем алгоритм на основе анализа информации, полученной из этих данных, пытается «предсказать» результат на основе загруженных новых данных. Получившийся в результате «тренированный» алгоритм и является тем, что в настоящее время наиболее часто называют технологией искусственного интеллекта.
Специфика «тренированного» алгоритма такова, что его сложность и много-уровневость не всегда позволяют человеку понять технологию принимаемого им решения, что в условиях юридической практики может иметь критическое значение для использования системы. Например, алгоритм, созданный китайскими специалистами, мог указать на коррупционера, но объяснить выбор система не могла. Данный недостаток не может служить основанием для отказа от технологии, а лишь требует передачи процесса принятия итогового юридически значимого решения человеку. Например, правительство Великобритании стало использовать искусственный интеллект для выявления случаев мошенничества в сфере социального обеспечения. Система определяет обращения, имеющие признаки мошенничества, а итоговая проверка осуществляется должностным лицом, которое принимает юридически значимое решение (Marr, 2018).
На основании изложенного можно сделать вывод, что для создания искусственного интеллекта, противодействующего коррупции, требуются несколько составляющих:
1) набор данных (дата-сет);
2) признаки (фичи), т. е. характеристики, позволяющие сделать вывод о факте коррупции (иногда их называют «красные флажки»);
3) сам алгоритм.
Рассмотрим каждую из составляющих.
1. Набор данных.
Анализ отечественной правоприменительной практики показывает, что сегодня в России имеются базы данных, которые могут использоваться для противодействия коррупции, например ЕИС в сфере закупок (https://zakupki.gov.ru). Однако при работе с ними органы, осуществляющие противодействие коррупции, не используют специальные алгоритмы. Следует отметить, что существующие государственные информационные системы разрозненны, что является значительным препятствием для работы искусственного интеллекта. Информационный массив, который позволит программе выявлять коррупционные риски, может состоять из открытых данных, размещаемых органами власти или организациями, но если органы власти размещают информацию разрозненно и не структурированно, то эффективность работы алгоритма будет невысока.
В Российской Федерации шаг к упорядочиванию данной деятельности уже сделан. В рамках «цифровой трансформации» создается Национальная система управления данными (НСУД), которая должна обеспечить правовое, техническое и методическое единообразие сбора, обработки, предоставления, распространения и использования данных органами власти (Koncepciya sozdaniya i funkcionirovaniya nacional'noj sistemy upravleniya dannymi i plana meropriyatij («dorozhnuyu kartu») po sozdaniyu nacional'noj sistemy upravleniya dannymi, 2019). Внедрение системы повысит доступность государственных данных и создаст предпосылки для появления технологии искусственного интеллекта в государственном управлении.
Хочется отметить, что в настоящее время все государства активно осущест-
- 1681 -
вляют сбор и фиксацию информации о частной жизни граждан, мотивируя это необходимостью обеспечения общественной безопасности. В подобных условиях представляется допустимым осуществить сбор информации за деятельностью должностных лиц органов публичной власти. Собранные и структурированные данные могут стать набором информации, позволяющим внедрить высокоэффективную технологию противодействия коррупции.
2. Признаки.
Комплексные исследования по вопросам выделения признаков коррупции, которые могут быть положены в основу работы искусственного интеллекта, в России существенно отстают от зарубежных аналогов. Данный факт вызван тем, что иностранные специалисты работают над этим вопросом более 10 лет. Среди многочисленных публикаций результатов их исследований можно выделить:
- фичи для анализа торгов, которые сформулированы на основе анализа официальных правительственных данных (2,8 млн контрактов в двадцати восьми европейских странах) за период 2009-2014 годов (Fazekas, Kocsis, 2020);
- объективные показатели коррупции, которые основываются на анализе поведения заказчиков и участников торгов (Anheier, Haber, Kayser, 2018);
- изучение возможности использования информационных технологий для противодействия коррупции при закупках отдельных видов товаров, работ, услуг (Mackey, Cuomo, 2020).
Исследования в этой области продолжаются. Например, в каталоге проектов Всемирного Банка и Статистического отдела ООН (СОООН) зарегистрирован исследовательский проект, который реализуется совместно с Университетом Цинциннати, «Анализ данных для выявления показателей коррупции, мошенничества или сговора в финансируемых Банком проектах или государственных расходах» (Analyzing data to identify indicators of corruption, fraud or collusion in Bank-financed projects or public spending, 2019).
3. Алгоритм.
На основе авторского анализа предлагаем трехуровневый алгоритм для искусственного интеллекта, противодействующего коррупции.
1) Превентивный уровень. На данном уровне искусственный интеллект выполняет две функции: фиксацию действий граждан и действий должностных лиц и их проверку на соответствие алгоритму.
Для этого уровня не требуется построение самостоятельной системы искусственного интеллекта, противодействующего коррупции, а предлагается включение «алгоритма наблюдателя» в автоматизированную систему оказания государственных услуг и систему содействия органам публичной власти в исполнении ими своих должностных обязанностей. Алгоритм фиксирует действия участников правоотношений, соотносит их с имеющимися параметрами и не позволяет должностному лицу отойти от утвержденного регламента.
Например, система автоматической фиксации правонарушений и взимания штрафов. Если установить, что надлежащим доказательством правонарушения является только видеозапись, произведенная персональной системой видеофиксации сотрудника полиции, а не его письменные или устные показания, то сотрудники будут вынуждены фиксировать все правонарушения на видео. Алгоритм, встроенный в эту систему, не позволит наложить штраф без видео и оставить зафиксированное правонарушение без наказания. При этом технология сможет анализировать видео на предмет его целостности и объективности, что поможет выявить факты бытовой коррупции.
Следует отметить, что видеофиксация процесса взаимодействия гражданина и органа публичной власти является сама по себе эффективной антикоррупционной технологией.
2) Уровень текущего контроля. На данном уровне искусственный интеллект выполняет две функции: анализ текстовых документов, формируемых органами власти, и поиск значимых отклонений в них.
- 1682 -
Информационная система выявляет не нарушение регламента в действиях государственного служащего, а отклонение его поведения от «обычного».
Латентным коррупционным правонарушением является действие должностного лица, находящееся в рамках его полномочий, но отклоняющееся от его поведения в аналогичной ситуации, например разный срок оформления документации, отличающиеся условия государственного контракта на одинаковые закупки, расхождение в размерах налагаемого наказания. Задача искусственного интеллекта - анализ документов и выявление «обычного» поведения, присущего конкретному должностному лицу или органу власти. Для системы необходимо принятие гипотезы, что в большинстве случаев орган власти и должностное лицо действуют типовым образом. Существенное отклонение от этого поведенческого алгоритма служит признаком влияния на должностное лицо внешних факторов, среди которых может быть коррупционное воздействие. Анализ кривой отклонений позволит искусственному интеллекту указать на решения и действия, требующие более внимательного анализа со стороны субъекта контроля.
Например, искусственный интеллект проводит текущий контроль индивидуальных правовых актов о наложении наказания. Система анализирует акты конкретного должностного лица или группы лиц по одной категории дел, предполагая, что все они приняты в рамках действующего законодательства, так как нарушение этого условия привело бы к отмене актов вышестоящей инстанцией. Текстовый анализ позволит искусственному интеллекту выявить существенные признаки, влияющие на резолютивную часть акта, и составить стандартный поведенческий алгоритм, присущий конкретному лицу или группе лиц. Далее система анализирует каждый последующий индивидуальный правовый акт и отмечает те, которые значительно отклоняются от обычно принимаемых решений по размеру наказания или виду наказания. Следует подчеркнуть, что это само по себе
не свидетельствует о нарушениях, допущенных должностным лицом, но является признаком, требующим надлежащей оценки со стороны вышестоящей инстанции.
3) Уровень последующего контроля. На данном уровне искусственный интеллект выполняет две функции: поиск признаков обогащения должностных лиц и аффилированных с ними лиц, а также построение возможных связей между источниками обогащения и решениями и действиями должностного лица. Пример данной системы - китайская технология искусственного интеллекта «Zero Trust», которая описана ранее.
На взгляд авторов, построение и функционирование системы искусственного интеллекта, успешно противодействующей коррупции, может быть достигнуто только путем поэтапного построения всех описываемых уровней. Построение одного элемента без другого даст возможность субъектам коррупционного взаимодействия манипулировать информационными потоками и препятствовать работе системы. В этом случае ее разработка и внедрение окажутся неэффективными.
Правовой аспект внедрения системы искусственного интеллекта для противодействия коррупции
Говоря о комплексной системе искусственного интеллекта, противодействующего коррупции, следует отметить ряд проблем, связанных со сложностями существующей системы правового регулирования.
1. Множественность нормативных правовых актов, регулирующих сферу публичного управления.
Различные органы власти руководствуются многочисленными внутренними регламентами и положениями, что может стать значительным препятствием для внедрения системы превентивного контроля. Данный вопрос можно решить в рамках создания единой системы регистрации решений и действий органов исполнительной власти. В настоящее время подобная система (ГАС «Правосудие») уже создана для ор-
- 1683 -
ганов судебной власти. В ней отражаются решения, принятые должностными лицами на всех стадиях судебного процесса. Считаем, что создание аналогичной системы для органов исполнительной власти сможет привести к гармонизации правовой системы, регулирующей их деятельность, за счет открытости лучших практик и возможности сравнения действий и решений разных должностных лиц по схожим вопросам.
2. Отсутствие норм права, регулирующих создание и работу систем искусственного интеллекта.
Как справедливо отмечают российские специалисты в области информационного права, «в России назрела необходимость для формирования специализированного массива норм регулирования отношений в сфере искусственного интеллекта» (Ката^а, Mosin, №ито^ Neznamov, Мкоккауа, 2019). Применение существующих норм права к отдельным разновидностям роботов или системам с искусственным интеллектом на общих основаниях, без учета определенного уровня автономности (самостоятельности) создает условия для возникновения правовых конфликтов, не решаемых обычными средствами, либо резко ограничивает развития технологий заградительными нормами (Neznamov, 2020). Отсутствие специальных норм права делает разработчиков и пользователей систем искусственного интеллекта правонарушителями, что становится значительным препятствием для развития технологий. Система искусственного интеллекта, противодействующего коррупции, не соответствует существующим правовым механизмам, регулирующим информационные правоотношения.
3. Отсутствие должного регулирования оборота больших данных.
В пункте 37 «Национальной стратегии развития искусственного интеллекта на период до 2030 года» справедливо отмечено, что основными факторами развития технологий искусственного интеллекта являются увеличение объема доступных данных, в том числе данных, прошедших разметку и структурирование, и развитие
информационно -коммуникационной инфраструктуры для обеспечения доступа к наборам таких данных. В настоящее время в России комплексные и структурированные наборы больших данных, необходимые для работы системы искусственного интеллекта, противодействующего коррупции, отсутствуют. Возможно, данную проблему сможет разрешить Национальная Система Управления Данными, о которой мы писали ранее.
4. Использование персональных данных системой искусственного интеллекта.
Система искусственного интеллекта, противодействующая коррупции, может в первую очередь столкнуться с конституционным правом на неприкосновенность частной жизни, личную и семейную тайну, закрепленном в части 1 статьи 23 Конституции РФ (Constitution of the Russian Fédération, 1993). Данная технология сопряжена с обработкой больших данных, которые включают и персональные данные широкого круга граждан. В отечественной правовой системе специальный правовой режим этой информации не определен. Следовательно, правовое регулирование общественных отношений, возникающих при создании и внедрении искусственного интеллекта, может происходить только на основе общих норм законодательства о персональных данных, что делает его существование в рамках имеющегося правового поля невозможным.
Наличие данной правовой проблемы подтверждается практикой ЕСПЧ. Например, суд уже признавал несоответствующими статье 8 Конвенции о защите прав человека и основных свобод (Convention for the Protection of Human Rights and Fundamental Freedoms, 1950) работу информационной системы, установленной операторами мобильной связи, позволяющей получать данные о телефонных разговорах граждан (Case of Roman Zakharov v. Russia, 2016), и систему постоянного видеонаблюдения за заключенным (Case of Gorlov and Others v. Russia, 2019).
В 2021 году в России вступил в силу нормативный правовой акт об эксперимен-
- 1684 -
тальных правовых режимах в сфере цифровых инноваций (Federal'nyj zakon, 2020). По мнению авторов, эта правовая конструкция может оказать содействие для введения разработчиков системы искусственного интеллекта, противодействующей коррупции, в рамки правового поля.
5. Отсутствие заказчика для данной системы.
В соответствии с пунктом 31 Национальной стратегии развития искусственного интеллекта на период до 2030 года государство декларирует осуществление непрерывной государственной поддержки фундаментальных научных исследований в области искусственного интеллекта. Однако в России нет «государственного заказа» ни на систему искусственного интеллекта, противодействующую коррупции, ни на программный продукт, который может составить часть данной технологии. В нашей стране эта система может существовать только за счет средств федерального бюджета, который должен выступить заказчиком системы. Принимая во внимание, что это возможно только в рамках утвержденных государственных программ, по мнению авторов, разработку информационной технологии, обеспечивающей автоматизированное выявление признаков коррупционного поведения на основе существующих государственных информационных систем и открытых данных, необходимо включить в государственную программу «Цифровое управление» и в Национальный план противодействия коррупции.
6. Результат работы искусственного интеллекта не является доказательством.
Уровень технологий, не позволяющий объяснить принятое искусственным интеллектом решение, служит значительным препятствием для использования выводов системы в суде или в рамках производства по делам об административных правонарушениях. На взгляд авторов, это требует от законодателя закрепить правовой статус рассматриваемой информационной системы исходя из концепции «робот как животное». О целесообразности подобной юридической фикции говорится в документах
ЕС (Draft report with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL)). В России также находят поддержку предложения об избирательном применении по аналогии отдельных норм о животных к роботам (Arkhipov, Naumov, 2017).
В рассматриваемом случае можно исходить из следующей аналогии. Указание служебной собаки на конкретное лицо при розыске по запаху не может быть безусловным свидетельством его виновности, но действие животного и последующая проверка доказательств, осуществляемая уполномоченным должностным лицом, позволяет установить правонарушителя. Статус выводов, сделанных системой искусственного интеллекта, осуществляющей противодействие коррупции, может иметь схожую оценку в правоприменительной практике, а результат работы технологии должен являться основанием для последующего сбора доказательств человеком.
Заключение
На основании изложенного можно сделать следующее обобщение.
Коррупция причиняет значительный ущерб государствам во всем мире, что требует от органов публичной власти прикладывать усилия для противодействия ей. Россия и другие страны активно используют в борьбе с коррупцией информационные технологии, что позволило достичь значительных успехов. Основную часть этих технологий занимают два элемента:
- электронные сервисы по предоставлению государственных услуг, которые снижают количество точек соприкосновения граждан и должностных лиц, что приводит к уменьшению уровня бытовой коррупции;
- официальные сайты, где в открытом доступе публикуются данные о государственных закупках, о решениях и действиях органов власти, о доходах и расходах должностных лиц, что упрощает внешний контроль в целях выявления признаков коррупционного взаимодействия.
- 1685 -
По мнению авторов, сегодня в России и в мире субъекты коррупционных правонарушений адаптируются к антикоррупционным информационным технологиям. В результате формируются новые усложненные коррупционные связи, противодействовать которым существующие механизмы борьбы с коррупцией не могут. Для преодоления данного эффекта авторами обоснована гипотеза о необходимости внедрения в систему противодействия коррупции алгоритмов обработки больших данных и комплексной системы искусственного интеллекта, что соответствует общепринятой концепции «цифровой трансформации» органов публичной власти.
Проанализированный в работе зарубежный опыт позволяет говорить о наличии успехов в использовании алгоритмов обработки больших данных для борьбы с коррупцией. Большинство этих технологий предназначено только для одной сферы деятельности органов публичной власти (сферы публичных закупок). При этом отсутствует опыт создания и внедрения комплексных систем искусственного интеллекта, противодействующих коррупции. Наиболее близко к решению данного вопроса подошли специалисты из Китая. На взгляд авторов, этому способствовало законодательство данной страны, которое позволяет органам публичной власти свободно использовать большой объем информации о гражданах.
В рамках исследования предложена авторская структура комплексной системы искусственного интеллекта для борьбы с коррупцией, которая рассмотрена с организационно-правовой точки зрения.
Список литературы/ References
Авторы считают, что в процессе построения данной технологии необходимо ориентироваться на создание трехуровневой системы, что позволит сохранить устойчивость к воздействию субъектов, противодействующих борьбе с коррупцией.
В России, как и в ряде других стран мира, существующие правовые механизмы служат серьезным препятствием для создания и работы комплексной системы искусственного интеллекта, способного эффективно противодействовать коррупции. Авторами выделено шесть ключевых недостатков в действующих нормативных правовых актах, но их перечень не является исчерпывающим. Указанные правовые пробелы и правовые коллизии необходимо урегулировать, чтобы создатели и пользователи системы искусственного интеллекта, противодействующей коррупции, находились в рамках правового поля. Например, авторами обоснованы предложения по созданию единой системы регистрации решений и действий органов исполнительной власти, урегулированию оборота больших данных, внесению изменений в Национальный план противодействия коррупции, изменению законодательства в части определения правового статуса системы искусственного интеллекта, противодействующей коррупции, на основе концепции «робот как животное». Считаем, что реализация указанных предложений будет способствовать созданию алгоритмов обработки больших данных и разработке комплексной системы искусственного интеллекта, способных значительно повысить эффективность методов противодействия коррупции.
Adam, I., Fazekas, M. (2019). Big data analytics as a tool for auditors to identify and prevent fraud and corruption in public procurement, In European Court of Auditors Journal, (2), 172-180.
Analyzing data to identify indicators of corruption, fraud or collusion in Bank-financed projects or public spending (2019), available at: https://unstats.un.org/bigdata/inventory/?selectID=WB5 (accessed 10 June 2021).
Anheier, H.K., Haber, M., Kayser, M.A. (2018) Governance Indicators. Oxford. Oxford University Press, p.326.
- 1686 -
Arianina, K.V. (2019). Big brother to the rescue? Can artificial intelligence help in Ukraine's fight against corruption, In New Eastern Europe, 06(39), 96-100.
Arkhipov, V.V., Naumov, V.B. (2017). O nekotoryh voprosah teoreticheskih osnovanij razvitiya za-konodatel'stva o robototekhnike: aspekty voli i pravosub»ektnosti [On some issues of theoretical foundations for the development of legislation on robotics: aspects of will and legal personality], In Zakon [Law], (5), 157-170.
Belyaeva, O.A., Truntsevsky, Yu.V., Tsirin, A.M. (2019). Pravovye mekhanizmy protivodejstviya kor-rupcii v sfere korporativnyh zakupok: nauchno-prakticheskoe posobie [Legal mechanisms for combating corruption in the field of corporate procurement: a scientific and practical guide]. Moscow, Contract, 160 p.
Chen, S. (2019). Is China's corruption-busting AI system 'Zero Trust' being turned off for being too efficient, In South China Morning Post, available at: https://www.scmp.com/news/china/science/arti-cle/2184857/chinas-corruption-busting-ai-system-zero-trust-being-turned-being (accessed 10 June 2021).
Constitution of the Russian Federation (1993), available at: http://www.pravo.gov.ru (accessed 10 June 2021).
Convention for the Protection of Human Rights and Fundamental Freedoms (1950), available at: https://treaties.un.org/doc/Publication/UNTS/Volume%20213/volume-213-I-2889-English.pdf (accessed 10 June 2021).
Corruption Perceptions Index 2019, available at: https://transparency.org.ru/research/CPI2019_Re-port_EN%20[WEB].pdf (accessed 10 June 2021).
Draft report with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL)), available at: http://bit.ly/285CBjM (accessed 10 June 2021).
Edinaya informacionnaya sistema v sfere zakupok [Unified information system in the field of procurement], available at: https://zakupki.gov.ru (accessed 10 June 2021).
European Court of Human Rights (2016). Case of Roman Zakharov v. Russia, available at: https://hudoc. exec.coe.int/fre#{%22EXECIdentifier%22:[%22004-14134 %22]} (accessed 10 June 2021).
European Court of Human Rights (2019). Case of Gorlov and Others v. Russia, available at: https://hudoc.echr.coe.int/spa#{%22itemid%22:[%22001-194247 %22]} (accessed 10 June 2021).
Fazekas, M., Kocsis, G. (2020) Uncovering high-level corruption: cross-national corruption proxies using government contracting data, In British Journal of Political Science. Cambridge University Press, 50(1), 155-164.
Fazekas, M., Toth, I.J., King, L.P. (2016). An Objective Corruption Risk Index Using Public Procurement Data, In European Journal of Criminal Policy and Research, 22(3), 369-397.
Federal'nyj zakon (2008). «O protivodejstvii korrupcii» [Federal Law. Law Against Corruption], available at: http://www.pravo.gov.ru (accessed 10 June 2021).
Federal'nyj zakon (2020). Ob eksperimental'nyh pravovyh rezhimah v sfere cifrovyh innovacij v Rossijskoj Federacii [Federal Law. Experimental Legal Regimes In Russian Federation], available at: http://www.pravo.gov.ru (accessed 10 June 2021).
Fiscal Monitor: Curbing Corruption (2019), available at: https://www.imf.org/en/Publications/FM/Is-sues/2019/03/18/fiscal-monitor-april-2019 (accessed 10 June 2021).
Georgieva, I. (2017). Using Transparency Against Corruption in Public Procurement. Springer International Publishing AG. 167 p.
Government Artificial Intelligence Readiness Index 2019, available at: https://www.oxfordinsights. com/ai-readiness2019 (accessed 10 June 2021).
Kamalova, G.G., Mosin, M.V., Naumov, V.B., Neznamov, A.V., Nikolskaya, K. Yu. (2019). Modeli pravovogo regulirovaniya sozdaniya, ispol'zovaniya i rasprostraneniya robotov i sistem s iskusstvennym intellektom: monografiya [Models of legal regulation of the creation, use and distribution of robots and systems with artificial intelligence: monograph], Saint-Petersburg, NP-Print, p.252.
Khabrieva, T. Ya. (2019). Proekcii razvitiya konvergentnyh tekhnologij v prave [Projections of the development of convergent technologies in law], In Transformaciya paradigmy prava v civilizacionnom razvitii chelovechestva: doklady chlenov RAN [Transformation of the Legal Paradigm in the civilizational
- 1687 -
development of mankind: reports of RAS members], Moscow, Institute of State and Law of the Russian Academy of Sciences. 1(1), 143.
Koncepciya sozdaniya i funkcionirovaniya nacional'noj sistemy upravleniya dannymi i plana mero-priyatij («dorozhnuyu kartu») po sozdaniyu nacional'noj sistemy upravleniya dannymi na 2019-2021 gody [The concept of the creation and operation of the national data management system and the action plan («road map») on the creation of a national data management system for 2019-2021] (2019), available at: http://www.pravo.gov.ru (accessed 10 June 2021).
Kozlov, T.L. (2020). Perspektivy razvitiya rossijskogo zakonodatel'stva o protivodejstvii korrupcii [Prospects for the development of Russian anti-corruption legislation], In ZHurnal of Rossijskogo Prava [Journal of Russian Law], (5), 158.
Last 30 years have seen major progress in fight against corruption: senior UN official (2019), available at: https://news.un.org/en/audio/2019/12/1053531 (accessed 10 June 2021).
Mackey, T.K., Cuomo, R.E. (2020). An interdisciplinary review of digital technologies to facilitate anti-corruption, transparency and accountability in medicines procurement. In Global Health Action, 13(1), 2020, DOI: 10.1080/16549716.2019.1695241.
Marr, B. (2018) How the UK Government uses artificial intelligence to identify welfare and state benefits fraud, available at: https://www.forbes.com/sites/ bernardmarr/2018/10/29/how-the-uk-government-uses-artificial-intelfigence-to-identify-welfare-and-state-benefits-fraud/#c5b058940cb9 (accessed 10 June 2021).
Minbaleev, A.V., Kamalova, G.G., Radchenko, G.I., Kaftannikov, I.L., Zhirnova, V.M., Boychenko, I.S., Nikolskaya, K. Yu. (2019). Pravovoe regulirovanie cifrovyh tekhnologij v Rossii i za rubezhom. Rol' i mesto pravovogo regulirovaniya i samoregulirovaniya v razvitii cifrovyh tekhnologij: monografiya [Legal regulation of digital technologies in Russia and abroad. The role and place of legal regulation and self-regulation in the development of digital technologies: monograph]. Saratov, Amirit, 206 p.
Nacional'n aya strategii razvitiya iskusstvennogo intellekta na period do 2030 goda [National Strategy for the Development of Artificial Intelligence 2030] (2019), available at: http://www.pravo.gov.ru (accessed 10 June 2021).
Nacional'nyj Plane Protivodejstviya Korrupcii 2018-2020 [The National Anti-Corruption Plan 20182020»] (2018), available at: http://www.pravo.gov.ru (accessed 10 June 2021).
Neznamov, A.V. (2020). O koncepcii regulirovaniya tekhnologij iskusstvennogo intellekta i roboto-tekhniki v Rossii [On the concept of regulation of artificial intelligence and robotics technologies in Russia]. Zakon [In Law], (1), 171-185.
Nozdrachev, A.F. (2019). Institut rotacii v sisteme gosudarstvennoj grazhdanskoj sluzhby [Institute of rotation in the system of state civil service], In ZHurnal zarubezhnogo zakonodatel'stva i sravnitel'nogo pravovedeniya [Journal of Foreign Legislation and Comparative Jurisprudence], (5), 5-22.
Petheram, A., Pasquarelli, W., Stirling, R. (2019). The Next Generation of Anti-Corruption Tools: Big Data, Open Data & Artificial Intelligence, available at: https://www.oxfordinsights.com/ai-for-anti-corruption (accessed 10 June 2021).
Rokhmistrov, M.S. (2019). Rossijskaya sistema goszakupok odna iz samyh peredovyh na segodnyashnij den' [The Russian public procurement system is one of the most advanced to date], available at: https://ach. gov.ru/news/maksim-rokhmistrov-rossiyskaya-sistema-goszakupok-odna-iz-samykh-peredovykh-v-mire-no-nuzhno-idti-da (accessed 10 June 2021).
Santiso, C. (2019). Here's how tech can help governments fight corruption, available at: https://www. weforum.org/agenda/2019/12/heres-how-tech-can-help-crack-down-on-corruption (accessed 10 June 2021).
Sharma, V. (2018). Can artificial intelligence stop corruption in its tracks, available at: https://blogs. worldbank.org/governance/can-artificial-intelligence-stop-corruption-its-tracks (accessed 10 June 2021).
Strategiya razvitiya informacionnogo obshchestva v Rossijskoj Federacii na 2017-2030 gody [Strategies for the development of the information Society in the Russian Federation for 2017-2030] (2017), available at: http://www.pravo.gov.ru (accessed 10 June 2021).
- 1688 -
The Government as a Platform. A (cyber)state for the digital economy (2019), available at: https://gspm. ranepa.ru/uploads/files/2019/01/17-01-2019_0.pdf (accessed 10 June 2021).
Truntsevsky, Yu.V. (2017). Informacionno-telekommunikacionnye tekhnologii v sfere protivodejstvi-ya bytovoj (povsednevnoj) korrupcii [Information And Telecommunications Technologies In The Field Of Combating Domestic (Everyday) Corruption], In Journal of Informacionnoe Pravo [In Journal of Information Law], (2), 27-32.
Tsirin, A.M. (2016). Preduprezhdenie korrupcii: problemy i perspektivy [Prevention of corruption: problems and prospects], In ZHurnal of Rossijskogo Prava [Journal of Russian Law], (12), 106-114.
Tsirin, A.M., Matulis, S.N. (2020). Ponyatie skrytoj affilirovannosti i sposoby ee vyyavleniya [The concept of hidden affiliation and ways to identify it], In ZHurnal of Rossijskogo Prava [Journal of Russian Law], (2), 164-174.
United Nations Convention Against Corruption (2003), available at: https://www.unodc.org/unodc/ corruption/tools_and_publications/UN-convention-against-corruption.html (accessed 10 June 2021).
Vrushi, J., Hodess, R. (2017). Connecting the Dots: Building the Case for Open Data to Fight Corruption. Transparency International, available at: https://www.jstor.org/stable/resrep20526 (accessed 10 June 2021).
Zimmermann, S. (2016). Using Data and Transparency to Fight Corruption in Public Procurement, available at: http://www.oas.org/juridico/PDFs/ mesicic5_intecolec_29_wb_zimmermann.pdf (accessed 10 June 2021).
