CC BY
210УДК 347; 004.8
DOI: 10.33184/pravgos-2020.3.4
ЭТИЧЕСКИЕ ПРИНЦИПЫ ВЗАИМОДЕЙСТВИЯ С ИСКУССТВЕННЫМ ИНТЕЛЛЕКТОМ
КАК ОСНОВА ПРАВОВОГО РЕГУЛИРОВАНИЯ
ПОПОВА Анна Владиславовна
доктор юридических наук, кандидат философских наук, доцент, профессор Департамента правового регулирования экономической деятельности ФГОБУ ВО «Финансовый университет при Правительстве Российской Федерации»; профессор кафедры теории государства и права Института права ФГБОУ ВО «Башкирский государственный университет»; профессор кафедры конституционного права Юридического факультета им. М.М. Сперанского Института права и национальной безопасности ФГБОУ ВПО «Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации», г. Москва, Россия. E-mail: аппа0710(аyandex.ru
Вопросы правовой регламентации правовых и этических принципов взаимодействия человека, общества, государства в лице государственных органов являются необходимым условием гарантированности конституционных норм, закрепляющих человека, его права и свободы как высшую ценность Российской Федерации. ИИ, беря на себя задачи сквозного и прозрачного государственного и муниципального управления на основе Больших данных и с использованием Искусственного интеллекта, представляет особый элемент в складывающихся общественных отношениях, которые должны, по нашему убеждению, подчиняться робоэтике и этике ИИ, созданной наподобие юридической этики. Именно поэтому этика принятия решения и действий самого ИИ, этика тех программистов, которые создают алгоритмы, по которым действуют и самообучаются эти системы, этика взаимодействия человека и киберфизических и когнитивных систем представляет собой предмет правового регулирования. Цель: анализ современных этических принципов взаимодействия человека и искусственного интеллекта, нейронных сетей и умных роботов, являющихся основой для формирования современного законодательства в данной сфере в США, странах Западной Европы и Восточной Азии. Методы: эмпирические методы сравнения, описания, интерпретации, теоретические методы формальной и диалектической логики. Применялись частно-научные методы: сравнительно-правой, юридико-догматический. Результаты: исследование позволило на основе сравнительно-правового анализа
34
существующих этических кодексов, иных юридических документов по использованию и взаимодействию с ИИ определить сущностные черты этики взаимодействия с человеком и этики создателей программного обеспечения ИИ, профессиональной этики разработчиков систем ИИ и этики принятия решения ИИ.
Ключевые слова: искусственный интеллект; робот, робототехника; правовое регулирование; правовое государство; этика, эмпатия, этический кодекс.
Статья подготовлена по результатам исследований, выполненных за счет бюджетных средств по государственному заданию ФГОБУ ВО «Финансовый университет при Правительстве Российской Федерации»
Особое внимание с недавних пор приковано к проблеме этики, а именно этики принятия решения и действий самого ИИ, этики тех программистов, которые создают алгоритмы, по которым действуют и самообучаются эти системы, этики взаимодействия человека и киберфизиче-ских и когнитивных систем. Ведь использование роботов, нейронных сетей и ИИ влечет за собой необходимость решения этических проблем, возникающих при использовании автономных беспилотников, случаи манипулирования доступностью информации, сексизма и расизма в алгоритмах распознавания лиц и таргетированной рекламы с использованием ИИ, последствия применения алгоритмов в работе государства [9, 10]. В ноябре 2019 г. в Москве на конференции по искусственному интеллекту «А1 Journey» Президент Российской Федерации В В. Путин отметил важность и необходимость развития ИИ в России, предложив профессиональному сообществу, компаниям подумать над формированием свода этических правил взаимодействия человека с искусственным интеллектом» [4]. С 2016 г. большинство государств с цифровой экономикой включились в технологическую гонку по разработке роботов, киберфизи-ческих и нейронных сетей, ИИ: к 2020 г. были приняты тридцать четыре стратегии по развитию ИИ. Поэтому так важно именно сегодня задать этические рамки развития ИИ, ограничить возможности его неэтичного применения и направить энергию разработчиков и идеи законодателей в русло, обеспечивающее максимальную безопасность и выгоду для общества [1].
При формировании законодательства о роботах-беспилотниках особое внимание уделяется тому, как правильно с точки зрения нравственных ценностей создать программное обеспечение для робота, в том числе и тогда, когда при определенной ситуации при дорожно-транспортном происшествии не удастся избежать причинения вреда человеку. Для сбора информации о предпочтительном решении и, возмож-
35
но, создания универсальной этики беспилотных автомобилей с 2016 г. была запущена онлайн тест-система Moral Machine (http://moralmachine. mit.edu) на десяти языках, где каждый может пройти 13 тестов, заключающихся в модификации знаменитой «проблемы вагонетки» Ф. Фут [7]. Каждому предлагается сделать выбор, кого оставить в живых при невозможности избежать жертв вообще - мужчин или женщин, детей или взрослых, собак или кошек, толстых или стройных, маргинальных или законопослушных, врачей или чиновников и т. д. Система сайта фиксирует возраст, место нахождения, пол, социальный статус, политические, религиозные и иные убеждения и иную информацию [6], разделяя людей условно на три зоны, в зависимости от господствующей религии (западная - христианство, восточная - ислам, конфуцианство и южная - Анд-ские страны и воспринявшие французское влияние). С учетом анализа таких данных приняты нормативные правовые акты: «Изменения в Закон о дорожном движении Германии для целей использования высокоавтоматизированных автомобилей» (ФРГ, 2017) '; «Руководство по испытаниям автоматизированных транспортных средств» (Австралия, 2017) 2; «Пробный свод правил для испытания автономных транспортных средств на территории Китая» (Китай, 2018) 3; «Резолюция о запрете применения автономных смертельных систем вооружения» (Бельгия, 2018) 4; «Директива об автоматизированном принятии решений для федеральных учреждений» (Канада, 2019). Отказаться от опроса общественного мнения при создании этики искусственного интеллекта решили в 2017 г. в Германии. В Рекомендациях по беспилотным автомобилям 5 запрещено в случае неизбежной аварии «выбирать возможных жертв (из числа людей. - А. П.) по каким-либо личным качествам (возрасту, полу, физическому и ментальному состоянию)», сохраняя при общих равных условиях жизнь человека,
1 Germany Permits Automated Vehicles // White & Case [Электронный ресурс]. URL: https://www.wWtecase.com/publicatioœ/article/gerwny-penmts-automated-vehicles (дата об-та 1ения: 01.04.2020).
" Automated vehicle trial guidelines // National Transport Commission. [Электронный ресурс] . URL: https://www.ntc.gov.au/codes-and-guidelines/automated-vehicle-trial-guidelines (дата обращения: 01.04.2020).
3 «МШЙ (Ш) » // ХЩШШЬЙВ [Электронный ресурс|.
URL: http://www.iniit.gov.cn/nll46295/nl652858/nl652930/n3757018/c6128243/content.html (дата обращения: 01.04.2020).
Résolutionvisant a intcrdirel'utilisation. par la Défense belge, de robots tueurs et de drones armes // Chambre des représentants de Belgique. [Электронный ресурс]. ГКДЖ https://www. lachambre.be/FLWB/pdf/54/3203/54K3 203005.pdf (дата обращения: 01.04.2020). 5 Ethics Commission Automated and Connected Driving [Электронный ресурс]. URL: https://www.bmvi.de/ SharedDocs/EN/publications/report-ethics-commission-automated-and-connected-driving.pdf?blob=publicationFile (дата обращения: 01.04.2020).
36
против имущества или жизни животного. При этом на один из вопросов, поднятых в Moral Machine, был дан ответ: «.. те стороны, которые вовлечены в создание опасности при движении, не должны приносить в жертву
б
невовлеченные стороны» .
Другой проблемой при создании этических принципов взаимодействия с нейронными сетями и сильным ИИ является возможность их «обучения» морали, создания единого алгоритма действия. Ведь в условно восточных и условно западных странах в отношении к самой морали и способам ее воспитания в социуме существует принципиальное отличие, которое и выразилось в отношении к новым технологическим акторам XXI в. Главной задачей традиционного общества является воспитание «благородного мужа» (цзюнь-цзы) в Китае и Южной Корее, обладающего специальным набором качеств, изложенных в конфуцианстве, или «человека чести» (хадзи о сиру) в Японии, который никогда не совершит ничего, за что он может подвергнуться осуждению со стороны социума, что лежит в основе синтоизма. Иначе говоря, жители азиатских стран акцентированы не на сам поступок, причинно-следственную связь, смягчающие обстоятельства и др., а на результаты действия человека, даже самые косвенные, на появление которых тот не в силах повлиять, но которые могут отразиться на благополучии всех.
Исходя из принципов синтоизма, роботы, киберфизические системы и ИИ признаются имеющими душу наравне с человеком и именуются в соответствии с ч. 1 ст. 2 Закона № 9014 от 28 марта 2008 г. (в ред. Закона № 13744 от 6 января 2016 г.) «О содействии развитию и распространению умных роботов» (далее - Закон об умных роботах) «умными роботами», т. е. «механическими устройствами, способными воспринимать окружающую среду, распознавать обстоятельства, в которых они функционируют, и целенаправленно передвигаться самостоятельно». В силу данного факта умные роботы признаются акторами социума, действующими наравне с людьми и выполняющими единую с ними цель, обозначенную как содействие улучшению качества жизни граждан и развитию экономики страны». За ними в ст. 30 Раздела V Закона об умных роботах даже закрепляется отдельная территория их «проживания, развития и распространения» - Роботлэнд. Однако даже при таком лояльном отно-
6 Etliics Commission Automated and Connected Driving [Электронный ресурс]. URL: https://www.bmvi.de/ SharedDocs/EN/publications/report-etliics-coimnission-automated-and-connected-driving.pdf? blob=publication File (дата обращения: 01.04.2020).
7 Intelligent Robots Developmentand Distribution Promotion [Электронный ресурс] / перевод выполнен А. Незнамовым, М. Ивановой для Исследовательского центра проблем регулирования робототехники и ИИ robopravo.ru. URL: https://www. robopravo.ru. (дата обращения: 01.04.2020).
37
шении к ИИ как возможному актору, действующему наравне с человеком, и в целом симпатизируя роботам, в возложении на них ответственности как обязательного элемента свободного поведения создатели закона отказывают. В «Этических руководящих принципах для Японского общества искусственного интеллекта (18А1)» (2017) делается принципиальное различие между слабым и сильным ИИ. Ответственность за роботов возлагается на программистов, создателей роботов, членов Научного общества искусственного интеллекта (18А1), но Правило 9 гласит, что «А1 (имеется в виду сильный ИИ. - А. П.) должен соблюдать этические правила также как и члены 18 А1, чтобы стать членом или квазичленом общества»8.
По-иному воспринимаются роботы, нейронные системы, ИИ в западной культуре. В отличие от азиатских стран, внедрению ИИ и других цифровых технологий в странах западноевропейской культуры препятствует в первую очередь низкий уровень доверия граждан к алгоритмам и новым технологиям, в принципе, а также отсутствие понятных этических рамок в применении ИИ. Фантастика А. Азимова, С. Лема, высказываемые опасения И. Маска, Б. Гейтса [8] вызывают у общества страх перед возможным превосходством интеллектуальных роботов [6], что и находит свое подтверждение в создаваемых в странах ЕС и США программах развития ИИ и этических нормах. Возможно, что столь разительное отличие в восприятии ИИ в восточной и западной культурах кроется и в господствующей доктрине прав человека - приоритет индивидуальных или коллективных прав. До пандемии 2020 года ИИ, исходя из доктрин либерализма и гуманизма, не мог быть признан актором наравне с человеком, что и было заявлено в национальных стратегиях ИИ и этических правилах. Как отмечал И. Востром, «рационалистическая суть ИИ несовместима с гуманностью и человечностью. Ведь основное свойство разума, проторазума, иного разума и т. д. - это, прежде всего, приспосабливать к себе окружающую среду. Поскольку у разума как такового нет нравственности, он может «пойти» на все, что считает целесообразным» [6, с. 62].
К апрелю 2020 г. практически во всех странах были приняты юридические акты и различного рода рекомендации, посвященные этике ИИ: «Азиломарские принципы ИИ» (США, 2017) 9; Рекомендации по беспи-
8 Л 'ЭПне'У'icfiiii[Электронный ресурс]. URL: http://ai-elsi.org/wp-content/uploads/ 2017/02/.pdf / Английский перевод The Japanese Society for Artificial Intelligence Ethical Guidelines [Электронный ресурс]. URL: http://ai-elsi.org/wp-content/uploads/2017/05/JSAI-Ethical-Guidelines-l.pdf (дата обращения: 02.04.2020).
9 AsilomarAIPrinciples [Электронный ресурс]. ГКДЖ https://futureoflife.org/ai-principles/? cn-reloaded=l (дата обращения: 01.04.2020).
38
лотным автомобилям (Германия, 2017) 10, Монреальская декларация об ответственном развитии искусственного интеллекта 11 (Канада, 2017); «Этические руководящие принципы для Японского общества искусственного интеллекта (JSAI)» [18] (Япония, 2017); Руководство по этике для надежного ИИ Специальной группы экспертов высокого уровня Совета Европы (СЕ, 2018) 12; Модельная конвенция робототехники и искусственного интеллекта (Россия, 2018) 13; Римский призыв к этике 14 (Ватикан, 2020); Этические принципы для искусственного интеллекта (США, 2020) 15. Анализируя принятые юридические акты, можно выделить следующие ключевые этические принципы: безопасность, надежность, прозрачность, инклюзивность, защита прав человека, беспристрастность, справедливость, контролируемость, все системы ИИ, роботы, конфиденциальность, ответственность.
Таким образом, когда мы говорим об этических принципах, следует иметь в виду общие системы жизненных программ, основанные на определенных источниках и системах координат, преимущественно в дихотомии добро - зло, а если о моральных, то систему конкретных принципов отдельного человека или общества на конкретном временном этапе его развития [2]. Поэтому для программирования роботов, создания их программного обеспечения следует говорить исключительно об этических принципах взаимодействия человека и таких киберфизических систем. При этом необходимо отметить, что сфера применения роботов оказывает значительное влияние на систему таких этических принципов. Полагаем, что следует различать дата-этику (умный город, умный дом, BigData, системы распознавания лиц и др.), этику социальных роботов (боты-адвокаты, роботы-сиделки, роботы-учителя, роботы-медицинский
10 Ethics Commission Automated and Connected Driving [Электронный ресурс]. URL: lUtps://\\\\\\.bmvi.dc/StercdDocs/EN/publications/rcport-cthics-comrmssion-automated-and-connected-driving.pdf? blob=publicationFile (дата обращения: 01.04.2020).
11 Montreal Declaration: Responsible AI // Université de Montreal [Электронный ресурс]. URL: hUps://mila.qucbcc/ciV2()18/12/ofricial-la^ch4)r4lrc-rTOntrcal4lœlanition-ror-respoiisible-development-of-artificial-intelligence/ (дата обращения: 01.04.2020).
12 Ethics Guidelines For Trust Worthy AI [Электронный ресурс]. URL: file:///C:/Users/1234/Downloads/AIHLEG_Ethics Guidelines for Trustworthy AI-ENpdf.pdf (дата обращения: 01.04.2020).
13 Модельная конвенция о робототехнике и искусственном интеллекте [Электронный ресурс]. URL: http://robopravo.ru/modielnaiakonvientsua (дата обращения: 01.04.2020).
4 Rome Call for AI Ethics [Электронный ресурс]. URL: http://www.academyforlife.va/contenl/ dam/pav/documenti %20pdf/2020/CALL %2028 %20febbraio/AI %20Rome %20Call %20x %20fi rma_DEF_DEF_.pdf (дата обращения: 01.04.2020).
15 Ethical Principles for Artificial Intelligence [Электронный ресурс]. URL: https://www.defense. gov/Newsroom/ Releases/Release/Article/2091996/dod-adopts-ethical-principles-for-artificial-intelligenee/ (дата обращения: 05.04.2020).
39
персонал и др.); этику военных роботов; этику ИИ в сфере охраны правопорядка и правосудия и т. д.
В случае, когда мы имеем дело с нейронными сетями, сильным ИИ и предполагаем появление в недалеком будущем сверхсильного ИИ, необходимо создание по меньшей мере трех видов этики [18]:
1) этика принятия решения ИИ - первые «точки входа» создает человек, закладывая определенные моральные принципы, но в процессе самообучения система ИИ ведет себя автономно, улучшая свои параметры и принимая решения, влияющие на жизнь человека; поэтому необходимы гарантии моральности ИИ, что вызывает наибольшие трудности при верификации морального выбора;
2) этика взаимодействия с человеком и этика создателей программного обеспечения ИИ, цель которой проанализировать и предотвратить этические коллизии, возникающие в процессе применения ИИ, а именно: нарушение приватности, возможная дискриминация, социальное расслоение, проблемы трудоустройства и т. д.;
3) профессиональная этика разработчиков систем ИИ, включающая в себя такие принципы, как вклад в развитие человечества (защищать основные права человека, уважать культурное разнообразие, предотвращать угрозу безопасности человека); соблюдение законов и нормативных актов; уважение частной жизни других лиц; справедливость (беспристрастность, запрет любой дискриминации); безопасность (создание мер безопасности для самого ИИ, безопасность, управляемость и необходимая конфиденциальность при обеспечении того, чтобы пользователям ИИ предоставлялись соответствующие и достаточные средства, информация); добросовестность, основанная на доверии общества к технологиям ИИ; подотчетность и социальная ответственность; коммуникабельность и саморазвитие.
Библиографические ссылки
1. Готовцев И.М., Карпов В.Э., Нестик Т А., Потапова Е.Г. Зачем искусственному интеллекту этика? [Электронный ресурс]. URL: http://ethics. cdto.center/3_l (дата обращения: 03.04.2020).
2. Зубец О Н. Моральная философия и этика: взгляд через различения начала и причины // Гуманитарные ведомости ТПГУ им. Л.Н. Толстого. 2019. № 2 (30). С. 148-158. DOI 10.22405/2304-4772-2019-1-2-148-158.
3. Максимов Л.В. Этика и мораль: соотношение понятий // Этическая мысль. 2003. С. 14-22.
40
4. Путин B.B. РФ способна стать одним из глобальных лидеров в сфере искусственного интеллекта [Электронный ресурс]. URL: https://tass.ru/ekonomika/7096728 (дата обращения: 28.03.2020).
5. Стерледев Р.К., Стерледева Т.Д. Искусственный интеллект в аспекте ноосферы: почти фантастика? // Вестник Пермского национального исследовательского политехнического университета (ПНИПУ). Культура. История. Философия. Право. 2017. № 2. С. 61-65. DOI: 10.15593/perm. kipf/2017.2.08 (дата обращения: 28.03.2020).
6. Шестаков И. Моральный код: почему общество не может научить компьютер морали. 20 февраля 2019 г. [Электронный ресурс]. URL: https://iz.ru/ 844965/ignat-shestakov/moralnyi-kod-pochemu-obshchestvo-ne-mozhet-nauchit-kompiuter-morali (дата обращения 03.04.2020).
7. Foot Ph. The Problem of Abortion and the Doctrine of the Double Effect in Virtues and Vices. Oxford: Basil Blackwell, 1978.
8. Holley P., Gates B.On dangers of artificial intelligence: "I don't understand why some people are not concerned" (2015) [Electronic Resources], URL: https://www.washing tonpost.com/news/the-switch/wp/ (дата обращения: 02.04.2020).
9. Musk E. We need to Regulate AI before 'it's too Late' [Electronic Resources], URL: http://thehill.com/policy/technology/342345-elon-musk-we-need-to-regulate-ai-before-its-too-late (дата обращения: 02.04.2020).
10. Simonite Т. AI experts want to end «black box» algorithms in government [Электронный ресурс] // Wired Business. URL: https://www.wired.com/ sto-ry/ai-experts-want-to-end-black-box-algorithms-in-government (дата обращения: 13.03.2020).
Дата поступления: 23.06.2020
41
DOI: 10.33184/pravgos-2020.3.4
ETHICAL PRINCIPLES OF INTERACTION WITH ARTIFICIAL INTELLIGENCE AS A BASIS OF LEGAL REGULATION
POPOVA Anna Vladislavovna
Doctor of Law, Candidate of Philosophy, Associate Professor, Professor of the Department of Legal Regulation of Economic Activity of the Financial University under the Government of the Russian Federation; Professor of the Chair of Theory of State and Law of the Institute of Law of the Bashkir State University; Professor of the Department of Constitutional Law of the Faculty of Law named after M. M. Speransky of the Institute of Law and National Security of the Russian Presidential Academy of National Economy and Public Administration, Moscow, Russia. E-mail: anna0710@yandex.ru
The issues of legal regulation of legal and ethical principles of interaction between a person, society, and the state represented by state bodies are a necessary condition for guaranteeing constitutional norms that enshrine a person, his rights and freedoms as the highest value of the Russian Federation. AI, taking on the tasks of end-to-end and transparent state and municipal management based on Big data and using Artificial intelligence, is a special element in the emerging public relations, which we believe should be subject to the robot ethics and AI ethics, created like legal ethics. That is why the ethics of decisionmaking and actions of the AI itself, the ethics of those programmers who create algorithms that these systems use to operate and self-learn, the ethics of human interaction with cyberphysical and cognitive systems is a subject of legal regulation. Purpose: to analyze the current ethical principles of interaction between human and artificial intelligence, neural networks and smart robots, which are the basis for the formation of modern legislation in this area in the United States, Western Europe and East Asia. Methods: empirical methods of comparison, description, interpretation, theoretical methods of formal and dialectical logic. Specific scientific methods are used: comparative-legal, legal-dogmatic. Results: the study allows us to determine the essential features of human interaction ethics and ethics of AI software creators, professional ethics of AI system developers, and decision-making ethics based on a comparative legal analysis of existing ethical codes and other legal documents on the use and interaction with AI.
Key words: artificial intelligence, robot; robotics; legal regulation, rule-of-law state, ethics, empathy, code of ethics.
42
References
1. Gotovtsev P.M., Karpov V.E., Nestik T.A., Potapova E.G. Zachem is-kusstvennomu intellektu etika? (Why does artificial intelligence need ethics?). Available at: http://ethics.cdto.center/3 (accessed date: 03.04.2020).
2. Zubets O.N. Moral'naya ftlosoftyai etika: vzglyad cherez razlicheniya nacha-la i prichiny (Moral Philosophy and Ethics: Looking Through Differences of Origin and Causes), Gumanitarnye vedomosti TPGU im. L.N. Tolstogo, 2019, No. 2 (30), pp. 148-158. DOI 10.22405/2304-4772-2019-1-2-148-158.
3. Maksimov L.V. Etika i moral': sootnoshenie ponyatii (Ethics and Morality: Ratio of Concepts), Eticheskaya mysl', 2003, pp. 14-22.
4. Putin V.V. RF sposobna stat' odnim iz global'nykh liderov v sfereisk usstvennogo intellekta. (The Russian Federation can become one of the global leaders in the field of artificial intelligence.). Available at: https://tass.ru/ekonomika/7096728 (accessed date: 28.03.2020).
5. Sterledev R.K., Sterledeva T.D. Iskusstvenny iintellekt v aspekte noosfery: pochti fantastika? (Artificial Intelligence in the Aspect of the Noosphere: Almost Fantastic?), Vestnik Permskogo natsional'nogo issledovatel'skogo politekhnicheskogo universiteta (PNIPU), Kul'tura, Istoriya, Filosofiya, Pravo, 2017, No. 2, pp. 61-65. DOI: 10.15593/perm.kipf/2017.2.08.
6. Shestakov I. Moral'nyi kod: pochemu obshchestvo ne mozhet nauchit' komp'yuter morali. (Moral code: why society cannot teach the computer morality), 20 fevralya 2019 g. Available at: https://iz.ru/844965/ignat-shestakov/moralnyi-kod-pochemu-obshchestvo-ne-mozhet-nauchit-kompiuter-morali (accessed date: 03.04.2020).
7. Foot Ph. The Problem of Abortion and the Doctrine of the Double Effect in Virtues and Vices, Oxford, Basil Blackwell, 1978.
8. Holley P., Gates B.(2019) On dangers of artificial intelligence: "I don't understand why some people are not concerned"(2015). Available at: https://www.washingtonpost.com/news/the-switch/wp/ (accessed date: 02.04.2020).
9. Musk E. We need to Regulate AI before 'it's too Late'. Available at: http: //thehi 11. com/pol i cy/technol ogy/342345-elon-musk-we-need-to-regulate-ai-before-its-too-late (accessed date: 02.04.2020).
10. Simonite T. AI experts want to end «black box» algorithms in government. Wired Business. Available at: https://www.wired.com/story/ai-experts-want-to-end-black-box-algorithms-in-government (accessed date: 13.03.2020).
Received: 23.06.2020
43
