CC BY
324РИСКИ И УГРОЗЫ, СВЯЗАННЫЕ
С ПРИМЕНЕНИЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
МОРХАТ Петр Мечиславович,
кандидат юридических наук,
судья Арбитражного суда Московской области.
E-mail: constitution88@gmail.com
Краткая аннотация: Настоящая статья посвящена исследованию рисков и угроз, детерминированных применением искусственного интеллекта. Автор показывает причины и истоки таких рисков и угроз, а также основные их виды.
Abstract: This article is devoted to the study of risks and threats, determined by the use of artificial intelligence. The author shows the causes and origins of such risks and threats, as well as their main types
Ключевые слова: искусственный интеллект, компьютерное право, информационное право, информационные технологии, теория права, риски и угрозы, связанные с применением искусственного интеллекта.
Keywords: artificial intelligence, computer law, information law, information technology, theory of law, risks and threats associated with the use of artificial intelligence.
Введение
Комплекс научных проблем, обобщённо охватываемых понятием «искусственный интеллект», вызывал и продолжает вызывать очень большой интерес у всех интересующихся развитием науки1.
Развитие систем и программного обеспечения искусственного интеллекта происходило в рамках и в процессе решения множества важных задач и вопросов2.
Стив Возняк, соучредитель компании Apple, так описал отличия существующего (на сегодня) искусственного интеллекта от мозга человека: «Искусственный интеллект ожидает приказа для того, чтобы понять, каким образом ему решать ту или иную задачу. Мозг сам понимает, как её нужно решать»3. Но это сегодня, а уже в
1 Козырев В.П. Послесловие // Шилейко А.В. Дискуссии об искусственном интеллекте. - М.: Знание, 1970. - 48 с. - С. 48.
2 Люгер Дж.Ф. Искусственный интеллект: стратегии и методы решения сложных проблем: Пер. с англ. 4-е изд. - М.: Вильямс, 2003. - 864 с. - С. 795.
3 Стив Возняк выступил в МГУ и рассказал, какие технологии точно «умрут» // <https://ria.ru/science/20171008/1506410603.html>.
обозримом будущем всё может измениться. Более того, уже сегодня функционируют автономные системы, оснащённые искусственным интеллектом.
Сегодня методы и системы искусственного интеллекта используются настолько широко, что нет смысла даже просто перечислять все сферы их применения4. Во многих сферах деятельности уровень искусственного интеллекта уже превосходит уровень интеллекта естественного - человеческого5. Искусственный интеллект в определённой степени позволяет компенсировать недостаток ресурсов6.
И без надлежащего нормативного урегулирования этой сферы никак не обойтись.
«Искусственный интеллект может
4 Бостром Н. Искусственный интеллект: Этапы. Угрозы. Стратегии: Пер. с англ. - М.: Манн, Иванов и Фербер, 2016. - С. 39.
5 Бостром Н. Искусственный интеллект: Этапы. Угрозы. Стратегии: Пер. с англ. - М.: Манн, Иванов и Фербер, 2016. - С. 222.
6 Уинстон П.Г. Искусственный интеллект: Пер. с англ. В.Л. Стефанюка; под ред. Д.А. Поспелова. - М.: Мир, 1980. -520 с. - С. 247.
быть полезен для человечества ... пока он находится под нашим контролем», - справедливо сказала Изабель Фальк-Пьеротэн, президент Национальной комиссии по вычислительной технике и свободе Франции1.
Возникает вопрос: способны ли разработчики искусственного интеллекта обеспечить предотвращение того, что сверхразум обретёт над человечеством решающее стратегическое преимущество2 Рассмотрим основные риски и угрозы, связанные с применением искусственного интеллекта.
Причины рисков и угроз, детерминированных применением искусственного интеллекта
Как отмечают Стюарт Рассел и Питер Норвиг, «в области искусственного интеллекта решается... ответственная задача: специалисты в этой области пытаются не только понять природу интеллекта, но и создать интеллектуальные сущности»3. Однако с этим есть большие проблемы -именно в части предельно исчерпывающего понимания внутренней «кухни» искусственного интеллекта.
Границы между искусственным интеллектом и просто программным обеспечением определены не чётко4.
Предсказуемость - одна из ключевых характеристик конструкции механизмов общепромышленного производства. Машины, построенные согласно предусмотренным стандартам, могут (и должны) выполнять только те задачи, которые предусмотрены конструкцией, другими словами, машины не в силах изменять свою конструкцию для приспособления к новым условиям, в отличие от робототехники нового
1 Цит. по: Debes F. La CNIL appelle a la vigilance sur les algorithmes // <https://www.lesechos.fr/tech-medias/hightech/0301029368465-la-cnN-appeNe-a-la-vigilance-sur-les-algorithmes-2138794.php>.
2 Бостром Н. Искусственный интеллект: Этапы. Угрозы. Стратегии: Пер. с англ. - М.: Манн, Иванов и Фербер, 2016. - С. 186.
3 Рассел С., Норвиг П. Искусственный интеллект: современный подход: Пер. с англ. 2-е изд. - М.: Вильямс, 2006. - 1408 с. -С. 34.
4 Бостром Н. Искусственный интеллект: Этапы. Угрозы. Стратегии: Пер. с англ. - М.: Манн, Иванов и Фербер, 2016. - С. 42.
я ■■
поколения5, наделённой искусственным интеллектом. Но на самом деле, полной предсказуемости нет.
Немалую сложность составляет в решении нашей задачи то, что, как справедливо утверждает Нильс Нильсон, «попытки упорядочить сферу искусственного интеллекта никогда не были вполне успешны»6. Например, Дональд Кнут отмечает следующую проблему: современные системы искусственного интеллекта, показывая способности и возможности там, где требуется разумность, проявляют неспособности в действиях, которые совершаются людьми (и даже животными) «без-думно»7.
Согласно Стивену Хокингу, «потенциальные выгоды от использования сверхразумного интеллекта огромны. Успех в создании искусственного интеллекта был бы самым большим событием в истории человечества. Но искусственный интеллект будет интенсивно совершенствоваться сам по себе и будет постоянно реконструировать себя. Люди, которые ограничены медленной биологической эволюцией, не смогут конкурировать и будут вытесняться. К сожалению, это может стать концом человечества, если мы не научимся избегать
о
рисков»8.
Согласно Нику Бострому, системы искусственного интеллекта, по определению, не могут быть (не в состоянии быть) ни справедливыми, ни человечными9.
5 Weng Y.H., Chen C.H., Sun C.T. The legal crisis of next generation robots: on safety intelligence // Proceedings of the 11th international conference on Artificial intelligence and law. - 2007. - P. 205-209. -P. 206.
6 Нильсон Н. Искусственный интеллект: методы поиска решений: Пер. с англ. В.Л. Стефанюка; под редакцией С.В. Фомина. - М.: Мир, 1973. - 272 с. - С. 20.
7 Цит. по: Бостром Н. Искусственный интеллект: Этапы. Угрозы. Стратегии: Пер. с англ. - М.: Манн, Иванов и Фербер, 2016. -С. 38.
8 Stephen Hawking: «Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?» // The Independent (UK). - 03.12.2014. <http://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence-but-are-we-taking-9313474.html>. Stephen Hawking warns artificial intelligence could end mankind // <http://www.bbc.com/news/technology-30290540>. - 02.12.2014.
9 Бостром Н. Искусственный интеллект: Этапы. Угрозы. Стратегии: Пер. с англ. - М.: Манн, Иванов и Фербер, 2016. - С. 102.
Согласно Джорджу Люгеру, наиболее сложно компьютеризировать (для развития искусственного интеллекта) не только такие проявления интеллекта, свойственные человеку, как творческие способности, понимание естественного человеческого языка и способность к обучению, но принятие этических решений, социальную ответственность 1.
Добавим также возможность поражения юнита искусственного интеллекта компьютерными вирусами, несанкционированного его взлома и перепрограммирования.
Виды рисков и угроз, детерминированных применением искусственного интеллекта
Исходя из допущения идеи абсолютного преимущества сверхразумного искусственного интеллекта, Ник Бостром говорит о необходимости уделения очень серьёзного внимания риску того, что действия взрывным образом развивающегося искусственного сверхразума (сверхмощная система в сфере выработки стратегии, способна разработать план, обеспечивающий существенный и быстрый прирост её собственных интеллектуальных способностей) могут привести к свершению самоуправства машин и, как следствие, причинению необратимого ущерба человеческой цивилизации или вообще к экзистенциальной катастрофе (гибели человечества). Если, конечно, человечество хочет пережить пришествие сверхразумных машин в свой мир, то следует принимать во внимание эти риски2.
Риски, касающиеся безопасности роботов нового поколения можно подразделить на две категории:
- риски, происходящие из стандартов производства таких роботов (такие риски поддаются управлению с помощью нормативно-правового регулирования, посред-
1 Люгер ДжФ. Искусственный интеллект: стратегии и методы решения сложных проблем: Пер. с англ. 4-е изд. - М.: Вильямс, 2003. - 864 с. - С. 369.
2 Бостром Н. Искусственный интеллект: Этапы. Угрозы. Страте-
гии: Пер. с англ. - М.: Манн, Иванов и Фербер, 2016. - С. 24, 111, 155, 184.
ством процессов оценки и планирования);
- риски, исходящие из автономной деятельности роботов (так, автономная деятельность роботов нового поколения делает связанные с их деятельностью риски сложными, изменчивыми и непредсказуемыми, и, следовательно, требует иного подхода к оценке рисков)3.
Некоторые сбои в работе систем искусственного интеллекта могут быть опасными для отдельных индивидов и общества и даже приводить к причинению ущерба. Габриэль Халлеви приводит в качестве примера следующую ситуацию: на программный комплекс, оснащённый искусственным интеллектом, предназначенный для тюремной охраны, были возложены функции по предотвращению побегов из тюрьмы с минимизацией применения силы, которая может нанести ущерб беглым заключённым. Для выполнения этой задачи такой программный комплекс может использовать силу с помощью физических роботов (кибер-физических систем) и иных систем. В какой-то момент заключённый предпринимает попытку побега. Программный комплекс эту попытку обнаруживает и отправляет физически осязаемого робота для решения проблемы. В данном случае не имеет значения, является ли этот робот частью программного комплекса с искусственным интеллектом или же он обладает собственным искусственным интеллектом. Отправленный для решения проблемы робот предотвращает попытку побега, крепко схватив заключённого. В результате, этот заключённый пострадал и заявляет о злоупотреблении физической силой. Анализ действий робота показывает, что, хоть он и мог выбрать более мягкую меру воздействия, он всё же выбрал определённое пагубное действие. Причиной этому служило то, что робот значительно переоценил риски. Следовательно, правовой вопрос в такой ситуации заключается в определении
3 Weng Y.H., Chen C.H., Sun C.T. The legal crisis of next generation robots: on safety intelligence // Proceedings of the 11th international conference on Artificial intelligence and law. - 2007. - P. 205-209. -P. 206-207.
того, кто именно несёт юридическую ответственность за причинение вреда здоровью заключённого1.
На настоящем этапе развития технологий неизвестно, насколько простым будет разрешение споров, касающихся привлечения к ответственности за действия искусственного интеллекта, в досудебном порядке, по сравнению со спорами, связанными с других технологиями. В частности, сложность этих новых технологий и некоторых типов взаимодействия между человеком и машиной может негативно повлиять на шансы сторон достигнуть ком-промисс2.
Ник Бостром отмечает риск того, что сверхсильный, но узкоспециализированный искусственный интеллект может и не остановиться на отдельной предметно-объектной области и может «пожелать» распространить и утвердить свою мощь в других сферах3.
Так, применение систем искусственного интеллекта в государственном управлении несёт вполне реальные и весьма серьёзные угрозы и риски.
Элиезер Юдковский, Ник Бостром4 и ряд других авторов приводят весьма детальные (и вполне реалистичные) прогностические описания возможных сценариев захвата искусственным интеллектом власти над государством, человеческим общего
ством, человечеством в целом5.
Примером тупиковой для искусственного интеллекта ситуации могут служить события 26.09.1983, когда советский спутник системы раннего дальнего обнаружения сообщил о запуске пяти ядерных
1 Hallevy G. Liability for crimes involving artificial intelligence systems. - Cham: Springer International Publishing, 2015. - 257 p. - P. 21-22.
2 Galasso A., Hong L. Punishing Robots: Issues in the Economics of Tort Liability and Innovation in Artificial Intelligence // <http://www.nber.org/chapters/c14035.pdf>. - 2018. - 10 p. - P. 8.
3 Бостром Н. Искусственный интеллект: Этапы. Угрозы. Стратегии: Пер. с англ. - М.: Манн, Иванов и Фербер, 2016. - С. 153.
4 Бостром Н. Искусственный интеллект: Этапы. Угрозы. Стратегии: Пер. с англ. - М.: Манн, Иванов и Фербер, 2016. - С. 155-157 и др.
5 Yudkowsky E. Artificial Intelligence as a Positive and Negative Fac-
tor in Global Risk // Global Catastrophic Risks / Eds. Nick Bostrom, Milan M. Cirkovic. - New York: Oxford University Press, 2008. -P. 308-345.
ракет с территории США. Стандартным порядком действий в СССР того времени был ответный запуск. Дежурный офицер за считанные минуты решил посчитать сообщение ложной тревогой. Позднее стало известно, что спутник посчитал за запуск отражение солнечного света от облаков. Если бы искусственный интеллект управлял бы в тот момент ядерным вооружением СССР, он запросто мог бы и не сделать предположение о том, что со спутником есть какие-либо проблемы, и осуществить запуск ракетного удара.
В таком случае этот искусственного интеллект нёс бы правовую ответственность за последующие разрушения, хотя неясно, остался бы в живых хотя бы один юрист, который смог бы поднять вопрос об ответственности6.
Еще один массив рисков и угроз обусловлен уже сегодня имеющим место военным применением искусственного интеллекта.
Соответственно, необходимо вести речь о должных принципах применения искусственного интеллекта в военных целях.
Если сверхразумные компьютеры будут разрабатываться, они должны иметь лишь слабую связь с внешним миром, будучи используемыми в военных целях. Единственным оправданным способом предотвратить долгосрочную угрозу потери людьми контроля над военными компьютерными системами является установление превентивных запретов, например, введение запрета на применение наступательных робототехнических систем, таких, как ударные беспилотные летательные аппараты дальнего действия или беспилотные наземные аппараты дальнего действия, так как эти наступательные комплексы вооружений могут осуществить мгновенную роботизированную атаку на другое государство, что может потребовать применение полностью автоматического и разумного
6 Kingston J.K.C. Artificial intelligence and legal liability // International Conference on Innovative Techniques and Applications of Artificial Intelligence. - 2016. - 14 p. - P. 11.
1
ответного удара1.
Наиболее эффективным и корректным способом справиться с возможными последствиями военной робототехники, оснащённой искусственным интеллектом, из практических и этических соображений, не является полное запрещение её использования. Робототехническая революция имеет потенциал преобразить многие сферы общественной жизни, и искусственное ограничение прогресса в вооружённых силах кажется абсурдной идеей. В конце концов, военная робототехника способна принести и пользу, речь идет, например, о защите человеческих жизней и о сокращении оборонных издержек, и обществу придется от этой пользы отказаться, если на использование боевых роботов будет наложен полный запрет. Учитывая, что многие государства уже инвестировали значительные ресурсы в разработку боевых роботов и роботизированного оружия, кажется маловероятным единодушный запрет таких военных технологий. Мораторий на введение в строй боевых роботов также не предлагает особыми преимуществами и может быть недопустимым для государств, которые только ввели в строй боевых роботов.2
Роботизированное оружие и автоматизированная военная сеть должны разрабатываться так, чтобы исключить вероятность того, что они станут непредсказуемыми. Поэтому будет важно разработать международные стандарты безопасности для боевых роботов в частности, и, возможно, для зарождающейся международной робототехнической промышленности в
целом.3
Заключение
В связи с обоснованной обеспокоенностью, связанной с развитием технологий искусственного интеллекта и их применением, существуют подходы к обеспечению развития законодательства в этой сфере, в частности, согласно некоторым из них, необходимо частое и опережающее развитие технологий издание соответствующих нормативно-правовых актов для предупреждения потенциальных проблем. Однако подобные подходы достаточно абстрактны по своей сути4.
Если говорить о правовом регулировании развития и применения технологий искусственного интеллекта на международном уровне в рамках традиционных отраслей международного права, то, как отмечает Джон Уивер, анализ практически каждой отрасли международного права и каждого института, на которые может оказать окажет воздействие использование искусственного интеллекта, такие как государственный суверенитет, международное морское право и пр., показывает, что ни одна из этих отраслей не решает вопросы, непосредственно связанные с искусственным интеллектом5.
Появление искусственного интеллекта ставит новые вопросы, на которые сегодня в современной юридической науке и практике пока ещё нет ни релевантных, ни даже примерных, прикидочных ответов, а также создает множество рисков, подчас весьма серьёзных. И этот огромный правовой пробел незамедлительно должен быть устранён.
1 Krishnan A. Automating war: The need for regulation // Contemporary Security Policy. - 2009. - Vol. 30. - № 1. - P. 172-193. - P. 188-189.
2 Krishnan A. Automating war: The need for regulation // Contemporary Security Policy. - 2009. - Vol. 30. - № 1. - P. 172-193. - P. 189.
3 Krishnan A. Automating war: The need for regulation // Contemporary Security Policy. - 2009. - Vol. 30. - № 1. - P. 172-193. - P. 190.
4 Thierer A.D., Castillo A., Russel R. Artificial Intelligence and Public Policy //
<https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3021135>. -2017. - 56 p. - P. 19.
5 Weaver J.F. Abhor a Vacuum: The Status of Artificial Intelligence and AI Drones Under International Law // New Hampshire Bar Journal. - 2013. - P. 14-21. - P. 19.
Библиография:
1. Бостром Н. Искусственный интеллект: Этапы. Угрозы. Стратегии: Пер. с англ. - М.: Манн, Иванов и Фербер, 2016.
2. Козырев В.П. Послесловие // Шилейко А.В. Дискуссии об искусственном интеллекте. - М.: Знание, 1970. - 48 с.
3. Люгер Дж.Ф. Искусственный интеллект: стратегии и методы решения сложных проблем: Пер. с англ. 4-е изд. - М.: Вильямс, 2003. - 864 с.
4. Нильсон Н. Искусственный интеллект: методы поиска решений: Пер. с англ. В.Л. Стефанюка; под редакцией С.В. Фомина. - М.: Мир, 1973. - 272 с.
5. Рассел С., Норвиг П. Искусственный интеллект: современный подход: Пер. с англ. 2-е изд. - М.: Вильямс, 2006. -1408 с.
6. Стив Возняк выступил в МГУ и рассказал, какие технологии точно «умрут» // <https://ria.ru/science/20171008/1506410603.html>.
7. Уинстон П.Г. Искусственный интеллект: Пер. с англ. В.Л. Стефанюка; под ред. Д.А. Поспелова. - М.: Мир, 1980. -520 с.
8. Debes F. La CNIL appelle a la vigilance sur les algorithmes // <https://www.lesechos.fr/tech-medias/hightech/0301029368465-la-cnil-appelle-a-la-vigilance-sur-les-algorithmes-2138794.php>.
9. Galasso A., Hong L. Punishing Robots: Issues in the Economics of Tort Liability and Innovation in Artificial Intelligence // <http://www.nber.org/chapters/c14035.pdf>. - 2018. - 10 p.
10. Hallevy G. Liability for crimes involving artificial intelligence systems. - Cham: Springer International Publishing, 2015. - 257 p.
11. Kingston J.K.C. Artificial intelligence and legal liability // International Conference on Innovative Techniques and Applications of Artificial Intelligence. - 2016. - 14 p.
12. Krishnan A. Automating war: The need for regulation // Contemporary Security Policy. - 2009. - Vol. 30. - № 1. - P. 172-193. - P. 188-189.
13. Stephen Hawking: «Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?» // The Independent (UK). - 03.12.2014. <http://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence-but-are-we-taking-9313474.html>.
14. Stephen Hawking warns artificial intelligence could end mankind // <http://www.bbc.com/news/technology-30290540>. -02.12.2014.
15. Thierer A.D., Castillo A., Russel R. Artificial Intelligence and Public Policy // <https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3021135>. - 2017. - 56 p.
16. Yudkowsky E. Artificial Intelligence as a Positive and Negative Factor in Global Risk // Global Catastrophic Risks / Eds. Nick Bostrom, Milan M. Cirkovic. - New York: Oxford University Press, 2008. - P. 308-345.
17. Weaver J.F. Abhor a Vacuum: The Status of Artificial Intelligence and AI Drones Under International Law // New Hampshire Bar Journal. - 2013. - P. 14-21.
18. Weng Y.H., Chen C.H., Sun C.T. The legal crisis of next generation robots: on safety intelligence // Proceedings of the 11th international conference on Artificial intelligence and law. - 2007. - P. 205-209.
