CC BY-NC
28Национальная безопасность / nota bene
Правильная ссылка на статью:
Тиханычев О.В. — Постановка проблемы обеспечения безопасности алгоритмов интеллектуальных систем // Национальная безопасность / nota bene. - 2020. - № 5. DOI: 10.7256/2454-0668.2020.5.33286 URL: https;//nbpublishxomfibrary_read_artide.php?id=33286
Постановка проблемы обеспечения безопасности алгоритмов интеллектуальных систем
Тиханычев Олег Васильевич
кандидат технических наук заместитель начальника отдела, ГК "Техносерв 111395, Россия, г. Москва, ул. Юности, 13
Статья из рубрики "Фактор надежности в системах безопасности"
DOI:
10.7256/2454-0668.2020.5.33286
Дата направления статьи в редакцию:
22-06-2020
Аннотация.
Актуальность выбора предмета исследования - применение автономных робототехнических систем различного назначения и объекта исследования, которым являются алгоритмические проблемы, возникающие в части контроля безопасности алгоритмов, определяется имеющимся противоречием между потребностью автономизации робототехники и сложностью программной реализации этого требования. Исследование проведено на примере применения робототехники в области транспорта и в военной сфере. Реализация тенденций автономизации в этих сферах порождает определённые правовые и технологические проблемы, связанные с алгоритмическим обеспечением автономных систем. Проявлением подобных проблем являются критичные ошибки применения, разделяемые специалистами на ошибки первого и второго рода. В робототехнике основная причина появления этих ошибок - нештатное функционирование программного обеспечения автономных робототехнических систем. И если для обычных технических систем последствия этих ошибок предсказуемы, а ответственность за их результаты определена, то для случая применения автономных роботов, ситуация требует решения. В статье, с применением общенаучных методов анализа и синтеза, исследованы основные аспекты современного состояния и перспективы проблемы алгоритмизации применения автономных систем. На основе обзорного анализа алгоритмических проблем применения автономных роботов, возможных последствий и причин появления ошибок первого и второго рода,
возникающих при их применении, в данной статье синтезирована постановка научной задачи решения проблемы разделения ответственности между разработчиками и эксплуатантами подобных систем в части разработки алгоритмов их применения
Ключевые слова: автономная робототехника, автономные боевые роботы, роботизация поля боя, алгоритмическое обеспечение, проблемы применения робототехники, ответственность разработчика, ответственность пользователя, контроль алгоритмов, внешние ограничения алгоритмов, внутренние ограничения алгоритмов
Введение
Одной из областей применения интеллектуальных систем является реализация их в форме программного обеспечения робототехнических систем, в первую очередь -автономных. Необходимость разработки именно автономных робототехнических систем обусловлена многими факторами: динамичностью современной экономики, глобализацией и ростом масштабов управляемых систем, их распределённостью и мультиагентностью. В условиях действия этих факторов человек-оператор является инерциальным звеном в цепи принятия решения и автономизация робототехнических систем становится объективно необходимой. Но её внедрению препятствует ряд факторов: объективная сложность разработки обеспечивающего автономную работу прикладного программного обеспечения, определённое недоверие пользователей к системе, способной к относительно самостоятельным действиям, субъективное опасение потенциальной ответственности за возможные критичные ошибки поведения автономных систем, усугубляемое нерешенностью проблемы разделения ответственности за
результаты их применения между разработчиками и эксплуатантами и ряд других Таким образом, можно выделить целый ряд проблем разработки и использования автономных роботов, которые требуется решить для запуска объективно необходимого процесса их интеллектуализации. Существенная часть этих проблем определяется тем, что автономная система должна действовать, не просто реализуя один из набора заранее разработанных алгоритмов: алгоритмы должны модифицироваться в ходе её
обучения
В результате возникает противоречие между потребностью в реализации автономных систем и возможностью их практической реализации. Это противоречие порождает проблему, находящуюся на стыке правовой и технической областей регулирования: все используемые сейчас методы обеспечения безопасности, разделения ответственности между разработчиком и эксплуатантом за применение автономных систем, основаны на принципе неизменности заложенных в робототехническую систему алгоритмов, жестко определяющих области ответственности каждого участника процесса разработки,
производства и использования таких систем Но если принять то, что используемый
алгоритм может быть модифицируемым, то разработчик не может в полной мере отвечать за применение робототехнической системы после модификации того, что было им разработано и протестировано, а эксплуатант, в свою очередь, не может полноценно управлять системой с не полностью известными ему принципами поведения. Возникшее противоречие между необходимостью использования автономных роботов и проблемами их создания и безопасного применения, отражается, в первую очередь, на разработке интеллектуализированного программного обеспечения для них. Без решения этих проблем не может быть гарантирована безопасность любого технологически развитого современного государства.
2.Современное состояние проблемы
Практика показывает, что наиболее актуальны проблемы внедрения автономных роботов и сопутствующие этой проблеме задачи контроля их алгоритмического обеспечения, в области транспорта и в сфере вооруженного противоборства. Требования к автономности боевых робототехнических систем определяются особенностями ведения современных военных действий, их динамичностью, распределённостью в пространстве и высоким уровнем неопределённости. В части транспортных систем требование автономности определяется большим количеством и разнородностью управляемых объектов, их удалением от логистических центров, многообразностью и многоуровневостью урбанизированного пейзажа, на котором они функционируют. При этом объективное требование автономизации применения входит в противоречие с необходимостью обеспечения безопасности применения робототехнических систем для прямых и косвенных участников процесса их использования. Осознавая это, разработчики систем, реализующих компоненты искусственного интеллекта, стремятся принимать определённые меры. Примером может служить концепция использования искусственного интеллекта в военном деле, разработанная Минобороны США (Department of Defense), задающая основные принципы использования систем искусственного интеллекта в системах военного и двойного назначения li^i:
■ ограничение области применения минимально необходимой (responsible);
■ предотвращение нештатных вариантов поведения систем искусственного интеллекта (equitable);
■ предсказуемость поведения (traceable), понимание эксплуатантами принципов пов е де ния с ис те м;
■ безопасность искусственного интеллекта (reliable), определяемая тем, что возможности военных систем искусственного интеллекта должны быть однозначно трактуемыми, а допустимые границы их поведения должны проверяться и периодически подтверждаться соответствующими испытаниями.
■ управляемость (governable), наличие у эксплуатантов возможности обнаруживать и предотвращать нежелательные последствия использования искусственного интеллекта.
Не меньшее внимание оказывается проблеме контроля алгоритмов поведения робототехнических систем, в том числе, интеллектуализированных и автономных, в других сферах. В Рекомендации Парламентской Ассамблеи Совета Европы №2102 (2017) от 28.04.2017 «Слияние с технологиями, искусственный интеллект и права человека», сформулированы требования по обеспечению безопасности алгоритмов
интеллектуальных систем (пункт 9.3), в том числе роботизированных -Ш!. Аналогичные положения содержатся в документах комиссии по гражданско-правовому регулированию
в сфере робототехники Европарламента --14!. Но, как показывает анализ содержания этих документов, а в них, не описано, каким образом указанные требования должны быть реализованы. Нет таких указаний и ни в одном документе, регламентирующим ведение вооруженного противоборства, а также в транспортных, воздушных и водных кодексах разных стран. Не описаны требования к безопасности применения робототехники и в подзаконных актах: технических регламентах, правилах дорожного движения. В то же время, задача контроля алгоритмов в робототехнике требует формулировки конкретного метода решения.
Причём проблема актуальна не только для механических роботов, но и программ-ботов. Особенно, если последние управляют потенциально опасными системами или процессами.
Но, до настоящего времени, разработка алгоритмов, реализуемых в составе программного обеспечения, в том числе для робототехнических систем, осуществляется по определённым правилам, задаваемым в нормативной документации: регламентах и
стандартах [15,16], документах, реализующих технологию RUP (Rational Unified Process). Указанные документы изначально ориентированы на разработку постоянных, не модифицируемых в ходе использования, алгоритмов. Все определяемые этими документами методы контроля алгоритмов: эвристические, основанные на последовательном анализе всех элементов алгоритма или программные, обеспечивающие проверку алгоритмов через контроль функционала реализующей его программы - разработаны для «жестких» алгоритмов. И, соответственно, разработчик ограничивается при проверках формированием вариантов поведения, реализуемых через максимально полный набор контрольных примеров для проведения приёмосдаточных испытаний. А ответственность эксплуатанта определяется знанием границ применимости системы, для которых проводились проверки, и работой в исключительно данных границах. Для модифицируемых алгоритмов такая система не работает. Исходя из этого, сложившаяся ситуация сводит на нет все попытки обеспечить безопасность
использования автономных роботов организационными мерами: как в военной сфере J17-так и в сфере мирного использования искусственного интеллекта 1"26~3°1. Анализ руководящих документов показывает, что в рамках существующей системы нормативно-технической документации эти проблемы решены быть не могут.
В то же время, формулируя требования к разрабатываемым системам, заказчик и эксплуатанты автономных робототехнических комплексов оперируют такими показателями алгоритмов как настраиваемость, модифицируемость (обучаемость) и самообучаемость. Технически, эти требования выполнимы уже на современном этапе развития науки и техники. Кроме одного - гарантировать предсказуемость и безопасность поведения робототехнических систем. Решение последней задачи может быть найдено за счёт обеспечения контроля алгоритмов, заложенных в интеллектуальные системы, учитывающего их возможную модификацию в ходе эксплуатации (обучения).
3.Постановка задачи контроля алгоритмов интеллектуальных систем
Сформулированная задача по своей сущности аналогична одной из задач искусственного интеллекта: задаче удовлетворения ограничений (constraint satisfaction problem). Хотя для контроля безопасности модифицируемых и самообучающихся алгоритмов, реализуемых в автономных робототехнических системах, такая задача в прямой постановке пока не ставилась.
Проблема контроля алгоритмов осложняется тем, что, при единой цели применения робототехнической системы, алгоритм её работы не является чем-то однородным, он состоит из одновременно выполняющихся нескольких параллельных алгоритмов, управляющих подсистемами робота: алгоритма обработки информации о внешней среде (например, технического зрения), алгоритма организации перемещения в пространстве, алгоритма применения исполнительных механизмов и других. Каждый из этих составных алгоритмов, в свою очередь, может включать вложенные алгоритмы описания операций и так далее. Теоретически, можно каждый из них контролировать на безопасность и
надеяться, что общий результат действий будет также безопасен, но гарантии этому нет, как и нет строго математического обоснования безопасности поведения.
Учитывая наличие частных алгоритмов при формальном отсутствии единого, объединяющего их все, подходы к решению задачи контроля безопасности алгоритмов, с определённой степенью условности, можно разделить на две большие группы: задание «внутренних» и «внешних» ограничений алгоритмов.
К «внутренним» ограничениям алгоритмов можно, например, отнести граничные условия, задаваемые при использовании методов оптимизации, то есть ограничения параметров целевой функции в частных алгоритмах управления: граничные условия, «штрафные» функции и т.п.
Для типовой задачи оптимизации, они могут быть записаны в виде пары:
целевая функция ^/=1с] х] ^>тах(тт) с расчётными показателями вектора
управления х j при постоянных коэффициентах с j ;
^ ьи1 = 1!2...ш1
- система ограничении вида 4 ]
При использовании такого подхода необходимо учитывать, что ограничения задаются для конкретного вида целевой функции, у которой в процессе поиска решения меняются только управляемые параметры. Полагая, что предусмотренная в автономных роботизированных системах модификация алгоритмов поведения может, с высокой вероятностью, приводить к изменению параметров поведенческой функции, применение «внутренних» ограничений не может однозначно гарантировать безопасность поведения системы в целом. А с учётом множественности параллельно используемых алгоритмов, вероятность критической ошибки безопасности повышается ещё больше.
К «внешним» ограничениям можно отнести задание границ поведения системы, описывающих допустимую область её применения в виде набора граничных правил. То есть ограничение не отдельных параметров функции F ( х ) , и не частных алгоритмов выполнения операций, а вариантов итогового значения целевой функции в рамках пространства возможных поведенческих траекторий (областей).
Наиболее простой пример реализации подобного подхода - применение механических ограничителей, сокращающих амплитуду движения исполнительных элементов промышленных роботов в заданных направлениях. Примером в части ограничения программных алгоритмов может служить нанесение специальной разметки для управления движением беспилотных автомобилей.
В первом приближении, именно использование «внешних» ограничений представляется более надёжным методом обеспечения безопасности поведения робототехнических систем.
4.Возможные варианты решения задачи
Анализ предметной области показал, что в процессе разработки программного обеспечения автономных робототехнических систем возникает проблема выбора между «внутренними» и «внешними» ограничениями, реализуемыми при разработке алгоритмов их функционирования.
Если для решения задачи обеспечения безопасности применения автономных робототехнических систем выбирается метод «внутренних» ограничений, для
ограничения алгоритмов могут быть использованы известные подходы, реализуемые в качестве ограничений в оптимизационных методах поиска оптимума поведенческой функции: методы поиска с отсечением, методы штрафных функций, методы согласования, генетические алгоритмы и другие методы.
При выборе метода «внешних» ограничений, в качестве последних может быть использован принцип задания общих границ поведения системы: в пространстве, во времени и в виде набора разрешенных (запрещённых) пространственных и логических переменных.
Рассматриваемые подходы имеют свои положительные стороны и недостатки, как с точки зрения простоты реализации, так и влияния на ограничение функциональности управляемой системы, обеспечения гарантированной безопасности её применения.
Анализ этих особенностей с учётом роли и места программного обеспечения, реализующего алгоритмы поведения робототехнических систем, позволяет сделать выводы о влиянии используемых методов ограничений на эффективность и безопасность системы в целом. Результаты сравнения особенностей методов приведены в таблице 1.
Таблица 1 - Сравнение методов ограничения алгоритмов
Наименование ме то да Сущность метода Качественные характеристики мето
Оценка про с то ты реализации Обеспечение на дё ж но с ти контроля поведения системы по известным а л г о ритма м Наличие в оз мож но с ти контроля модифицирующихся алгоритмов ф
«Внешние» ограничения для автономной системы, задающие границы её функционирования Про стра нс тв е нные и логические ограничения на поведение системы + + +
«Внутренние» ограничения системы, ограничения алгоритмов, определяющих её поведение Ограничения, аналогичные применяемым в методах оптимизационных расчётов + +
Сравнительный анализ подходов показывает примерно равную предпочтительность методов контроля разрабатываемых алгоритмов по основным параметрам.
В то же время, исходя из того, что для случая использования модифицируемых алгоритмов и самообучающихся систем, однозначно можно быть уверенным только в надёжности метода внешних ограничений, безальтернативно применимым остаётся только он.
Обобщённая последовательность реализации алгоритмов, основанных на «внешних»
ограничениях, может быть следующий:
1) формирование матрицы возможных ситуаций поведения системы;
2) выбор наиболее критичных с точки зрения безопасности типовых ситуаций применения;
3) формализация, описание типовых ситуаций в единых фазовых координатах пространства поведения;
4) объединение ситуаций в общем пространстве, отрисовка единых внешних границ поведения, внутри которых обеспечивается безопасное применение системы;
5) формальное описание границ поведения системы в виде граничных параметров её поведения.
В то же время, анализ особенностей применяемых методов задания ограничений показывает: «внешние» ограничения могут накладывать определённые рамки на применение робототехнической системы, снижая её функциональность. Для автономных систем этот фактор может быть критичным, как с точки зрения реализации основных функций, так и по защищенности от неблагоприятных внешних воздействий, в том числе направленных. И, учитывая это, более перспективными можно всё же считать методы «внутреннего» контроля, обладающие большей надежностью при разработке частных алгоритмов и обеспечивающие большую гибкость поведения.
Исходя из этого, можно сделать вывод, что направление, связанное с использованием «внутренних» ограничений, будет развиваться по мере совершенствования технологий и математических методов. Вероятнее всего, как это происходит обычно - по принципу «от простого к сложному», от элементарных ограничений отдельных алгоритмов к выработке более сложных, но более эффективных методов ограничения взаимосвязанных алгоритмических групп. Например, с реализацией следующего обобщённого алгоритма:
1) формирование обобщённого алгоритма поведения системы и задание ограничений в нём;
2) декомпозиция алгоритма на необходимое количество уровней вниз, в идеале - до алгоритма выполнения отдельной операции;
3) последовательное тиражирование ограничений обобщённого алгоритма на его с о с та в ные ч а с ти, ч а стные а лг о ритмы;
4) поиск точек корреляции, корректировка частных алгоритмов с их учётом;
5) проверка функционирования сформулированного набора частных ограничений на устойчивость и надёжность на всех режимах функционирования системы в целом.
Данный алгоритм является итерационным и, вполне возможно, он обеспечит реализацию в создании интеллектуальных систем подходов, основанных на «внутренних» ограничениях, реализуемых системой вложенных алгоритмов. А в перспективе, с развитием методологии искусственного интеллекта, возможности использования «внутренних» ограничений будут расширяться и, вполне вероятно, что именно этот подхо д с та не т ос но в ным.
Заключение
В данной работе задача ограничения алгоритмов интеллектуальных систем
сформулирована в самом общем виде, на примере решения проблемы использования автономной робототехники только в двух областях человеческой деятельности. Но проблема, для решения которой сформулирована постановка задачи, крайне актуальна для любых систем, несущих потенциальную опасность для человека: транспортных и промышленных, обладающих кинетической энергией, боевых, сама цель которых -
уничтожение [31-37]. Эта проблема требует решения: организационного, в части внесения изменений в нормативную документацию, и технологического, разработкой методов контроля модифицируемых алгоритмов. Последнее может быть сделано, для начала любым доступным способом, впоследствии, с развитием технологий -оптимальным. Сформулированная в статье постановка задачи служит созданию предпосылок к разрешению указанной проблемы.
Библиография
1. Военная мысль в терминах и определениях: в 3 т. / сост. Н. Н. Тютюнников. М. : Перо, 2018. Т. 3. Информатизация Вооруженных Сил. 472 с.
2. Симулин А. А. и др. Некоторые аспекты использования робототехники в военном деле // Сборники конференций НИЦ Социосфера. 2015. №27. С.67-71.
3. Hover and stare: FCS testing UAVS // Military.com. URL:
https ://www.military.com/defensetech/2008/05/30/hover-and-stare-fcs-testing-uavs (дата обращения: 30.05.2008).
4. Мы убили 4700 человек, но это война. Американский сенатор раскрыл число жертв беспилотников. Новости TUT.BY. URL: https://news.tut.by/world/336031.html (дата обращения: 21.09.2017).
5. Беспилотники США убивают большое число мирных жителей. Новости авиации и космонавтики. URL: http://avianews.info/bespilotniki-ssha-ubivayut-bolshoe-chislo-mirnyh-zhitelej/ (дата обращения: 21.09.2017).
6. Мишени беспилотников в Афганистане: террористы или мирные жители? Мир. URL: http://www.dw.com/ru/мишени-беспилотников-в-афганистане-террористы-или-мирные-жители/a-19200599 (дата обращения: 21.09.2017).
7. Морхат П. М. Искусственный интеллект: правовой взгляд. М. : Буки Веди, 2017. 257 с.
8. Sofge E. America's Robot Army: Are Unmanned Fighters Ready for Combat? // Popular Mechanics. Dec.18 2009. URL:
https ://www.popularmechanics.com/military/a2653/4252643/ (дата обращения: 1.04.2019).
9. Robot targets men in Iraq // Defense Tech. April 2008. URL:
https ://www.military.com/defensetech/2008/04/17/robot-targets-men-in-iraq (дата обращения: 19.04.2008).
10. Report of the Special Reporter on extrajudicial, summary or arbitrary executions, Christof Heyns // UN General Assembly.
URL:http://www.ohchr.org/Documents/HRBodies/HRCouncil/RegularSession/Session23/ A-HRC-23-47_en.pdf (дата обращения: 5.02.2015).
11. Tobiast T. Gibson. Ethics and new defense technology // The Hill. 2015. URL: https ://thehill.com/blogs/pundits-blog/defense/234403-ethics-and-new-defense-technology (дата обращения: 30.01.2015).
12. DOD Adopts Ethical Principles for Artificial Intelligence. US Dept of Defense. URL: https ://www.defense.gov/Newsroom/Releases/Release/Article/2091996/dod-adopts-ethical-principles-for-artificial-intelligence (дата обращения: 05.03.2020).
13. Recommendation № 2102 (2017) of Parliamentary Assembly of the Council of Europe «Technological convergence, artificial intelligence and human rights», 28 April 2017. URL: (дата обращения: 15.04.2020).
14. Recommendation № 2069 (2015) of Parliamentary Assembly of the Council of Europe «Technological convergence, artificial intelligence and human rights», 23 April 2015. URL: (дата обращения: 15.04.2020).
15. ГОСТ Р 60.2.2.1-2016/ ИСО 13482: 2014 Роботы и робототехнические устройства. Требования по безопасности для роботов по персональному уходу. М. : Стандартинформ, 2016, 78 с.
16. ГОСТ Р 60.1.2.2-2016/IS0 10218-2:2011. Роботы и робототехнические устройства. Требования по безопасности для промышленных роботов. М.: Стандартинформ, 2016. Ч. 2, 70 с.
17. В ООН обсуждается вопрос запрета применения военных роботов // Новости HiTech. URL:http://android-robot.com/v-oon-obsuzhdaetsya-vopros-zapreta-primeneniya-voennyx-robotov (дата обращения: 06.10.2015).
18. Вудворд С. Фолклендская война. Мемуары командующего Фолклендской ударной группы. 2005. Симферополь: Доля, 415 c.
19. Чиров Д.С., Новак К.В. Перспективные направления развития робототехнических комплексов специального назначения // Вопросы безопасности. 2018. № 2. С. 5059. DOI: 10.25136/2409-7543.2018.2.22737.
20. Хрипунов С.П., Благодарящев И.В., Чиров Д.С. Военная робототехника: современные тренды и векторы развития // Тренды и управление. 2015. № 4. С. 410-422.
21. Ходаренок М.М., Калинин И. Третья стратегия: как будут воевать США // Сайт «Газетами». URL: https://www.gazeta.ru/army/2017/11/28/11016068.shtml (дата обращения: 02.12.2017).
22. Army Equipment Program in support of President's Budget 2016 / US Army G-8, 2015. 56 p.
23. Capturing technology. Rethinking Arms Control. Conference Reader. - Berlin: German Federal Foreign Office, 2019. 50 p.
24. Выпасняк В.И. и др. О повышении эффективности применения высокоточного оружия в военных конфликтах локального и регионального масштаба // Вестник Академии военных наук. 2008. №4(25). С. 43-48.
25. Тиханычев О.В. О правовых и этических аспектах автономного использования робототехнических комплексов в сфере вооружённого противоборства // Вопросы безопасности. 2019. № 3. С.33-42. DOI: 10.25136/2409-7543.2019.3.28960.
26. Нестеров А. В. Возможны ли правоотношения и юридические взаимодействия между людьми и роботами? М. : Препринт, сентябрь 2016. 14 с.
27. Лопатина Т. М. Некоторые аспекты проблемы моральной ответственности компьютерных систем // Правовые вопросы связи. 2005. №1. С.12-13.
28. Тиханычев О.В., Тиханычева Е.О. Проблемы использования потенциально опасных технологий в современном мире // Социосфера. 2017. № 2. С. 33-36. DOI: 10.24044/sph.2017.2.6.
29. Bechel W. Attributing Responsibulity to Computer Systems. In: Metaphiiosophy, 1985. No.16. 189 р.
30. Johnson D. G. Computer Systems: Moral entities but not moral agents // Ethics and Information Technology. 2006. № 8. P. 195-204. DOI 10.1007/s10676-006-9111.
31 Schuller A.L. At the Crossroads of Control: The Intersection of Artificial Intelligence in Autonomous Weapon Systems with International Humanitarian Law // Harvard National Security Journal. 2017. Vol. 8. Р. 379-425.
32. Холиков И.В., Сазонова К.Л. Международно-правовая ответственность в контексте правовой регламентации военного использования беспилотных летательных аппаратов // Военное право. 2017. № 4. С. 217-226.
33. Шеремет И.Б., Рудианов Н.А., Рябов А.В., Хрущев В.С. О необходимости разработки концепции построения и применения автономных робототехнических комплексов военного назначения // Экстремальная робототехника. 2016. Т. 1. № 1. С. 35-39.
34. Pflimlin É. Drones et robots: La guerre des futurs. Levallois-Perret (France), 2017. 96 p.
35. Бугаков И.А., Царьков А.Н. Интеллектуализация военной робототехники: терминологическая и технологическая проблемы // Известия Института инженерной физики. 2017. Т. 3. № 45. С. 87-93.
36. Beard J.M. Autonomous weapons and human responsibilities. Georgetown Journal of International Law. 2014. Vol. 45. Р. 617-681.
37. Тиханычев О.В. Автономная робототехника: о проблеме контроля модифицируемых алгоритмов // Вопросы безопасности. 2020. № 2. С. 36-47. DOI : 10.25136/24097543.2020.2.31937
Результаты процедуры рецензирования статьи
В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.
Предмет исследования - обеспечение безопасности алгоритмов интеллектуальных (в том числе автономных роботизированных) систем. Методология исследования основана на теоретическом подходе с применением методов анализа, обобщения, сравнения, синтеза. Актуальность исследования определяется широким распространением интеллектуальных (в том числе автономных робототехнических) систем в различных отраслях экономики и, соответственно, необходимостью изучения и проектирования необходимых условий, включая обеспечение безопасности алгоритмов функционирования. Научная новизна связана с полученными автором выводами о том, что проблема ограничения алгоритмов интеллектуальных систем крайне актуальна для систем, несущих потенциальную опасность для человека. Решение проблемы требует разработки методов контроля модифицируемых алгоритмов, изменений нормативной документации. Статья написана русским литературным языком. Стиль изложения научный. Структура рукописи включает следующие разделы: 1. Введение (применение интеллектуальных систем, программное обеспечение робототехнических систем, действие факторов человек-оператор, ряд проблем разработки и использования автономных роботов, противоречие между потребностью в реализации автономных систем и возможностью их практической реализации, методы обеспечения безопасности, разделения ответственности между разработчиком и эксплуатантом, принцип неизменности заложенных в робототехническую систему алгоритмов), 2. Современное состояние проблемы (проблемы внедрения автономных роботов, задачи контроля алгоритмического обеспечения в области транспорта и вооруженного противоборства, требования к автономности боевых робототехнических систем, концепция использования искусственного интеллекта в военном деле Минобороны США (Department of Defense), Рекомендация Парламентской Ассамблеи Совета Европы «Слияние с технологиями,
искусственный интеллект и права человека», требования по обеспечению безопасности алгоритмов интеллектуальных систем, в том числе роботизированных, документы комиссии по гражданско-правовому регулированию в сфере робототехники Европарламента, технология RUP (Rational Unified Process), методы контроля алгоритмов, настраиваемость, модифицируемость (обучаемость) и самообучаемость алгоритмов, предсказуемость и безопасность поведения робототехнических систем), 3. Постановка задачи контроля алгоритмов интеллектуальных систем (задача удовлетворения ограничений (constraint satisfaction problem), проблема контроля алгоритмов, задание «внутренних» и «внешних» ограничений алгоритмов, граничные условия, задаваемые при использовании методов оптимизации, задание границ поведения системы, набор граничных правил), 4. Возможные варианты решения задачи (проблема выбора между «внутренними» и «внешними» ограничениями при разработке алгоритмов, методы поиска с отсечением, методы штрафных функций, методы согласования, генетические алгоритмы и др., принцип задания общих границ поведения системы в пространстве, во времени, набор разрешённых (запрещённых) пространственных и логических переменных, положительные стороны и недостатки рассматриваемых подходов, сравнение методов ограничения алгоритмов, обобщённая последовательность реализации алгоритмов, основанных на «внешних» ограничениях, итерационный алгоритм), 5. Заключение (выводы), Библиография. Разделы «Введение», «Заключение» нумеровать не следует. Дублирование списка использованных источников («Литература», «Библиография») излишне. Текст включает одну таблицу. Таблице нужно присвоить номер. Содержание в целом соответствует названию. Возможно, в формулировке заголовка следует конкретизировать, что речь идёт о постановке проблемы, в том числе в отношении систем, несущих потенциальную опасность для человека (транспортных, промышленных, боевых и т.п.). Библиография включает 37 источников отечественных и зарубежных авторов - монографии, научные статьи, Интернет-ресурсы. Библиографические описания некоторых источников нуждаются в корректировке в соответствии с ГОСТ и требованиями редакции, например: 7. Морхат П. М. Искусственный интеллект: правовой взгляд. М. : Буки Веди, 2017. 257 с. 30. Johnson D. G. Computer Systems: Moral entities but not moral agents // Ethics and Information Technology. 2006. № 8. P. 195-204. Апелляция к оппонентам (Симулин А. А., Морхат П. М., Вудворд С., Чиров Д. С., Новак К. В., Хрипунов С. П., Благодарящев И. В., Чиров Д С., Ходаренок М. М., Калинин И., Выпасняк В. И., Нестеров А. В., Лопатина Т. М. Холиков И. В., Сазонова К. Л., Шеремет И. Б., Рудианов Н. А., Рябов А. В., Хрущев В. С. Бугаков И. А., Царьков А. Н., Sofge E., Gibson T. T., Bechel W., Johnson D. G., Schuller A. L., Pflimlin E., Beard J. M. и др.) имеет место. В целом рукопись соответствует основным требованиям, предъявляемым к научным статьям. Материал представляет интерес для читательской аудитории и после доработки может быть опубликован в журнале «Национальная безопасность / nota bene».
