CC BY
1090
СОВЕРШЕНСТВОВАНИЕ ЗАКОНОДАТЕЛЬСТВА
NOVUS LEX
А. И. Коробеев*, А. И.Чучаев**
БЕСПИЛОТНЫЕ ТРАНСПОРТНЫЕ СРЕДСТВА: НОВЫЕ ВЫЗОВЫ ОБЩЕСТВЕННОЙ БЕЗОПАСНОСТИ1
Аннотация. В статье дается общая характеристика беспилотных транспортных средств, разрабатываемых в России и за рубежом для использования в воздушном пространстве, на суше и под землей, на воде и под водой, как в военных целях, так и для использования в народном хозяйстве. В общих чертах показаны принципы их функционирования и степень автономности. Особое внимание уделено создаваемой ими опасности для личности, собственности и т.д. в связи с возникающими транспортными происшествиями и вытекающими отсюда нравственно-правовыми проблемами (соответственно «казусу вагонетки» и крайней необходимости, часто встречающейся в практике использования, например, автодорожного транспорта). Предложена дорожная карта, во-первых, по устранению пробелов в законодательстве (например, имеющихся в гражданском и административном праве), во-вторых, по разработке правил безопасности движения и эксплуатации беспилотных транспортных средств, в-третьих, по конструированию уголовно-правовой нормы об ответственности за вред, причиненный беспилотником. Указаны основные подходы к определению указанного уголовно-правового запрета и выделены наиболее важные алгоритмы криминализации рассматриваемого деяния.
Ключевые слова: беспилотные транспортные средства (БТС), наземные БТС, подземные БТС, воздушные БТС, водные БТС, «проблема вагонетки», нравственность, правовое регулирование, крайняя необходимость, преступление, правовая природа, криминализация, уголовная ответственность, субъект преступления.
DOI: 10.17803/1729-5920.2019.147.2.009-028
1 Работа выполнена при финансовой поддержке РФФИ по договору № 18-29-16162\18.
© Коробеев А. И., Чучаев А. И., 2019
* Коробеев Александр Иванович, доктор юридических наук, профессор, заведующий кафедрой уголовного права и криминологии Дальневосточного федерального университета, заслуженный деятель науки РФ
690091, Россия, г. Владивосток, ул. Суханова, д. 8 akоrо[email protected]
** Чучаев Александр Иванович, доктор юридических наук, профессор, профессор кафедры уголовного права Московского государственного юридического университета имени О.Е. Кутафина (МГЮА) 125993, Россия, г. Москва, ул. Садовая-Кудринская, д. 9 mоksha1@ramЫerш
ПОСТАНОВКА ПРОБЛЕМЫ
Стремление человека обзавестись беспилотными транспортными средствами (БТС) уходит корнями в далекое прошлое. Оно нашло свое отражение, в частности, в русском фольклоре: прообразом таких чудо — транспортных средств можно считать (с известной долей условности) сапоги-скороходы, ковер-самолет, избушку на курьих ножках и самодвижущуюся печь с пассажиром на борту — Емелей.
В современной России, как и в ряде других стран, активно ведутся работы по созданию и внедрению в практику беспилотных транспортных средств2. Они используются в космосе (околопланетные орбиты, межпланетное пространство, атмосфера и поверхность планет), в воздухе (земная атмосфера), на суше (городская дорожная сеть, рельсовые линии и др.), в водной среде (водная поверхность и подводное пространство), в подземной среде (подземные каналы и коммуникации, в том числе трубопроводы и скважины, а также неразработанная порода). Указанные средства производятся как в военных целях, так и для использования в народном хозяйстве, например в логистике, лесоохране и др.
Так, по сообщениям прессы, в России начались работы по проектированию высотного беспилотного аппарата, работающего на солнечной энергии. При его создании максимально используется опыт разработки беспилотника «Сова»3. Новый аппарат сможет барражировать на высотах до 30 км, что исключает столкновение с гражданскими авиалайнерами, имеет двойное назначение (может использоваться как в гражданских отраслях экономики, так и для решения задач обороны и безопасности)4.
В литературе даются разные определения беспилотного средства: от самых простых дефиниций до развернутых, содержащих в себе ключевые признаки определяемого понятия. Например, применительно к воздушным транспортным средствам говорится: «беспилотный летательный аппарат — это летательный аппарат без человека (экипажа) на борту»5. С. В. Фетисов, Л. М. Неугодникова, В. В. Адамовский и Р. А. Красноперов, характеризуя беспилотный летательный аппарат, по сути, повторяют определение беспилотного мобильного средства (см. сноску 2)6. По мнению В. В. Карякина, беспилотные летательные аппараты — это летательные аппараты многоразового использования без экипажа, оснащенные двигателями,
2 В литературе они именуются по-разному. Например, в качестве родового понятия предлагается использовать словосочетание «беспилотные мобильные средства» (см.: Фокин М. С., Рязанов Н. С. Актуальные проблемы уголовно-правовой регламентации противоправного использования беспилотных мобильных средств // Актуальные проблемы российского права. 2018. № 1. С. 103—110). Это определение недостаточно точно передает сущность рассматриваемых средств именно как транспортных, а не просто мобильных, т.е. «подвижных, способных к быстрому передвижению» (Ожегов С. И., Шведова Н. Ю. Толковый словарь русского языка. М., 1995. С. 353). Предложенный авторами термин представляет перевод англоязычного словосочетания unmanned vehicle, используемого в ряде специальных международных актов. Беспилотное мобильное средство — это искусственный мобильный объект многоразового или условно многоразового использования, не имеющий на борту экипажа (человека-пилота) и способный самостоятельно целенаправленно перемещаться в пространстве для выполнения различных функций в автономном режиме (с помощью собственной управляющей программы) или посредством дистанционного управления (осуществляемого диспетчером-оператором или диспетчерским центром) (см. об этом подробно: Фетисов С. В., Неугодникова Л. М., Адамовский В. В., Красноперов Р. А. Беспилотная авиация. Терминология, классификация, современное состояние. Уфа, 2014). Следовательно, «беспилотные мобильные средства» — более широкое понятие, чем «беспилотные транспортные средства», поскольку спектр их применения не ограничивается только транспортными функциями.
3 «Сова» — российский многофункциональный беспилотный летательный аппарат, спроектированный компанией «Тайбер». Может применяться для разведки местности, мониторинга окружающей среды, для реализации специальных научно-исследовательских задач, а также в качестве ретранслятора (поднимаясь на высоту 18 км, аппарат может охватывать весьма большую площадь, что делает его использование весьма рациональным и эффективным).
4 См.: Вальченко С. В России построят «солнечный» беспилотник-гигант // Московский комсомолец. 2018. 7 июня.
5 Прив. по: Фетисов С. В., Неугодникова Л. М., Адамовский В. В. Красноперов Р. А. Указ. соч. С. 24.
поднимающиеся в воздух за счет аэродинамических сил, действующие в автономном режиме по программе или управляемые дистанционно операторами и способные нести боевую нагрузку летального или нелетального воздействия, а также аппаратуру разведки и мониторинга земной поверхности и водной среды7. Некоторые авторы рассматриваемое понятие определяют как «автоматизированный интерактивный беспилотный летательный аппарат, способный выполнять полет по заданному маршруту и поддерживать свою ориентацию в пространстве без вмешательства человека, но в то же время готовый реагировать на управляющие воздействия человека-оператора»8.
Понятие беспилотного летательного аппарата содержится в ряде международных документов и национальном законодательстве. Так, согласно глоссарию к Глобальной эксплуатационной концепции системы организации воздушного движения, утвержденной Генеральным секретарем Международной организации гражданской авиации (ИКАО) (dоc 9854 AN/458), беспилотный летательный аппарат представляет собой воздушное судно без пилота в смысле ст. 8 Конвенции о международной гражданской авиации9, которое выполняет полет без командира воздушного судна на борту и либо полностью дистанционно управляется из другого места (с земли, с борта другого воздушного судна, из космоса), либо запрограммировано и полностью автономно10.
В соответствии с Регламентом (ЕС) № 428/209 Совета ЕС11, устанавливающим режим для контроля за экспортом, перемещени-
ем, продажей и транзитом продукции двойного назначения на территории сообщества (в новой редакции) (Брюссель, 2009), беспилотным летательным аппаратом (UAV) признается любой летательный аппарат, способный инициировать полет и устойчиво контролировать полет и навигацию без присутствия человека на борту.
В пункте 5 ст. 32 Воздушного кодекса РФ (ВК РФ) беспилотное воздушное судно определяется как воздушное судно, управляемое, контролируемое в полете пилотом, находящимся вне борта такого воздушного судна (внешний пилот). Этим определением, как видно из него, не охватываются беспилотные воздушные транспортные средства, имеющие автономное или смешанное управление.
Надо заметить, что наряду с беспилотным воздушным судном ВК РФ выделяет беспилотную авиационную систему — «комплекс взаимосвязанных элементов, включающих в себя одно или несколько беспилотных воздушных судов, средства обеспечения полета и посадки, средства управления полетом одного или нескольких беспилотных воздушных судов и контроля за полетом одного или нескольких беспилотных воздушных судов».
Указ Президента РФ от 17 декабря 2011 г. № 1661 (в ред. от 7 апреля 2017 г.) «Об утверждении Списка товаров и технологий двойного назначения, которые могут быть использованы при создании вооружений и военной техники и в отношении которых осуществляется экспортный контроль»12 определяет беспилотный (воздушный) летательный аппарат как любой
См.: Фетисов С. В., НеугодниковаЛ. М., Адамовский В. В. Красноперов Р. А. Указ. соч. См.: Карякин В. В. Беспилотные летательные аппараты — новая реальность войны // Проблемы национальной стратегии. 2015. № 3. С. 130. См. также: Макухин А. А. Законодательное регулирование право-
вого статуса беспилотных летательных аппаратов // Научный вестник Крыма. 2017. № 1 (6). С. 5. Солдатов Е. Л., Кульнев С. В., Лемешкин Р. Н. Беспилотные летательные аппараты // Армейский сбор-
ник. 2010. № 3. С. 43. См. также: Макухин А. А. Законодательное регулирование правового статуса бес-
пилотных летательных аппаратов // Научный вестник Крыма. 2017. № 1 (6). С. 5.
Конвенция о международной гражданской авиации (Чикаго, 1944) // Князькина А. К., Чучаев А. И. Конвенциональные преступления в Уголовном кодексе РФ и международных актах. М., 2007. С. 461.
Глобальная эксплуатационная концепция ОрВД (добавление В). Международная организация гражданской авиации, 2005. СПС «КонсультантПлюс». СЗ РФ. 2011. № 52. Ст. 7563.
Аналогичное понятие дается в решении Межгосударственного совета ЕврАзЭС от 21.09.2004 № 190 (в ред. от 19.11.2010) «О Типовых списках товаров и технологий, подлежащих экспортному контролю, и Общих требованиях к порядку контроля за осуществлением внешнеэкономических операций с товарами и технологиями, подлежащими экспортному контролю» // СПС «КонсультантПлюс» (документ не опубликован).
6
7
8
9
10
11
12
LEX 1Р?Ж
летательный аппарат, способный взлетать и поддерживать контролируемый полет и аэронавигацию без какого-либо присутствия человека на борту.
Согласно п. 2 Федеральных правил использования воздушного пространства Российской Федерации, утвержденных постановлением Правительства РФ от 11 марта 2010 г. № 138 (в ред. от 30 января 2018 г.)13, беспилотным признается летательный аппарат, выполняющий полет без пилота (экипажа) на борту и управляемый в полете автоматически, оператором с пункта управления или сочетанием указанных способов. Данное определение является наиболее информативным, в нем указаны возможные варианты организации управления воздушным судном, что имеет существенное значение для решения вопросов регулирования уголовной ответственности при нарушении правил полета беспилотного средства.
В ГОСТ Р 56122-2014 «Воздушный транспорт. Беспилотные авиационные системы. Общие требования», утвержденном приказом Росстан-дарта от 18 сентября 2014 г. № 1130-ст14, в частности, выделяются:
1) автономное воздушное судно — беспилотное воздушное судно, которое не предусматривает вмешательство пилота в управление полетом;
2) автономный полет — полет, который дистанционно пилотируемое воздушное судно выполняет без вмешательства пилота в управление полетом;
3) беспилотная авиационная система — воздушное судно и связанные с ним элементы, которые эксплуатируются без пилота на борту;
4) беспилотное воздушное судно — воздушное судно, которое предназначено выполнять полет без пилота на борту;
5) внешний пилот — лицо, манипулирующее органами управления дистанционно пилотируемого воздушного судна в течение полетного времени;
6) дистанционно пилотируемая авиационная система — комплекс конфигурируемых элементов, включающий дистанционно пилотируемое воздушное судно, связанную с ним станцию (станции) внешнего полета,
необходимые линии управления и контроля, а также любые другие элементы системы, которые могут потребоваться в любой момент в ходе выполнения полета;
7) дистанционно пилотируемое воздушное судно — воздушное судно, которое пилотирует пилот, не находящийся на борту этого воздушного судна;
8) дистанционное пилотирование — управление воздушным судном с рабочего места пилота, которое не находится на борту этого судна.
Судоходная отрасль также находится в процессе разработки и внедрения компьютеризированных систем управления судами. Так, британская инженерная компания Rоlls-Роусе — один из ведущих мировых поставщиков коммерческой судоходной отрасли — считает, что судно без экипажа и с дистанционным управлением будет безопаснее и дешевле, чем обычное15.
Беспилотные суда позволят снижать себестоимость уже во время их постройки: в их конструкции отсутствует мостик и помещения, где проживает экипаж. Следовательно, исключаются затраты на установку и дальнейшее обслуживание энерго- и водоснабжения, систем кондиционирования воздуха. Отсутствие экипажа также скажется на себестоимости грузоперевозок. Конструкция судна обусловливает снижение расхода топлива. Так, перед погрузкой они будут на 5 % легче обычных и, значит, потребление топлива сократится на 12—15 %. В результате беспилотное судно сможет выполнять более длинные переходы, что повысит эффективность; кроме того, оно сможет взять на борт больше груза, увеличивая тем самым прибыль судовладельца.
Технологии и стандарты беспилотного судовождения во многом определяют не только требования к безопасности, но и то, насколько активно транспортные потоки как таковые пойдут через ту или иную страну. Это, в свою очередь, будет определять привлекательность последней как транзитера, вовлечение ее промышленности в глобальные производственные цепочки.
Для России создание и опережающее развитие беспилотного судовождения является не
13 СЗ РФ. 2010. № 14. Ст. 1649.
14 СПС «КонсультантПлюс».
15 См.: «Роллс-Ройс» предлагает создать самоуправляемые автоматические грузовые корабли // Земля. Хроники жизни. URL: http://earth-chronicles.ru/news2014-03-12-61292.
просто способом повысить эффективность судоходной отрасли, но жизненно важным вопросом влияния на будущие стандарты мировой транспортной системы16.
Страны Евросоюза во главе с немецкими специалистами участвуют в разработке новой системы автономного управления судоходством, позволяющей грузовым судам совершать океанские переходы без экипажа на борту (проект Maritime Unmanned Navigatiоn t^ugh Intelligence in Netwоrks — MUNIN17). Проект MUNIN не предусматривает автоматизированного плавания в прибрежных водах, где интенсивность судоходства сравнительно велика. Предполагается, что из порта отправления в открытое море судно будет выводить экипаж, который затем вернется на берег. Далее судно, управляемое бортовым компьютером под контролем оператора на суше, продолжит свой путь через океан, а у порта назначения на борт снова взойдет экипаж и примет управление на себя.
Японские кораблестроительные и грузовые компании совместно с правительством приступили к разработке технологии автономной навигации для морских судов. Первые беспилотные суда должны появиться к середине 2020-х гг. С их помощью предприятия надеются повысить безопасность морских перевозок и занять 1/3 мирового кораблестроительного рынка18.
Китайская администрация морской безопасности совместно с Уханьским технологическим университетом начали разработку беспилотных многофункциональных судов. Их цель — выяснить, как можно использовать автономные корабли в экономическом и военном китайском секторе. Предполагается, что экипаж на беспилотных судах заменят компьютеры, соединенные с системой серверов, которые будут постоянно анализировать ситуацию на судне и за его пределами.
В конце 2018 г. первое электрическое автономное безэкипажное судно планируют спустить на воду норвежцы, в 2019-м — англичане. Такие же программы есть у Франции, Нидерландов, группы компаний в ЕС.
Специалисты Российского федерального ядерного центра — Всероссийского научно-исследовательского института экспериментальной физики (РФЯЦ-ВНИИЭФ) разрабатывают цифровую модель безэкипажного судна. В России планируется в будущем строить подобные суда разных типов: научно-исследовательские, спасательные, транспортные и др.19
По мнению мировой научной общественности, полностью роботизированные корабли появятся не ранее середины 2030-х гг., причем они будут использоваться для доставки навалочных грузов вроде руды и зерна. Ценные товары, топливо и опасные вещества по-прежнему будут транспортироваться судами с командой на борту20.
Кроме технических проблем, сопровождающих разработчиков роботизированных объектов водного транспорта, на сегодняшний день имеют место и проблемы чисто юридического свойства. Так, в соответствии с международным морским правом беспилотный флот «вне закона», и для его внедрения в эксплуатацию потребуется полный пересмотр режима регулирования мореплавания. Практическая реализация такой схемы — дело отдаленного будущего уже хотя бы по причинам правового характера. На сегодняшний день любое судно, находящееся в открытом море без экипажа на борту, считается ничейным, т.е. бесхозным, соответственно, его может присвоить любой, кто поднимется на борт. Поэтому массовое использование грузовых судов-роботов возможно после устранения подобных правовых коллизий21. Таким образом, для реализации беспилотного судоходства потребуется пересмотреть используемую в практике обеспече-
16 См.: Кондратьев А. И., Худякова О. А., Понов А. Н. О необходимости внедрения беспилотных судов в торговый флот России // Транспортное дело в России. 2016. № 6. С. 140.
17 URL: http://www.unmanned-ship.org/munin/.
18 См.: Mutsui O.S.K. Lines, Ltd. // URL: http://www. mol.co.jp (дата обращения: 16.09.2017).
19 См.: Комсомольская правда. 2018. 6 апр.
20 См.: Дмитриев В. И., Каретников В. В. Методы обеспечения безопасности мореплавания при внедрении беспилотных технологий // Вестник Государственного университета морского и речного флота имени адмирала С. О. Макарова. 2017. Т. 9. № 6. С. 1151—1152.
21 См.: Каретников В. В., Пащенко И. В., Зайцев А. И. Основные аспекты современных инфокоммуникацион-ных технологий для обеспечения беспилотного судовождения на водном транспорте // Вестник Государственного университета морского и речного флота имени адмирала С. О. Макарова. 2016. Вып. 1 (35). С. 174.
ния безопасности мореплавания национальную и международную нормативно-правовую базу22.
В мире активно развивается беспилотный железнодорожный транспорт. Он берет свое начало с конца 40-х гг. прошлого века. В настоящее время пассажирские беспилотники курсируют в 20 странах мира. Самые длинные беспилотные железнодорожные маршруты в Дубае, Ванкувере и Сингапуре (более 60 км)23.
По имеющимся сообщениям, в 2019 г. во Франции стартуют испытания прототипа самоуправляемого скоростного электропоезда TGV, а в 2023 г., по утверждениям французского железнодорожного оператора, начнется их массовое использование.
Скорое распространение беспилотных поездов ожидается и в России24. ОАО «Российские железные дороги» активно ведет работы по их созданию. Некоторые беспилотные технологии в настоящее время тестируются на станции Лужская (Ленинградская обл.)25, в целом готово к применению самоуправляемых поездов Московское центральное кольцо (МЦК)26.
Внедрение беспилотной системы управления на железнодорожном транспорте с технической точки зрения требует решения сложных комплексных задач. Основной проблемой является обнаружение и распознавание препятствий при движении. Это осуществляется за счет технического зрения. Машинист выполняет данную функцию на основе мощных когнитивных способностей человеческого мозга. Техническое зрение основано на комплексном применении оптических камер, радаров, ли-даров27 и искусственного интеллекта для обра-
ботки данных. Основными методами являются техническое зрение и машинное обучение. Машинное обучение представляет собой класс методов искусственного интеллекта, характерная черта которых — не прямое решение задачи, а обучение в процессе применения к решению множества сходных задач. Для разработки таких методов используются средства математической статистики, численных методов, методов оптимизации, теории вероятностей, теории графов, различные техники работы с данными в цифровой форме. Постоянное совершенствование датчиков и алгоритмов обработки информации позволяет непрерывно улучшать техническое зрение.
Несмотря на то что на данный момент человеческие способности по распознаванию препятствий превосходят технологии технического зрения, последние имеют ряд преимуществ. Техническая система не знает усталости, не отвлекается и в любое время контролирует окружающее пространство. Специальное оборудование (радары) в системе технического зрения позволяет видеть сквозь туман и другие неблагоприятные погодные условия. К основным проблемам относятся ложные срабатывания от таких объектов, как, например, различный бытовой мусор, которые приводят к остановкам. Другой технической проблемой при внедрении технологии беспилотного управления железнодорожным транспортом является необходимость разработки технического зрения, способного видеть объекты на большом расстоянии из-за значительной величины тормозного пути поезда. Характеристики существующих радаров, лидаров, камер массового производства
22 Международная конвенция по охране человеческой жизни на море (СОЛАС-74). М., 2010 ; Международная конвенция о подготовке и дипломировании моряков и несении вахты 1978 г. (ПДМНВ-78), включая Манильские поправки 2010 г. Лондон, IMO, 2013 ; Международные правила предупреждения столкновений судов в море 1972 г. (МППСС-72). СПб., 2010 ; Конвенция ООН по морскому праву 1982 г. М., 2010 ; Конвенция МОТ о труде в морском судоходстве. Женева, 2006.
23 URL: www.pult.gudok.ru/archive/detail?!D=1385469.
24 Первые испытания пригородного поезда с так называемым автомашинистом были осуществлены в Подмосковье 1958 г.; были успешно обеспечены выполнение графика движения и точность остановок (URL: www.expert.ru/2017/06/28/bespilotnye-poesda).
25 Так называемая безлюдная технология реализуется на станции с 2015 г. В частности, внедрена система роспуска вагонов с автоматическим управлением горочным локомотивом, отрабатывается система управления маневровым тепловозом по радиоканалу с удаленного рабочего места оператора-машиниста, что позволяет одному человеку управлять одновременно несколькими локомотивами.
26 URL: www.rosautonet.ru/news/bespilotnye-poesda.
27 Лидар — технология получения и обработки информации об удаленных объектах с помощью активных оптических систем, использующих явления поглощения и рассеяния света в оптически прозрачных средах (лазерный сканер).
позволяют устойчиво обнаруживать человека на расстоянии не более 50—100 м, автомобиль — на расстоянии не более 100—250 м, что вполне достаточно для автомобильного транспорта, а также для работы маневровых локомотивов, скорость движения которых невелика и тормозной путь которых находится в пределах дальности действия технического зрения. Однако для электропоездов, пассажирских поездов необходима большая дальность действия технического зрения из-за величины тормозного пути. Это требует применения специализированного оборудования. К примеру, камер с большим фокусным расстоянием, комплекса радаров с разными частотами несущих и большей апертурой антенны и др. В зонах ограниченной видимости потребуется установка стационарных блоков обнаружения препятствий, передающих информацию о состоянии пути по радиоканалу на приближающиеся поезда28.
Подземную автоматизацию лучше всего освоили в Гонконге: там запустили 10 полностью автономных беспилотных составов, разработанных китайской компанией29. Надо заметить, что именно в метро реализация комплекса требований для беспилотного пассажирского движения наименее затратна. Метрополитены — закрытые системы транспорта с однородным подвижным составом, передвигающимся по заранее определенному маршруту и защищенным от внешнего воздействия.
В законодательстве отсутствует определение беспилотных автотранспортных средств; в литературе утверждается, что беспилотный автомобиль, или робомобиль, — транспортное средство, оборудованное системой автоматического управления, которое может передвигаться без участия человека30.
Разработки в области беспилотных автомобилей начались еще в конце 1970-х гг. в Японии. В 1987—1995 гг. в Европе существовал проект «Прометей», в ходе которого проводились эксперименты по управлению такими автомобилями. Итогом проекта стало создание беспилотника на базе легкового автомобиля Mercedes-Benz S-класса, на котором была со-
вершена поездка из Мюнхена в Копенгаген (1 600 км). Максимальная скорость в пути составила 175 км/час, во время движения автомобиль выполнял сложные маневры, в том числе по обгону других транспортных средств, перестроению и т.д., однако полностью исключить человеческий фактор из вождения в то время не удалось31.
Российские конструкторы из Центра прото-типирования высокой сложности НИТУ МИСиС «Кинетика» создали действующий прототип летающего такси-беспилотника. Разработки летающего такси ведутся и в других странах (Великобритания, Новая Зеландия, Япония). В Голландии на 2019 г. намечено производство первого серийного летающего автомобиля PAL-V Liberty — гибрида вертолета и автомобиля32.
Внимание к развитию роботизированного автотранспорта вполне объяснимо. За счет его эксплуатации в народном хозяйстве достигается решение ряда задач, в том числе:
1) осуществление перевозок грузов в опасных зонах (например, ставших очагами разного рода заражений), во время природных и техногенных катастроф или военных действий;
2) снижение себестоимости пассажиро- и грузоперевозок за счет исключения из процесса транспортировки труда водителей;
3) обеспечение ценовой доступности автотранспортных услуг для всех слоев населения в соответствии с транспортными стандартами;
4) повышение эффективности использования транспортных магистралей и горюче-смазочных материалов в связи с централизованным управлением автомобильным потоком, возможностью сужения ширины дорожных полос;
5) улучшение комфортности труда водителей-операторов;
6) самостоятельное перемещение на автомобиле лиц, которые в настоящее время не допускаются к управлению транспортными средствами в силу ряда причин (например, ослабленное зрение, несовершеннолетний возраст и др.);
28 URL: http://rly.su/uk/node/7037.
29 URL: https:/rg.ru/2017/09/15/ bespilotnye-poesda.
30 См. об этом подробно: Беспилотное транспортное средство с интеллектуальной системой диагностики и управления для условий Крайнего Севера и Арктики. Н. Новгород, 2017. С. 3.
31 См.: Беспилотное транспортное средство с интеллектуальной системой ... С. 30.
32 См.: Ячменникова Н. Улетное такси // Российская газета. 2018. 31 окт.
LEX 1PSSEA
7) существенное снижение аварийности, рисков и угроз безопасности на автомобильном транспорте, минимизация тяжких последствий в связи с исключением из этиологии дорожно-транспортных происшествий человеческого фактора (по некоторым данным, аварийность на дорогах может снизиться на 70—80 %);
8) значительное уменьшение вредного воздействия транспорта на окружающую среду и др.
В автомобилях для беспилотного движения используются интеллектуальные системы управления как на дорогах общего пользования, так и в условиях бездорожья. Беспилотные автомобили в основном разрабатываются для городских условий. Автопилот при этом движется на автострадах с регламентированным движением. Электроника может ориентироваться внутри размеченных полос и заранее отслеживает приближение нужного поворота.
Программное обеспечение беспилотного автомобиля может включать машинное зрение33 или нейросети34. Некоторые модели ориентируются на инфраструктурные системы (например, встроенные в дорогу или около нее); более продвинутые технологии позволяют имитировать присутствие человека на уровне принятия решения о рулении и скорости благодаря набору камер, сенсоров, радаров и спутниковой
навигации. В современных беспилотных автомобилях, как правило, используются алгоритмы на основе Бейесовского метода одновременной локализации и построения карт35 (SLAM, simultaneоus lоcalizatiоn and mapping). Суть работы алгоритма состоит в комбинировании данных с датчиков автомобиля и данных карт.
Крупнейшие мировые автомобилестроители планируют полностью автоматизировать общественный транспорт к 2022 г.:
1) специалисты компании Jaguar Land Rоver разрабатывают автопилотник для бездорожья, который в том числе работает на малых скоростях, умеет передавать информацию другим автомобилям, соединенным в колонну;
2) корпорация Renault-Nissan планирует создать автомобиль, который будет способен не только ехать без водителя в прямом направлении, но и менять полосы движения, самостоятельно пересекать перекрестки и двигаться в пробках;
3) компании General Motors и Lyft предполагают полностью автоматизировать управление автомобилем36;
4) компания Fоrd тестирует свои беспилотники в сложных условиях (снег, дождь, гололед) и рассчитывает их выпустить на дороги37. С 2015 г. в России активно развиваются
технологии, необходимые для создания бес-
33 Машинное зрение — это применение компьютерного зрения в производственном процессе; компьютерное зрение — это теория и технология создания машин, которые могут производить обнаружение, отслеживание и классификацию объектов.
Как установили исследователи из Университета Вашингтона, системы машинного зрения, применяемые в беспилотных автомобилях для распознавания дорожных знаков, легко дезориентировать — для этого достаточно определенным образом разместить на знаках небольшие наклейки. В экспериментах знаки оставались узнаваемыми для человека, а система автопилота давала сбой, например, знак STOP идентифицировала как ограничение скорости. Причем следует заметить, что испытанию подверглась не система какого-то конкретного автопроизводителя, а стандартный алгоритм работы автопилота. Результаты исследования демонстрируют степень уязвимости автоматики. Использованные на знаках искажения моделировали типичные поражающие факторы городской среды: акты уличного вандализма, порчу покрытия знака из-за погодных условий и т.д. Злоумышленники могут специально вносить изменения в дорожные знаки (по материалам интернет-изданий).
34 Нейронная сеть (искусственная) — математическая модель, а также программное или аппаратное воплощение, построенные по принципу организации и функционирования биологических нейронных сетей, т.е. сетей нервных клеток живого организма.
35 Метод одновременной локализации и построения карты — метод, используемый в мобильных автономных средствах для построения карты в неизвестном пространстве или для обновления карты в заранее известном пространстве с одновременным контролем текущего местоположения и пройденного пути.
36 Компании преследуют амбициозные цели: с помощью беспилотных автомобилей убедить людей отказаться от личных легковых автомашин и тем самым избавить города от пробок, сделать транспорт быстрее и безопаснее.
37 См. об этом подробно: Беспилотное транспортное средство с интеллектуальной системой ... С. 30—33.
пилотных автомобилей. Так, российская компания КамАЗ в рамках программы «Автонет»38 подготовила прототип модели беспилотного автомобиля39. Первый публичный тест-драйв беспилотного КамАЗа состоялся в Набережных Челнах 27 октября 2015 г. Машина самостоятельно выполнила «змейки», развороты и останавливалась перед пешеходами.
Среди российских автомобилестроителей разработкой беспилотного транспортного средства занимается и Горьковский автомобильный завод (ГАЗ). В 2010 г. компания начала участвовать в программе «Робототехника», а с 2018 г. приступила к тестированию в условиях городского движения автобуса ГАЗель NEXT40.
22 июня 2018 г. беспилотный автомобиль «Яндекса» совершил первую большую поездку из Москвы в Казань. Преодолев 780 км, машина в пути находилась 11 час (в дневное и ночное время), при этом 99 % времени двигалась в автоматическом режиме, соблюдая все скоростные ограничения.
В 2018 г. в «Сколково» запустили опытную зону для поездок на беспилотном общественном транспорте. Условия управления им приближены к тем, что есть на дорогах общего использования. Специалисты полагают, что первыми на улицах Москвы появятся беспилотные автобусы, а потом — такси. Это, скорее всего, будет смартбас, разработанный одной из российских компаний41.
Будущее автономных автомобилей в России зависит от ряда факторов, в том числе от развития дорожной сети, ее адаптации к «умным автомобилям», особенно в регионах. Если для таких транспортных средств не подготовить соответствующие дороги, то спроса на них, как считают специалисты, не будет42. В связи с этим в Стратегии развития автомобильной промышленности Российской Федерации на период до
2025 года, утвержденной распоряжением Правительства РФ от 28 апреля 2018 г. № 831-р43, подчеркивается, что «особую значимость для успешного развития беспилотного (автономного) транспорта приобретет усовершенствование и создание новой дорожной и информационно-телекоммуникационной инфраструктуры, обеспечивающих беспилотные (автономные, самоуправляемые) транспортные средства необходимыми сервисами и информацией».
Наряду с несомненными достоинствами, беспилотные автомобили, к сожалению, имеют недостатки, по крайней мере на сегодняшний день. Специалисты обращают внимание на следующие моменты:
1) ненадежность программного обеспечения, уязвимого в том числе к взлому и слежке, а в связи с последним обстоятельством — потеря приватности;
2) утрата рабочих мест водителей;
3) отсутствие опыта вождения у водителей в критической ситуации;
4) минирование беспилотных автомобилей. Вероятно, один из самых опасных факторов —
киберугрозы, являющиеся вызовами для любых подключенных к Интернету устройств, в том числе и автомобилей с беспилотным управлением: хакер может взломать сеть, остановить передачу данных, выключить тормоза, изменить направление движения и т.д. Специалисты по компьютерной безопасности Центра передовых технологий Uber обнаружили уязвимость в программном обеспечении автомобиля Jeep, благодаря которой смогли осуществить удаленный доступ к некоторым системам последнего: кондиционеру, стеклоочистителям, аудиосистеме и тормозам. «Киберинциденты — это проблема для любого автопроизводителя в мире. Это вопрос общественной безопасности», — отмечает гендиректор General Мо^^ Мэри Барра44.
38 Программа роботизации транспорта «Автонет» предусматривает направления развития роботизированных автомобилей. Входит в Национальную технологическую инициативу, финансируемую Правительством РФ. В России создана дорожная карта развития российского рынка беспилотных перевозок. Безусловным лидером среди проектов «Автонет» называют проект беспилотного грузовика КАМАЗ и ВИСТ Групп.
39 Презентация беспилотного автобуса КАМАЗ-1221 ШАТЛ (широкая адаптивная транспортная логистика), разработанного НАМИ и КАМАЗ, состоялась 12 июня 2018 г. в Казани. Снабженный искусственным интеллектом электромобиль способен развивать скорость до 110 км/ч.
40 См.: Феклистов И. Автопилот на главной дороге // Комсомольская правда. 2018. 24 июля.
41 См.: КулябкоЛ. Это не шутки — беспилотные маршрутки // Московский комсомолец. 2018. 30 авг.
42 См.: Шадрина Т. Без руля, но с головой // Российская газета. 2018. 22 мая.
43 СЗ РФ. 2018. № 19. Ст. 2804.
44 По материалам интернет-изданий.
В компании Argus, специализирующейся на разработках средств киберзащиты для автомобилей, считают, что какой-то единый продукт не может подойти для этих целей: различные решения, предназначенные для разных частей беспилотного транспортного средства, должны интегрироваться между собой, чтобы таким образом обеспечить полную защиту последнего.
Вероятно, по мере совершенствования автоматики эти и другие вызовы будут надежно парированы, однако на данный момент пока нет совершенного автопилота, есть случаи аварий с летальным исходом45.
В мировой практике дорожного движения уже зафиксированы дорожно-транспортные происшествия с участием беспилотников.
Первая авария произошла во Флориде (США) в мае 2015 г., в результате которой погиб оператор, находившийся в кабине беспи-лотника. Электромобиль Tesla с включенным автопилотом протаранил на шоссе тягач с прицепом, который двигался в перпендикулярном направлении, пытаясь пересечь перекресток. Автомобиль проехал под фурой, в результате чего у седана снесло крышу, затем вылетел с шоссе, протаранив два забора, и остановился, врезавшись в столб. Водитель беспилотника скончался на месте происшествия.
В Tesla считают, что причина ДТП может состоять в том, что автоматика, под управлением которой находилось транспортное средство, не успела распознать опасность из-за белого цвета прицепа грузовика на фоне яркого неба. По той же причине, по предположению автопроизводителя, не среагировал вовремя и сам водитель, который мог бы взять управление машиной на себя (яркое солнце могло ослепить его). По другой версии, автопилот мог дать сбой из-за длинного свеса прицепа фуры и большого дорожного просвета, что помешало автоматике «увидеть» препятствие46.
Вторая трагедия произошла в американском г. Темпе (штат Аризона), где 21 марта 2018 г. спортивный внедорожник Uber насмерть сбил 49-летнюю женщину. При этом в кабине «автономно управляемой машины» сидел оператор,
предусмотренный как раз на случай экстренных ситуаций. «...Было бы очень сложно избежать этого столкновения в любом режиме — автономном или с водителем — основываясь на том, как она (велосипедистка) выскочила из тени прямо на дорогу. Uber вряд ли виноват в этом инциденте, — заявила шеф полиции г. Темпе С. Моир. — Ни камеры, ни человек, сидевший в кабине испытываемого автомобиля, не заметили велосипед до момента столкновения. В частности, водитель понял, что произошло столкновение, только услышав его звук. Автомобиль, оснащенный двумя камерами, также не предпринял попытки затормозить. Машина двигалась со скоростью 38 миль в час (61 км/ час) в зоне с ограничением скорости в 35 миль в час»47.
В обоих случаях не было выявлено каких-либо дефектов в технике, которые могли бы спровоцировать аварийную ситуацию48. Не был решен и вопрос об уголовной ответственности за причиненный вред и в первую очередь из-за пробелов в уголовном законе.
2 апреля 2018 г. первый дрон «Почты России» в качестве эксперимента должен был доставить отправление из Улан-Удэ в поселок, находящийся недалеко от города. Однако в воздухе коптер продержался недолго. Пролетев считаные метры, он спикировал на жилой дом. Компания — производитель дрона заявила, что произошел сбой в бортовом оборудовании. Скорее всего, невидимым препятствием стал сигнал сети Wi-Fi49.
В алгоритм поведения машины закладываются типовые ситуации. Проблема возникает, если компьютер не может распознать нестандартную обстановку (например, есть видео, как женщина на инвалидной коляске собирает на проезжей части дороги разбежавшихся уток). Кроме того, практически все беспилотные автотранспортные средства работают только в хорошую погоду. Для визуализации они используют лидар или видеокамеру, которые в снег, дождь, грозу, туман практически не работают, что, по сути, ведет к «слепоте» транспортного средства50.
45 США проверяют электрокары Tesla после смертельной аварии при езде на автопилоте // URL: http:// www.bbc.com/russian/news-36680004 (дата обращения: 01.09.2018).
46 Ломакин Д. Первая жертва автопилота // Газета.ш.
47 РИА Новости. URL: https:/ria.ru/world/20180320/1516807246.html.
48 Забродина Е. Нечеловеческий фактор // Российская газета. 2018. 21 марта.
49 Первый дрон «Почты России» разбился вскоре после запуска // URL: https:/www.1tv.ru/ news/2018-04-02/.
50 См.: КулябкоЛ. Указ. соч.
Беспилотные машины, функционирование которых напрямую зависит от сложнейших электронных систем, являются уязвимыми и по другим причинам. Директор высокогорной обсерватории Национального центра атмосферных исследований (Колорадо) Скотт Макинтош, например, утверждает, что указанные транспортные средства, использующие спутниковую навигацию и электронные блоки для обработки GPS-сигнала, могут быть поражены сильной магнитной бурей. Проблема осложняется тем, что на данный момент не существует методик распознавания и средств раннего предупреждения о геомагнитных возмущениях и в ближайшем будущем их появление не предвидится. Сейчас оценить масштабы и интенсивность воздействия всплесков космической энергии на земную атмосферу можно лишь за несколько часов до того, как потоки выброшенных Солнцем частиц начинают взаимодействовать с магнитосферой Земли. При этом даже ключевые и экстренные службы, например авиация или флот, получают предупреждения о геомагнитной аномалии всего лишь за час до ее возникновения51.
Беспилотники и законодательство
В некоторых странах в том или ином виде нормативные документы, регулирующие эксплуатацию беспилотных автомобилей, разработаны или активно разрабатываются. При этом отмечаются как удачные, так и неудачные примеры. Так, законодательство большинства стран запрещает использование указанных транспортных средств на дорогах общего пользования. Законодатели Аризоны пытались принять закон, регулирующий функционирование беспилотников на дорогах штата, но не смогли разрешить проблему, кто должен нести ответственность за аварию: владелец автомобиля, компания, разработавшая технологию, или автопроизводитель, изготовивший и продавший
транспортное средство? Власти Калифорнии сформулировали предварительные правила, которые предполагают, что в случае необходимости водитель должен установить полный контроль над своим автомобилем. Это создало потенциальную проблему для компании Alphabet, так как в разработанном ею прототипе беспилотного автомобиля изначально не было рулевого колеса и педалей52.
Специалисты Германии закрепили этические нормы для беспилотных автомобилей, запретив искусственному интеллекту принимать решения, которые могут спасти жизни одних людей, причинив ущерб другим. Они перекликаются с тремя законами робототехники Айзека Азимова53 и сформулированы следующим образом:
1) материальный вред приоритетнее, чем вред, нанесенный физическому лицу;
2) исключается всякая классификация людей, например по возрасту и т.д.;
3) ответственность за вред несет производитель.
Исходя из указанных представлений о поведении искусственного автомобильного интеллекта был разработан и бундесратом одобрен закон, определяющий правовые основы использования беспилотных автомобилей на дорогах общего пользования. Главным условием, предусмотренным этим законом, является обязательность нахождения за рулем водителя, готового в любой момент взять управление транспортным средством в свои руки. Кроме того, в беспилотном автомобиле должен быть установлен так называемый черный ящик, который будет фиксировать ход поездки. В случае дорожно-транспортного происшествия данные с черного ящика покажут, кто был виноват в аварии — водитель или автопилот. В случае если авария произошла из-за технической ошибки, ответственность понесет автопроизводитель54.
51 Строкер М. Солнечный удар // Московский комсомолец. 2018. 23 марта.
52 По материалам интернет-изданий.
53 Три закона робототехники — обязательные правила поведения для роботов, впервые сформулированные Айзеком Азимовым в рассказе «Хоровод» (1942). Законы гласят:
1) робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред;
2) робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат первому закону;
3) робот должен заботиться о своей безопасности в той мере, в которой это не противоречит первому или второму законам.
54 Подробно см.: Нигматуллин И. Германия придумала три этических правила для беспилотных авто // URL: https://hightech.fm/2016/09/12/3-rules.
LEX 1Р?Ж
Во всех ситуациях аварии с участием беспилотного автомобиля будет действовать «презумпция виновности», т.е. виновным всегда будет считаться водитель, пока данные черного ящика или другие результаты расследования происшествия не докажут обратного.
К сожалению, Россия меньше других стран продвинулась в разработке законодательства в сфере использования роботомобилей. 30 марта 2016 г. состоялся круглый стол на тему «Нормативно-правовое регулирование применения беспилотных систем в Российской Федерации», организованный Комитетом по науке и наукоемким технологиям Государственной Думы РФ. По результатам обсуждения были подготовлены рекомендации Государственной Думе, в частности предлагалось внести изменения в Правила дорожного движения, ГК РФ55 и УК РФ56.
На наш взгляд, помимо указанных отраслей права требует изменений и дополнений КоАП РФ, а также целый ряд федеральных законов: «О безопасности дорожного движения», «Об автомобильных дорогах и дорожной деятельности в Российской Федерации и о внесении изменений в отдельные законодательные акты Российской Федерации» и др.
Между тем в недавно принятой Стратегии безопасности дорожного движения в Российской Федерации на 2018—2024 годы о беспилотных транспортных средствах нет даже упоминания57.
Беспилотники и этико-правовые
проблемы: «казус вагонетки»
Помимо технологических проблем, при переходе на массовое использование беспилотных транспортных средств необходимо решить
и ряд других проблем, в том числе моральных, вытекающих из действий автопилота. По сути, речь идет о двух проблемах: этической — она заключается в вопросе выбора наиболее приемлемого числа жертв («проблема вагонетки»), и связанной с ней уголовно-правовой проблеме причинения вреда в состоянии крайней необходимости.
«Проблема вагонетки»58 — мысленный эксперимент в этике, впервые сформулированный в 1967 г. английским философом Филип-пой Фут59. Находясь вне рамок стандартных философских вопросов, казус вагонетки играет большую роль в когнитивистике и нейроэтике. Ее суть — проблема выбора в следующей ситуации : тяжелая неуправляемая вагонетка несется по железнодорожным путям; на пути ее следования находятся пять человек, привязанных к рельсам; вы можете переключить стрелку — и тогда вагонетка пойдет по другому, запасному пути, на котором находится один человек, также привязанный к рельсам. В этой ситуации надо принять единственное решение, соответствующее вашим убеждениям, нравственным и этическим представлениям.
Концепция утилитаризма предписывает в обязательном порядке переключить стрелку. Согласно этой концепции переключение стрелки является не единственным допустимым действием, но с точки зрения морали лучшим (другая возможность — не делать ничего). Альтернативная точка зрения заключается в том, что в данной ситуации моральная травма неизбежна, поэтому переключение фактически делает случайного свидетеля ответственным за смерть людей (или одного человека), в то время как в противном случае единственным ответственным будет тот, кто привязал людей
Проблема правового регулирования ответственности за вред, причиненный беспилотным автомобилем, обсуждается и в российской периодической печати (см.: Баршев В., Тарасов С. Испытал на вождение // Российская газета. 2018. 6 сентяб.).
55 Предлагалось изменить редакцию ст. 1079 ГК РФ таким образом, чтобы понятия «автомобиль» и «транспортное средство» охватывали и понятие «беспилотное транспортное средство».
56 URL: duma.gov.ru/news/12015/.
57 См.: Российская газета. 2018. 25 янв.
58 Эта этическая головоломка стала настолько значимой не только в философии, но и в области неврологии, поведенческой экономики, эволюционной психологии и в мем-культуре, что даже возник неологизм «вагонеткология».
59 Филиппа Фут (1920—2010) — английский философ, работавшая преимущественно в области этики. Проблема вагонетки стала популярной благодаря философу Джудит Джарвис Томсон. Правда, в ее работе 1976 г. «Убить, позволить умереть и проблема вагонетки» оригинальный сценарий был несколько изменен.
Похожая проблема была предложена и Питером Анжером («Человек на лужайке»).
к рельсам и пустил по путям вагонетку. Также оппоненты переключения стрелки подчеркивают невозможность сравнивать человеческие жизни60.
Интересный психологический феномен был выявлен психологом Жан-Франсуа Бонефон (г. Тулуза). Опрошенные им люди в целом поддерживают идею, что в критической ситуации робомобиль должен врезаться в стену или еще каким-то образом пожертвовать водителем, чтобы спасти большее число пешеходов. При этом те же самые респонденты хотят ездить в автомобилях, которые защищают водителя любой ценой, даже если это повлечет смерть других участников дорожного движения61. Такой конфликт ставит в сложное положение разработчиков компьютерных систем и производителей беспилотных автомобилей. Ж.-Ф. Бонефон отмечает, что между автомобилем, который запрограммирован на благо для большинства и который запрограммирован на защиту пассажира, покупатели в подавляющем большинстве выберут второе.
В области использования робомобилей есть и другие сложные моральные вопросы. Из-за специфики дорожного движения, видов его участников, разнообразного набора транспортных средств, различных погодных условий и т.д. беспилотники будут вынуждены принимать решения, последствия которых заранее предсказать либо вообще нельзя, либо очень сложно. Допустимо ли, например, запрограммировать систему на то, чтобы она избежала столкновения с мотоциклистом, врезавшись в стену? Даже в этом случае у пассажира больше шансов выжить, чем у мотоциклиста, столкнувшегося с автомобилем.
В том же ряду находится проблема так называемого черта из табакерки, когда перед беспилотным транспортным средством внезапно появляются другой автомобиль, пешеход, животное, посторонние предметы и т.п. Скажем, что делать, если беспилотник едет на высокой скорости, а на трассу вдруг выскакивает собака? Тормозить, подвергая риску своих пассажиров, а также автомобили, которые едут следом? Какое решение закладывать в мозг робота? Не
получится ли, что беспилотник может превратиться в беса-пилотника? В подобных ситуациях беспилотное транспортное средство может уподобиться «всаднику без головы». «Автономные автомобили могут произвести революцию в транспортной индустрии, но они ставят социальную и моральную дилемму, которая может затормозить распространение этой технологии», — замечает в этой связи ученый из Университета Калифорнии Лиад Рован62.
Есть и еще один важный аспект рассматриваемой проблемы. Ученые Массачусетского технологического института провели масштабное исследование (опрошено 2,3 млн чел. из 200 стран мира) и установили: в разных странах очень разные представления о том, как должны вести себя робомобили в критических ситуациях. Их вывод: различия между индивидуалистическими и коллективистскими культурами столь существенны, что они создадут большие проблемы для разработчиков универсальной машинной этики63.
Психолог Курт Грей из Университета Северной Каролины считает, что можно достигнуть необходимых в этом случае компромиссов. Если беспилотные автомобили и будут запрограммированы защищать пассажира в экстренных ситуациях, число дорожных инцидентов так или иначе снизится: они в любом случае не будут употреблять алкоголь, превышать скорость, на ходу набирать текстовые сообщения и др.
Старший вице-президент Intel профессор Амнон Шашуа предложил способ, позволяющий подтвердить безопасность беспилотных автомобилей. Представленная математическая модель RSS (Respоnsibility Sensitive Safety) предусматривает конкретные, поддающиеся измерению параметры, характеризующие человеческие представления об осторожности и ответственности, определяет так называемое безопасное состояние (Safe State).
Однако надо иметь в виду, что все современные правила и нормативные акты исходят из того, что автомобилем управляет водитель, поэтому для регламентирования функционирования беспилотных автомашин надо вводить новые параметры. «Ключевым моментом сей-
60 По материалам интернет-изданий.
61 Респондентов спрашивали, должна ли система автопилота быть сконструирована таким образом, чтобы защищать жизнь водителя любой ценой, даже если в экстренной ситуации для этого необходимо протаранить толпу пешеходов (по материалам интернет-изданий).
62 По материалам интернет-изданий.
63 См.: Симонов А. Мораль беспилотника // Российская газета. 2018. 7 ноября.
час является возможность установить виновника аварии. Даже самые лучшие водители в мире попадают в дорожно-транспортные происшествия, беспилотные автомобили также не могут избежать этой участи из-за действий других участников дорожного движения. Но вероятность того, что ответственный и осторожный водитель попадет в аварию по собственной вине, очень мала, особенно если водителю доступен панорамный обзор, а сам он обладает молниеносной реакцией — как у беспилотного автомобиля», — утверждает А. Шашуа. RSS позволяет формализовать работу беспилотных автомобилей, в результате чего они будут работать только в рамках той модели, которая считается безопасной (безопасной исходя из четких определений вины) и которая одобрена представителями отрасли и соответствующими инстанциями64.
В уголовном праве проблема вагонетки, в частности, спрягается с причинением вреда в состоянии крайней необходимости, относящимся к обстоятельствам, исключающим преступность деяния. Согласно ст. 39 УК РФ не является преступлением причинение вреда охраняемым уголовным законом интересам в состоянии крайней необходимости, т.е. для устранения опасности, непосредственно угрожающей личности и правам данного лица или иных лиц, охраняемым законом интересам общества или государства, если эта опасность не могла быть устранена иными средствами и при этом не было допущено превышение пределов крайней необходимости.
Практика показывает, что ситуация крайней необходимости в дорожном движении встречается достаточно часто.
Беспилотники и проблемы
уголовной ответственности
Беспилотные транспортные средства функционируют не абсолютно самостоятельно, они входят в соответствующий комплекс, имеющий в своем составе другие беспилотные транспортные средства, центр управления, диспетчерские пункты, ретрансляционные узлы, станции подзарядки и т.д. Беспилотники могут быть дистанционно управляемыми (по-
явились раньше) и автономными (встречаются пока реже). Как правило, автономность не является абсолютной. В необходимых случаях диспетчер имеет возможность корректировать функционирование транспортного средства или вообще перевести его на ручное дистанционное управление. В связи с этим в теории выделяются степени автономности автомобилей. По классификации Сообщества автомобильных инженеров SAE International существует шесть уровней автономности систем помощи водителю (Advanced Driver Assistance System):
— уровень 0 — полностью ручное управление с возможностью предупреждения об опасных ситуациях на дороге (наличие системы уведомлений);
— уровень 1 — водитель должен быть готов в любой момент взять управление на себя; могут присутствовать следующие автоматизированные системы: круиз-контроль (Adaptive Cruise соп^о!), автоматическая парковочная система и система предупреждения о сходе с полосы (Lane Keeping Assistance);
— уровень 2 — водитель должен реагировать, если система не смогла справиться самостоятельно. Автоматика управляет ускорением, торможением и рулением; система может быть отключена;
— уровень 3 — водитель может не контролировать машину на дорогах с «предсказуемым» движением (например, автобаны), но должен быть готов взять управление на себя;
— уровень 4 — аналогичный уровню 3, но уже не требует внимания водителя;
— уровень 5 — со стороны человека не требуется никаких действий, кроме запуска системы и указания пункта назначения; автоматизированная система может обеспечить проезд до любой точки назначения, не запрещенного законом.
Внедрение технологии беспилотного движения требует значительного изменения и нормативной базы на железной дороге. В 2014 г. вышел стандарт МЭК 6229065, определяющий основные степени автоматизации и функции для реализации беспилотной системы управления.
64 По материалам интернет-изданий.
65 Настоящий стандарт является модифицированным по отношению к международному стандарту МЭК 62290-1:2014 «Железные дороги. Системы оперативного управления и контроля городским транспортом. Часть 1. Принципы и фундаментальные концепции построения системы» (IEC 62290-1:2014 «Railway applications. Urban guided transport management and command/control systems. Part 1: System
В стандарте предусмотрены пять степеней автоматизации (от 0 до 4). При 0-й степени автоматизации за управление и безопасность движения полностью отвечает машинист. При 1-й степени на поезде установлено бортовое устройство безопасности, не допускающее превышение скорости и проследование запрещающего показания сигнала. За непосредственное управление движением поезда отвечает машинист. При 2-й степени автоматизации на борту дополнительно появляется система автоведения, отвечающая за управление движением поезда. Машинист включает систему автоведения, наблюдает за свободностью пути, открытием (закрытием) дверей, производит соответствующие действия в случаях возникновения нештатных ситуаций. При 3-й степени автоматизации машинист на борту отсутствует. Из персонала в поезде присутствует только проводник, отвечающий за открытие (закрытие) дверей и действия в случае возникновения нештатных ситуаций. Все остальные функции по управлению движением выполняет автоматическая бортовая система. При 4-й степени персонал на борту отсутствует, управление движением поезда осуществляется полностью в автоматическом режиме.
Стандарт МЭК 62290 определяет функции, необходимые для реализации беспилотной системы управления поездами, которые собраны в шесть основных групп: 1) обеспечение безопасного движения поездов; 2) ведение поезда; 3) контроль свободности пути; 4) контроль посадки/высадки пассажиров; 5) управление поездом; 6) обеспечение выявления чрезвычайных ситуаций и действия при их обнаружении66.
Для решения вопросов по развитию беспилотных технологий распоряжением Министерства транспорта создана рабочая группа «Развитие беспилотных технологий в транспортном комплексе Российской Федерации». Основная ее цель — формирование предложений по совершенствованию действующей нормативной правовой базы в части создания условий для развития и внедрения технологий беспилотных транспортных средств и связанной транспортной инфраструктуры67.
В ситуации, когда в управление транспортным средством в той или иной степени вовлечен водитель (машинист, пилот, штурман и т.д.), действуют имеющиеся нормы УК РФ. Иное дело при полной автономизации транспортного средства.
Очевидно, что на нынешнем этапе создания нормативно-правовой базы, регламентирующей порядок функционирования БТС, а также основания и условия ответственности за нарушение этого порядка (т.е. в ситуации практически полного отсутствия такой базы), можно говорить лишь о разработке некоего алгоритма, позволяющего сконструировать цепь последовательных действий, направленных на построение в конечном счете замкнутого контура необходимой нормативно-правовой системы.
Такого рода действиями должны быть признаны:
1. Разработка стандартов,технических регламентов и правил функционирования (управления движением и эксплуатацией) БТС с учетом известной специфики, которой обладают современные традиционные виды транспорта. Разработку указанных нормативов придется осуществлять применительно к конкретным видам БТС.
Правовую неопределенность в этой сфере необходимо будет преодолевать на уровне как международного права, так и национального законодательства.
По этому пути уже пошли разработчики беспилотных автомобилей. Так, в сентябре 2018 г. эксперты из многих стран рассмотрели проект поправок к Венской конвенции о дорожном движение 1968 г., которые приравнивают действия автоматизированной системы управления автомобилем к вождению машины человеком. Проект поправок инициирован и подготовлен российскими экспертами Национальной технологической инициативы (НТИ) «Автонет». Документ будет рассмотрен на Всемирном форуме по безопасности дорожного движения Комитета по внутреннему транспорту Европейской экономической комиссии ООН (ЕЭК ООН).
principles and fundamental concepts») путем изменения содержания отдельных структурных элементов. Оригинальный текст этих структурных элементов примененного международного стандарта и объяснение причин внесения технических отклонений приведены в дополнительном приложении ДА. При этом потребности национальной экономики Российской Федерации учтены в дополнительном пункте 4.2.1.7.
66 URL: http://rly.su/uk/node/7037.
67 URL: http://rly.su/uk/node/7037.
Сейчас в отношении допуска на дороги общего пользования беспилотников существует правовая неопределенность. Чтобы начать процесс устранения этого пробела, в Конвенцию, в частности, предлагается ввести определения терминов «высокоавтоматизированное транспортное средство» и «среда штатной эксплуатации» — это эксплуатационные, географические, временные, дорожные, инфраструктурные и иные условия, для функционирования в которых специально предназначена автоматизированная система вождения. Таким образом, беспилотники получат право передвигаться не по всем дорогам общего пользования, а лишь по оборудованным специальными датчиками и метками, по которым машины будут ориентироваться.
В дальнейшем аналогичные изменения должны быть имплементированы в национальные законодательства, в том числе и в российское68.
Подобные правовые процедуры необходимо будет осуществить и применительно к другим видам БТС.
2. Разработка различных видов и мер правовой ответственности за нарушение правил функционирования (управления движением и эксплуатацией) беспилотных транспортных средств. Видимо, не составит особого труда регламентация таких мер в рамках гражданского, трудового и административного права. Например, в гражданском праве это можно будет осуществить в границах института невиновного причинения вреда владельцем источника повышенной опасности, в административном праве — за счет использования института административной ответственности юридических лиц.
3. Разработка видов, мер, оснований, условий и порядка реализации ответственности в уголовном праве за совершение преступлений с участием беспилотных транспортных средств. С наибольшим количеством проблем столкнется законодатель в процессе регламентации именно уголовной ответственности за преступления данной категории. Это вполне объяснимо: во-первых, российскому уголовному законодательству пока не знаком институт уголовной ответственности юридических лиц. Но даже после его возможного введения в УК РФ все равно остается открытым вопрос о персональной ответственности физического лица — субъекта транспортного преступления;
во-вторых, самую острую проблему здесь составит определение именно субъекта преступления; в-третьих, поскольку состав нового вида транспортных преступлений будет сконструирован, скорее всего, по типу материального, у правоприменителя в процессе его квалификации возникнут колоссальные сложности с определением конкретного пункта нарушенных виновным правил безопасного управления БТС и не меньшие — с установлением причинной связи между нарушенными правилами и наступившим преступным результатом; в-четвертых, не исключено также, что значительный массив подобного рода транспортных преступлений будет совершаться в ситуации так называемого неосторожного сопричинения, а это еще больше осложнит поиск и установление их субъектов.
Несмотря на отмеченные сложности, возьмем на себя смелость утверждать: допустимость, возможность и целесообразность установления в обозримом будущем нового уголовно-правового запрета в сфере обеспечения безопасности транспортной деятельности вполне очевидны.
4. В технико-юридическом оформлении уголовно-правовой нормы возможны варианты. Оптимальной, с нашей точки зрения, выглядит следующая парадигма.
А. Нам представляется, что уголовно-правовой запрет должен быть сформулирован в виде единой, универсальной нормы, распространяющей свое действие на все виды беспилотных транспортных средств.
Конструирование норм об ответственности за транспортные преступления должно базироваться на принципах единообразного и унифицированного формулирования диспозиций и санкций этих норм. Указанные элементы должны быть согласованы между собой в рамках не только отдельных статей, но и всей системы в целом. Такая согласованность достижима лишь при условии отказа от использования в качестве ведущего криминализационного критерия различных видов транспортных средств.
Изложенное предопределяет необходимость наброска (хотя бы в самых общих чертах) определенных требований, которым должен отвечать уголовно-правовой запрет абсолютно нового вида (типа)девиантного поведения в сфере транспортной деятельности.
Прежде всего отметим тот очевидный для нас факт, что возможная в ближайшее время
68 См.: Шадрина Т. Беспилотникам оформляют права // Российская газета. 2018. 8 авг.
криминализация нового вида транспортных преступлений будет полностью отвечать требованиям, предъявляемым доктриной уголовно-правовой политики к основаниям установления уголовно-правового запрета. Известно, что криминализация транспортного преступления может быть признана научно обоснованной лишь при учете законодателем совокупности целого ряда факторов, важнейшими из которых являются: определенная степень общественной опасности деяния, его относительная распространенность и типичность, неблагоприятная динамика данного вида транспортного правонарушения, возможность воздействия на него уголовно-правовыми средствами, невозможность успешной борьбы менее репрессивными мерами, отсутствие негативных побочных последствий запрета, наличие материальных ресурсов для его реализации, определенный уровень общественного правосознания и психологии населения69.
Не приходится сомневаться, что с появлением различных видов беспилотных (полностью автономных) транспортных средств, их широким тиражированием и включением в повседневную транспортную деятельность все перечисленные выше факторы актуализируются и поставят законодателя перед необходимостью решать вопрос о криминализации нового общественно опасного деяния. Оно (деяние) возникнет как негативный побочный продукт современного научно-технического прогресса в сфере транспортной деятельности и потребует разработки уголовно-правовых мер борьбы с ним с той же неизбежностью, с какой в недалеком прошлом научно-техническая революция породила саму систему транспортных преступлений.
Вряд ли при этом можно будет найти веские аргументы, объясняющие необходимость объединения в одной норме ответственности за нарушение правил безопасности движения и эксплуатации железнодорожного, воздушного, морского, внутреннего водного транспорта, метрополитена и невозможность включения в нее ответственности за аналогичные нарушения на других видах механического транспорта. Связь между железнодорожным и морским транспортом уловить столь же непросто, как и между воздушным и автомобильным. Если законодатель не усматривает различий в специ-
фике преступлений на таких видах транспорта, как железнодорожный, водный и воздушный, установив ответственность за их совершение в одной норме, то нет оснований полагать, что особенности посягательств на безопасность функционирования других видов механического транспорта столь существенны, что не позволяют сформулировать все эти преступления в виде единого состава.
Б. Поскольку диспозиция нормы (de lega ferenda) с неизбежностью будет носить бланкетный характер, предлагается состав преступления сконструировать по типу материального, взяв за основу те признаки объективной стороны (речь идет о последствиях), которые фигурируют в ч. 1—3 ст. 263 УК РФ.
При этом никаких дополнительных частей (вроде тех, что можно обнаружить сегодня в ст. 264 УК РФ) конструировать не придется: «пьяный робот-автопилот» или «нетрезвая беспилотная программа» невозможны по определению.
В. Субъект преступления, бесспорно, специальный. Однако трактовка его, на наш взгляд, должна быть достаточно широкой. Данный элемент состава преступления должен включать:
1) персонифицированных разработчиков конкретной компьютерной программы, предназначенной для конкретного БТС;
2) лиц, контролирующих безопасную эксплуатацию этих программ;
3) владельцев БТС, обязанных осуществлять текущий контроль за безопасными условиями их эксплуатации;
4) лиц, находящихся в БТС и осуществляющих непосредственный контроль за безопасностью его эксплуатации.
5. В примечании к статье УК РФ, устанавливающей уголовную ответственность за нарушение правил безопасности функционирования (движения или эксплуатацию) беспилотных транспортных средств, целесообразно дать законодательное определение понятия БТС.
Такой (в самых общих чертах) нам видится дорожная карта разработки нормативной правовой базы, призванной урегулировать весь комплекс вопросов, связанных с появлением и внедрением в практическую человеческую деятельность еще одного достижения четвертой промышленной революции — беспилотных транспортных средств.
69 См.: Коробеев А. И. Транспортные преступления и транспортная преступность. М., 2015. С. 419.
БИБЛИОГРАФИЯ
1. Баршев В., Тарасов С. Испытал на вождение // Российская газета. — 2018. — 6 сентября.
2. Беспилотное транспортное средство с интеллектуальной системой диагностики и управления для условий Крайнего Севера и Арктики. — Н. Новгород, 2017.
3. Вальченко С. В. России построят «солнечный» беспилотник-гигант // Московский комсомолец. — 2018. — 7 июня.
4. Дмитриев В. И., Каретников В. В. Методы обеспечения безопасности мореплавания при внедрении беспилотных технологий // Вестник Государственного университета морского и речного флота имени адмирала С. О. Макарова. — 2017. — Т. 9. — № 6.
5. Забродина Е. Нечеловеческий фактор // Российская газета. — 2018. — 21 марта.
6. Каретников В. В., Пащенко И. В., Зайцев А. И. Основные аспекты современных инфокоммуникаци-онных технологий для обеспечения беспилотного судовождения на водном транспорте // Вестник Государственного университета морского и речного флота имени адмирала С. О. Макарова. — 2016. — Вып. 1 (35).
7. Карякин В. В. Беспилотные летательные аппараты — новая реальность войны // Проблемы национальной стратегии. — 2015. — № 3.
8. Князькина А. К., Чучаев А. И. Конвенциональные преступления в Уголовном кодексе РФ и международных актах. — М., 2007.
9. Кондратьев А. И., Худякова О. А., Понов А. Н. О необходимости внедрения беспилотных судов в торговый флот России // Транспортное дело в России. — 2016. — № 6.
10. Коробеев А. И. Транспортные преступления и транспортная преступность. — М., 2015.
11. КулябкоЛ. Это не шутки — беспилотные маршрутки // Московский комсомолец. — 2018. — 30 августа.
12. Макухин А. А. Законодательное регулирование правового статуса беспилотных летательных аппаратов // Научный вестник Крыма. — 2017. — № 1 (6).
13. Нигматуллин И. Германия придумала три этических правила для беспилотных авто // URL: https:// hightech.fm/2016/09/12/3-rules.
14. Симонов А. Мораль беспилотника // Российская газета. — 2018. — 7 ноября.
15. Солдатов Е. Л., Кульнев С. В., Лемешкин Р. Н. Беспилотные летательные аппараты // Армейский сборник. — 2010. — № 3.
16. Строкер М. Солнечный удар // Московский комсомолец. — 2018. — 23 марта.
17. Феклистов И. Автопилот на главной дороге // Комсомольская правда. — 2018. — 24 июля.
18. Фетисов С. В., НеугодниковаЛ. М., Адамовский В. В., Красноперов Р. А. Беспилотная авиация. Терминология, классификация, современное состояние. — Уфа, 2014.
19. Фокин М. С., Рязанов Н. С. Актуальные проблемы уголовно-правовой регламентации противоправного использования беспилотных мобильных средств // Актуальные проблемы российского права. — 2018. — № 1.
20. Шадрина Т. Без руля, но с головой // Российская газета. — 2018. — 22 мая.
21. Шадрина Т. Беспилотникам оформляют права // Российская газета. — 2018. — 8 августа.
22. Ячменникова Н. Улетное такси // Российская газета. — 2018. — 31 октября.
Материал поступил в редакцию 19 ноября 2018 г.
UNMANNED VEHICLES: NEW CHALLENGES TO PUBLIC SECURITY70
KOROBEEV Aleksandr Ivanovich, Doctor of Law, Professor, Head of the Department of Criminal Law and Criminology of the Far Eastern Federal University, Honored Scientist of the Russian Federation 690091, Russia, Vladivostok, ul. Sukhanova, d. 8 [email protected]
CHUCHAEV Aleksandr Ivanovich, Doctor of Law, Professor, Professor of the Department of Criminal Law of the Kutafin Moscow State Law University (MSAL) 125993, Russia, Moscow, ul. Sadovaya-Kudrinskaya, d. 9 [email protected]
Abstract. The paper gives a general description of unmanned ground, aerial, surface, underwater, space vehicles developed in Russia and abroad to be used for military purposes and national economy. In general, the paper highlights principles of their functioning and the degree of their autonomy. Special attention is paid to the danger they create to a person, property, etc., in traffic accidents and when moral and legal problems are involved (in compliance with the concepts of a "trolley case" and necessity that are often applied in common practice, e.g. concerning road transport). The authors suggest a road map according to which, first, gaps in the legislation (i.g. in civil and administrative law) should be eliminated; second, the rules of traffic safety and operation of unmanned vehicles should be determined, and, third, a criminal law on liability for damage caused by the drone should be elaborated. Main approaches to the definition of this criminal law prohibition are indicated and the most important algorithms of criminalization of the act in question are highlighted.
Keywords: unmanned vehicles (UMV), surface UMV, underground UMV, aerial UMV, underwater UMV, "trolley case", ethics, legal regulation, emergency, crime, legal nature, criminalization, criminal responsibility, criminal offender .
1. Barshev V., Tarasov S. Ispytal na vozhdenie [Tested on driving]. Rossiyskaya Gazeta. 2018. Sept. 6. (In Russ.)
2. Bespilotnoe transportnoe sredstvo s intellektualnoy sistemoy diagnostiki i upravleniya dlya usloviy Kraynego Severa i Arktiki [Unmanned vehicle with intelligent diagnostic and control system for the conditions of the Far North and the Arctic]. N. Novgorod, 2017. (In Russ.)
3. Valchenko S. V Rossii postroyat «solnechnyy» bespilotnik-gigant [In Russia they will build a "solar" giant drone]. Moskovsky Komsomolets. 2018. June 7. (In Russ.)
4. Dmitriev V. I., Karetnikov V. V. Metody obespecheniya bezopasnosti moreplavaniya pri vnedrenii bespilotnykh tekhnologiy [Methods of ensuring safety of navigation in the implementation of unmanned technologies]. Vestnik gosudarstvennogo universiteta morskogo i rechnogo flota imeni admirala S.O. Makarova. 2017. Vol. 9. No. 6. (In Russ.).
5. Zabrodina E. Nechelovecheskiy faktor [An inhuman factor]. Rossiyskaya gazeta. 2018. March 21. (In Russ.).
6. Karetnikov V.V., Pashchenko I.V., Zaytsev A.I. Osnovnye aspekty sovremennykh infokommunikatsionnykh tekhnologiy dlya obespecheniya bespilotnogo sudovozhdeniya na vodnom transporte [The main aspects of modern information and communication technologies for unmanned navigation on water transport]. Vestnik gosudarstvennogo universiteta morskogo i rechnogo flota imeni admirala S.O. Makarova. 2016. Issue 1 (35). (In Russ.)
7. Karyakin V. V. Bespilotnye letatelnye apparaty — novaya realnost voyny [Unmanned aerial vehicles — a new reality of the war]. Problemy natsionalnoy strategii. 2015. No. 3. (In Russ.).
8. Knyazkina A.K., Chuchaev A.I. Konventsionalnye prestupleniya v Ugolovnom kodekse RF i mezhdunarodnykh aktakh [Conventional crimes in the Criminal code and international acts]. Moscow, 2007. (In Russ.)
70 The study has been carried out with financial support of the RFFR under agreement No. 18-29-16162\18.
REFERENCES
9. Kondratev A.I., Khudyakova O.A., Ponov A.N. O neobkhodimosti vnedreniya bespilotnykh sudov v torgovyy flot Rossii [The necessity of implementation of unmanned ships in the merchant fleet of Russia]. Tansportnoe delo v Rossii [Transport Business of Russia]. 2016. No. 6. (In Russ.).
10. Korobeev A. I. Transportnye prestupleniya i transportnaya prestupnost [Transport offenses and transport crime]. Moscow, 2015. (In Russ.).
11. Kulyabko L. Eto ne shutki — bespilotnye marshrutki [This is not a joke — unmanned share taxis]. Moskovsky Komsomolets. 2918, Aug 30. (In Russ.).
12. Makukhin A. A. Zakonodatelnoe regulirovanie pravovogo statusa bespilotnykh letatelnykh apparatov [Legislative regulation of the legal status of unmanned aerial vehicles]. Nauchnyy vestnik Kryma. 2017. No. 1 (6). (In Russ.).
13. Nigmatullin I. Germaniya pridumala tri eticheskikh pravila dlya bespilotnykh avto [Germany came up with three ethical rules for unmanned vehicles]. Available at https://hightech/fm/2016/12/3-rules. (In Russ.).
14. Simonov A. Moral bespilotnika [Morality of a drone]. Rossiyskaya gazeta. 2018. Nov. 7. (In Russ.).
15. Soldatov E.L., Kulnev S.V., Lemeshkin R.N. Bespilotnye letatelnye apparaty [Unmanned aerial vehicles]. Armeyskiy sbornik. 2010. No. 3. (In Russ.).
16. Stroker M. Solnechnyy udar [ A sunstroke]. Moskovsky komsomolets. 2018, March 23. (In Russ.).
17. Feklistov I. Avtopilot na glavnoy doroge [Autopilot on the main road]. Komsomolskaya Pravda. 2018. July 24. (In Russ.)
18. Fetisov S. V., Neugodnikova L. M., Adamovsky V. V., Krasnoperov R. A. Bespilotnaya aviatsiya. Terminologiya, klassifikatsiya, sovremennoe sostoyanie [Unmanned aircraft. Terminology, classification, current state]. Ufa, 2014. (In Russ.).
19. Fokin M. S., Ryazanov N. S. Aktualnye problemy ugolovno-pravovoy reglamentatsii protivopravnogo ispolzovaniya bespilotnykh mobilnykh sredstv [Actual problems of criminal law regulation of illegal use of unmanned mobile vehicles]. Actual Problems of Russian Law [Aktualnye problemy rossiyskogo prava]. 2018. No. 1. (In Russ.).
20. Shadrina T. Bez rulya, no s golovoy [Without a rudder, but with a head]. Rossiyskaya gazeta. 2018. May 22. (In Russ.)
21. Shadrina T. Bespilotnikam oformlyayut prava [Drones' rights are being registered]. Rossiyskaya gazeta. 2018. Aug. 8. (In Russ.)
22. Yachmennikova N. Uletnoe taksi [A mindblowing taxi]. Rossiyskaya gazeta. 2018. Oct. 31. (In Russ.).
