CC BY
71Федотовских A.B.1
к.э.н., PhD, профессор РАЕ, член Президиума Координационного совета по развитию Северных территорий и
Арктики, Российский союз промышленников и предпринимателей
ПРИМЕНЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ЭКСПЛУАТАЦИИ БЕСПИЛОТНЫХ АВИАЦИОННЫХ СИСТЕМ В АРКТИЧЕСКОЙ ЗОНЕ РФ
Ключевые слова: искусственный интеллект в Арктике; цифровая Арктика; беспилотные авиационные системы в Арктике; искусственная нейронная сеть беспилотного воздушного судна.
Keywords: artificial intelligence in the Arctic; digital Arctic; unmanned aerial systems in the Arctic; artificial neural network of an unmanned aircraft.
Беспилотный транспорт в Арктической стратегии 2035
26 октября 2020 г. Президентом РФ подписан Указ «О Стратегии развития Арктической зоны Российской Федерации и обеспечения национальной безопасности на период до 2035 года». Документ разработан в целях реализации «Основ государственной политики РФ в Арктике на период до 2035 года», он определяет меры, направленные на выполнение основных задач развития Арктики, этапы и ожидаемые результаты реализации этих мер, среди которых и развитие цифровизации. Применительно к АЗРФ внедрение цифровых технологий прописано в п. 31к Стратегии, в котором говорится о вводе в промышленную эксплуатацию новых образцов техники, созданных с использованием инновационных материалов, в том числе образцов робототехники, судостроительной техники, беспилотных транспортных систем и портативных источников энергии.
Несмотря на то, что реализация ряда проектов в АЗРФ в связи с недостаточностью технологических или финансовых ресурсов может быть перенесена на более поздний срок, их актуальность, равно как и внимание со стороны государства и бизнеса, несомненна. Одно из направлений перспективного развития цифровизации - разработка и эксплуатация беспилотных авиационных систем (далее БАС) и беспилотных воздушных судов (далее БВС), оснащенных системами искусственного интеллекта (далее ИИ). Применение БВС для выполнения авиационных и авиатранспортных работ имеет экономическую целесообразность и соответствует направлениям цифровизации экономики и внедрения робототехнических технологий, а БВС постоянного арктического базирования являются залогом конкурентоспособности РФ в Арктике.
Однако по состоянию на 2021 г. эксплуатация БАС практически во всех регионах Арктической зоны РФ носит эпизодический и несистемный характер. Большинство полетов заранее планируется и совершается в нормальных метеоусловиях только в дневное время и в условиях известного рельефа местности. Этого недостаточно. БВС должны совершать регулярные рейсы. Планируемая доставка грузов и почты не может быть периодической, а спасание происходит не всегда в удобных условиях. БВС должны стать также всепогодными, только в этом случае они смогут быть действительно полезными и экономически выгодными. Простой техники приносит только убытки.
Применение БВС, в т.ч. в коммерческих целях, требует автономного полета без ручного управления внешним оператором. Связано это с тем, что полеты могут выполняться регулярно, по аналогии с пилотируемой авиацией, по одному и тому же маршруту и полетному плану, который можно запрограммировать и снизить издержки на внешних пилотов в пунктах отправления и/или назначения. Такой подход применим к доставке грузов, почты, частично для мониторинга территорий. Но такой полет возможен только при точном определении БВС собственных координат, а также при условии реакции на внешние условия (метеорологические, топографические, биологические и т.д.).
Одним из сдерживающих факторов внедрения беспилотной авиации в Арктике является отсутствие у организаций - возможных конечных эксплуатантов техники или потребителей сервисных услуг практического опыта их использования, а также отсутствие теоретически обоснованных рекомендаций по выбору БВС и аппаратуры с определенными параметрами для выполнения необходимых задач.
Особенности эксплуатации БАС в Арктике и на Крайнем Севере
Полет БВС в регионах АЗРФ, особенно в сложных метеоусловиях, в отличие от пилотируемой авиации, представляет собой невыполнимую в настоящее время задачу из-за технически слабой вооруженности аппаратов. В России разработками в области беспилотной авиационной техники занимаются более 200 государственных и частных предприятий - от самых крупных авиационных фирм, известных всему миру, до небольших конструкторских групп или
1 Профессиональные интересы: экономика Крайнего Севера и Арктической зоны РФ; арктическое законодательство; искусственный интеллект; территориальный маркетинг; экономика аэрокосмического комплекса. E-mail: fav@rspp-arctic.ru
даже стартапов. И только 5-10% из представленных на российском рынке компаний конструируют и производят БВС для особых условий эксплуатации, в т.ч. для Арктики и Крайнего Севера.
Трудности эксплуатации, навигации и управления воздушными судами в Арктике и на Крайнем Севере обусловлены :
- экстремальными климатическими и сложными метеорологическими условиями в течение 8-9 месяцев;
- отсутствием стационарной наземной инфраструктуры;
- нехваткой естественных и искусственных ориентиров;
- долгой продолжительностью полярной ночи;
- дрейфом ледяного покрова и его состоянием;
- неустойчивостью работы магнитных компасов и средств связи, в т.ч. спутниковой системы навигации GPS/ГЛОНАСС;
- другими особенностями полярных широт.
С ноября 2020 г. по январь 2021 г. нами было проведено экспертное и аналитическое исследование: рассылка анкеты в адрес более чем 120 профильных организаций (разработчики, производители и потенциальные покупатели БАС и сервисных услуг), использовано 252 источника тематической информации. В итоге сформировался краткий перечень требований к БА С для эксплуатации в регионах Арктики и Крайнего Севера:
- конструирование и производство БВС на основе отечественных комплектующих;
- расширение пределов климатической эксплуатации до -60С и скорости ветра до 20 м/с;
- увеличение энерговооруженности, дальности и скорости полета;
- увеличение грузоподъемности до 50-100 кг;
- наличие бортовых противообледенительных систем;
- точность навигации и безопасное пилотирование;
- многоцелевая и модульная платформа БВС;
- автономность с использованием технологий искусственного интеллекта.
За качество полета отвечает бортовой комплекс управления (в ряде источников - система автоматического управления, БКУ, САУ), который несет в себе функции управления ориентацией и стабилизацией БВС, управления бортовым оборудованием, в т.ч. внешним, энергопитанием, связью. Для повышения надежности полета БКУ осуществляет анализ отклонений параметров состояния бортовых систем от нормальных (возможных) значений и вырабатывает самостоятельные решения о компенсации возникших отклонений путем восстановления параметров до исходных Одним из направлений решения подобных задач является использование систем ИИ, основанных на искусстве н-ных нейронных сетях (далее ИНС). Такие системы могут располагаться как в наземном сегменте управления полетом, так и на борту аппарата. Последний вариант намного предпочтительнее из -за отсутствия задержек принятия решений и зависимости от наличия и качества связи с наземной станцией управления в условиях нестабильной связи по нерег-ламентированным для БАС (на момент написания материала) каналам.
Наиболее актуальным является создание бортовых автоматизированных систем контроля и диагностики, способных повысить отказоустойчивость и продлить срок эксплуатации беспилотной авиационной техники. Для этого применяются различные технические и информационные решения, в основе которых лежат математические модели, искусственные нейронные сети и другие алгоритмы. ИНС является наиболее перспективным инструментальным средством реализации методов интеллектуального контроля и диагностики БВС в полете.
В настоящее время в сфере развития ИНС появляются новые изобретения и технологии. К основных причинам такого бурного роста относятся постоянно совершенствующиеся алгоритмы и архитектуры ИНС; доступные объемы данных (миллиарды различных изображений и тысячи категорий деления объектов); ускорение обучения и вывода с помощью мощных графических процессоров.
Нейросетевые технологии активно применяются в беспилотной авиации. Авторы различных разработок предлагают использовать ИНС для оценки устойчивости и надежности БВС в процессе их проектирования; созданы системы управления на базе нейроконтроллеров; предлагаются варианты автономной посадки БВС с использованием нейросетевого анализа оптического изображения; корректируются сигналы спутниковой и инерциальной навигации.
В представленной работе предлагается комплексный подход к решению подобных задач. Цель заключается в разработке системы применения глубоких ИНС для эффективного решения задач построения многомерных динамических событийных моделей, прогнозирования вероятности наступления событий на борту БВС и принятия решений без участия внешнего оператора. Производится распознавание определенных объектов по фотографиям/видео, сделанным в реальном времени; предсказываются внештатные ситуации, используя различные параметры полета и/или данные с датчиков как входные данные. Также с помощью ИНС можно выполнить прогнозирование изменения какого -либо параметра в зависимости от других.
В модели предложен новый подход к разработке комплексной системы оценки состояния БВС, основанный на анализе многомерных данных с помощью ИНС. Предложена модернизация ранее созданных различными авторами алгоритмов. В настоящее время поданы документы на патент и регистрацию нового научного направления. БВС самостоятельно решает, как изменить скорость, направление движения в зависимости от изменений окружающей среды.
Компьютерное зрение
Действие ИНС основано на деятельности человеческого мозга. Каждый участок бортовой ИНС отвечает за свою часть: один - за образ горы, второй - за образ птицы, третий - за образ посадочной площадки. Для реализации компьютерного зрения наиболее эффективно использовать сверточную ИНС вместо обычной ИНС прямого распро-
странения на основе мощных графических процессоров. Принцип действия сверточных ИНС заключается в извлечении обучаемых признаков (локальных особенностей, локальных дескрипторов) изображения.
Изображение подается с телевизионной или фотокамеры БВС. Для эксплуатации аппарата в ночном режиме или во время полярной ночи необходимо использование камеры ночного видения (инфракрасного или ультрафиолетового диапазона). В результате, обрабатывая поступающую потоковую информацию, сверточная ИНС, в отличие от ИНС прямого распространения может автоматически строить карты высококачественных визуальных признаков минимум по двум причинам:
1. Из-за большого количества весов. Если на вход поступает черно -белое изображение в разрешении 1080p (1920*1080 пикселов), то входной вектор будет состоять из 2 073 600 элементов, следовательно, потребуется 2073600*n1 весов для описания связей между входным слоем и первым скрытым слоем (n1-количество нейронов в первом скрытом слое, а для адекватной работы ИНС их должно быть приблизительно 102-104). Для обучения такой ИНС необходимо большое количество данных и времени. В случае с цветным изображением потребуется в 3 раза больше весов, так как входной вектор будет иметь 3 столбца интенсивности каждого пиксела по RGB.
Входное изображение представляется в виде одномерного массива, учитывается только связь между пикселами по горизонтали, при этом теряется связь между пикселами по вертикали.
Для реализации модели компьютерного зрения используется известный алгоритм SLAM (Simultaneous Localization and Mapping). В потоке кадров с камеры на борту БВС сверточная ИНС производит поиск специальных точек поверхности, обычно являющиеся неоднородностями. К примеру, в зимних условиях Арктики такими объектами могут быть деревья, пики гор и холмов, русла замерзших рек, редкие строения, в т.ч. заброшенные и т.д. Таким точкам присваиваются дескрипторы в последовательности, когда эта же точка будет найдена в последующих кадрах, камера успевает переместиться в пространстве, а ИНС присваивает точке такой же, аналогичный дес криптор.
Существует два вида слоев, использующихся в сверточных ИНС: сверточные слои и слои подвыборки.
Сверточный слой используется следующим образом: рассматривается некоторая область изображения n*n пикселов, элемент, стоящий в i-й строке и j-м столбце умножается на соответствующий элемент ядра свертки той же размерности n*n. После этой операции находится сумма этих произведений, и это значение подается на нейрон. Далее к нейрону может быть применена какая -либо функция активации, необходимая в данный момент. Каждый нейрон в сверточном слое связан с соответствующей областью изображения n*n, которые могут накладываться друг на друга. Однако при этом все нейроны слоя используют одинаковое ядро свертки. Обычно используется несколько слоев свертки (каждый со своим ядром свертки) для выделения полной карты признаков (набор слоев нейронов, каждый из которых использует свое ядро свертки для поиска совершенно различных и непохожих признаков). Слой подвыборки уменьшает размерность следующим образом: значение нейрона следующего слоя, к которому чаще всего по дключен фрагмент 2*2 (иногда большей размерности) предыдущего слоя, определяется на основе значений предыдущего слоя. Обычно как вход берется максимальное (иногда усредненное) значение фрагмента нейронов предыдущего слоя.
Рисунок 1. Пример слоев свертки и подвыборки1
На практике обычно используется несколько последовательно соединенных слоев свертки и слоев выборки, а далее обычная ИНС прямого распространения с некоторым количеством (обычно не более 3) скрытых слоев.
Обучение сверточных ИНС происходит методом обратного распространения ошибки и называется «обучением с учителем», когда существует некоторый массив данных, и ему соответствует другой массив данных. ИНС обучается на этих данных, подстраивает свои веса так, чтобы потом можно было дать ей другие данные без соответствующих этим данным. После обучения полученная модель загружается в память БВС и ИНС; имея данные с бортовых датчиков, предсказывает необходимый параметр, который являлся ответом при обучении.
Имитационное обучение, в котором «учитель» обучает БВС летать по различным траекториям, исправляя его действия в случае необходимости или критических действий, используется достаточно эффективно на протяжении последних лет. Постепенно БВС выучивает постоянные маршруты полета. Однако такой подход несколько ограничен набором входных данных, особенно в условиях Арктики. В этом случае «учителем» может быть оператор БВС. Однако «учитель» не может постоянно сопровождать аппарат, особенно если ему приходится совершать полеты по различным маршрутам, а в условиях монотонного окружения в Арктике задача усложняется. Поэтому, в последние годы стали бурно развиваться системы машинного обучения без учителя (Self-Supervised Learning).
1 Свертка // PPT-online. - https://ppt-online.org/688178
Технология самообучения ИНС на БВС выглядит следующим образом: БВС во время полета снимает видео или делает большое количество различных изображений разных объектов, потом человек (инженер или внешний оператор) формирует образовавшийся датасет по классам: класс деревьев, класс пиков гор, класс строений и т.д. На этом массиве происходит обучение ИНС.
Во избежание переобучения в ИНС, когда подается новый объект, можно отключать некоторые связи нейронов с заданной вероятностью, чтобы нейроны настраивались на общие закономерности, а не закономерности конкретной выборки данных, по которой происходит обучение. На рис. 2 изображена модель существующей сверточной ИНС VGG. На ее вход подается квадратное трехканальное изображение, а точнее тензор 224*224*3, далее идут два свер-точных слоя, имеющих по 64 фильтра каждый и образующих карту признаков. Затем слой подвыборки, уменьшающий линейные размеры карт выборки в два раза. После слоя подвыборки - 3 сверточных слоя, после которых снова следует слой подвыборки и т.д. В итоге получается слой 3*3*512, который подается на два полносвязных слоя по 4096 нейронов, после которых следует выходной слой из 1000 нейронов (каждый из них выдает вероятность того, что объект принадлежит конкретному классу).
Рисунок 2. Архитектура сверточной нейросети VGG1
Представленная ИНС максимально подходит для классификации объектов, но для этого их изначально надо разделить, отделить изображения разных предметов друг от друга. В контексте использования БВС в арктических у с-ловиях, ввиду малого количества объектов и достаточной монотонности окружающей среды не обязательно выполнять разделение, подобной ИНС хватит для получения информации о наличии интересующего нас объекта. На топологию модели сверточной ИНС можно выделять маску нужного нам объекта, а следовательно, и узнать его расположение относительно БВС. Таким образом, при помощи сверточной ИНС получается универсальная система, которая одинаково хорошо подходит для решения всех важнейших задач, связанных с компьютерным зрением.
Входные и выходные параметры нейросети БВС
Создают входные параметры (направляют сигналы) для ИНС на борту БВС следующие источники: датчики, в т.ч. инфракрасные; компас; приемник GPS/ГЛОНАСС; гироскоп или более продвинутые системы стабилизации и ориентации в пространстве, в т.ч. одномерные сонары, лидары, двумерные лидары, 3D-лидары; фотовидеокамеры формата иНЭ (стереокамеры, камеры глубины, камеры ночного видения) и другие.
ИСТОЧНИКИ СИГНАЛОВ Входные параметры Нейронные сети Выходные сигналы СИСТЕМА АВТОМАТИЧЕСКОГО УПРАВЛЕНИЯ
—» воздушная и путевая скорость увеличение или уменьшение скорости —»
—» высота полета (давление) снижение или набор высоты —»
—» ориентация планера в пространстве (курс, крен) изменение ку р са или кр ена в градусах —»
—» заряд батареи (напряжение и сила тока) изменение энергопараметров (уменьшение тяги двигателей, отключение источников и т.д.) —»
—» степень обледенения (температура наружного воздуха, влажность воздуха) команда на снижение или посадку, изменение оборотов двигателей —»
—» качество сигнала с камеры команда на снижение или по садку —»
—» движение (датчик движения круговой) изменение крена или курса —»
—» количество топлива в баке (если ДВС) поиск возможностей для дозаправки —»
—» иной сигнал 1 иной сигнал 1 —»
—» иной сигнал 2 иной сигнал 2 —»
Рисунок 3.
Соответствие входных и выходных параметров ИНС БВС
1 Свертка // РРТ-оп1те. - https://ppt-online.org/688178
На борту БВС устанавливается дополнительный вычислитель, в реальном времени считывающий информацию от источников и создающий 3D -модель окружающего пространства для планирования безопасного маршрута. Получив информацию от процессора САУ или БКУ, он управляет полетом: держит высоту, удерживает БВС на месте даже при порывах ветра в любые стороны, тормозит перед препятствиями и облетает их.
На рис. 3 приведены все возможные источники информации для нейросетей, однако их количество может меняться, учитывая, что для БВС с электрическими двигателями особенно важно минимизировать энергопотребление, а у аппаратов классов «микро» и «мини» взлетный вес не позволяет установить на борту необходимое количество датчиков.
Распознавание объектов
БВС должен выполнять достаточно сложные задачи. Например, зависнуть в нескольких метрах от движущегося объекта, чтобы сделать четкое фото, и сделать это при сильном меняющемся по направлениям ветре с порывами. Для автоматизации сложных задач, таких как управление БВС, все чаще используется не фиксированные алгоритмы с набором заранее установленных правил, а машинное обучение. Этот подход требует времени и тренировок на больших наборах данных, но в результате позволяет получить программу, способную выполнять сложные задачи, среди которых обнаружение неявных закономерностей или распознавание образов. Компьютерное зрение можно использовать для распознавания определенных объектов как полезных, так и тех, которые могут навредить целостности БВС. Это птицы или другие БВС, сто лкновения с которыми нужно избегать. Сверточная ИНС может определить наличие птицы на снимке, а также ее расположение, относительно БВС. Следовательно, на САУ БВС отправляются соответствующие сигналы для изменения скорости и/или высоты полета. Потенциально опасным может быть и человек с оружием, при появлении которого в области видимости стоит изменить параметры полета. Также можно «научить» БВС облетать препятствия или наоборот, находить узкие места, через которые можно безопасно пролететь.
Рисунок 4.
Пример детектирования вершин гор с выделением их масок на изображении
Очень полезным является детектирование специально нанесенных/установленных объектов для ориентации БВС в пространстве, что может пригодиться при выполнении различных действий, например, при посадке на специально установленное место, на ВПП или посадочную площадку.
Еще одним примером использования компьютерного зрения может быть выявление степени обледенения БВС по изменению качества изображений с камеры. Камера покрывается инеем и льдом, качество исходного изображения значительно ухудшается, что может детектировать ИНС. Обучение такой ИНС будет происходить на фотографиях, сделанных с камеры БВС в лабораторных или идеальных полевых условиях, при которых специально будут создаваться условия для различной степени обледенения. Как выходные данные для обучения можно использовать степень обледенения БВС, оцененную экспериментаторами, или набранную массу льда. Таким образом в реальном полете обученная ИНС по изменению качества получаемого с камеры изображения может не только детектировать наличие обледенения, но и оценить его «количество», а следовательно, дать нужную команду на блок САУ БВС для предотвращения опасных ситуаций. Кроме стабилизированной посадки БВС также учится более стабильно перемещаться на небольшой высоте над неровным рельефом.
Обучение происходит на основе анализа известных данных (исторические Big Data). Информация на серверы поступает с БВС действующих эксплуатантов или, в случае невозможности получения таких датасетов, с аппаратов, которые уже совершают рейсы по определенным маршрутам или в определенных условиях.
Программирование осуществляется во всех популярных средах для глубокого машинного обучения, таких как Keras, Caffe, TensorFlow Lite, ONNX, PyTorch, Matlab. Эти среды представляют собой открытые программные библиотеки для машинного обучения, разработанные различными компаниями с целью решения задач построения и тренировки нейронных сетей для автоматического нахождения и классификации образов и объектов, сравнимых по качеству с человеческим восприятием. Для создания модулей можно использовать известный фреймворк Robot Operating
System (ROS), созданный специально для разработки приложений робототехники, принимая во внимание, что БВС является летающим роботом.
Рисунок 5.
Пример сверточной ИНС на основе библиотеки TensorFlow для поиска и детектирования объектов на изображении1
Стоит отметить, что для ускорения вычислений можно предварительно сжать изображение, т.е. уменьшить его размерность (вес файла). Создание модели ИНС должно происходить на экспериментировании с ее топологией (количество слоев и нейронов в них, функции активации нейронов, размерности входных данных) для нахождения эталонной модели с оптимальным отношением точности к быстродействию. Обучение таких ИНС происходит с учителем, а датасетом обучения будет являться набор фотографий с камер БВС или других фотографий с наличием интересу ющих нас объектов, изначально разделенный на классы.
На практике можно использовать готовые решения. Например, бортовой аналитический модуль, предназначенный для обработки материалов аэрофотосъемки на базе высокопроизводительных микрокомпьютеров Nvidia (серия Jetson) со специальным программным обеспечением, в основе которого лежит нейросеть для распознавания объектов компьютерным зрением в режиме реального времени. Потребление энергии составляет до 10 Вт, размеры 69x45 мм или 50x87 мм.
Предсказание нештатных ситуаций и критических параметров
Система может быть предназначена и для решения такого круга задач, как детектирование неисправностей бортовой аппаратуры, двигателей, навесного оборудования на основе комплексного анализа измерений нейросетью, резервирования неисправных датчиков, оценка состояния БВС, прогнозирование и предотвращение опасных ситу аций в связи с отказами техники, наличие помех или провалов в связи, в т.ч. со спутниковыми системами навигации.
Теперь о предсказании внештатных ситуаций и/или каких-либо параметров полета. Для решения данной задачи используется ИНС прямого распространения, обучение с учителем. На вход подаются значения параметров с датчиков, а на выходе ИНС получается вероятность какой-либо критического состояния. ИНС дает соответствующие команду на САУ во избежания аварийных ситуаций.
Отметим, что для глубинного обучения БВС необходимы значительные базы данных объектов, которые могут окружать БВС во время всей процедуры полета. Для этого собирается датасет, состоящий из последовательности параметров полета. Получаемая с датчиков, камеры и иных источников БВС информация зачастую не может храниться на борту аппарата, особенно, если он относится к классам «микро» и «мини», для этого необходим дополнительный бортовой модуль памяти объемом в десятки или даже сотни террабайт. Зарубежный опыт показывает, что при наличии устойчивого сигнала 4G/5G БВС передает информацию сразу в «облако» дата-центра для последующей обработки и создания баз данных. В регионах Арктики и Крайнего Севера в настоящее время использовать такую технологию невозможно в связи с узким охватом сетей мобильных операторов, а передача сигнала через космические стационарные спутники происходит со значительной задержкой и экономически крайне невыгодна в связи с высокой сто имо-стью спутниковой связи. Однако в будущем, особенно в связи с формированием арктической спутниковой группировки и созданием локальных приполярных дата-центров, не исключается передача информации с БВС в режиме онлайн.
1 Созыкин А. Пример поиска и распознавания объектов на изображении // GitHub, Inc. 17.07.2018. https://github.com/sozykin/dlpython_course/blob/master/computer_vision/object_detection/object_detection_api.ipynb
При этом создание арктических дата-центров как хранителей значительных баз данных для нейросетей БВС может быть эффективным инструментом решения проблемы цифровизации арктического региона по всем сферам.
df = pd.read_csv('trainuavdataset.csv1)
x_train=df[['uav current speed'л'pressure y_train=df['gust speed"] change' "wind speed']] #считывание данных для обучения
ddf = pd.read_c5v('test_uav_datase.csv")
x_test=ddf[['uav current speed','pressure charge' 'wind speed']] #считывание данных для проверки качества модели
В [ ]: normalizedxtrain = preprocessing.normalize(xtrain)
standardizedXtrain = preprocessing.scale(xtrain) Стандартизация данных
normalized_Xtest = preprocessing.normalize(x_test) standardized_Xtest = preprocessing.scale(x_test)
В [ ]: model = Sequential() Асоздание модели сети
model.add(Dense(l5, activation="linear", input_shape=(standardized_Xtrain.shape[1],))) model.add(Dense(25, activation="linear")) model.add(Dense(20, activation="linear")) model.add(Dense(l., activation»"linear"))
В [ ]: opt=optimizers.Adam{learning_rate=0.01, beta_l=0.9, beta_2=0.999, amsgrad=False) model.compile(optimizer=optj loss='mse', metrics=[,RootMeanSquaredError' ] ) model.fit(standardized_XtrainJ у train, epochs=50900, batch_size=69j verbose=l) #обучение модели
В [ ]: prediction_gustspeed = model.predict(standardized_Xtest) #предсказание для порыва ветра
Рисунок 6.
Пример ИНС прямого распространения на основе библиотеки Keras для предотвращения
сноса ветра от заданной траектории полета
Особенным направлением применения ИНС может стать улучшение качества сигнала с наземной станцией управления или системы спутниковой навигации. На вход ИНС поступает сигнал от антенны радиостанции или GPS, с помощью внутреннего алгоритма ИНС рассчитывает значение поправки на помеху. Используя нечеткую логику ИНС, процесс определения наличия помехи будет значительно эффективнее, чем у обычного процессора.
Предсказание интенсивности обледенения
Одна из проблем использования БВС в арктических условиях - обледенение датчиков, элементов управления и самой поверхности БВС, что нарушает его летно-технические характеристики, затрудняет управление, а также дает неверные данные о летных параметрах Для предотвращения обледенения БВС совершает крутой маневр с увелич ени-ем скорости для того, чтобы сбросить лед. Также возможна экстренная посадка в определенных критических ситуациях обледенения. Такие входные параметры как влажность, температура воздуха, скорость ветра и его направление, качество картинки с камеры (качество изображения), данные с тепловизора (если таковые имеются) могут быть изм е-рены/высчитаны в режиме реального времени и представляются численными данными. Эти данные будут являться входными для ИНС. На выходе получаем значение интенсивности обледенения, и на основе этого значения приним а-ется решение о необходимости принятия противодействующих обледенению мер.
df = pd-read_csv('train_uav_dataset.csv')
x_train=df[['temperature'3 'humidity','wind speed']] #считывание данных для обучения y_t га in =d"f [ 'icing intensity']
ddf = pd - read_csv( 'test_uav_i/ataset. csv')
x_test=ddf[[' temperature'j'humidity','wind speed']] #считывание данных для проверки качества модели normalizedxtrain = preprocessing.normalize(xtrain)
standardized_Xtrain = preprocessing-scale(x_train) #стандартизация данных
nonnalized_Xtest = preprocessing.normalize(x_test) standardized_Xtest = preprocessing.scale(x_test)
model = Sequential() #создание модели сети
model, add (Dense(25j activation="re¿u,ГJ input_shape=(standardized_Xtrain. shape[l] .,)))
model.add(Dense(35j activation="reiu"))
model.add(Dense(45j activation="reiu"))
model.add(Dense(20j activation="retu,r))
model.add(Dense(lj activation="reiu"))
opt=optimizers.Adam(learning_rate=0.001j beta_l=9.9j beta_2=9.999j amsgrad=False) model.compile(optimizer=optt loss='mse'j metrics=['RootNeanSquaredError' ] )
model.fit(standardized_Xtrairij y_trainj epochs=50000J batch_size=69j verbose=l) #о6учение модели prediction_icing_intensivity = model.predict(standardized_Xtest) #вывод предсказания для искомого параметра
Рисунок 7.
Пример ИНС прямого распространения на основе библиотеки Кета для предсказания
интенсивности обледенения БВС
Предсказание времени работы аккумулятора БВС
По напряжению и силе тока на аккумуляторной батарее, а также текущей потребляемой мощности двигателями и другими потребителями электрической энергии ИНС может спрогнозировать оставшееся время работы батареи, и, следовательно, если это требуется, отключить лишние потребители энергии.
def SensorRemairiingTimeMalfunction:
predicticn_RernainingFlightTine = model.predict(5tandardized_Xtest} ^предсказание для оставшегося времени полета Sens о rVa1u e_Re m a i n i ngFlightTine = Return5ensorValue() Яполучаеп значение оставшегося времени полета с датчкика a = гediction_RemainingFlightTine/Sen5orValue_RemainingFlightTine*100
if (85<а<115): #если значения с датчика и предсказанное значение отличаются больше чем на
return (a-ise) функция возвращает это значение в процентах
Рисунок 8.
Пример ИНС прямого распространения на основе библиотеки Кега для предсказания оставшегося
времени полета БВС с электродвигателями
Кроме того, предсказание ИНС необходимо в связи с тем, что некоторые из аппаратов перед самой посадкой зависают в воздухе, что приводит к неэффективному расходу заряда аккумулятора и аварийным ситуациям.
Заключение
Авиационные события во время полета характеризуются множеством параметров (тип воздушного судна, время года и суток полета, этап полета, продолжительность полета, метео данные, и т.п.). Осуществление контроля всех параметров полета - важная задача и для беспилотной авиации. За последние годы ученые во всем мире и в РФ разработали сотни ИНС различной архитектуры, которые способны распознавать препятствия и вычислять оптимальную тр а-екторию движения для автономных БВС. Используя ИНС, мы создаем систему, в которой БВС управляет собой самостоятельно, избегает препятствий. Добиваемся этого путем выбора соответствующих входов/выходов и тщательного обучения. ИНС получает информацию о расстояниях до ближайших препятствий вокруг БВС, имитируя зрение внешнего пилота. На выходе ИНС подает САУ показания к изменению ускорения, замедлению или изменению положений руля высоты, руля направления и других систем управления аппарата. ИНС обучаются на множестве стратегий ввода -вывода.
В качестве основных результатов работы можно перечислить следующие:
1. Способность БВС облетать препятствия при отсутствии известных наземных ориентиров и устойчивого сигнала со спутниковых навигационных систем.
2. Создание модифицированных моделей ИНС, когда программное обеспечение решает более специфические задачи, среди которых:
- парирование сноса ветра при посадке БВС на площадку, в т.ч. неподготовленную, когда нейросеть «осваивает» основные пилотажные навыки, включающие в себя быстрое вращение вокруг трех главных осей (тангаж, рыскание, крен) и различные последовательности маневров;
- прогнозирование энергозатрат силовых установок и аппаратуры БВС в непредвиденных условиях полета с более высокой точностью, чем без систем с ИНС;
- моделирование множества сценариев полета для понимания того, что происходит с БВС во время полета и предугадывания возможных неисправностей заранее;
- просчет вариантов ремонта БВС при обнаружении неполадки на борту.
К дополнительным результатам можно причислить следующие:
- повышение безопасности полетов БВС в долгосрочной перспективе и снижение вероятности рисковых событий в полете в условиях АЗРФ;
- повышение экономической эффективности БВС, а также эксплуатационных компаний, с учетом более высокой себестоимости производства и оказания услуг в северных регионах;
- положительное влияние на экономическую эффективность коммерческих и государственных организаций, эксплуатирующих БВС;
- положительное влияние на репутацию Российской Арктики в области разработки и внедрения инновационных нейросетевых подходов для применения на БВС.
Области применения и способы использования ожидаемых результатов:
- прогнозирование вероятности авиационных происшествий с БВС, проведение мероприятий по повышению уровня безопасности полетов;
- прогнозирование событий, влияющих на экономические показатели предприятия -эксплуатанта БАС.
Потребители ожидаемых результатов работы:
- российские и иностранные эксплуатанты БАС;
- разработчики и производители БАС для эксплуатации в высоких широтах;
- компании - конечные потребители услуг БАС.
Таким образом, возможным становится применение технологии ИНС для эксплуатации БАС в АЗРФ в сложных метеоусловиях в круглогодичном и круглосуточном режиме. Создав несколько моделей ИНС, выполняющих разные
функции и решающих различные задачи - от детектирования предметов на изображениях до предсказания критических ситуаций - можно интегрировать их в единый программный модуль, который будет при необходимости подавать сигналы на САУ БВС для предотвращения внештатных ситуаций и для более оптимальной работы аппарата. Таким образом обеспечивается автоматизация процесса управления БВС, минимизация человеческого фактора в пр оцессе управления большим количеством БВС. С помощью ИНС БВС обучается самостоятельно летать в динамичной среде.
Для отработки предложенной модели необходимо проведение серии летных экспериментов (взлеты и посадки, подлеты к препятствиям, полеты на разных высотах и скоростях, в т.ч. в сложных метеоусловиях) по эталонному прибору для набора экспериментальных данных. Планируется проведение таких экспериментов на Таймыре в 2021 г. Кроме того, для ночных полетов в хороших метеоусловиях без облачности возможно применение обучения ИНС дескрипторам из точек звездного неба на основе авиационной астронавигации, однако, такая технология ограничена в связи с тем, что количество ясных суток в различных регионах Арктики колеблется от 50 до 100.
Система с ИНС на борту БВС значительно эффективнее, чем без ИНС, но на первом этапе эксплуатации БАС она должна работать под частичным контролем живого оператора. В будущем при возможности рывка технологического развития на борту БВС возможно использование технологий квантового компьютера.
Реализация инвестиционных проектов в Арктике по освоению природных ресурсов компаниями - потенциальными потребителями БВС и их услуг повлечет за собой восстановление и развитие авиационного сообщения. В первую очередь, это интересы крупного бизнеса и участие государства в логистических и инфраструктурных проектах. К числу инфраструктурных инноваций в АЗРФ для развития беспилотной авиации эксперты относят разработку широкополосных радиолиний с дальностью действия в 150-200 км (радиолиния на акустооптических кристаллах); создание новых радиолокационных станций многоспектрального зондирования, гиперспектральной аппаратуры; развертывание вдоль северной границы РФ станций импульсной фазовой навигационной системы для использования как в военных, так и в гражданских целях.
В части развития отрасли БАС в Арктике собственную Дорожную карту (план) имеет Союз промышленников и предпринимателей Заполярья. Предложение о включении пункта о применении БВС, оснащенных нейросетями, для туристической отрасли направлено в Федеральное агентство по туризму в марте 2021 г. для включения в Дорожную карту по развитию туризма в АЗРФ. В 2021 г. работа будет сосредоточена на внесении предложений по развитию БА С в профильные ФОИВ в части нормативно-правового регулирования и эксплуатации БАС: создание пилотных полигонов в Арктике; обоснование создания нормативно -регуляторных «песочниц» для активизации эксплуатации гражданских БВС. В марте подана заявка на грант «Особенности разработки и эксплуатации гражданских беспилотных авиационных систем с технологиями искусственного интеллекта в Арктической зоне Российской Федерации» в Российский фонд фундаментальных исследований (РФФИ). В апреле 2021 г. начато сотрудничество с экспертами по техническому заданию технологического конкурса Up Great Национальной технологической инициативы (НТИ) в области беспилотных авиационных грузоперевозок. Инициативы по внедрению БАС с системами ИИ в Арктике поддерживают Ростуризм, Норильский городской Совет депутатов, Союз авиастроителей, туристическая компания «Арктик Эд-венчер», спортивно-туристический комплекс «Оль-Гуль» и более чем 20 партнеров.
Арктика - один из ключевых макрорегионов для внедрения беспилотных авиационных систем. В связи с этим в настоящее время планируется создать полностью автоматизированные транспортные и иные средства для использования в макрорегионе. Появление аппаратов, функционирующих без участия человека, означает увеличение эффективности, повышение безопасности и в перспективе - снижение затрат на основную деятельность.
Информация о ходе реализации проекта по внедрению технологий искусственного интеллекта в Арктике доступна на специальной странице проекта на сайте Союзов промышленников и предпринимателей АЗРФ: http://www. rspp -arctic .ru/vy is okie-te xnologii/
