Научная статья на тему 'РАЗРАБОТКА И ИССЛЕДОВАНИЕ ИНТЕЛЛЕКТУАЛЬНОЙ ПРОСТРАНСТВЕННО-РАСПРЕДЕЛЕННОЙ МНОГОСЕНСОРНОЙ СИСТЕМЫ МОНИТОРИНГА ЗЕМНОЙ И МОРСКОЙ ПОВЕРХНОСТИ, РЕАЛИЗУЕМОГО СРЕДСТВАМИ МАЛОЙ КОРАБЕЛЬНОЙ АВИАЦИИ'

РАЗРАБОТКА И ИССЛЕДОВАНИЕ ИНТЕЛЛЕКТУАЛЬНОЙ ПРОСТРАНСТВЕННО-РАСПРЕДЕЛЕННОЙ МНОГОСЕНСОРНОЙ СИСТЕМЫ МОНИТОРИНГА ЗЕМНОЙ И МОРСКОЙ ПОВЕРХНОСТИ, РЕАЛИЗУЕМОГО СРЕДСТВАМИ МАЛОЙ КОРАБЕЛЬНОЙ АВИАЦИИ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY-NC
45
13
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
МНОГОСЕНСОРНАЯ СИСТЕМА / БОРТОВАЯ РАДИООПТИЧЕСКАЯ СИСТЕМА / ПРОСТРАНСТВЕННО-РАСПРЕДЕЛЕННАЯ СИСТЕМА / ОПЕРАТИВНЫЙ МОНИТОРИНГ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Ненашев Вадим Александрович, Рыжов Константин Юрьевич, Ненашев Сергей Александрович, Григорьев Евгений Константинович, Григоров Максим Юрьевич

Цели работы - разработка и исследование способа комплексирования локационных данных, получаемых от высокоточной многосенсорной пространственно-распределенной системы, расположенной на малой корабельной авиации. Авторы использовали множество разнообразных методов: построения пространственно-распределенных бортовых радиолокационных систем; объединения изображений; теории вероятностей и математической статистики; имитационного моделирования и численного исследования новых алгоритмов и способов. Достигнутые результаты заключаются в исследовании существующих методов и алгоритмов по комплексированию оптических и радиолокационных изображений в единое информационное поле, а также в разработке способа комплексирования оптических и радиолокационных изображений. Указанные результаты являются базой для разработки новых радиооптических устройств и систем нового поколения, предназначенных для обнаружения, оценки координат и формирования локационного изображения земной поверхности.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Ненашев Вадим Александрович, Рыжов Константин Юрьевич, Ненашев Сергей Александрович, Григорьев Евгений Константинович, Григоров Максим Юрьевич

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

RESEARCH AND DEVELOPMENT OF INTELLIGENT DISTRIBUTED SENSING NETWORK FOR SURFACE MONITORING FROM SHIPBORNE UAVS

The purpose of this work was to investigate and develop the integration method for local data coming from a distributed network of high-accuracy sensors carried by shipborne unmanned aerial vehicles (UAVs). The authors followed a variety of methods, e.g. design of distributed airborne radar surveillance networks, imagery fusion, probability theory and mathematical statistics, numerical simulation and modeling of new algorithms and techniques.This work made it possible to summarize existing methods and algorithms for integration of multisource (optical and radar)images into a single information space, as well as to develop a specific method for integration of optical and radar imagery. These results will be helpful in development of new-generation radar & optical devices and systems for detection and positioning of objects, as well as for surface mapping.

Текст научной работы на тему «РАЗРАБОТКА И ИССЛЕДОВАНИЕ ИНТЕЛЛЕКТУАЛЬНОЙ ПРОСТРАНСТВЕННО-РАСПРЕДЕЛЕННОЙ МНОГОСЕНСОРНОЙ СИСТЕМЫ МОНИТОРИНГА ЗЕМНОЙ И МОРСКОЙ ПОВЕРХНОСТИ, РЕАЛИЗУЕМОГО СРЕДСТВАМИ МАЛОЙ КОРАБЕЛЬНОЙ АВИАЦИИ»

DOI: 10.24937/2542-2324-2023-1-S-I-45-56 УДК 621.396.967.2 EDN: TFURWM

В.А. Ненашев , К.Ю. Рыжов, С.А. Ненашев , Е.К. Григорьев , М.Ю. Григоров

ФГАОУ ВО «Санкт-Петербургский государственный университет аэрокосмического приборостроения», Санкт-Петербург, Россия

РАЗРАБОТКА И ИССЛЕДОВАНИЕ ИНТЕЛЛЕКТУАЛЬНОЙ ПРОСТРАНСТВЕННО-РАСПРЕДЕЛЕННОЙ МНОГОСЕНСОРНОЙ СИСТЕМЫ МОНИТОРИНГА ЗЕМНОЙ И МОРСКОЙ ПОВЕРХНОСТИ, РЕАЛИЗУЕМОГО СРЕДСТВАМИ МАЛОЙ КОРАБЕЛЬНОЙ АВИАЦИИ

Цели работы - разработка и исследование способа комплексирования локационных данных, получаемых от высокоточной многосенсорной пространственно-распределенной системы, расположенной на малой корабельной авиации. Авторы использовали множество разнообразных методов: построения пространственно-распределенных бортовых радиолокационных систем; объединения изображений; теории вероятностей и математической статистики; имитационного моделирования и численного исследования новых алгоритмов и способов.

Достигнутые результаты заключаются в исследовании существующих методов и алгоритмов по комплексированию оптических и радиолокационных изображений в единое информационное поле, а также в разработке способа комплексирования оптических и радиолокационных изображений. Указанные результаты являются базой для разработки новых радиооптических устройств и систем нового поколения, предназначенных для обнаружения, оценки координат и формирования локационного изображения земной поверхности.

Ключевые слова: многосенсорная система, бортовая радиооптическая система, пространственно-распределенная система, оперативный мониторинг.

Авторы заявляют об отсутствии возможных конфликтов интересов.

DOI: 10.24937/2542-2324-2023-1-S-I-45-56 UDC 621.396.967.2 EDN: TFURWM

V.A. Nenashev , K.Yu. Ryzhov, S.A. Nenashev , E.K. Grigoryev , M.Yu. Grigorov

St. Petersburg State University of Aerospace Instrumentation (SUAI), St. Petersburg, Russia

RESEARCH AND DEVELOPMENT OF INTELLIGENT DISTRIBUTED SENSING NETWORK FOR SURFACE MONITORING FROM SHIPBORNE UAVs

The purpose of this work was to investigate and develop the integration method for local data coming from a distributed network of high-accuracy sensors carried by shipborne unmanned aerial vehicles (UAVs). The authors followed a variety of methods, e.g. design of distributed airborne radar surveillance networks, imagery fusion, probability theory and mathematical statistics, numerical simulation and modeling of new algorithms and techniques.

This work made it possible to summarize existing methods and algorithms for integration of multi-source (optical and radar) images into a single information space, as well as to develop a specific method for integration of optical and radar imagery. These results will be helpful in development of new-generation radar & optical devices and systems for detection and positioning of objects, as well as for surface mapping.

Keywords: sensing network, onboard radar & optical system, distributed system, fast monitoring. The authors declare no conflicts of interest.

Для цитирования: Ненашев В.А., Рыжов К.Ю., Ненашев С.А., Григорьев Е.К., Григоров М.Ю. Разработка и исследование интеллектуальной пространственно-распределенной многосенсорной системы мониторинга земной и морской поверхности, реализуемого средствами малой корабельной авиации. Труды Крыловского государственного научного центра. 2023; Специальный выпуск 1: 45-56.

For citations: Nenashev V.A., Ryzhov K.Yu., Nenashev S.A., Grigoryev E.K., Grigorov M.Yu. Research and development of intelligent distributed sensing network for surface monitoring from shipborne UAVs. Transactions of the Krylov State Research Centre. 2023; Suecial Issue 1: 45-56 fin Russian).

Введение

Introduction

В современных условиях неуклонного роста инновационных технологий становится актуальным и технически реализуемым направление применения многопозиционных радиолокационных станций (МПРЛС). Особенно важны задачи повышения разрешающей способности стационарных и бортовых локаторов, а также точности определения координат объектов, обнаруженных в зонах бедствий, опасных с точки зрения экологии, а также объектов-нарушителей в зонах охраны. При этом существуют задачи, которые затруднительно решать исключительно радиолокационными средствами. Одним из вариантов качественно дополнить известные методы радиолокации является применение в комплексе оптических локационных систем.

Преимущества использования бортовых малогабаритных радиолокационных станций (РЛС) для задач обнаружения позволяют за короткий промежуток времени охватить обширные участки наблюдаемого пространства; информируют оператора о наличии наблюдаемых объектов в зоне действия в реальном масштабе времени; имеют высокую эффективность работы в неблагоприятных метеоусловиях и возможность работать в любое время суток. В связи с этим целесообразно перейти к системе, состоящей из нескольких разнесенных в пространстве станций, в которой осуществляется совместная обработка как радиолокационной информации, так и информации от оптико-локационной системы.

Анализ современного состояния исследований

State of the art

Анализ текущего состояния исследований способов мониторинга и комплексирования локационной информации о земной поверхности в многопозиционных бортовых системах показал, что в научной литературе проблема, сформулированная в статье, практически не освещена. А подобные методики ком-плексирования информации, хотя и используются для решения некоторых частных задач, заявленных в работе, не реализуют всех потенциальных возможностей комплексирования информации в многопозиционных системах, использующих источники разнородной локационной информации, основанные на

разных физических принципах. Все это подчеркивает новизну и целесообразность проведения исследований на данную тему.

В научной литературе освещены только отдельные вопросы комплексирования данных, такие как комплексирование изображений земной поверхности - однородных (оптических) и разнородных (оптических и радиолокационных), комплексирование данных подповерхностного мониторинга с цифровой картой местности, а также методы их совмещения (рис. 1).

Мониторинг охраняемых зон, осуществляемый разрабатываемым в статье комплексом, связан с задачами синтеза комплексного изображения наблюдаемых подстилающих поверхностей, что является непростой задачей [1-5]. Существуют методы совмещения однородных изображений, которые можно разделить на две группы. Первая группа - это применение различных дескрипторов для поиска пар точек, на основе которых и осуществляется совмещение изображений [6-8], вторая группа основана на методах контурного анализа и поиска пар точек контура [6-9].

Из анализа первой группы следует, что эти методы имеют ограничения, в частности непредсказуемое количество пар опорных точек, а также в ряде случаев значительные вычислительные затраты. Кроме того, эти алгоритмы совмещения применимы в основном для однородных изображений. Однако для отображения наиболее полной, достоверной и актуальной локационной обстановки требуется применять методы комплексирования (слияния) данных.

Комплексирование данных, в частности изображений земной поверхности, - это процесс, позволяющий значительно повысить эффективность совмещения двух и более разноракурсных и разнородных изображений в целях повышения информативности и формирования более целостной и комплексной картины наблюдаемой обстановки на земной поверхности [10, 11]. В качестве таких источников могут выступать телевизионные и тепло-визионные видеокамеры, а также радиолокационные источники, позволяющие формировать изображения методом РСА [12, 13]. Кроме того, комплексная обработка локационной информации от нескольких локационных устройств пространственно-разнесенной авиационной системы дает ряд преимуществ по сравнению с информацией от аналогичной однопозиционной системы [14-25].

Рис. 1. Структурная схема сопоставления изображений Fig. 1. Correlation of images: structural layout

В настоящее время существует ряд часто применяемых источников локационной информации, использующих переотражения локационных сигналов различной природы. При этом ни один из источников не является уникальным и способным отобразить на экране оператора весь спектр необходимой целостной картины локационной обстановки.

В работах [26, 27] представлены исследования на предмет сопоставления основных характеристик источников локационной информации различной природы, а именно радиолокационного, оптического, лазерного и ультразвукового. Среди основных характеристик источников локационной информации выделяют следующие: дальность до объекта, возможность обнаружения объектов в ближней и дальней зонах, угол обзора, возможность определения радиальной и тангенциальной скоростей, возможность классифицирования физических объектов, изучение влияния освещенности и погодных условий на качество получаемой информации, а также возможность выделения границ объектов, представляющих интерес.

По результатам исследований [26, 27] сделан вывод, что для полного охвата требований к источ-

никам локационной информации самым эффективным является использование источников в комплексе, в котором недостатки одних компенсируются преимуществами других. По приведенным в указанных работах данным установлено, что эффективным вариантом комплексирования является объединение информации от радиолокационных и оптических источников высокого разрешения в едином комплексе. Такое объединение потенциально дает максимально точное отображение информации о наблюдаемых зонах и физических объектах с бортов летательных аппаратов при картографировании в любое время суток при любой погоде и на различных расстояниях, с возможностью выделения границ объектов и их классификации.

Учитывая современные требования к системам мониторинга пространств земной поверхности, весьма затруднительно построить эффективную систему, используя по отдельности оптическую или радиолокационную системы. Благодаря увеличению мощностей вычислительных средств появилась возможность усложнения алгоритмов обработки информации, в т.ч. больших объемов и, как следствие, возможность комплексирования информации, полученной от различных устройств обзора

пространства. Считается, что комплексирование информации от этих систем позволяет обнаруживать, определять координаты и прогнозировать параметры движения физических объектов, включая людей, а также осуществлять высокоточное картографирование земной поверхности с возможностью классификации как наблюдаемых зон, так и объектов на них.

Особенностью бортовых систем является ограниченность энергических и массогабаритных ресурсов, что требует разработки специальных алгоритмов обзора исследуемых зон и комплексирова-ния информации от бортовых локационных станций. Формирование комплексного изображения земной поверхности из двух и более разнородных и разноракурсных изображений позволяет добиться преимуществ [14, 15, 18, 19], по сравнению с объединением однородных снимков. Это преимущество заключается в улучшении информативности и достоверности итогового сформированного комплексного изображения земной поверхности.

В связи с этим целесообразен переход к системе, состоящей из нескольких разнесенных в пространстве станций, в которой осуществляется комплексная обработка радиолокационной и оптической информации.

Для решения задачи комплексирования разнородных изображений и выделения на них полезной и достоверной информации в научных работах применяются способы слияния разнородной и раз-норакурсной информации, сегментации и кластеризации пикселей изображений, корреляционно-экстремальные способы комплексирования изображений, методология построения пространственно-распределенных локационных систем, методы теории передачи данных в многопозиционных системах с центром обработки и управлением полетами ЛА, способы сжатия изображений без существенной потери полезной информации.

С помощью многопозиционной системы радиолокационных, оптических и других датчиков могут решаться также задачи прогноза развития опасных ситуаций: возникновение и опасность возникновения оползней, наводнений, прорыва плотин, зон повышенного волнения, загрязнения и т.д.

Многопозиционная радиолокационная система способна однозначно идентифицировать объекты, создающие ложные отметки на индикаторе РЛИ, что позволяет выделить истинные физические объекты на фоне помех. Это достигается за счет сопоставления координат объектов от нескольких бортовых РЛС при решении задач селекции.

Предложенный метод применим в реальных условиях для своевременного поиска и спасения людей в зоне крушения морских судов, пожаров или при других чрезвычайных ситуациях. Важным аспектом является и то, что при мониторинге в передней зоне обзора возможна коррекция движения летательного аппарата, что предотвращает его приближение к опасным участкам. Решение перечисленных выше задач является жизненно важным фактором обеспечения безопасности полетов в случае возникновения природных катастроф и может применяться в интересах МЧС России.

В подобных системах рассматривается задача повышения точности оценки азимутальных координат радиоконтрастных объектов, обнаруженных в зоне обзора двухпозиционной системы бортовых РЛС. Обе бортовые РЛС автономно осуществляют поиск объектов в совместной зоне. При обнаружении физического объекта между ними осуществляется обмен информацией о координатах объекта. Каждая из РЛС определяет координаты объекта, азимут и дальность в своей системе координат, которую при дальности намного большей высоты полета можно считать полярной системой.

Точность определения дальности до радиоконтрастного объекта зависит в основном от длительности зондирующего импульса, а точность определения азимута - от ширины диаграммы направленности антенной системы. При больших дальностях и широкой диаграмме направленности антенн элемент разрешения по азимуту при пересчете в линейную шкалу декартовой системы координат, привязанной к поверхности, оказывается несоизмеримо больше элемента разрешения по дальности, что является следствием низкой точности определения азимутальной координаты.

При обмене информацией между РЛС, с учетом их взаимного расположения, осуществляется расчет координат обнаруженных объектов для каждой станции. При комплексировании информации точность определения азимутальной координаты может быть повышена на порядок и более за счет оптического датчика. Линейные размеры элемента разрешения на поверхности по дальности и угловой координате при таком комплексировании соизмеримы.

В статье приведены соответствующие алгоритмы комплексирования информации и расчетные кривые, демонстрирующие повышение точности определения азимутальной координаты и уменьшение линейных размеров и площади элемента разрешения в зависимости от условий наблюдения объектов в зоне обзора.

Описанные раннее задачи авиационного мониторинга могут быть решены с помощью методов, используемых в многопозиционной локации, которые в данном конкретном случае будут отличаться особенностями, связанными с добавлением новых, отличных по природе данных, получаемых с оптической системы [10, 11, 28].

Проведенные первые эксперименты позволяют предположить, что новые алгоритмы комплексиро-вания позволят расширить общую теорию многопозиционных и мультисенсорных систем и выполнить требования, предъявляемые к современным системам высокоточного оперативного мониторинга.

Основные методы и алгоритмы комплексирования локационных данных многосенсорной системы

Main methods and algorithm for multi-source data integration

Существует особенность при комплексировании оптических и радиолокационных изображений, в отличие от совмещения двухпозиционной оптической системы. Связано это с тем, что яркости пикселей у оптических изображений и радиолокационных (в градациях серого) не коррелируются.

Основные методы и алгоритмы комплексирова-ния разнородной информации разделены на три типа:

■ комплексирование на уровне пикселей;

■ комплексирование на уровне признаков;

■ комплексирование на уровне принятия решения.

Первый метод основан на принципе возможности использования данных от источников многосенсорной локационной систем. Но существует недостатки высокого уровня вычислительных систем.

Второй метод заключается в выделении независимых признаков, детектируемых в отдельности с радиолокационных и оптических систем информации. Преимуществом является уменьшение вычислительных затрат в сравнении с первым методом.

Третий метод реализуется по каждому из разнородных каналов на базе решений, определенных отдельно по информации от соответствующих разнородных источников. Поскольку полезная информация и решения определяются в разнородных каналах независимо, то данный подход менее требователен к качеству совместной регистрации данных.

Комплексирование на уровне принятия решений производится на базе решений, принятых от-

дельно по данным от каждого из разнородных каналов. Поскольку данные и решения принимаются в каждом канале независимо, этот метод является менее чувствительным к качеству совместной регистрации данных. Однако для обеспечения более высокого качества стоговых комплексных изображений точность обработки данных в каждом канале должна быть улучшена.

Преимуществами данного метода являются наименьшая вычислительная сложность, независимость от ошибок на этапе регистрации данных от различных источников локационной информации и точность объединения изображений.

Способ комплексирования оптических и радиолокационных изображений

Integration method for optical and radar images

В задачах комплексирования изображений, полученных мультисенсорными системами, используют методы контурного анализа. А именно на каждой паре разноракурсных изображений выделяют пары опорных точек на контуре, по которым далее определяют преобразование к единому ракурсу наблюдения.

Однако для возможности реализации этой процедуры количество точек должно быть больше четырех, при этом возможны погрешности при совмещении таких изображений. Кроме того, не каждой выделенной опорной точке контура находится ее пара на совмещаемом втором изображении, либо положение пары может отличаться от положения исходной точки, которые предполагается объединить в пару.

Для успешного комплексирования двух разнородных изображений в одно требуется разработать такой способ поиска точек и объединения их в пару, который позволит реализовывать это совмещение эффективно и с высокой точностью. При этом количество пар точек контура должно быть контролируемым параметром, т.е. при недостаточности таких пар точек контура способ должен позволять увеличивать их число в случае неудовлетворительной оценки совмещения двух кадров.

Предлагаемый новый способ комплексирования разнородных локационных изображений, получаемых в различных диапазонах длин волн (радиолокационном и видимом оптическом спектрах) в радиооптическом комплексе, основан на способе совмещения изображений по наборам пар точек конту-

ра, с применением корреляционно-экстремальных и вероятностных методов, а также методов слияния данных в одно информационное поле.

Разрабатываемый способ состоит из трех этапов.

Первый этап: формирование радиолокационного изображения передней зоны обзора

Формируется радиолокационное изображение передней зоны обзора, синтезируемое двухпозицион-ной системой бортовых малогабаритных РЛС с широкой диаграммной направленности. Этот метод формирования радиолокационной информации основан на определении трех дальностей: между носителей малогабаритных БРЛС, от БРЛС1 до элемента разрешения (точечного объекта) и от БРЛС2 до того же элемента разрешения. Используя даль-номерный метод, получаем не только радиолокационное изображение, но и матричную структуру с информаций по отдельности об угловых координатах, дальности и разрешающей способности наблюдаемой передней зоны обзора. Важно отметить, что способ формирования РЛИ в передней зоне осуществляется в автоматизированном режиме в реальном масштабе времени, что крайне существенно для оперативных систем мониторинга.

Второй этап: формирование оптического изображения в двухпозиционной локационной системе

Используется двухпозиционная оптико-локационная система высокого разрешения радиооптического комплекса. В результате ее функционирования формируется совмещенное изображение из двух разноракурсных изображений видимого оптического спектра. В этом случае использование двухпозиционной системы обосновано тем, что ее применение позволяет получить дополнительную локационную информацию о дальности и углах до наблюдаемых зон и объектов, а также сформировать соответствующие матричные структуры.

Алгоритм определения дальности наблюдаемых зон и объектов использует методы стереоскопического зрения при помощи двух камер высокого раз-

решения, расположенных параллельно друг другу на установленном расстоянии (база), что позволяет получить изображение глубины - это одноканальное изображение, значение каждого пикселя которого пропорционально дистанции до объекта сцены.

Третий этап: комплексирование локационной информации

Используются матричные локационные структуры, сформированные в двухпозиционной радиолокационной системе (первый этап) и двухпозиционной оптической системе (второй этап) высокого разрешения на основе применения современных методов совмещения изображений различных диапазонов волн, методов слияния данных, а также корреляционно-экстремальных методов.

Способ совмещения радиолокационных и оптических изображений состоит в том, что формируется величина, измеряющая корреляцию между двумя матричными структурами локационной информации, полученной на первом и втором этапах. Для этих матричных структур находится некоторое функциональное преобразование, при применении которого значение функции корреляции достигнет максимума при его использовании. Этот способ состоит из шагов, представленных на рис. 2.

Шаг 1: выделение контуров изображения

На данном этапе для оптического и радиолокационного изображений применяется метод кластеризации. Далее на полученном в кластеризованном виде изображение выделяются внутренние контуры.

На рис. 3 представлены оптическое и радиолокационное изображение одного и того же участка местности, на котором в результате предварительной кластерной обработки выделяются контуры характерных областей (в данном случае контуры дороги и взлетной полосы) на оптическом и радиолокационном изображениях.

Такой прием обработки позволяет на изображениях, имеющих различный ракурс и различную природу, выделить схожие по структуре и контуру области.

Шаг 2: Выделение точек контура и объединение их в пару

Полученные кластеризованные изображения определяют характерные ключевые точки схожих по структуре областей. На рис. 4 в увеличенном масштабе видны контуры различных областей разноракурсных изображений. Количество определенных точек соответствует значению порядка 30-50 шт.

Шаг 3: поиск преобразования к одному ракурсу На этом шаге осуществляется поиск преобразования к одному ракурсу одного из изображений по найденным на предыдущем шаге парам точек контура. Уточнение такого преобразования осуществляется на основе корреляционного анализа при совмещении контуров двух изображений. Найденное преобразование является исходным для последующих этапов его уточнения. Для поиска преобразования, помимо пространственной информации о парах точек контура, имеется возможность использовать дополнительные информационные каналы для совмещения, в частности локационные матричные структуры, сформированные на первом и втором этапах.

Шаг 4. Оценка качества сформированного комплексного радиооптического изображения

Данный этап предназначен для оценки качества при переходе к следующим действиям, а также в случаях неудовлетворительной субъективной и/или вероятностной оценки качества совмещения сформированного радиооптического изображения. Вероятностная оценка совмещения радиолокационных и оптических изображений основывается на следующих критериях: полная корреляция, приблизительная корреляция, приблизительная корреляция с некоторым откликом, приблизительно не коррелируемые и полностью не коррелируемые величины.

Рис. 2. Комплексирование локационной информации Fig. 2. Integration of local data

Шаг 5: Адаптивный итерационный подход

Шаги пунктов 1-3 в случае неудовлетворительной оценки качества совмещения повторяются при новых начальных параметрах. В частности, при большем количестве цветов для реализации операции кластеризации изображений, за счет чего появляются новые контуры и, как следствие, увеличивается количество пар точек контура, по которым искомое функциональное преобразование можно уточнить и скорректировать. При этом должна расти точность комплексирования.

а) оптическое изображение

б) радиолокационное изображение

Рис. 3. Оптическое (а) и радиолокационное (б) изображения участка местности Fig. 3. Optical (а) and radar (b) image of given terrain

Рис. 4. Определение ключевых точек контура на оптическом (а) и радиолокационном (б) изображениях

Fig. 4. Determination of key landmarks in optical (a) and radar (b) image

Рис. 5. Совмещенное изображение: а) с контурным выделением границ; б) оптическое с радиолокационным Fig. 5. Integrated image: а) boundaries are shown as contours; b) fusion of optical and radar image

После того, как найдено уточненное функциональное преобразование исходных разноракурсных и разнородных изображений, производится операция их совмещения (рис. 5). Затем вновь осуществляется субъективная и/или вероятностная оценка качества совмещенного изображения.

Критерием выхода из итерационного процесса будет являться задаваемый параметр точности совмещения, а именно среднеквадратичное отклонение (СКО) между пикселями контуров. Если СКО между координатами пикселей контуров меньше заданного, то программа выходит из цикла по итерациям с различным количеством кластеризации цветов.

В результате проведенного эксперимента (рис. 5) исходные разнородные снимки объединены в общее комплексное изображение с помощью выбора важнейших различных компонентов исходных снимков. Подобное изображение является ком-

плексным вследствие того, что две разнородные составляющие (радиолокационная и оптическая) взаимно дополняют друг друга.

Выводы

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Conclusions

Таким образом, в данной статье выявлены и реализованы варианты комплексирования изображений от локационных источников различной природы. Установлена эффективность объединения оптического и радиолокационного изображений в одно комплексное. Приведен эксперимент синтеза комплексного изображения и описаны преимущества такого подхода при реализации систем бортового мониторинга земной и морской поверхности.

В результате разработан способ комплексиро-вания радиолокационных и оптических изображе-

ний высокоточной многосенсорной и многопозиционной локационной системы с целью повышения точности определения траекторных параметров физических наземных объектов, наблюдаемых с борта беспилотного летального аппарата. К тому же рассмотрен алгоритм совмещения изображений, полученных двухпозиционной системой.

Работа выполнена при финансовой поддержке Министерства науки и высшего образования РФ. Соглашение № FSRF-2023-003 «Фундаментальные основы построения помехозащищенных систем космической и спутниковой связи, относительной навигации, технического зрения и аэрокосмического мониторинга».

Список использованной литературы

1. DAFNE: A Matlab toolbox for Bayesian multi-source remote sensing and ancillary data fusion, with application to flood mapping / A. D'Addabbo, A. Refice, F.P. Lovergine, G. Pasquariello // Computers and Geo-sciences. 2018. Vol. 112. P. 64-75. DOI: 10.1016/j.cageo.2017.12.005.

2. Runway assessment via remote sensing / L. Dabbiru, P. Wei, A. Harsh [et al.] // Proceedings of 2015 IEEE Applied Imagery Pattern Recognition Workshop (AIPR). [Piscataway] : IEEE, 2015. P. 1-4. DOI: 201510.1109/AIPR.2015.7444545.

3. Fusion of SAR and Multispectral Images Using Random Forest Regression for Change Detection / D.K. Seo, Y.H. Kim, Y.D. Eo [et al.] // ISPRS International Journal of Geo-Information. 2018. Vol. 7, № 10. P. 401 (21 p.). DOI: 10.3390/ijgi7100401.

4. Bigdeli B., Pahlavani P. High resolution multisensor fusion of SAR, optical and LiDAR data based on crisp vs. fuzzy and feature vs. decision en-semble systems // International journal of applied earth observation and geoinformation. 2016. Vol. 52. P. 126-136. DOI: 10.1016/j.jag.2016.06.008.

5. Optical-driven nonlocal SAR despeckling / L. Verdoliva, R. Gaetano, G. Ruello, G. Poggi // IEEE Geoscience and Remote Sensing Letters. 2015. Vol. 12, № 2. P. 314318. DOI: 10.1109/LGRS.2014.2337515.

6. Wang J., Wang Y. Modified SURF applied in remote sensing image stitching // International Journal of Signal Processing, Image Processing and Pattern Recognition. 2015. Vol. 8, № 8. P. 1-10.

7. Sledevic T., SerackisA. SURF Algorithm Implementation on FPGA // Proceedings of 13th Biennial Baltic Electronics Conference. [Piscataway] : IEEE, 2012. P. 291-294. DOI: 10.1109/BEC.2012.6376874.

8. Tareen S.A.K., Saleem Z. A comparative analysis of SIFT, SURF, KAZE, AKAZE, ORB, and BRISK // Invent, innovate and integrate socioeconomics development : proceedings of 2018 International Conference on Computing, Mathematics and Engineering Technologies (iCoMET 2018). [Piscataway] : IEEE, 2018. P. 1-10. DOI: 10.1109/ICOMET.2018.8346440.

9. Макаров А.С., Болсуновская М.В. Сравнительный анализ методов обнаружения особых точек на изображениях при различных уровнях освещения //Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика, телекоммуникации и управление. 2018. Т. 11, № 2. C. 7-18. DOI: 10.18721/JCSTCS.11201.

10. Novel radar techniques and applications. Vol. 2: Waveform diversity and cognitive radar, and target tracking and data fusion / ed. R. Klemm. London : Scitech Publishing, 2017. XXIII, 527 p.

11. Raol J.R. Multi-Sensor Data Fusion with MATLAB. Boca Raton [et al.] : CRC, 2009. 534 p.

12. Shepeta A.P., Nenashev V.A. Modeling algorithm for SAR image based on fluctuations of echo signal of the Earth's surface // SAR image analysis, modeling, and techniques XV : Proceedings of SPIE. Bellingham, 2015. Vol. 9642. P. 96420X (p. 1-8). DOI: 10.1117/12.2194569.

13. Chen K.-S. Principles of synthetic aperture radar imaging. A system simulation approach. Boca Raton [et al.] : CRC, 2016. XV, 203 p.

14. Авиационные системы радиовидения / [В.Н. Антипов и др.] ; под ред. Г.С. Кондратенкова. Москва : Радиотехника, 2015. 648 с.

15. Novel radar techniques and applications. Vol. 1: Real aperture array radar, imaging radar, and passive and mul-tistatic radar. London : Scitech Publishing, 2017. 951 p.

16. Nenashev V.A., Shepeta A.P. Accuracy characteristics of object location in a two-position system of small onboard radars // Информационно-управляющие системы. 2020. № 2. С. 31-36. DOI: 10.31799/16848853-2020-2-31-36.

17. Features of information processing in the onboard two-position small-sized radar based on UAVs / Nenashev V.A., Kryachko A.F., Shepeta A.P., Burylev D.A. // SPIE Future Sensing Technologies : Proceedings of SPIE. 2019. Vol. 11197. P. 111970X (p. 1-7). DOI: 10.1117/12.2542718.

18. Nenashev V.A., Shepeta A.P. Optimization the size of the search area for moving physical objects based on preliminary target designation data // Proceedings of Wave Electronics and its Application in Information and Telecommunication Systems (WECONF 2021). Piscataway : IEEE, 2021. P. 1-4. DOI: 10.1109/WECONF51603.2021.9470590.

19. Способ локации целей в передних зонах обзора бортовых радиолокационных станций двухпозици-

онной радиолокационной системы : пат. 2703996 Рос. Федерация / Ненашев В.А., Коржавин Г.А., ШепетаА.П. [и др.]. № 2019108828; заявл. 26.03.2019; опубл. 06.05.2019, Бюл. № 13. 8 с.

20. Устройство для определения параметров движения наземных объектов в двухпозиционной системе бортовых малогабаритных РЛС : пат. 2760873 Рос. Федерация / Ненашев В.А., Григорьев Е.К., Шепета А.П. [и др.]. № 2021106017; заявл. 09.03.2021; опубл. 01.12.2021, Бюл. № 34. 15 с.

21. Способ фронтального синтезирования апертуры антенны земной поверхности с исключением слепых зон в передней зоне с помощью многопозиционной радиолокационной системы : пат. 2560082 Рос. Федерация / Ненашев В.А., Подоплекин Ю.Ф., Шепета А.П. № 2014100672/07; заявл. 09.01.2014; опубл. 20.08.2015, Бюл. № 23. 8 с.

22. Устройство разноракурсного многопозиционного синтезирования комплексного изображения земной поверхности : пат. 2756904 Рос. Федерация / Ненашев В.А., Ханыков И.Г., Шепета А.П. № 2021107671; заявл. 24.08.2020; опубл. 06.10.2021, Бюл. № 23. 15 с.

23. Nenashev V.A., Sentsov A.A., Shepeta A.P. Formation of radar image the earth's surface in the front zone review two-position systems airborne radar // 2019 Wave Electronics and its Application in Information and Telecommunication Systems (WECONF). Piscataway : IEEE, 2021. P. 1-5. DOI: 10.1109/weconf.2019.8840641.

24. Кондратенков Г.С., Фролов А.Ю. Радиовидение в передней зоне обзора бортовой радиолокационной станции с синтезированной апертурой антенны // Радиотехника. 2004. № 1. С. 47-49.

25. Nenashev V.A., Shepeta A.P., Kryachko A.F. Fusion radar and optical information in multiposition on-board location systems // Proceedings of Wave Electronics and its Application in Information and Telecommunication Systems (WECONF 2020). Piscataway : IEEE, 2020. P. 1-5. DOI: 10.1109/WEC0NF48837.2020.9131451.

26. Zhou G., Reichle S. UAV-based multi-sensor data fusion processing // International journal of image and data fusion. 2010. Vol. 1, № 3. P. 283-291. DOI: 10.1080/19479832.2010.497343.

27. Zhang J. Multi-source remote sensing data fusion: Status and trends // International journal of image and data fusion. 2010. Vol. 1, № 1. P. 5-24. DOI: 10.1080/19479830903561035.

28. Klein L.A. Sensor and data fusion. A tool for information assessment and decision making. 2nd ed. Bellingham : SPIE Press, 2012. 498 p.

References

1. DAFNE: A Matlab toolbox for Bayesian multi-source remote sensing and ancillary data fusion, with application to flood mapping / A. D'Addabbo, A. Refice, F.P. Lovergine, G. Pasquariello // Computers and Geo-sciences. 2018. Vol. 112. P. 64-75. DOI: 10.1016/j.cageo.2017.12.005.

2. Runway assessment via remote sensing / L. Dabbiru, P. Wei, A. Harsh [et al.] // Proceedings of 2015 IEEE Applied Imagery Pattern Recognition Workshop (AIPR). [Piscataway] : IEEE, 2015. P. 1-4. DOI: 201510.1109/AIPR.2015.7444545.

3. Fusion of SAR and Multispectral Images Using Random Forest Regression for Change Detection / D.K. Seo, Y.H. Kim, Y.D. Eo [et al.] // ISPRS International Journal of Geo-Information. 2018. Vol. 7, № 10. P. 401 (21 p.). DOI: 10.3390/ijgi7100401.

4. Bigdeli B., Pahlavani P. High resolution multisensor fusion of SAR, optical and LiDAR data based on crisp vs. fuzzy and feature vs. decision en-semble systems // International journal of applied earth observation and geoinformation. 2016. Vol. 52. P. 126-136. DOI: 10.1016/j.jag.2016.06.008.

5. Optical-driven nonlocal SAR despeckling / L. Verdoliva, R. Gaetano, G. Ruello, G. Poggi // IEEE Geoscience and Remote Sensing Letters. 2015. Vol. 12, № 2. P. 314318. DOI: 10.1109/LGRS.2014.2337515.

6. Wang J., Wang Y. Modified SURF applied in remote sensing image stitching // International Journal of Signal Processing, Image Processing and Pattern Recognition. 2015. Vol. 8, № 8. P. 1-10.

7. Sledevic T., SerackisA. SURF Algorithm Implementation on FPGA // Proceedings of 13th Biennial Baltic Electronics Conference. [Piscataway] : IEEE, 2012. P. 291-294. DOI: 10.1109/BEC.2012.6376874.

8. Tareen S.A.K., Saleem Z. A comparative analysis of SIFT, SURF, KAZE, AKAZE, ORB, and BRISK // Invent, innovate and integrate socioeconomics development : proceedings of 2018 International Conference on Computing, Mathematics and Engineering Technologies (iCoMET 2018). [Piscataway] : IEEE, 2018. P. 1-10. DOI: 10.1109/ICOMET.2018.8346440.

9. A. Makarov, M. Bolsunovskaya. Comparative analysis of reference point detection methods for images with various brightness. Transactions of St. Petersburg Polytechnical University. Computer Science, Telecommunications, and Control Systems, 2018, vol. 11, No. 2, pp. 7-18, DOI: 10.18721/JCSTCS.11201, in Russian.

10. Novel radar techniques and applications. Vol. 2: Waveform diversity and cognitive radar, and target tracking

and data fusion / ed. R. Klemm. London : Scitech Publishing, 2017. XXIII, 527 p.

11. Raol J.R. Multi-Sensor Data Fusion with MATLAB. Boca Raton [et al.] : CRC, 2009. 534 p.

12. Shepeta A.P., Nenashev V.A. Modeling algorithm for SAR image based on fluctuations of echo signal of the Earth's surface // SAR image analysis, modeling, and techniques XV : Proceedings of SPIE. Bellingham, 2015. Vol. 9642. P. 96420X (p. 1-8). DOI: 10.1117/12.2194569.

13. Chen K.-S. Principles of synthetic aperture radar imaging. A system simulation approach. Boca Raton [et al.] : CRC, 2016. XV, 203 p.

14. V. Antipov et al. Airborne radar vision systems. Moscow, Radiotekhnika, 2015, 648 pp. (in Russian).

15. Novel radar techniques and applications. Vol. 1: Real aperture array radar, imaging radar, and passive and mul-tistatic radar. London : Scitech Publishing, 2017. 951 p.

16. Nenashev V.A., Shepeta A.P. Accuracy characteristics of object location in a two-position system of small onboard radars // Информационно-управляющие системы. 2020. № 2. С. 31-36. DOI: 10.31799/16848853-2020-2-31-36.

17. Features of information processing in the onboard two-position small-sized radar based on UAVs / Nenashev V.A., Kryachko A.F., Shepeta A.P., Burylev D.A. // SPIE Future Sensing Technologies : Proceedings of SPIE. 2019. Vol. 11197. P. 111970X (p. 1-7). DOI: 10.1117/12.2542718.

18. Nenashev V.A., Shepeta A.P. Optimization the size of the search area for moving physical objects based on preliminary target designation data // Proceedings of Wave Electronics and its Application in Information and Telecommunication Systems (WECONF 2021). Piscataway : IEEE, 2021. P. 1-4. DOI: 10.1109/WECONF51603.2021.9470590.

19. Target detection method for main lobes of airborne radars in the two-position system. Patent 2703996 Russian Federation / V. Nenashev, G. Korzhavin, A. Shepeta et al. No. 2019108828; appl. date 26.03.2019; publ. date 06.05.2019, Bull. No. 13. 8 pp. (in Russian).

20. Device for determination of movement parameters of surface objects by two-position system of small airborne radars. Patent 2760873 Russian Federation / V. Ne-nashev, Ye. Grigoryev, A. Shepeta et al. No. 2021106017; appl. date 09.03.2021; publ. date 01.12.2021, Bull. No. 34, 15 pp. (in Russian).

21. Frontal aperture synthesis method for terrain mapping by multi-position radar array system with elimination of blind zones in the main lobe. Patent 2560082 Russian Federation / V. Nenashev, Yu. Podoplekin, A. Shepeta. No. 2014100672/07; appl. date 09.01.2014; publ. date 20.08.2015, Bull. No. 23, 8 pp. (in Russian).

22. Device for multi-angle and multi-position synthesis of integrated terrain image. Patent 2756904 Russian Federation / V. Nenashev, I. Khanykov, A. Shepeta, No. 2021107671; appl. date 24.08.2020; publ. date 06.10.2021, Bull. No. 23, 15 pp. (in Russian).

23. Nenashev V.A., Sentsov A.A., Shepeta A.P. Formation of radar image the earth's surface in the front zone review two-position systems airborne radar // 2019 Wave Electronics and its Application in Information and Telecommunication Systems (WECONF). Piscataway : IEEE, 2021. P. 1-5. DOI: 10.1109/weconf.2019.8840641.

24. G. Kondratenkov, A. Frolov. Radar vision in the main lobe of airborne synthesized-aperture radar // Radioengineering, 2004, No. 1, pp. 47-49, in Russian.

25. Nenashev V.A., ShepetaA.P., KryachkoA.F. Fusion radar and optical information in multiposition on-board location systems // Proceedings of Wave Electronics and its Application in Information and Telecommunication Systems (WECONF 2020). Piscataway : IEEE, 2020. P. 1-5. DOI: 10.1109/WEC0NF48837.2020.9131451.

26. Zhou G., Reichle S. UAV-based multi-sensor data fusion processing // International journal of image and data fusion. 2010. Vol. 1, № 3. P. 283-291. DOI: 10.1080/19479832.2010.497343.

27. Zhang J. Multi-source remote sensing data fusion: Status and trends // International journal of image and data fusion. 2010. Vol. 1, № 1. P. 5-24. DOI: 10.1080/19479830903561035.

28. Klein L.A. Sensor and data fusion. A tool for information assessment and decision making. 2nd ed. Bellingham : SPIE Press, 2012. 498 p.

Сведения об авторах

Ненашев Вадим Александрович, к.т.н., доцент и ведущий научный сотрудник кафедры вычислительных систем и сетей института информационных технологий и программирования ФГАОУ ВО «Санкт-Петербургский государственный университет аэрокосмического приборостроения». Адрес: 190000, Россия, Санкт-Петербург, ул. Большая Морская, д. 67, лит. А. E-mail: nenashev.va@yandex.ru. https://orcid.org/0000-0001-5285-2051.

Рыжов Константин Юрьевич, ассистент кафедры вычислительных систем и сетей института информационных технологий и программирования ФГАОУ ВО «Санкт-Петербургский государственный университет аэрокосмического приборостроения». Адрес: 190000, Россия, Санкт-Петербург, ул. Большая Морская, д. 67, лит. А. E-mail: konstantin.r02.27@gmail.com.

Ненашев Сергей Александрович, младший научный сотрудник кафедры вычислительных систем и сетей института информационных технологий и программирования

ФГАОУ ВО «Санкт-Петербургский государственный университет аэрокосмического приборостроения». Адрес: 190000, Россия, Санкт-Петербург, ул. Большая Морская, д. 67, лит. А. E-mail: nenashev_sergey178@mail.ru. ORCID: https://orcid.org/0000-0002-6913-5590

Григорьев Евгений Константинович, ассистент кафедры вычислительных систем и сетей института информационных технологий и программирования ФГАОУ ВО «Санкт-Петербургский государственный университет аэрокосмического приборостроения». Адрес: 190000, Россия, Санкт-Петербург, ул. Большая Морская, д. 67, лит. А. Тел.: +7 (812) 494-70-40. E-mail: dek4@guap.ru. ORCID: https://orcid.org/0000-0001-5981-4074 Григоров Максим Юрьевич, к.т.н., старший научный сотрудник кафедры вычислительных систем и сетей института информационных технологий и программирования ФГАОУ ВО «Санкт-Петербургский государственный университет аэрокосмического приборостроения». Адрес: 190000, Россия, Санкт-Петербург, ул. Большая Морская, д. 67, лит. А. E-mail: m_grigorov@ksrc.ru. https://orcid.org/0009-0008-7769-3278.

About the authors

Vadim A. Nenashev, Cand. Sci. (Eng.), Ass. Prof., Lead Researcher, Department of Computer Systems and Networks, Institute of Computing Systems and Programming, St. Petersburg State University of Aerospace Instrumentation (SUAI), address: building E, 67, Bolshaya Morskaya street, St. Petersburg, Russia, post code 190000, e-mail: ne-nashev.va@yandex.ru. https://orcid.org/0000-0001-5285-2051.

Konstantin Yu. Ryzhov, Assistant, Department of Computer Systems and Networks, Institute of Computing Systems and Programming, St. Petersburg State University of Aerospace Instrumentation (SUAI), address: building E, 67, Bolshaya Morskaya street, St. Petersburg, Russia, post code 190000, e-mail: konstan-tin.r02.27@gmail.com.

Sergey A. Nenashev, Junior Researcher, Department of Computer Systems and Networks, Institute of Computing Systems and Programming, St. Petersburg State University of Aerospace Instrumentation (SUAI), address: building E, 67, Bolshaya Morskaya street, St. Petersburg, Russia, post code 190000, e-mail: nenashev_sergey178@mail.ru. ORCID: https://orcid.org/0000-0002-6913-5590. Evgeny K. Grigoryev, Assistant, Department of Computer Systems and Networks, Institute of Computing Systems and Programming, St. Petersburg State University of Aerospace Instrumentation (SUAI), address: building E, 67, Bolshaya Morskaya street, St. Petersburg, Russia, post code 190000, email: dek4@guap.ru. ORCID: https://orcid.org/0000-0001-5981-4074.

Maksim Yu. Grigorov, Cand. Sci. (Eng.), Senior Researcher, Department of Computer Systems and Networks, Institute of Computing Systems and Programming, St. Petersburg State University of Aerospace Instrumentation (SUAI), address: building E, 67, Bolshaya Morskaya street, St. Petersburg, Russia, post code 190000, e-mail: m_grigorov@ksrc.ru. https://orcid.org/0009-0008-7769-3278.

Поступила / Received: 14.07.23 Принята в печать / Accepted: 01.08.23 © Коллектив авторов, 2023

i Надоели баннеры? Вы всегда можете отключить рекламу.