CC BY
1
ИНФОРМАЦИОННОЕ ОБЕСПЕЧЕНИЕ ОПТИЧЕСКИХ СРЕДСТВ ОПЕРАТИВНОГО ОПРЕДЕЛЕНИЯ КООРДИНАТ БЕСПИЛОТНЫХ ЛЕТАТЕЛЬНЫХ АППАРАТОВ
Васильев В.В.1, Комочкин И.А.2, Поседкин Н.М.3
Ключевые слова: беспилотный летательный аппарат (БПЛА), поиск, обнаружение, классификация, оценивание координат, оптические средства, цифровая матрица.
Аннотация
Цель работы: повышение оперативности обнаружения и оценивания координат БПЛА на основе применения современных информационных технологий в задачах обработки видеоинформации оптических средств обнаружения и оценивания местоположения летательных аппаратов.
Методы: системный анализ, статистический анализ задачи позиционирования малоконтрастных изображений летательных аппаратов на цифровых матрицах оптических устройств.
Результаты: разработана методика информационного обеспечения оптических средств определения координат беспилотных летательных аппаратов в реальном времени.
00!: 10.24412/1994-1404-2024-3-149-155
Введение
Определение координат траектории движения беспилотных летательных аппаратов, ракет и снарядов оптическими средствами является актуальной задачей, так как оптические средства обладают наибольшей разрешающей способностью и точностью оценивания координат. Они часто привлекаются к испытаниям и в оперативном оценивании параметров движения ЛА. Для оценки местоположения ЛА в пространстве требуется использовать два и более оптических средств, распределённых соответствующим образом на местности [2]. При оперативном оценивании чаще всего объектив теодолита автоматически наводится на объект наблюдения так, чтобы изображение объекта попало в фокальную точку («перекрестие»), отсчёт угловых координат осуществляется по показаниям угловых датчиков, установленных на горизонтальной и вертикальной осях оптико-механического блока с установленным на нём объективе (ОМБ). Автоматическая система управления использу-
ет отклонение изображения цели от фокальной точки для формирования управляющих воздействий на систему приводов вращения ОМБ [1, 2, 5]. Для устойчивого и точного сопровождения требуется высокая степень контрастности цели над окружающей средой, что не всегда имеет место на практике. Даже при большой контрастности изображения автоматический способ не обеспечивает высокой точности позиционирования изображения на цифровой матрице из-за случайных и систематических погрешностей формирования управляющих воздействий. При малой контрастности изображения БПЛА обнаружение и автосопровождение БПЛА является проблематичным.
Существует второй способ оценивания угловых координат, состоящий в том, оцениваются с высокой степенью точностью параметры местоположения изображения на цифровой матрице, затем они пересчиты-ваются в оценки угловых координат с учётом показаний угловых датчиков ОМБ. Обычно это делается при работе теодолита в патрульном режиме, при котором ОМБ неподвижен или совершает относительно мед-
' Васильев Владимир Владимирович, доктор технических наук, профессор, главный научный сотрудник ОАО «Научно-производственный испытательный центр «Арминт», г. Москва, Российская Федерация. E-mail: [email protected]
2 Комочкин Илья Александрович, адъюнкт Военной академии Ракетных войск стратегического назначения им. Петра Великого, г. Балашиха, Российская Федерация.
E-mail: [email protected]
3 Поседкин Никита Михайлович, студент Московского государственного технического университета им. Н.Э. Баумана, г. Москва, Российская Федерация.
E-mail: [email protected]
ленные перемещения для сканирования пространства [2]. В этом режиме при малоконтрастных изображениях в основном используется человек-оператор. Автоматический режим слежения за изображением на матрице используется при большой контрастности цели. В случае малоконтрастных изображений ЛА привлечение человека-оператора существенно снижает оперативность оптического комплекса и не позволяет решать задачи оценивания движения в реальном темпе времени.
Современные потребности ставят задачи оценивания движения БПЛА в реальном темпе времени в сложных условиях наблюдения объекта. Эти задачи сложно формализуются и не имеют аналитического решения. В этих условиях целесообразно искать решение на пути комплексирования технических и программных средств. В основу решения кладутся базовые системообразующие модели [3, 6, 7]. Общая задача декомпозиру-
ется на ряд частных, которые решаются с учетом известных методик и разработок. При необходимости частные задачи решаются в оригинальной постановке. Полученные решения интегрируются с учетом базовых моделей.
Анализ содержания задачи
Добиться одновременно и точности, и оперативности возможно при комплексном решении задачи обнаружения и оценивания координат БПЛА.
Для создания базовой системообразующей модели можно воспользоваться моделью системы, описанной в [2], в которой оценки координат БПЛА определяются по измеренным значениям координат изображений ЛА на цифровых матрицах соответствующих теодолитов (Умь ХмО 0 = 1...к), реализующего оператор А0: {УМДМ} —> С*- Структурная схема модели представлена на рис. 1.
Рис. 1. Структурная схема модели оптической системы оценивания координат ЛА
Центральным элементом этой системы является устройство обработки цифрового изображения. В отличие от многочисленных способов обработки цифровых изображений, нацеленных на повышение качества изображения [5], в системах оценивания параметров движения ЛА обработка нацелена на решение задачи позиционирования изображения ЛА в системе координат цифровой матрицы (Хм, Ум) и показателями её качества является погрешности позиционирования,
оцениваемые среднеквадратическими отклонениями погрешностей измерения координат (^Дуи)- Минимальные значения СКО достигаются при обработке цифрового изображения пространственными фильтрами с учетом статистики помех. В частности, при независимых помехах в соседних пикселях матрицы, обусловленные собственными шумами и фоном, наибольшей точности позиционирования достигается при использовании фильтра, определяющего энергетический или
геометрический центры Умла) фигуры изображе
ния ЛА, находимого в соответствии с алгоритмом
WU)
-^ЭЦИ —
УэШ] ВД'лаСЦ)
- р^цм - 0,5 р; (1)
- рУцМ - 0,5р ; (2)
Здесь:
■^эци и Уэци — координаты энергетического центра изображения ОН по строкам и столбцам цифровой матрицы соответственно, число пикселей;
и УцМ — координаты центра цифровой матрицы, число пикселей;
ImXUj) — интенсивность сигнала изображения ЛА в пределах i, j-того пикселя матрицы;
р — размеры пикселя по горизонтали (вертикали).
Nx и N — размеры матрицы по горизонтали и вертикали соответственно, число пикселей.
Однако при наличии собственных шумов цифровой матрицы /ш (i, j) возникают проблемы, так как функция распределения интенсивностей сигнала неизвестна, а интегрирование по всему полю матрицы приводит к грубым погрешностям оценок (абсолютное значение погрешности превышает утроенное значение СКО). «Отрезание» шумов с помощью некоторого порогового уровня, может обеспечить решение задачи, но лишь при больших уровнях сигнала. Реально на практике уровень сигнала изображения ЛА невелик поэтому вероятность появления грубых погрешностей велика. В этих условиях необходимо собирать энергию по всей площади изображения, т. е. применять соответствующие фильтры, и уменьшать участок матрицы, привлекаемой к обработке, вплоть до размеров изображения. Другими словами, необходимо решать задачи фильтрации, локализации изображения и высокоточного позиционирования в условиях неопределённости функции распределения интенсивности сигнала. Поэтому самый большой объём вычислений приходится на обработку видеоизображений. Его сокращение возможно применением искусственной нейросети, что позволит большую часть вычислений переложить на её предварительное обучение.
Решение задачи оптимизации обработки видеокадров, направленное на определение положения ЛА на матрице теодолита, представляет собой комплексный процесс, связанный с задачами компьютерного зрения. Ключевым этапом является выбор подходящей архитектуры нейросети, которая могла бы эффективно справляться с такими задачами. Наиболее подходящими для этого являются нейросети, использующие сверточные слои, так как они отлично зарекомендовали себя в задачах, связанных с распознаванием и классификацией объектов на изображениях [17]. Одним из лучших вариантов для решения нашей задачи является нейросеть You Only Look Once (YOLO). Эта архитектура получила широкое распространение благодаря своей
способности быстро и точно обнаруживать объекты в реальном времени, что делает её особенно полезной в условиях, когда необходима высокая скорость обработки данных. Кроме того, YOLO имеет открытый исходный код, что позволяет адаптировать её под конкретные нужды проекта и интегрировать в различные системы. Для достижения максимальной эффективности работы нейросети её необходимо предварительно обучить на соответствующей выборке данных. В рассматриваемой задаче выборка состоит из кадров, взятых из видеоматериала по наблюдению БПЛА, на которых вручную размечаются объекты интереса — БПЛА и, возможно, другие значимые элементы. При попадании на видео помех в виде, например, птиц нейросеть может детектировать их как БПЛА. Для борьбы с этой проблемой и сведения ее к минимуму необходимо включать в обучающую выборку кадры с этими помехами.
В зависимости от качества изображения БПЛА можно выделить два крайних характерных режима работы устройства:
• работа по сильноконтрастным, большим по размерам изображениям;
• работа по слабоконтрастным малоразмерным изображениям.
Существенных проблем по автоматизации процедур обнаружения, слежения и позиционирования в первом режиме не имеется. На практике имеются реализации слежения оптическими средствами за самолётами при их посадке.
Гораздо сложнее реализовать указанные процедуры во втором режиме. Существуют различные способы выделения слабоконтрастных изображений БПЛА на фоне местных объектов и собственных шумов. В частности, высокую эффективность показал интегро-диф-ференциальный способ селекции подвижных слабоконтрастных малоразмерных изображений [9]. Так, например, практически неразличимый для человека-оператора на цифровой матрице малоразмерный ЛА (снаряд) путём последовательно применяемых межкадрового дифференцирования, порогового сравнения и последующего накопления проявляется в виде яр-костного изображения, которым можно оперировать в автоматическом режиме (рис. 2).
Поэтому для улучшения точности обнаружения объектов на кадрах полезно предварительно проводить дифференцирование изображений. Эта процедура повышает контрастность кадров, выделяя важные детали, и облегчает работу нейросети. Для выполнения дифференцирования удобно использовать библиотеку Open CV, которая предоставляет широкий спектр инструментов для обработки изображений и видео. Дифференцированные кадры, прошедшие через этот этап предварительной обработки, затем подаются на вход нейросети для обучения. После того как модель обучена, она может применяться для анализа новых кадров, поступающих в реальном времени. После работы нейросети с помощью API извлекаются данные о местоположении объекта детектирования на матрице.
Снаряд
Снаряд
О
а б
Рис 2. Изображение малоразмерной слабоконтрастной цели а) до и б) после интегро-дифференциальной обработки изображения
Тем не менее такая обработка изображения БПЛА на цифровой матрице решает узкую задачу — оценку координат изображения БПЛА в системе координат цифровой матрицы. В случае сложного фона возможны грубые искажения результатов оценки координат. Для исключения таких ситуаций необходимо уменьшать область обработки, ограничив её размерами близкими к размерам изображения БПЛА.
Для повышения оперативности при сохранении точности требуется не только автоматизировать процедуры обработки видеоизображения, но взглянуть на проблему оценивания движения БПЛА в реальном времени в целом, как на общесистемную задачу поиска ЛА и оценивания его движения [2]. При таком подходе в основу оптической системы кладётся структура системы оценивания стохастического движения ЛА, определяемая методами теории фильтрации.
Для того, чтобы обеспечить условия быстрого поиска и сопровождение изображения на цифровых матрицах теодолитов, необходимо решать в темпе реального времени две задачи:
• оценивание координат БПЛА в топоцентрической системе координат по измерениям на матрице и данных углоизмерительных датчиков;
• предсказание области местонахождения изображения БПЛА на цифровых матрицах теодолитов.
Решение первой задачи описано в [2, 8]. Оценка координат осуществляется по алгоритму МНК
где
• Ф^ — модифицированная матрица частных производных;
• N — ковариационная матрица погрешностей измерения угловых координат.
Алгоритм затрачивает незначительный ресурс вычислительного устройства.
Решение второй задачи реализуется с помощью линейного дискретного фильтра Калмана [16]
(4)
(5)
где:
— вектор оценок параметров системы (1)
— оптимальное предсказание вектора оценок;
Р — матрица переходов состояний системы (1);
— матрица оптимальных весовых коэффициентов.
Предсказанные координаты ЛА можно
использовать для расчёта условного математического ожидания координат (YMj,XMj) изображения ЛА на цифровых матрицах]-го теодолита
У*1 /О
(3)
П■¿а.руг^м,
(6)
— вектор оценок координат ЛА в текущий момент времени ti;
С0 — обобщённый вектор координат привязки теодолитов в топоцентрической системе координат; ф — матрица частных производных, элементы которой зависят от оценок угловых координат ЛА, полученных теодолитами в текущий момент времени;
где П— оператор преобразования видимого пространства на пространство изображений, зависящий от угловых параметров (£*,/?) ориентации оптической оси объектива _]-го теодолита [2].
Предсказание области наиболее вероятного появления изображения объекта наблюдения существенно сокращает время обработки изображения и повышает качество оценок местоположения изображения БПЛА на цифровой матрице.
Рис. 3. Структурная схема базовой модели системы оценивания
В соответствии с этим для обобщённого представления системы в контур системы включаются процедуры поиска и позиционирования, а сама система дополняется обратными связями, как это показано на рис. 3.
Совокупность моделей обработки изображений и оценивания координат БПЛА, охваченные обратными связями, может быть представлена как базовая модель оптической системы оценивания в реальном темпе времени. Разработка частных моделей и последующее их комплексирование позволяет решить задачу оценивания координат БПЛА в реальном времени в целом. Отличительной особенностью такого построения системы состоит в том, что задачи обнаружения и позиционирования на частных цифровых матрицах решаются с учётом общего источника информации — БПЛА. Это позволяет существенно сократить область поиска и время на оценку координат изображения на поле цифровой матрицы.
Заключение
Повышение оперативности оценивания координат БПЛА с помощью оптических средств при сохранении точности требует взглянуть на проблему оценивания движения БПЛА в реальном времени в целом, как общесистемную задачу поиска БПЛА и оценивания его движения. В основу построения оптической системы необходимо класть структуру системы оценивания стохастического движения ЛА, определяемую методами теории фильтрации. В соответствии с ней процедуры поиска и позиционирования изображения ЛА на цифровой матрице необходимо включать в контур системы оценивания, а сам комплекс оптических средств должен дополняться обратными связями. Для обеспечения режима реального времени обнаружение изображения ЛА, его позиционирование на цифровой матрице следует применять нейросетевую технологию.
Литература
1. Алпатов Б.А., Бабаян П.В., Балашов О.Е., Степашкин А.И. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление. М. : Радиотехника, 2008. 176 с.
2. Булычев Ю.Г., Васильев В.В., Джуган Р.В, Манин А.П. и др. Информационно-измерительное обеспечение натурных испытаний сложных технических комплексов / Под ред. Манина А.П. и Васильева В.В. М. : Машиностроение-Полёт, 2016. 440 с.
3. Васильев В.В., Потюпкин А.Ю., Толоконников В.А., Чечкин А.В. Использование информационно-системной избыточности в системах безопасности охраняемых объектов // Правовая информатика. 2022. № 2. С. 49—58.
4. Васильев В.В., Джуган Р.В., Манин А.П. Дальность действия оптических средств наблюдения беспилотных летательных аппаратов // Полёт. 2015. № 10. С. 3—8.
5. Лазарев Л.П. Оптико-электронные приборы наведения летательных аппаратов. М. : Машиностроение, 1984. 480 с.
6. Ловцов Д.А., Гаврилов Д.А. Моделирование оптико-электронных систем дистанционно-пилотируемых аппаратов : монография. М. : Технолоджи-3000, 2019. 164 с. ISBN 978-5-94472-036-8.
7. Ловцов Д.А., Гаврилов Д.А. Эффективная автоматизированная оптико-электронная система аэрокосмического мониторинга // Правовая информатика. 2019. № 2. С. 29—35. DOI: 10.21681/1994-1404-2019-2-29-35 .
8. Васильев В.В., Манин А.П., Челахов В.В. Концептуальные вопросы построения оптических систем обеспечения безопасности полётов, контроля параметров движения и ориентации летательных аппаратов в пространстве // Полёт. 2013. № 9. С. 54—59.
9. Васильев В.В., Малахов А.Н., Манин А.П. Электронно-цифровое устройство измерения угловых координат с дифференциальной и интегральной селекцией подвижных объектов наблюдения. ФИПС. Патент № 2561310 от 05.03.2014.
10. Васильев В.В., Джуган Р.В, Манин А.П., Соколюк В.Л., Фокин А.И. Панорамные оптические средства наблюдения беспилотных летательных аппаратов // Полёт. 2018. № 4. С. 3—8.
11. Колчаев Д.А., Ефимов А.И., Устюков Д.И. Пространственно-временная фильтрация изображений от движущейся мобильной системы технического зрения // Известия ТулГУ. Технические науки. 2019. Вып. 2. С. 101—108.
12. De Visser E., Cohen M. S., LeGoullon M., Sert O., Freedy A., Freedy E., Weltman G., Parasuraman R. A Design Methodology for Controlling, Monitoring, and Allocating Unmanned Vehicles. Third International Conference on Human Centered Processes (HCP-2008). 2008. Pp. 1—5.
13. Danyk Y., Puleko I., Bougaiov V. Unmanned aerial vehicles detection based on analysis of acoustic and radar signals // J. Zhytomyr State Technol. Univ. 2014.
14. Макаренко С.И. Противодействие беспилотным летательным аппаратам : монография. СПб. : Наукоемкие технологии, 2020. 204 с.
15. Кириллов А. Перспективные зарубежные боевые беспилотные аппараты // Зарубежное военное обозрение. 2002. № 3. С. 35—40.
16. Сейдж Э., Мелс Дж. Теория оценивания и ее применение в связи и управлении / Пер. с англ. под ред. проф. Б.Р. Левина. М. : Связь, 1976. 496 с.
17. Устинова Е.С., Лемпицкий В.С. Способ обучения глубоких нейронных сетей на основе распределения попарных мер схожести. ФИПС. Патент RU 2 641 447 C1, 2018 г.
SECTION:
INFORMATION AND A UTOMATED SYSTEMS AND NETWORKS
INFORMATION SUPPORT FOR OPTICAL MEANS FOR PROMPTLY DETERMINING THE COORDINATES OF UNMANNED AERIAL VEHICLES
Vladimir Vasil'ev, Dr.Sc, (Technology), Professor, Principal Researcher at OAO (OJSC) "Research and Production Testing Centre "Armint", Moscow, Russian Federation, E-mail: vv-vasiliev@yandex,ru
Il'ia Komochkin, military Ph,D, student at the Peter the Great Military Academy of the Strategic Missile Forces, Balashikha, Russian Federation, E-mail: ilya,komochkin@mail,ru
Nikita Posedkin, student at the Bauman Moscow State Technical University, Moscow, Russian Federation, E-mail: nicposeda@yandex,ru
Keywords: unmanned aerial vehicle (UAV), search, detection, classification, estimation of coordinates, optical means, digital array.
Abstract
Purpose of the study: improving the promptness of detection and estimation of coordinates of unmanned aerial vehicles (UAVs) based on using modern information technologies in tasks of processing video information obtained from optical means for UAV position detection and estimation.
Methods used in the study: system analysis, statistical analysis for the task of positioning low contrast images of UAVs on digital arrays of optical devices.
Study findings: a methodology of information support for optical means for determining the coordinates of UAVs in real time was worked out.
References
1. Alpatov B.A., Babaian P.V., Balashov O.E., Stepashkin A.I. Metody avtomaticheskogo obnaruzheniia i soprovozhdeniia ob"ektov. Obrabotka izobrazhenii i upravlenie. M. : Radiotekhnika, 2008. 176 pp.
2. Bulychev Iu.G., Vasil'ev V.V., Dzhugan R.V, Manin A.P. i dr. Informatsionno-izmeritel'noe obespechenie naturnykh ispy-tanii slozhnykh tekhnicheskikh kompleksov. Pod red. Manina A.P. i Vasil'eva V.V. M. : Mashinostroenie-Polet, 2016. 440 pp.
3. Vasil'ev V.V., Potiupkin A.Iu., Tolokonnikov V.A., Chechkin A.V. Ispol'zovanie informatsionno-sistemnoi izbytochnosti v sistemakh bezopasnosti okhraniaemykh ob"ektov. Pravovaia informatika. 2022. No. 2. Pp. 49—58.
4. Vasil'ev V.V., Dzhugan R.V., Manin A.P. Dal'nost' deistviia opticheskikh sredstv nabliudeniia bespilotnykh letatel'nykh apparatov. Polet. 2015. No. 10. Pp. 3—8.
5. Lazarev L.P. Optiko-elektronnye pribory navedeniia letatel'nykh apparatov. M. : Mashinostroenie, 1984. 480 pp.
6. Lovtsov D.A., Gavrilov D.A. Modelirovanie optiko-elektronnykh sistem distantsionno-pilotiruemykh apparatov : monografiia. M. : Tekhnolodzhi-3000, 2019. 164 pp. ISBN 978-5-94472-036-8.
7. Lovtsov D.A., Gavrilov D.A. Effektivnaia avtomatizirovannaia optiko-elektronnaia sistema aerokosmicheskogo monitoringa. Pravovaia informatika. 2019. No. 2. Pp. 29—35. DOI: 10.21681/1994-1404-2019-2-29-35 .
8. Vasil'ev V.V., Manin A.P., Chelakhov V.V. Kontseptual'nye voprosy postroeniia opticheskikh sistem obespecheniia bezopasnosti poletov, kontrolia parametrov dvizheniia i orientatsii letatel'nykh apparatov v prostranstve. Polet. 2013. No. 9. Pp. 54—59.
9. Vasil'ev V.V., Malakhov A.N., Manin A.P. Elektronno-tsifrovoe ustroistvo izmereniia uglovykh koordinat s differentsi-al'noi i integral'noi selektsiei podvizhnykh ob"ektov nabliudeniia. FIPS. Patent No. 2561310 ot 05.03.2014.
10. Vasil'ev V.V., Dzhugan R.V, Manin A.P., Sokoliuk V.L., Fokin A.I. Panoramnye opticheskie sredstva nabliudeniia bespilotnykh letatel'nykh apparatov. Polet. 2018. No. 4. Pp. 3—8.
11. Kolchaev D.A., Efimov A.I., Ustiukov D.I. Prostranstvenno-vremennaia fil'tratsiia izobrazhenii ot dvizhushcheisia mo-bil'noi sistemy tekhnicheskogo zreniia. Izvestiia TulGU. Tekhnicheskie nauki. 2019. Vyp. 2. Pp. 101—108.
12. De Visser E., Cohen M. S., LeGoullon M., Sert O., Freedy A., Freedy E., Weltman G., Parasuraman R. A Design Methodology for Controlling, Monitoring, and Allocating Unmanned Vehicles. Third International Conference on Human Centered Processes (HCP-2008). 2008. Pp. 1—5.
13. Danyk Y., Puleko I., Bougaiov V. Unmanned aerial vehicles detection based on analysis of acoustic and radar signals. J. Zhytomyr State Technol. Univ. 2014.
14. Makarenko S.I. Protivodeistvie bespilotnym letatel'nym apparatam : monografiia. SPb. : Naukoemkie tekhnologii, 2020. 204 pp.
15. Kirillov A. Perspektivnye zarubezhnye boevye bespilotnye apparaty. Zarubezhnoe voennoe obozrenie. 2002. No. 3. Pp. 35—40.
16. Seidzh E., Mels Dzh. Teoriia otsenivaniia i ee primenenie v sviazi i upravlenii. Per. s angl. pod red. prof. B.R. Levina. M. : Sviaz, 1976. 496 pp.
17. Ustinova E.S., Lempitskii V.S. Sposob obucheniia glubokikh neironnykh setei na osnove raspredeleniia poparnykh mer skhozhesti. FIPS. Patent RU 2 641 447 C1, 2018 g.
