CC BY
29
УНИВЕРСИТЕТ ИТМО
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ май-июнь 2021 Том 21 № 3 http://ntv.ifmo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS May-June 2021 Vol. 21 No 3 http://ntv.ifmo.ru/en/
ISSN 2226-1494 (print) ISSN 2500-0373 (online)
ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ
ао1: 10.17586/2226-1494-2021-21-3-342-351 УДК 621.397.001
Исследование точности измерения параметров удаленных объектов, наблюдаемых оптико-электронной системой с регистратором светового поля
Владимир Евгеньевич Махов1И, Анатолий Иванович Потапов2, Владислав Владимирович Широбоков3, Александр Владимирович Емельянов4
1>3>4 Военно-космическая академия имени А.Ф. Можайского, Санкт-Петербург, 197198, Российская Федерация 2 Санкт-Петербургский горный университет, Санкт-Петербург, 199106, Российская Федерация
1 [email protected]н, http://orcid.org/0000-0002-8108-1089
2 [email protected], http://orcid.org/0000-0002-1975-5900
3 [email protected], http://orcid.org/0000-0001-6216-1334
4 [email protected], http://orcid.org/0000-0003-4995-0958
Аннотация
Предмет исследования. Рассмотрены вопросы построения оптико-электронных систем мониторинга околоземного космического пространства, выбора алгоритмов идентификации и получения координатной и некоординатной информации с целью обнаружения и приема максимально достоверной информации о космических объектах естественного и техногенного происхождения. Методы. Выполнены экспериментальные макетные исследования с использованием разработанной установки. Установка позволяет проводить калибровку оптико-электронной системы и исследование алгоритмов получения координатной и детальной информации о наблюдаемых объектах. Применен метод регистрации изображений телескопической системой в режиме астрографа с цифровой камерой и цифровой камеры с массивом микролинз. Использованы методы анализа двухмерных изображений алгоритмами измерения бинарных кластеров в структуре бинаризированного изображения, анализа яркостной структуры изображения круговой границей в заданной области, определения центров и радиусов вписанных в кластеры окружностей, вычисление координат максимумов кривых коэффициентов непрерывного вейвлет-преобразования в линиях профиля изображения с действительными вейвлетами. Основные результаты. Разработан состав и структура комплекса алгоритмов и методика их применения для повышения точности и достоверности информации, получаемой о наблюдаемых объектах в широком диапазоне изменения характеристик фоноцелевой обстановки. Обоснована возможность повышения точности и достоверности координатной информации об объектах наблюдения за счет анализа кривых коэффициентов непрерывного вейвлет-преобразования или градиента яркости при условии использования алгоритма анализа кластеров бинаризированных изображений, который определяет области локализации интересуемых объектов в наблюдаемом пространстве. Практическая значимость. Применение разработанной методики дает возможность оценить точность и достоверность результатов определения координат и детальных признаков объектов. Возможность масштабирования алгоритмов к средствам наблюдения и решаемым задачам позволяет использовать их в автоматизированных системах мониторинга околоземного космического пространства, повышает эффективность обнаружения и идентификации объектов, снижает требования к массогабаритным ресурсам космических аппаратов. При этом возможность масштабирования алгоритмов под средства наблюдения и решаемые задачи позволяет использовать их в системах мониторинга и повышает эффективность обнаружения и идентификации объектов. Ключевые слова
оптико-электронная система, регистратор светового поля, идентификация объекта, измерение параметров удаленных объектов, непрерывное вейвлет-преобразование
Ссылка для цитирования: Махов В.Е., Потапов А.И., Широбоков В.В., Емельянов А.В. Исследование точности измерения параметров удаленных объектов, наблюдаемых оптико-электронной системой с регистратором светового поля // Научно-технический вестник информационных технологий, механики и оптики. 2021. Т. 21, № 3. С. 342-351. doi: 10.17586/2226-1494-2021-21-3-342-351
© Махов В.Е., Потапов А.И., Широкобоков В.В., Емельянов А.В., 2021
Investigation of the accuracy of measuring the parameters of remote objects
observed by the optical-electronic system with a light field recorder
Vladimir E. Makhov1^, Anatoly I. Potapov2, Vladislav V. Shirobokov3, Alexander V. Emelyanov4
1,3,4 Mozhaisky Military Space Academy, Saint Petersburg, 197198, Russian Federation 2 Saint-Petersburg Mining University, Saint Petersburg, 199106, Russian Federation
1 [email protected], http://orcid.org/0000-0002-8108-1089
2 [email protected], http://orcid.org/0000-0002-1975-5900
3 [email protected], http://orcid.org/0000-0001-6216-1334
4 [email protected], http://orcid.org/0000-0003-4995-0958
Abstract
The paper considers the construction of optoelectronic systems for monitoring near-Earth space, the choice of algorithms for identifying and obtaining the most reliable coordinate and non-coordinate information about space objects of natural and man-made origin. Experimental mock-up studies using the developed installation were performed. The plant allows the calibration of the optoelectronic system and the study of algorithms for obtaining coordinate and detailed data about the observed objects. The authors apply the method of image registration by a telescopic system in the astrograph with a digital camera mode and a digital camera with a microlens array mode. The work uses the methods for analyzing two-dimensional images by algorithms for measuring binary clusters in an image structure, investigating the brightness structure of an image with a circular boundary in a given area, determining the centers and radii of the circles inscribed in clusters, calculating and estimating the maxima for the curves of the coefficients of continuous wavelet transformation in the image profile lines with real wavelets. The composition and structure of a complex of algorithms and a methodology for their application have been developed. The methodology makes it possible to increase the accuracy and reliability of information obtained about the observed objects in a wide range of changes in the characteristics of the background target environment. The results substantiate the possibility of increasing the accuracy and reliability of coordinate information about the observed objects by analyzing the curves of the coefficients of continuous wavelet transform or analyzing the brightness gradient, provided that the algorithm for analyzing clusters of binarized images is used. The algorithm makes it possible to determine the areas of localization of objects of interest in the observed space. The developed methodology can be applied to assess the accuracy and reliability of the results of determining the coordinates and detailed features of objects. At the same time, it is possible to scale the algorithms to the means of observation and the tasks being solved, which makes it possible to use them in automated monitoring systems for near-earth space and increases the efficiency of detection and identification of objects. Keywords
optoelectronic system, light field recorder, object identification, measurement of parameters of distant objects, continuous wavelet transform
For citation: Makhov V.E., Potapov A.I., Shirobokov V.V., Emelyanov A.V. Investigation of the accuracy of measuring the parameters of remote objects observed by the optical-electronic system with a light field recorder. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2021, vol. 21, no. 3, pp. 342-351 (in Russian). doi: 10.17586/2226-1494-2021-21-3-342-351
Введение
На сегодняшний день одной из устойчивых мировых тенденций в освоении околоземного космического пространства является постоянное наращивание средств космического базирования и расширение их функциональных возможностей. В настоящее время на земной орбите находится множество объектов как естественного, так и техногенного происхождения. По различным оценкам их суммарное количество превышает 40 тысяч единиц. Большая часть указанных объектов — космический мусор или метеориты — представляет существенную угрозу для безопасности космической деятельности. По этой причине мониторинга околоземного космического пространства [1] приобретает все большую актуальность как с позиций защиты от опасных ситуаций, так и с позиций экологической безопасности.
Каждый из космических объектов, наблюдаемых средствами мониторинга околоземного космического пространства, обладает собственным набором параметров, динамически меняющихся в зависимости от астробаллистических и метеорологических условий наблюдения.
В связи с этим возникает целый ряд актуальных задач, связанных с идентификацией и определением пространственно-временных параметров космических объектов. Известные типы оптико-электронных систем (ОЭС) способны получать изображения объектов в ограниченном объеме пространства, в определенном угле поля зрения, в течение фиксированных временных интервалов. Учитывая объемные характеристики пространства и объектов в нем, для получения интересуемых данных требуется либо использование более сложных комплексов наблюдения на базе пространственно-распределенных или динамически перемещаемых ОЭС, либо комплексирование данных о космических объектах, полученных из различных источников. В процессе получения необходимой информации возникают специфические особенности обработки сигналов. Кроме того, качество получаемых изображений зависит от ряда неконтролируемых параметров, что затрудняет их анализ и обработку и, как следствие, вносит новые ограничения по получению точных и достоверных характеристик о наблюдаемых космических объектах.
Задача поиска и исследования способов повышения эффективности мониторинга околоземного кос-
мического пространства за счет совершенствования ОЭС в части точности и достоверности координатной и некоординатной информации, получаемой о космических объектах в интересах формирования актуальных данных о космической обстановке, для своевременной выработки решений и принятия упреждающих мер по парированию возникающих угроз, является актуальной и имеет важное прикладное значение.
Обзор существующих технических решений по наблюдению за удаленными объектами
В настоящее время ОЭС — наиболее эффективное средство мониторинга околоземного космического пространства. Основой для построения таких систем является оптическая система [2] и матричный фотоприемник, в качестве которого используют матрицу фотодиодов на базе комплементарной структуры металл-оксид-полупроводник или приборов с зарядовой связью [1, 3]. Между тем такие ОЭС не позволяют проводить оценку дальностных характеристик объектов, что приводит к необходимости создания многопозиционных ОЭС или комплексных систем [4]. Решение основной проблемы получения достаточной информации об объектах в трехмерном пространстве определяет необходимость построения многопунктных ОЭС, имеющих значительные габариты и, как следствие, — достаточно сложное взаимодействие на уровне алгоритмов обработки информации.
В настоящее время существуют разработки гибридных ОЭС, например, с массивом микролинз перед фотоприемником, обеспечивающих получение массива субапертурных изображений на одном фотоприемнике [5]. Это дает возможность алгоритмического синтеза слоя пространства с заданным углом визирования и масштабом в одном кадре [6], а также осуществлять алгоритмическую пространственную калибровку наблюдаемого пространства [7], что значительно снижает требования к оптической системе. В результате повышается надежность и снижаются массогабаритные характеристики ОЭС. Такой подход требует принципиально менять структуру программно-алгоритмического комплекса ОЭС.
Процесс получения информации о космических объектах включает в себя этап предварительной обработки изображений [8] для последующего единообразного применения измерительных алгоритмов, с целью получения координатной информации об объектах и выделения других информационных признаков. Вопросы обработки изображений и выбора измерительных алгоритмов неоднозначны по отношению к изображениям различного качества [9], что, в свою очередь, влияет на точность и достоверность получаемой информации. Исследование алгоритмов производят на моделях, используя программные средства построения адаптивных алгоритмов получения информации.
На практике чаще всего используют методы обнаружения малоразмерных объектов в кадрах изображений ОЭС [10], базирующиеся на построении сложных детерминированных алгоритмов анализа яркостной структуры. Такие подходы трудно масштабировать к
изменению наблюдаемой сцены и оценить степень достоверности данных, получаемых на их основе.
Основой для реализации требуемых алгоритмов может служить гибкая платформа с сетевыми коммуникациями и возможностью масштабирования к решаемым ОЭС задачам. В настоящее время возможности построения и исследования алгоритмов к различным объектам сцены реализованы в среде разработки приложений фирмы National Instruments (NI) LabVIEW [11] c многочисленными функциями драйвера NI IMAQ Vision [12], а также дополнительными модулями, реализующими математические методы обработки информации. Использование технологий NI позволяет проводить масштабные исследования на различных модельных и реальных объектах [13], но следует учитывать некоторые ограничения при работе с перспективными ОЭС [13, 14].
Наиболее важная характеристика существующих и перспективных ОЭС — точность получаемой координатной и некоординатной информации при идентификации наблюдаемых объектов. Исследование точности и целесообразности применения математических методов в построении алгоритмов требует дополнительного исследования. Ввиду перспективы появления новых ОЭС, ранее такие исследования в полном объеме не проводились, но могут являться основой для их дальнейшей разработки и внедрения.
Технические средства исследования измерительных алгоритмов
Основная задача при разработке алгоритмов — обеспечение точности и достоверности получаемых параметров объектов наблюдаемой сцены. С учетом воздействия ряда неконтролируемых параметров и факторов шума алгоритмы должны обеспечивать устойчивость результатов в широком диапазоне композиций объектов сцены. Так как эти требования практически невозможно обеспечить в рамках одного алгоритма, необходимо рассматривать комплекс алгоритмов. При этом требуется разработать методику их взаимодействия в рамках обеспечения необходимой точности и достоверности, а также обеспечить вариативность объектов сцены путем экспериментальных исследований в натурных или максимально приближенных лабораторных условиях.
Для проверки работы алгоритмов в условиях реальных объектов разработана компактная лабораторная установка (рис. 1) на базе малогабаритного телескопа 2 Celestron C70 Mini Mak (увеличение 25-75х, диаметр объектива 70 мм, поле зрения на 1000 м — 12-23 м, минимальная дистанция фокусировки телескопа — 5 м). В качестве приемника изображения использованы цифровые камеры: смарт-камера 1 (NI 1742); цифровая окулярная насадка; цифровая камера светового поля (Lytro ILLUM) [14]. Объект исследования 3 (макет спутника) размещен на вращающемся диске 4, со штифтами 5, расположенными по окружности и используемыми для калибровки изображения модели. Поворот диска (изменение ракурса) осуществляется шаговым двигателем 6 (FL39ST38-0504A), через драйвер 7 (SMSD-1.5) и плату
Рис. 1. Макет установки для мониторинга околоземного космического пространства с элементами для калибровки Fig. 1. Layout of the plant for monitoring near-Earth space with elements for calibration
сбора данных с цифровыми шинами 8 (USB-6008). Полученное изображение отображается на экране монитора компьютера 9.
В работе [13] на моделях и изображениях малоразмерных объектов выделены два основных класса алгоритмов получения координатной и детальной информации:
— анализ формы и определение координат кластеров бинаризированной яркостной структуры;
— измерение по границам градиента яркости в изображении.
Более высокая точность измерений, фильтрация шумов и устранение влияния фона могут быть достигнуты путем применения интегральных методов, таких как частотно-координатное преобразование [15] и непрерывное вейвлет-преобразование (НВП, CWT — Continuous Wavelet Transform) [16, 17]. Это достигается за счет использования яркостной структуры всего изображения, но при этом требуется формирование области изображения с интересуемыми объектами.
Для получения информации данным способом можно перечислить стандартные алгоритмы преобразований и измерений, реализуемые средствами компьютерных технологий на базе технологий NI (узлы обработки данных, УОД), которые можно свести в табл. 1.
Бинаризация заключается в превращении изображения в двухцветное черно-белое. Главный параметр преобразования — порог интенсивности (№ 8, табл. 1) — значение, которое будет критерием проверки яркостной интенсивности каждой точки изображения. Усилить проявление доминантных признаков объекта позволяют морфологические операции (№ 9, 10, табл. 1) [13]. Бинарные изображения позволяют проводить измерения интересуемых параметров объектов (№ 11, 12, табл. 1), при этом точность измерений может быть достаточно высокой, но она зависит от качества изображения и задания значений порога бинаризации изображения.
Другой подход заключается в поиске на наблюдаемой сцене объектов, подобных заданным шаблонам (№ 4-7, табл. 1). Тем не менее положительный исход и точность такого поиска не может быть заранее определены. Использование таких методов оправдано при качественном анализе наблюдаемой сцены при выявлении интересуемых объектов.
Для получения более точной координатной информации о световых объектах может быть использован метод НВП [17] по отношению к распределению освещенности в линиях профиля изображения. Применение нескольких линий профиля усредняет шум в изображении и повышает точность измерения. Можно рассматривать среднее суммарное распределение освещенности в нескольких соседних и не соседних линиях профиля изображения (Ь^у):
1 е
1Ухк: 1с(х) = ~ IМ^ У = ск%
Ш=1
1 е
1Ххк: Ш = ~11т(х = ^ У^
Ш=1
где ЬУ^к и Ьх^к — набор линий профиля изображения параллельных осям координат ОУ и ОХ; е — количество линий профиля изображения усреднения; х и у — текущие координаты; ск и с1к — координаты строки и столбца изображения; 1с(х) и /¿(у) — усредненное распределение освещенности по выбранным линиям профиля (строкам и столбцам).
Согласно методу НВП [17] из функции распределения освещенности s(x)= /с(х)\/с(у) получаем шкалограм-му С(а, х) в представлении «сдвиг» (^-х) - «масштаб» (а) с выбранного типа вейвлета уш(х):
CWTц,(s(x)) ^ С(а, х) = <ф), уш(а, х)> =
= <—1/2
: <Ti,z- J il
—ОТ
J
1%-х
1D
\ a
%
Таблица 1. Стандартные функции обработки данных модуля IMAQ Vision Table 1. Standard functions of data processing of the IMAQ Vision module
Номер функции Название макроалгоритма Описание устройства обработки данных
1 Color Plane Extraction Извлечение плоскостей RGB, HSV и HSL из изображения - в изображение в градациях серого
2 Brightness Изменение контраста и яркости изображения
3 Find Circular Edge Нахождение круговой границы яркостной структуры в заданной области
4 Pattern Matching Определение наличия шаблона в изображении или заданной области по подобию интенсивности
5 Geometric Matching Определение наличия в шаблоне изображения или в области заданного геометрического подобия
6 Shape Detection Нахождение геометрической фигуры в изображении или в заданной области
7 Golden Template Comparison Сравнение области изображения с шаблоном и вычисление их разницы
8 Threshold: Threshold Range Выбор диапазона пикселов в градациях серого для бинаризации изображения
9 Basic Morphology: Dilate objects, Close objects Индивидуальное изменение формы кластеров: расширение или уменьшение, заполнение отверстий, закрытие или сглаживание границ
10 Advanced Morphology: Remove small objects, Convex Выполнение операции в кластерах двоичного изображения: Удаление маленьких объектов, Выпуклостью...
11 Particle Analysis Отображение результатов измерений кластеров на изображении юВыбор параметров измерения ю...
12 Circle Detection Нахождение центров и радиусов вписанных в кластеры окружностей в изображении. Диапазон поиска (3-100)
13 WA Continuous Wavelet Transform Вычисление НВП 1D сигнала с действительными вейвлетами
и кривые коэффициентов НВП D-ц, для выбранного типа вейвлета
œ
D>p(x) = j C(a, x)da. (1)
0
Еще большую информативность для определения координат и формы объектов может обеспечить НВП от кривых коэффициентов первого НВП (1):
œ
D\1W2(x, a) = j CWT2W2 (D1w1(x))da, (2) 0
где — тип вейвлета первого НВП; ^ — тип вейвлета второго НВП кривых коэффициентов первого НВП.
Координаты малоразмерных объектов (Xk, Y) определяются по положению экстремумов (максимумов) кривых коэффициентов НВП (D(x)), полученных различными методами (1) и (2):
к к
Xk = max( D>p(x)), Yk = max( D^(y)), k=1 k=1
к2 к 2 Xk = max< D^i^2(x)), Yk = max< D^^Cy)). k=1 k=1
В процессе исследования точности получения координатной информации об объектах использовался ряд алгоритмов с различными параметрами (табл. 1): № 3 (Find Circular Edge), № 11 (Particle Analysis), № 12 (Circle Détection), № 13 (WA Continuous Wavelet Transform).
На базе измерительных функций разработан скрипт (алгоритм) в приложении NI Vision Assistant (рис. 2) для
сравнения результатов измерений, полученных алгоритмами 4 — «Find Circular Edge», 8 — «Particle Analysis», 9 — «Circle Detection». Из представленного алгоритма видно, что на результаты измерения могут одинаково влиять параметры обработки изображения (2, 3), порога бинаризации 5, морфологических преобразований (6, 7) и параметры измерительных функций (4, 8, 9).
Блок-схема алгоритма измерений методом НВП, реализуемого функциями модулей IMAQ Vision и Advanced Signal Processing Toolkit в среде программирования NI LabVIEW, представлена на рис. 3.
На схеме введены следующие обозначения: 1 — получение исходного изображения; 2 — формирование оцифрованного фрагмента; 3 — формирование линий профиля; 4 — НВП; 5 — вычисление кривых коэффициентов НВП; 6 — выделение объектов по кривым коэффициентов НВП; 7 — удаление незначимых областей; 8 — выделение максимумов кривых коэффициентов НВП; 9 — определение координат максимумов НВП; 10 — вычисление координат; 11 — вычисление центра освещенности; 12 — калибровка измерения.
Блок-схема имеет другую структуру, чувствительна к взаимному положению объектов сцены, поэтому требует дополнительных операций 6-8. Систематическая погрешность, вызванная несимметричностью вейвлета и формой объекта, учитывается калибровкой 11, 12.
Таким образом, для малоразмерных объектов в динамических сценах корректное применение алгоритмов достаточно затруднительно и поэтому не обеспечивает требуемой точности измерений. Повышение точности
1
—»— —*— —>— ->- ->- ->- ->- ->—
- J , I ■ £ 5 6 7 S - 9
Original Image +
УОД
(табл.11
О) с[
S О-*
го 1=
Color Plane Extraction
Image Source
RGB-Red Plane RGB-Green Plane RGB-Blue Plane
HSL-Hue Plane HSL-Saturatlon Plane HSL-Lumlnance Plane
Brightness Find Circular Edge
Brightness Direction Outside to Inside ~
I 150 0 Edge Polarityl All Edges Contrast Looktor Best Edge -
Auto Setup
Minimum Edge Strength 66>6 ^ Kernel Size
Projection Width 5 $
Gap 30 &
Threshold
Gamma
I 11,00 W|
Lookup Table
Adv. Morphology
Remove small objects Remove large objects Remove border objects Fill holes Convex Hull Skeleton Separate objects
Basic Morphology
Erode objects Dilate objects Open objects Close objects Proper Open Proper Close
Particle Analysis
Number of Objects: [1! Connectivity 4/8 □ Show Labels
Circle Detection i
Radius Range
Minimum Radius 3,00 l-^ Maximum Radius! 100,00^
|7 pixels 17 p |7 p [7 p
Center of Mass X Center of Mass Y First Pixel X First Pixel Y Bounding Rect Left 17 pixels Bounding Rect Top 17 pixels Bounding Rect Right 17 pixels Bounding Rect Bottom [7 pixels
Рис. 2. Алгоритм получения параметров световых объектов Fig. 2. Algorithm for obtaining the parameters of light objects
измерений может быть достигнуто путем увеличения разрешения изображения, обработкой серии изображений [10], применением многопозиционных ОЭС [18], сканированием угла визирования в цифровой камере светового поля [19]. Увеличить зону значимых пикселов в изображении для проведения измерений можно путем расфокусировки изображения [19]. Для цифровой камеры светового поля это достигается алгоритмически и на аппаратном уровне [5, 6]. При этом потеря координатной информации о взаимном положении объектов может быть компенсирована за счет калибровки [7]. В то время как любое размытие изображения, как и его обработка [8], снижает качество и информативность изображения, и, как следствие — снижает точность проведения измерений всех параметров объектов.
Исследование точности получаемой некоординатной информации выполнено на основе анализа изображений различного качества, полученных ОЭС [9]. Для этих изображений алгоритмами (рис. 2) проводились измерения координат и размера объектов в зависимости от настроек параметров измерительного алгоритма, которые определяют его устойчивость к различным факторам. Устойчивость результатов применения алгоритма к его параметрам определяет точность и достоверность получаемых данных. Для каждого измерительного алгоритма (ЛЬОк) в заданной области изображения размером N х М пикселов Ц- с 1т (Ы х М) можно получить координатные (х-, у-) и некоординатные параметры объекта (размер г-, форма):
(Л Укг}\ г,}\ = ЛЬОк{1т(Цг)},
где pi — параметры формы i-го объекта, такие как площадь, периметр, координаты и радиусы вписанных окружностей, и др. [20].
На рис. 4, b, с показано применение алгоритма «Find Circular Edge» для определения координат (X, Y) и размера (R) объекта при различном числе радиальных линий поиска (nG) границ градиента яркости в изображении (nG = 360/Gap).
Бинаризированное изображение Imbin(x, y) формируется из исходного Im(x, y) по порогу яркости (th). Очевидно, что оно частично фильтрует шум яркостной структуры изображения:
{1, Im(x, y) + Noise(x, y) > th,
0, Im(x, y) + Noise(x, y) < th.
Морфологические функции преобразуют бина-ризированное изображение Imbin(x, y) в новый образ Imbin(x, y), более близкий исходному изображению объекта по ряду выбранных параметров (рис. 4, d, е):
Imbin(x, y) = Adv.Morph{Morph(Imbin(x, y)}, Imbin(x, y) >■ Imbin(x, y) >■ Im(x, y), [x, y e Q].
На рис. 4, е, f показано применение алгоритмов «Particle Analysis» и «Circle Detection» для определения координат и эквивалентного размера объекта (R) в бинаризированных изображениях.
Графики результатов измерения координат (X, Y) и эквивалентного размера окружности объекта (R) алгоритмом «Find Circular Edge» (№ 3, табл. 1) в зависимо-
Рис. 3. Блок-схема алгоритма получения параметров световых объектов методом непрерывного вейвлет-преобразования Fig. 3. Flowchart of the algorithm for obtaining the parameters of light objects by continuous wavelet transformation
Рис. 4. Результат применения алгоритмов к изображению (а) и бинаризированному изображению (d): алгоритм «Find Circular Edge» (b, c); применение морфологических функций к бинаризированному изображению (е); поиск вписанных окружностей f Fig. 4. The result of applying the algorithms to image (a) and binarized image (d): "Find Circular Edge algorithm" (b, c); applying morphological functions to binarized image (e); searching for inscribed circles f
сти от количества радиальных линий поиска градиента яркости «Gap» показаны на рис. 5.
Из графиков видно, что все кривые имеют общие характерные особенности поведения, диапазон отклонения которых возрастает с увеличением «Gap», что определяется отклонением формы изображения объекта от идеальной окружности. Для достаточно простых форм объектов при определенных «Gap» результаты измерений стабилизируются. Девиации всех значений определяются пиксельной структурой и размытием градиента яркости.
Наиболее полно использовать информационную емкость изображения объекта можно путем определения центра тяжести освещенности изображения в зоне локализации А>го объекта, которая определяется его бинаризированным изображением с учетом морфологических преобразований (рис. 4, е):
Im'(rê) = Im««(rk)Im(rk), rc = e^ + e,yYc = (Xrk Im'(rk))/(XIm'(rk)),
где тк — вектор текущих координат к-го объекта (х, у); ех и еу — единичные векторы осей координат; гс (Хс, Ус) — координаты центра освещенности объекта.
Метод анализа кривых коэффициентов НВП дает более стабильные результаты по отношению к яркост-ным параметрам объектов сцены. Однако полученные результаты зависят от типа вейвлета (систематическая погрешность), диапазона и характера градиента яркости значимых пикселов объектов. Смещение экстремумов кривых коэффициентов НВП определяется формой объекта. В связи с этим для исследования влияния различных факторов разработаны яркостные модели изображений объектов, которые могут быть использованы
40 50
Gap = 360°/nG
50
3607пв
Рис. 5. Результат применения алгоритма «Find Circular Edge»: определение координат (X, Y) (а); определение размера R) (b) Fig. 5. The result of applying the algorithm "Find Circular Edge": for the indentification of coordinates (X, Y) (а);
for the indentification of size (R) (b)
График яркости объекта
Y, пике
2Б-график интенсивности НВП
3D-n0eepxH0CTb НВП
Рис. 6. Результат применения алгоритма «Continuous Wavelet Transform»: яркостная модель объекта круглой формы (а); плоская шкалограмма непрерывного вейвлет-преобразования (wavelet = bior 3_1) (b); SD-шкалограмма непрерывного
вейвлет-преобразования (wavelet = bior 3_1) (с) Fig. 6. The result of applying the algorithm "Continuous Wavelet Transform": the model of a round object image (a); flat scale chart of continuous wavelet transform (wavelet = bior 3_1) (b); 3D scale chart of continuous wavelet transform (wavelet = bior 3_1) (с)
в дальнейшем для калибровки измерений реальных объектов. На рис. 6, а представлена яркостная модель объекта (круглой формы), на рис. 6, Ь, с — ее плоская и трехмерная шкалограмма НВП.
В табл. 2 приведены результаты измерения координат и эквивалентных радиусов одиночного объекта в изображении различными алгоритмами (рис. 4, а).
Результаты исследований показывают, что большинство алгоритмов не обладают устойчивостью к изменению изображений объектов сцены и параметров алгоритмов. Исходя из этого, во всех случаях
необходимо использовать калибровку измерений по изображениям математических моделей объектов, заранее установив степень их соответствия реальным объектам. Измерительные алгоритмы и их параметры необходимо сопоставлять с экспериментальными данными, например, путем верификации с данными, полученными интеллектуальной системой на базе искусственной нейронной сети [20], что обеспечивает ее качественное обучение и, как следствие, рациональное построение комплексного алгоритма необходимых измерений.
Таблица 2. Результаты измерения координат и радиуса объекта различными алгоритмами Table 2. Results of measuring the coordinates and radius of an object by different algorithms
Номер Метод измерения Измеряемый параметр, пикс Примечание
X AX Y AY R
Rx Ry
1 Центр масс 119,51 — 78,37 — 18,0 22,0 —
2.1 Find Circular Edge 125,8 1,6 81,8 1,6 24,0 Gap = 30
2.2 Find Circular Edge 127,3 1,6 82,1 1,6 25,2 Gap = 20
2.3 Find Circular Edge 126,5 1,1 81,6 1,1 24,4 Gap = 10
3 Particle Analysis 120,2 - 77,2 - 32,4 AR = 3,8
4.1 Circle Detection 1 119,0 2,5 71,0 5,0 22,00 —
4.2 Circle Detection 2 114,0 2,5 81,0 5,0 22,00 —
5.1 CWT: у = db02 128,0 (3)* — 87,7 (3)* — — — scales = 64
5.2 CWT: у = Hear 122,0 (2)* — 72,0 (2)* — 17,0 27,0 scales = 64
5.3 CWT: у = bior 3_1 121,0 (2)* — 77,0 (2)* — 19,0 23,0 scales = 64
5.4 CWT: у = bior 3_1 121,5 (2)* — 76,5 (2)* — 17,5 23,5 scales = 44
6.1 CWT2: у1 = у2 = Hear 99,8 (5)* — 83,4 (5)* — 16,2 24,0 scales = 64
6.2 6.3 CWT2: у1 = у2 bior 3_1 120,0 (4)* — 69,5 (4)* — 19,0 27,3 scales = 64
* Количество максимумов кривых коэффициентов непрерывного вейвлет-преобразования. Научно-технический вестник информационных технологий, механики и оптики, 2021, том 21, № 3
Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2021, vol. 21, no 3 349
Заключение
Большинство алгоритмов анализа изображений, получаемых от любых существующих или перспективных оптико-электронных средств мониторинга околоземного космического пространства, не позволяют достоверно оценивать точность координатной и некоординатной информации об объектах околоземного космического пространства непосредственно по изображениям.
В работе рассмотрены комплекс измерительных алгоритмов и методика их применения, позволяющие повысить точность и достоверность измерения координатных и детальных признаков наблюдаемых оптико-электронной системой объектов в широком диапазоне изменения характеристик фоноцелевой обстановки. Обоснована возможность повышения гарантированной точности получения координатной информации (более чем в 5 раз) для наблюдаемых объектов за счет применения непрерывного вейвлет-преобразования. Тем не менее при этом требуется анализ градиента яркости в изображении, предварительное выделение области локализации интересуемых объектов. Показано, что полный анализ точности и достоверности координатной информации должен производиться с использованием результатов, полученных всеми алгоритмами, например, на базе искусственных нейронных сетей, так как рассмотренные в работе алгоритмы обладают высокой стабильностью результатов в условиях конкретных ситуаций (погрешность не более 0,5 %). Результаты
измерений разными алгоритмами имеют существенное расхождение между собой (более 8 %). Различие результатов измерений вызвано также изменением параметров алгоритмов (более 4 % для поиска эквивалентной объекту окружности по границам яркости), что определяется формой объектов. Алгоритмы на базе непрерывного вейвлет-преобразования могут иметь высокую стабильность результатов измерения при наличии систематической погрешности в более широком диапазоне изменения образов исследуемых объектов, низком контрасте, значительном размытии границ изображения. Можно сделать вывод, что единственный способ достичь гарантированно высокой точности измерения координат объектов (с погрешностью не менее 1-2 %) — построение искусственной нейронной сети, включающей в себя все рассмотренные алгоритмы, с обучением по данным экспериментальных наблюдений.
Применение разработанной методики алгоритмической обработки информации, получаемой оптико-электронными средствами детального наблюдения, дает возможность повысить и оценить точность результатов определения координат и характерных признаков наблюдаемых объектов. Состав комплекса рассмотренных алгоритмов имеет возможность масштабирования к средствам наблюдения и решаемым задачам, может быть интегрирован с автоматизированными системами мониторинга околоземного космического пространства, что повышает эффективность обнаружения и идентификации интересуемых объектов.
Литература
1. Гаранин С.Г., Зыков Л.И., Климов А.Н., Куликов С.М., Смышляев С.П., Степанов В.В., Сюндюков А.Ю. Дневное наблюдение звезд слабой яркости (7m-8m) с равнинной местности // Оптический журнал. 2017. Т. 84. № 12. С. 30-37.
2. Теребиж В.Ю. Современные оптические телескопы. М.: Физмат-лит, 2005. 79 с.
3. Holst G.C., Lomheim T.S. CMOS/CCD Sensors and Camera Systems. Second Edition. SPIE Press Books, 2011. 408 p. doi: 10.1117/3.2524677
4. Денисов А.В., Попов В.В., Логунов С.В., Карев П.В. Оптико-электронный комплекс детального наблюдения // Научно-технический вестник информационных технологий, механики и оптики. 2020. Т. 20. № 1. С. 24-31. doi: 10.17586/2226-1494-2020-20-1-24-31
5. Kucera J. Computational photography of light-field camera and application to panoramic photography: Master thesis / Charles University in Prague Faculty of Mathematics and Physics. Prague, 2014. 98 p.
6. Ng R. Digital light field photography: A dissertation submitted to the department of computer science and the committee on graduate studies of Stanford University in partial fulfillment of the requirements for the degree of doctor of philosophy. 2006. 187 p.
7. Bok Y., Jeon H.-G., Kweon I.S. Geometric Calibration of micro-lens-based light field cameras using line features // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017. V. 39. N 2. P. 287300. doi: 10.1109/TPAMI.2016.2541145
8. Грузман И.С. Киричук В.С., Косых В.П., Перетягин Г.И., Спек-тор А.А. Цифровая обработка изображений в информационных системах: учебное пособие. Новосибирск: Изд-во НГТУ, 2000. 168 с.
9. Makhov V.E., Shaldaev S.E. Methods of spatial and temporal processing of images in optoelectronic control systems // IOP Conference Series: Earth and Environmental Science. 2019. V. 378. N 1. P. 012065. doi: 10.1088/1755-1315/378/1/012065
References
1. Garanin S.G., Zykov L.I., Klimov A.N., Kulikov S.M., Smyshlyaev S.P., Stepanov V.V., Syundyukov A.Yu. Daytime observation of low-brightness stars (7m-8m) from level terrain. Journal of Optical Technology, 2017, vol. 84, no. 12, pp. 816-821. doi: 10.1364/JOT. 84.000816
2. Terebizh V.Iu. Modern Optical Telescopes. Moscow, Fizmatlit Publ., 2005, 79 p. (in Russian)
3. Holst G.C., Lomheim T.S. CMOS/CCD Sensors and Camera Systems. Second Edition. SPIE Press Books, 2011, 408 p. doi: 10.1117/3.2524677
4. Denisov A.V., Popov V.V., Logunov S.V., Karev P.V. Optical-electronic complex of detailed surveillance. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2020, vol. 20, no. 1, pp. 24-31. (in Russian). doi: 10.17586/2226-1494-2020-20-1-24-31
5. Kucera J. Computational photography of light-field camera and application to panoramic photography. Master thesis. Prague, Charles University in Prague Faculty of Mathematics and Physics, 2014, 98 p.
6. Ng R. Digital light field photography. A dissertation submitted to the department of computer science and the committee on graduate studies of Stanford University in partial fulfillment of the requirements for the degree of doctor of philosophy. 2006, 187 p.
7. Bok Y., Jeon H.-G., Kweon I.S. Geometric Calibration of micro-lens-based light field cameras using line features. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, vol. 39, no. 2, pp. 287-300. doi: 10.1109/TPAMI.2016.2541145
8. Gruzman I.S. Kirichuk V.S., Kosykh V.P., Peretiagin G.I., Spektor A.A. Digital Image Processing in Information Systems. Tutorial. Novosibirsk, NSTU Publ., 2000, 168 p. (in Russian)
9. Makhov V.E., Shaldaev S.E. Methods of spatial and temporal processing of images in optoelectronic control systems. IOP Conference Series: Earth and Environmental Science, 2019, vol. 378, no. 1, pp. 012065. doi: 10.1088/1755-1315/378/1/012065
10. Коровин Я.С., Хисамутдинов М.В., Иванов Д.Я. Метод обнаружения точечных объектов на монохромных изображениях видеопоследовательности в режиме реального времени // Известия Тульского государственного университета. Технические науки.
2019. № 10. С. 356-364.
11. Travis J., Kring J. LabVIEW for Everyone: Graphical Programming Made Easy and Fun. Third Edition. Prentice Hall, 2006. 1032 p.
12. Klinger T. Image Processing with LabVIEW and IMAQ Vision. Prentice Hall Professional, 2003. 319 p.
13. Makhov V.E., Shirobokov V.V., Emelyanov A.V. Study of possibilities for light marker coordinate measuring with light field digital cameras // IOP Conference Series: Materials Science and Engineering. 2020. V. 918. P. 012079. doi: 10.1088/1757-899X/918/1/012079
14. Махов В.Е., Широбоков В.В., Емельянов А.В., Потапов А.И. Исследование оптико-электронной системы на базе телескопа с цифровой камерой светового поля // Контроль. Диагностика.
2020. Т. 23. № 11. С. 4-13. doi: 10.14489/td.2020.11.pp.004-013
15. Махов В.Е. Алгоритмы вейвлет преобразования для идентификации малоразмерных объектов // Компьютерные измерительные технологии: материалы I Международного симпозиума. 2015. С. 283-287.
16. Chen T., Wu Q.H., Rahmani-Torkaman R., Hughes J. A pseudo tophat mathematical morphological approach to edge detection in dark regions // Pattern Recognition. 2002. V. 35. N 1. P. 199-210. doi: 10.1016/S0031-3203(01)00024-3
17. Чуи Ч.К. Введение в вейвлеты. М.: Мир, 2001. 412 с.
18. Karami M.., Mousavinia A., Ehsanian M. A General solution for iso-disparity layers and correspondence field model for stereo systems // IEEE Sensors Journal. 2017. V. 17. N 12. P. 3744-3753. doi: 10.1109/JSEN.2017.2697314
19. Махов В.Е., Закутаев А.А., Широкобоков В.В., Емельянов А.В., Михайлов А.А. Способ измерения пространственного расстояния между малоразмерными объектами. Патент RU2734070C1. Бюл. 2020. № 29.
20. Махов В., Широбоков В., Емельянов А., Закутаев А. Направления развития программно-алгоритмического комплекса оптико-электронных систем наблюдения за удаленными объектами // Компоненты и технологии. 2021. № 1. С. 50-55.
10. Korovin Y.S., Khisamutdinov M.V., Ivanov D.Y. Point object detection method on monochrome video sequence images in real time. Proceedings of the TSU, 2019, no. 10, pp. 356-364. (in Russian)
11. Travis J., Kring J. LabVIEW for Everyone: Graphical Programming Made Easy and Fun. Third Edition. Prentice Hall, 2006, 1032 p.
12. Klinger T. Image Processing with LabVIEW and IMAQ Vision. Prentice Hall Professional, 2003, 319 p.
13. Makhov V.E., Shirobokov V.V., Emelyanov A.V. Study of possibilities for light marker coordinate measuring with light field digital cameras. IOP Conference Series: Materials Science and Engineering, 2020, vol. 918, pp. 012079. doi: 10.1088/1757-899X/918/1/012079
14. Makhov V.E., Shirobokov V.V., Emelyanov A.V., Potapov A.I. Research of optoelectronic systems on the basis of a telescope with a light field digital camera. Testing. Diagnostics, 2020, vol. 23, no. 11, pp. 4-13. (in Russian). doi: 10.14489/td.2020.11.pp.004-013
15. Makhov V.E. Wavelet transform algorithms for small object identification. Proc. of the 1st International Symposium "Computer Measurement Technologies", 2015, pp. 283-287. (in Russian)
16. Chen T., Wu Q.H., Rahmani-Torkaman R., Hughes J. A pseudo tophat mathematical morphological approach to edge detection in dark regions. Pattern Recognition, 2002, vol. 35, no. 1, pp. 199-210. doi: 10.1016/S0031-3203(01)00024-3
17. Chui C.K. An Introduction to Wavelets. Academic Press, 1992, 278 p.
18. Karami M.., Mousavinia A., Ehsanian M. A General solution for iso-disparity layers and correspondence field model for stereo systems. IEEE Sensors Journal, 2017, vol. 17, no. 12, pp. 3744-3753. doi: 10.1109/JSEN.2017.2697314
19. Makhov V.E., Zakutaev A.A., Shirokobokov V.V., Emelyanov A.V., Mikhajlov A.A. Method of measuring spatial distance between small objects. PatentRU2734070C1. 2020. (in Russian)
20. Makhov V., Shirobokov V., Emelianov A., Zakutaev A. Trends of software development for optical and electronic navigation systems for remote objects. Components and Technologies, 2021, vol. 1, pp. 50-55. (in Russian)
Авторы
Authors
Махов Владимир Евгеньевич — доктор технических наук, старший научный сотрудник, Военно-космическая академия имени А.Ф. Можайского, Санкт-Петербург, 197198, Российская Федерация, 7005440093, http://orcid.org/0000-0002-8108-1089, [email protected] Потапов Анатолий Иванович — доктор технических наук, профессор, Санкт-Петербургский горный университет, Санкт-Петербург, 199106, Российская Федерация, 57197553456, http://orcid.org/0000-0002-1975-5900, [email protected] Широбоков Владислав Владимирович — кандидат технических наук, начальник научно-исследовательской лаборатории, Военно-космическая академия имени А.Ф. Можайского, Санкт-Петербург, 197198, Российская Федерация, http://orcid.org/0000-0001-6216-1334, [email protected]
Емельянов Александр Владимирович — кандидат технических наук, начальник научно-исследовательской лаборатории, Военно-космическая академия имени А.Ф. Можайского, Санкт-Петербург, 197198, Российская Федерация, http://orcid.org/0000-0003-4995-0958, [email protected]
Vladimir E. Makhov — D.Sc., Senior Researcher, Mozhaisky Military Space Academy, Saint Petersburg, 197198, Russian Federation, ^ 7005440093, http://orcid.org/0000-0002-8108-1089, [email protected]
Anatoly I. Potapov — D.Sc., Full Professor, Saint-Petersburg Mining University, Saint Petersburg, 199106, Russian Federation, 057197553456, http://orcid.org/0000-0002-1975-5900, [email protected]
Vladislav V. Shirobokov — PhD, Head of Laboratory, Mozhaisky Military Space Academy, Saint Petersburg, 197198, Russian Federation, http://orcid.org/0000-0001-6216-1334, [email protected]
Alexander V. Emelyanov — PhD, Head of Laboratory, Mozhaisky Military Space Academy, Saint Petersburg, 197198, Russian Federation, http://orcid.org/0000-0003-4995-0958, [email protected]
Статья поступила в редакцию 09.03.2021 Одобрена после рецензирования 15.04.2021 Принята к печати 04.06.2021
Received 09.03.2021
Approved after reviewing 15.04.2021
Accepted 04.06.2021
Работа доступна по лицензии Creative Commons «Attribution-NonCommercial»
