CC BY
0
УДК 004.021
doi: 10.21685/2307-4205-2023-4-6
СПОСОБЫ АВТОМАТИЧЕСКОГО ОПРЕДЕЛЕНИЯ ГРАНИЦ АДАПТИВНЫХ ОБЛАСТЕЙ ПОИСКА СООТВЕТСТВИЙ НА СТЕРЕОИЗОБРАЖЕНИЯХ
А. В. Зубарь1, О. В. Духанов2, А. А. Громов3, А. Ю. Тычков4
1 2. 3 Филиал Военной академии материально-технического обеспечения имени генерала армии А. В. Хрулева в г. Пензе, Пенза, Россия 4 Пензенский государственный университет, Пенза, Россия 1 alexey_zubar@mail.ru, 2 duhanov3@gmail.com, 3 darkzgrom@gmail.com, 4 tychkov-a@mail.ru
Аннотация. Актуальность и цели. Анализ существующих способов проведения автоматического поиска соответствий на стереоизображениях показал, что в области автоматизации поиска соответствий на стереопарах с точки зрения одновременных минимизации вычислительных затрат и обеспечения точности вычислений присутствуют проблемные вопросы. Связаны они, в первую очередь, с автоматическим определением положения ограниченной с двух сторон и адаптивной по форме и характеру дисторсии области поиска в условиях обеспечения возможности ее перестройки в реальном масштабе времени при динамичном изменении взаимного положения в пространстве видеоканалов с известными и неизвестными внутренними параметрами, а также при обработке изображений высокого разрешения без их предварительной попиксельной переработки. Материалы и методы. Задача, на решение которой были направлены предлагаемые способы автоматического определения положения области поиска соответствий, заключалась в построении ограниченной с двух сторон и адаптивной по форме, характеру дисторсии области поиска объекта на стереоизображении при условии обеспечения возможности быстрой ее перестройки в случаях динамичного изменения взаимного положения в пространстве цифровых видеоканалов с известными и неизвестными внутренними параметрами. В результате были разработаны два способа автоматического определения границ и положения адаптивной области поиска, основанные на вычислении значений массивов, содержащих координаты пикселей области поиска объекта на стереоизображении. Свойство адаптивности области поиска в данном случае заключалось в автоматической изменяемости ее формы и размеров в соответствии с геометрическими искажениями изображений и текущим взаимном положении видеоканалов. Результаты. Повышение быстродействия по сравнению с существующими способами определения областей локального поиска соответствий достигнуто за счет отсутствия необходимости предварительных попиксельной обработки изображений, вычисления фундаментальной матрицы и решения сложных систем уравнений. Выводы. В результате обеспечено снижение требований к вычислительным ресурсам ЭВМ и проведение в реальном времени автоматического поиска соответствий на искаженных изображениях с динамично меняющих свои пространственные положение и ориентацию видеоканалов высокого разрешения. Кроме этого, упрощена реализация системы технического зрения за счет возможности применения видеоканалов с неизвестными техническими параметрами.
Ключевые слова: ректификация, эпиполярная линия, оптико-электронный канал, система технического зрения, поиск соответствий, стереоизображение
Для цитирования: Зубарь А. В., Духанов О. В., Громов А. А., Тычков А. Ю. Способы автоматического определения границ адаптивных областей поиска соответствий на стереоизображениях // Надежность и качество сложных систем. 2023. № 4. С. 62-76. doi: 10.21685/2307-4205-2023-4-6
WAYS TO AUTOMATICALLY DETERMINE THE BOUNDARIES OF ADAPTIVE MATCHING AREAS ON STEREO IMAGES
A.V. Zubar1, O.V. Dukhanov2, A.A. Gromov3, A.Yu. Tychkov4
1 2' 3 Branch of the Military Academy of Logistics named after Army General A.V. Khrulev in Penza, Penza, Russia
4 Penza State University, Penza, Russia 1 alexey_zubar@mail.ru, 2 duhanov3@gmail.com, 3 darkzgrom@gmail.com, 4 tychkov-a@mail.ru
Abstract. Background. An analysis of existing methods for automatically searching for correspondence in stereo images has shown that there are problematic issues in the field of automating the search for correspondence in stereo pairs from the point of view of simultaneously minimizing computational costs and ensuring the accuracy of calculations. They are associated, first of all, with the automatic determination of the position of the search area, limited on
© Зубарь А. В., Духанов О. В., Громов А. А., Тычков А. Ю., 2023. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.
both sides and adaptive in shape and nature of distortion, under the conditions of ensuring the possibility of its restructuring in real time with dynamic changes in the relative position in the space of video channels with known and unknown internal parameters, and also when processing high-resolution images without their preliminary pixel-by-pixel processing. Materials and methods. The problem to be solved by the proposed methods for automatically determining the position of the search area for correspondence was to construct a search area for an object in a stereo image that is limited on both sides and adaptive in shape by the nature of the distortion, provided that it is possible to quickly rearrange it in cases of dynamic changes in the relative position in the space of digital images. video channels with known and unknown internal parameters. As a result, two methods were developed for automatically determining the boundaries and position of the adaptive search area, based on calculating the values of arrays containing the pixel coordinates of the object search area in a stereo image. The adaptive property of the search area in this case consisted in the automatic change of its shape and size in accordance with the geometric distortions of the images and the current relative position of the video channels. Results. Increased performance compared to existing methods for determining areas of local search for correspondence is achieved due to the absence of the need for preliminary pixel-by-pixel image processing, calculation of the fundamental matrix and solving complex systems of equations. Conclusions. As a result, the requirements for computer computing resources have been reduced and the real-time automatic search for matches in distorted images from high-resolution video channels dynamically changing their spatial position and orientation has been achieved. In addition, the implementation of a technical vision system is simplified due to the possibility of using video channels with unknown technical parameters.
Keywords: rectification, epipolar line, optical-electronic channel, technical vision system, search for correspondence, stereo image
For citation: Zubar A.V., Dukhanov O.V., Gromov A.A., Tychkov A.Yu. Ways to automatically determine the boundaries of adaptive matching areas on stereo images. Nadezhnost' i kachestvo slozhnykh sistem = Reliability and quality of complex systems. 2023;(4):62-76. (In Russ.). doi: 10.21685/2307-4205-2023-4-6
Введение
При разработке систем технического зрения (СТЗ), обеспечивающих определение координат объектов по их цифровым изображениям, одним из ключевых моментов является точность, робаст-ность и вычислительная реализуемость применяемого алгоритма автоматического поиска соответствий на стереоизображениях. Возможность выполнения всех предусмотренных измерений и их обработки в реальном времени на ЭВМ с ограниченной вычислительной мощностью является весьма актуальной задачей. Ее решение во многом определяет правильный выбор способа поиска, формирующий основу для построения специализированных алгоритмов обработки цифровых изображений.
В настоящее время различают глобальный и локальный поиск соответствий на стереопарах [1-7].
Глобальный поиск основывается на минимизации функционала энергии, когда находят расхождение сразу для множества точек (объектов) обрабатываемых изображений. Как правило, такие задачи связаны с трехмерной реконструкцией наблюдаемой сцены по множеству разноракурсных изображений. Общий недостаток глобального поиска - это высокая вычислительная сложность.
Особенность локального поиска заключается в том, что поиск соответствий в нем организуется путем последовательного сканирования между локальными участками изображений, как правило, это некоторая интересующая область одного изображения и область поиска на другом изображении.
В свою очередь, размеры областей поиска и порядок их нахождения будут определять точность поиска и требования к вычислительной мощности ЭВМ.
Самый простой по реализации способ определения положения области поиска (при локальном поиске) может быть применен в СТЗ, предполагающей прием цифровых изображений по крайней мере с двух одинаковых фото или видеоканалов, расположенных в пространстве строго параллельно друг другу и на одной базовой линии. В этом случае, если на изображении 1 левого оптико-электронного канала (ОЭК) выделена несущая информацию об интересующем объекте область 4 с центром в точке 3, то на изображении 2 правого ОЭК участок 6 изображения данного объекта с центром в точке 5 будет иметь такие же вертикальные координаты, что и на изображении 1 (рис. 1).
Рис. 1. Иллюстрация реализации поиска соответствий для параллельных ОЭК
Тогда область поиска 7 на изображении 2 может быть ограничена линией от точки 8 до точки 9. Точка 8 характеризует ближайшую, а точка 9 - бесконечно уделенную границы области поиска 7. При этом пиксельные координаты п.+1 и ш.+1 удаленной границы 9 на изображении 2 будут равны
пиксельным координатам nj и шj центра 3 области 4, характеризующей положение объекта интереса на изображении 1. Ближайшая граница 8 области поиска 7 при таком расположении ОЭК будет находиться на левом крае изображения 2 (п.+1 = 0) с такой же вертикальной координатой ш.+1,
что и у границы 9.
Недостаток данного способа заключается в ограниченности его применения в связи с необходимостью использования только одинаковых ОЭК и в требованиях по обеспечению точного их параллельного размещения в пространстве. Особенно последнее является критичным для применения СТЗ на движущихся мобильных платформах, где ударные и вибрационные нагрузки могут приводить к колебаниям и деформациям корпуса, в том числе и в местах крепления ЭОК, что делает условие обеспечения абсолютной параллельности ОЭК если не практически, то трудно реализуемым.
Нивелирование требования по обеспечению параллельного размещения ОЭК (причем только в вертикальной и горизонтальной их взаимной ориентации) может быть достигнуто путем расширения области поиска 7, при этом в максимуме область поиска 7 может охватывать практически все изображение 2 (рис. 2,а). Однако в этом случае многократно увеличивается количество операций и, соответственно, растут требования к вычислительной мощности ЭВМ. Также достаточно высока вероятность ложного результата поиска в связи с возможностью нахождения в кадре идентичных по форме, ракурсу и окраске объектов (рис. 2,6).
а) б)
Рис. 2. Иллюстрация реализации поиска соответствий по всему изображению
Все это приводит к тому, что в настоящее время данный метод практически не применим, особенно в тех случаях, когда стоит необходимость проведения измерений в реальном масштабе времени с произвольно расположенных и разных по своим техническим параметрам цифровых ОЭК на базе маломощной ЭВМ.
Более совершенным является способ определения положения области поиска соответствий на цифровых изображениях, основанный на их ректификации. Сущность ректификации заключается в репроекции плоскостей изображений 1 и 2 таким образом, чтобы они находились в одной плоскости, в результате чего область поиска 7 преобразуется к горизонтальной линии (рис. 3, а). При этом если изображение 1 получено с левого ОЭК, а изображение 2 - с правой, то ближняя граница 8 области поиска 7 будет находиться на левом крае изображения 8, а дальняя граница 9 - на его правом крае. Вертикальная же координата ш.+1, задающая положение области поиска 7 на изображении 2, определяется соответствующей координатой ш. центра 3 области интереса 4 на изображении 1.
Различают несколько видов ректификаций, например, планарную, полярную. Вместе с этим общими недостатками организации поиска по ректифицированным изображениям являются:
- невозможность проведения ректификации в реальном времени для изображений, полученных с динамично меняющих свое взаимное положение ОЭК;
- необходимость установления с высокой точностью всех внутренних, в том числе и случайных, параметров ОЭК;
- сложность осуществления расчетов в реальном времени для изображений высокого разрешения из-за большого количества вычислений, связанных с полной попиксельной переработкой пары изображений;
- ограниченная возможность применения ректификации, в частности, при обработке дисторси-онно-искаженных и «разноракурсных» изображений;
- после проведения ректификации изображения интересующих объектов могут быть настолько деформированы, что само по себе вычисление меры сходства станет невозможным.
Также на сегодняшний день широко применяется способ определения положения области поиска соответствий на цифровых изображениях вдоль эпиполярных линий. Нахождение положения эпиполярных линий базируется на модели эпиполярной геометрии, согласно которой все эпиполяр-ные прямые проходят через эпиполюс, а множество эпиполярных плоскостей представляет собой од-нопараметрическое семейство плоскостей. И если на изображении 1 указан объект (рис. 3,6), то для данного взаимного положения ОЭК на изображении 2 существует только одна линия 7, на которой возможно нахождение изображения этого объекта.
б)
Рис. 3. Проведение поиска соответствий с применением ректификации изображений и вдоль эпиполярных линий
Очевидным достоинством такого подхода к определению положения области поиска по сравнению с ректификацией является отсутствие необходимости попиксельной переработки изображений, а из этого следует уменьшение количества вычислительных операций и повышение достоверности результата поиска, так как поиск осуществляется по оригинальным изображениям. С другой стороны, при нахождении эпиполярных линий так же, как и при ректификации, предварительно должна быть вычислена фундаментальная матрица, для построения которой необходимо точно знать все внутренние параметры ОЭК и их взаимную ориентацию. Следовательно, продуктивность этого способа в случае, когда внутренние параметры ОЭК или неизвестны вовсе, или известны ограниченно, а сами ОЭК постоянно меняют свою ориентацию, а поиск необходимо осуществлять по видеоряду в реальном масштабе времени, будет снижена.
Другой важный недостаток связан с тем, что модель эпиполярной геометрии не учитывает дис-торсионные искажения изображений. Так, на рис. 4 показано, что, если изображения 1 и 2 искажены
радиальной и тангенциальной дисторсией, область поиска 7 должна иметь искривленную форму. Модель эпиполярной геометрии не предполагает построение кривых, а следовательно, для нахождения соответствующей эпиполярной линии необходимо или применять высококачественную и дорогую оптику, или осуществлять программную коррекцию изображений, опять же связанную с их полной попиксельной переработкой. Это многократно увеличивает количество вычислительных операций и время на поиск, а также потребует для проведения измерений в реальном масштабе времени высокопроизводительной СТЗ с мощным графическим процессором. Для маломощных мобильных СТЗ с учетом обеспечения проведения измерений по искаженным дисторсией изображениям высокого разрешения в реальном времени такой метод определения положения области поиска может оказаться неприменим.
Рис. 4. Адаптация формы области поиска искажениям изображений
Кроме этого, для определения положения области поиска 7 на изображении 2 вдоль эпиполярной линии эпиполярная плоскость принимается безразмерной. В связи с этим область поиска 7 проходит через все изображение 2, и для большинства случаев съемки это вполне справедливо. Но вместе с этим в отдельных ситуациях взаимная ориентация ОЭК может оказаться такова, что область поиска 7 должна проходить по части изображения. При этом ближняя граница 8 области поиска 7 может быть задана из условия минимальной дальности до интересующего объекта, а дальняя граница 9 - максимальной дистанцией, на которой ошибки измерений не превысят некоторое установленное значение, или дальностью, за которой все объекты будут рассматриваться как равноудаленные. Введение таких дополнительных ограничений еще больше будет способствовать уменьшению размеров области поиска и, как следствие, - снижению количества вычислительных операций при непосредственном проведении поиска.
Из этого следует, что в области автоматизации поиска соответствий на стереопарах с точки зрения одновременных минимизации вычислительных затрат и обеспечения точности вычислений присутствуют проблемные вопросы. Связаны они, в первую очередь, с автоматическим определением положения ограниченной с двух сторон и адаптивной по форме и характеру дисторсии области поиска в условиях обеспечения возможности ее перестройки в реальном масштабе времени при динамичном изменении взаимного положения в пространстве ОЭК с известными и неизвестными внутренними параметрами, а также при обработке изображений высокого разрешения без их предварительной по-пиксельной переработки. Данный факт определяет потребность разработки способов определения положения ограниченной с двух сторон и адаптивной по форме и характеру дисторсии области поиска при условии обеспечения возможности быстрой ее перестройки в случаях динамичного изменения взаимного положения в пространстве пары оптико-электронных каналов (ОЭК).
Способы поиска стереосоответсвий на основе построения адаптивной области поиска
Задача, на решение которой были направлены предлагаемые способы [8, 9] автоматического определения положения области поиска соответствий, заключалась в построении ограниченной с двух сторон и адаптивной по форме характеру дисторсии области поиска Linj+1 t объекта р на изображении 7+1-го ОЭК при условии обеспечения возможности быстрой ее перестройки в случаях динамичного изменения взаимного положения в пространстве ОЭК с известными и неизвестными внутренними параметрами.
Для СТЗ с известными параметрами может быть применен следующий способ определения положения области поиска Lin P+li объекта р на изображении 7+1-го ОЭК (рис. 5).
Рис. 5. Нахождение границ линии поиска соответствий на изображениях разных и произвольно расположенных ОЭК
В частности, должны быть определены (заданы) следующие данные:
- указано местоположение изображения Р^6 объекта р на 7-м кадре изображения ImgK¡ /-го ОЭК, и записан вектор Р = (( тр7 1 1);
- вычислены матрицы взаимной ориентации С и С/+17;
- определены матрицы С^ 7 и С^ 7 положения ОЭК во внешней системе координат (СК);
- записаны матрицы внутренних параметров К / и К/+1.
В СК /-го ОЭК ближайшая граница линии поиска описывается вектором
А0+1,7 = (,7 у/+1,7 //+1 1), дальняя - вектором а;+1,7 = (( у;+и /+1 ^ где
+1,7
У] + 1,7
X
.0
j +1.7 '
У0+ 7 - пиксельные координаты дальней и ближней границ линии поиска Ь1прр+17 на изображе-
нии ^.
Вычисление векторов А0/+17 и А°°+17 осуществляется следующим образом. Для вычисления вектора А^7 вектор РЦт6 из пиксельной СК должен быть преобразован в параллельную метрическую СК ОК/-го ОЭК, а затем из допущения нахождения объекта р на
3 3 3 3
бесконечном удалении сначала перенесен в параллельную метрическую СК О^Х^У^^^
1-го
ОЭК, а затем в действительную СК . В результате будет найден вектор А'" 7 с трех-
3 +1 3+1 3+1 3 +1
мерными координатами удаленной границы с учетом:
ч-1
j=D]C] (CN+1 ) =((
7+1,1
У]+1,
-]+1,7'
1),
(1)
где К 7 =
- Р7 1
0 0 0
-py 0 0
0,5p] (( -1) 0,5PY3 ((] -1) f] 0
AOX AO] 0 1
- матрица внутренних параметров 3-го ОЭК;
N3, М3 - значения горизонтальных и вертикальных разрешений фотоприемного устройства (ФПУ);
АО* , АО^ - расстояние между геометрическим центром ФПУ и центром изображения ImgК; р* , рУ - физические размеры пикселя ФПУ; 0. - величина угла перекоса изображений , возникающего, как правило, из-за погрешностей изготовления ФПУ, а также при неточной синхронизации процесса пиксельной выборки в процессе формирования изображения; £ - фокусное расстояние объ-
ектива .-го ОЭК; Б . =
¿1 0 0 0
0 0 0
0 0 1 0
< V } ¿У 0 0
- матрица коррекции дисторсии, где - коэффициент кор-
рекции радиальной дисторсии объектива .-го ОЭК; ¿* - коэффициент коррекции тангенциальной дисторсии .-го ОЭК в горизонтальной плоскости; ¿У - коэффициент коррекции тангенциальной дисторсии в вертикальной плоскости; В. = diag(Ь/, Ь., Ь., 1) - проекционная матрица, где Ь. = гр/~1 -
- матрица переноса, содержащая информацию о про-
(КЖ 031
V 1 1 /
проекционные коэффициенты; С. =
странственном положении и ориентации СК .-го ОЭК во внешней СК Ж; К.^ - матрица вращения, определяющая ориентацию СК .-го ЭОК относительно внешней СК W; Т. = (( у™. ) - вектор переноса, содержащий координаты начала СК .-го ЭОК относительно внешней СК Ж;
Рж =(ХЖ уж
1) - вектор трехмерных координат объекта р в СК Ж; СЫ =
(К N 031
V 03 1 /
матрицы
взаимной ориентации ОЭК относительно их параллельного размещения в пространстве.
Операция масштабирования позволяет вычислить вектор А°°+1 ■ с координатами удаленной границы линии поиска в плоскости изображения !т^К+1 {
А;+1,< =
Л
.+1
7+1,1 /; V 21+И
у.+и
Л
.+1
Л
.+1
-/■+1,i■
- ]+1,-
2 ]+Ч
=((■ у;+1,- £+1 1).
(2)
Процесс вычисления координат ближайшей границы линии поиска строился на предположении о нулевом минимально возможном удалении объекта р от -го ОЭК, чему будет соответствовать начало его СК. Соответственно, для параллельных СК О^Х^У^Х® и О^Х^У^^^ может быть записан вектор А.+1 ■ с трехмерными координатами оптического центра ОК объектива .-го ОЭК в СК
уЫ 7Ы . О+Х^+y^+lZ^+l •
А"0
= ((4> _ сЖ+1т4>| 0 0 1).
(3)
Исходя из этого вычислялся вектор А'0+1 { с трехмерными координатами начала координат СК
о«х«у«2к в СК о«+х«+у«лг«+1 •
А'0
■ А '0
(сы+1 )-1=(о+м а,
^+1,1
1).
(4)
Нахождение метрических координат ближайшей границы линии поиска осуществлялось анало-
гично удаленной границе путем масштабирования, в результате вычислялся вектор А
.+1,- ■
А0+, ■ =
г,
.+1
7+1,1 /0 V 2'+1,-
.+1
Л
.+1
-/■+1,i
/+1,i /; г
= (( у0+и Л+1 1).
(5)
Найденные координаты ближней и дальней границ позволили описать уравнение прямой для линии поиска:
У]+и _ f (xj+i,i) - xj+i,i
_ xL Уj +1.' Уj +1.'
Xj+1,i Xj+1,i
z yj+1,i У j +1, i Xj+1,i 0 — Z Xj+1,i Xj+1,i
+
yj+1,i
Далее задается ряд x
L :
j+1,i,h *
x
j +1,i,h
-0 • X° "j+V Xj +1,i
X,+1 ; • X; +1 ; + p j ; X/+1i + 2 Pi • X' +1 'Ъ X
j +1,i, h Л j +1,i L
}.
(6)
(7)
состоящий из к чисел, определяющих значения горизонтальных кординат х^+1 i в пределах найденных ограничений, т.е. от А03+17 до А^ 7. При этом если координаты векторов А03+17 и/или А^7 вышли за границы изображения \mgKj+li, то левое х0+17 и/или правое х~+17 значения границ заменялись на ±аы3+1 = 0,5р3х+1 ((Ы3+1 — 1) соответственно. Если интервал между ограничениями в горизонтальной плоскости будет меньше соответсвующего интервала в вертикальной плоскости, т.е.
\Xj+1,i Xj+1,i <
|y0+1i - y;+1 7|, то ряд (7) задавался в пределах вертикальных ограничений, т.е.
L Г 0 0 Y 0 . о Y L z "I
у/+1,i ,h _{ у/+1,i; у/+1,i+Pj; yj+1,i+2 Pj; .... У/+Ц ,h _ У/+и }.
(8)
При этом также выполнялась проверка на нахождение границ в вертикальных границах изображения К+17 с соответствующей их заменой на ±АМ.+1 = 0,5руУ+1 (М 3+1 —1) при необходимости, а
уравнение (6) записывалось в виде х^+1. = /(у]+17).
С использованием выражения (6) по значениям ряда (7) находились соответствующие координаты У+ ¡к • Или если был задан ряд (8), то по преобразованному уравнению х3+17. = / (у^+17 )
находились значения 317к. Из полученных координат формировался массив А
j+1,i
( xl
АL+.. _
j+1,"
j+1,i ,1 yj+1,i,1 fj
j+1
L L VI
XJ +1,i ,h У]+1,i ,h Jj+1 1
(9)
Далее массив Alj.+17 преобразовывался из метрической в пиксельную СК с учетом дисторсион-
ных искажений объектива J+1-го ОЭК, в результате вычислялся массив поиска M
j+1,i '
(M
p )h
j+1,i)
(A L 4
Т{ Щ-
D-+1K -+1
(1 0 0 0^ 0 10 0
L L
nj+1,i,h mj+1,i,h
)
(10)
В результате такого преобразования Mp+1 i принимает следующий вид:
MP _
L V+1, i ,1 mJ+1,i ,1
L L
J+1,7 ,h mj+V ,h
(11)
То есть каждая строка матрицы А^+17 подвергалась сначала дисторсионному преобразованию с помощью обратной матрицы Б-+1, а затем ее значения преобразовывались в пиксельную СК. При этом обратная матрица Б-—+1 должна быть найдена для каждой строки массива А^ 7 с учетом применения
коэффициентов дисторсионных искажений, полученных путем обратных преобразований коэффициентов коррекции, соответственно, радиальной и тангенциальной дисторсии. Например, если для
p
искажения использовать только один коэффициент дисторсии к(+1, что на практике в большинстве случаев будет достаточно, то обратный коэффициент ¿р+1 ■ к~1 может быть получен следующим образом:
¿1+1,/ =- * \ 2 , (12)
1 + к1 + (+ш)
где r h = V((+uh) + ((+j,.-h) ;
1
3
Нахождение обратных коэффициентов коррекции дисторсии является достаточно сложным и ответственным этапом в подобных преобразованиях. Особенно при учете более сложных форм дисторсии, описываемых двумя и более коэффициентами радиальной и тангенциальной дисторсий. Однако применение такого подхода позволяет рассчитывать положение адаптивных к дисторсии линий поиска Linp+J i и соответствующих им массивов Mp+J i, не прибегая к попиксельной переработке изображений, а это, в свою очередь, значительно сократит количество проводимых операций и снизит требования к ЭВМ. Необходимо заметить и то, что в тех случаях, когда дисторсионные искажения велики, на этапе преобразования может понадобиться проведение аппроксимации значений искаженной дисторсией области Linp+J i и перерасчет значений матрицы Mp+J i путем задания нового ряда
значений xp+J i h по функции аппроксимированной кривой. Связано это с возникающими разрывами в значениях Mp+J i, из-за чего найденные пиксельные координаты будут на изображении ОЭК носить прерывистый характер.
В тех случаях, когда внутренние параметры применяемых ОЭК неизвестны, может быть применен способ определения границ и положения адаптивной области поиска, основанный на проецировании линии ожидаемого положения объекта р на изображение j+J-го ОЭК. Еще одной особенностью данного способа является возможность дополнительного ограничения области поиска Linp+J i
MIN ~ MAX
за счет введения минимальной Zj и максимальной Zj дальностей измерений.
Сущность разработанного способа иллюстрируется схемой, представленной на рис. 6. После обнаружения объекта р на i-м кадре изображения j-го ОЭК в ручном или автоматическом режимах задаются пиксельные координаты npi и mpi его изображения Р*1™6, на основании чего согласно полиномиальной модели вычисляется вектор Aj™6 =(x]m6 ym6 J j) трехмерных координат изображения Pl7 в СК OfXКYКZК.
J,' J J J J
AI- =((6 [f(P)] t6 [fm)] J J) = ((6 yf6 zjm6 1) (J3)
где f (np) = c0 + cJ (np) +... + cq(np), f (mJ) = d0 + dJ (mJ) +... + dq (mJ) - полиномы прямого преобразования, описывающие взаимосвязь пиксельных координат изображения объекта в кадре с действующим значением углов в вертикальной и горизонтальной плоскостях на этот объект относительно оптической оси объектива ОЭК; nJ = np — 0,5Nj, mj = mp — 0,5M■ - приведенные
пиксельные координаты изображения объекта р в кадре -го ОЭК; N , M - действующее горизонтальное и вертикальное разрешение изображенияj-го ОЭК; c0,cJ,c2, ...c и - полиномиальные коэффициенты прямого преобразования функций f (nJ) и f (mJ) соответственно.
j+J,i,h
)2 ±
--+ r
27k J+J J+J,! ,h
J+J,i,h
±2k/+J
± 3k/+J
j+Ji ,h
)2 ±
--+ r
27k j+J J+J,! ,h
±2kJ+J
Рис. 6. Иллюстрация способа определения области поиска на основе проецирования линии визирования объекта
-г, MIN MAX 7
Расстояние от z, до z, разбивается на h интервалов и вычисляется шаг дн одного интервала
согласно выражению
/ MAX MIN \ 7 -1
(14)
Далее вычисляется матрица М/ возможных положений объекта р в СК ОКХКУКкамеры
7-го ОЭК:
M.. =
j ••
xImg z MIN
j8 ((- + q )
xjmg (zjMIN + 2q2 )
y Img z M IN
J (( "+qi )
y Img (( + 2q2 )
zMIN + qi
MIN
z, + 2q2
y MAX
Уj
Xmg ( + (h - 1)qÄ-1 ) y^ ( + (h - 1)qh-i ) zMIN + (h - 1)qh- 1
(15)
С учетом пространственного положения ОЭК, а именно по матрицам С^ и вычисляется
матрица М/+и положений объекта р в СК ОК+1ХК+1УК+12К+1 камеры]+ 1-го ОЭК:
(
M J+u = M j С (cW+1 )-1 =
xj +1,i ,0 yj +1,1,0 zj+1,i ,0
xj+1,i ,1 yj +1,i ,1 zj+1,i,1
xj +1,i ,2 yj+1,i,2 zj +1,i ,2
Xj+1,i,h-1 yj+1,i,h-1 zj+1,i,h-1 v Xj+1,i,h yj+1,i,h
zj+1,i,h 17
(16)
f
Л
Далее матрица МуФ^ проецируется на плоскость изображения !т^К+1 {, для чего с учетом значе-
г1^ .
ний матрицы М^;,; вычисляется матрица М^ ■.
МImg =
Хj+1,i,0 ( 23+1,1,0 ) yj+1,i,0 ( 23+1,1,0 ) ■ ,1 {2j+!i ,1 ) уз+и ,1 (г]+и ,1 )
-1 1
-/■+и ,1
1 1
Х
-1 ,h_1 ) у,+и ,h_1 {(2j+1,i ,h_1 ) 1 1
V Хj+1,i,h\
1 1
( xImg ,,1т5 1 1
Л3+1Л,0 У/ +и,0 1 1
г1^
ХДа у 7Ь ,1 1 1
Х1т5 у1т5 1 1
Xj+1,i,h_1 У з+1зМ-1 1 1
Img
V Х/+1,а yj+1,i..
1 1
(17)
1 (2 ]) уj+1,i,h (2]+1з,h )
где вектор ■) ^ ^ = (xI1+"g 0 у^о 1 1) определяет положение ближней границы Р01т5 , а вектор
(м^,,)=(xImg,J,h Узьmg,I,h 1 1) положение дальней границы Р45 области поиска Шр+у на изображении ImgК+1 { (см. рис. 6).
Если _Х> |у_у, то осуществляется аппроксимация значений первого и
второго столбцов матрицы М,^ полиномом /(х^^ ) = у1+1к ,-го порядка
/ ) = «0 + «1 (х^а) + «2 ((^ )2 +... + «,_1 (х%,п ) + А, (х^а) = у+д*, (18)
где «0, «1, «2,...,«% - полиномиальные коэффициенты функции /(х]1+5■ h) = у■ h.
Если |х1"+5, 0 _ хЗ+5, ^ < |у/п+5, 0 _ уЗ++5, ^, то аппроксимируются значения первого и второго столбцов матрицы М3+5,г полиномом / ) = Х%,h
/ Йа )=Ь0+Ь1 ((?,„)+Ь2 ((т^ )2+...+Ь,_1 ((т^) + ь& (yI+g,I,h)=, (19)
где Ь0, Ь1, Ь2,..., Ь, - полиномиальные коэффициенты функции / (у^ 1к ) = х1+ . h.
Далее предусмотрено вычисление пиксельных координат ближней Р01т5 и дальней границ области поиска Ып^ ■ в виде векторов:
р1+5 =
0
/ (( [ х/т^ ,0 ] ) 0,5 N
/ ( [ у/т5,1,0 ] ) + 0,5М 1 1
3+1 3+1
3+13,0
т
3+1,■ ,0 1
1
(20)
/
З+и ,h
т
3+1, ■ ,h 1
1
(21)
/( [х/+^ ]) + 0,5Ы,+1 и р^= / ( [ ]) + 0,5М/.+1 1 1
\ у
Для полинома /) = у^^ генерируется ряд Ья = {/.,0; п,+цд; п,.+и,2; ... и,+ип,+и,h} номеров столбцов от п,/+1 {0 до п ,+1 {к шагом в один пиксель, при этом если п,/+1 {0 < 0, то п ,+1 {0 принимается равным нулю, еслип,+110 > ((+1 _ 1), то п,+110 принимается равнымЫ,+1 _1.
RELIABILITY AND QUALITY OF COMPLEX SYSTEMS. 2023;(4) После этого для значений ряда Ln вычисляется ряд:
La = {a j +1,1,0' а j+1,i ,1' а j+1,i,25 ••• а j+i,i,h-1' а j +1,,- } • (22)
Далее на основаниях значений L^ рассчитывается ряд Lx: L ={tg [«j+1,,,0 ] 5 tg [a j+1,,-,1 ] 5 ••• tg [a j+u h-1 ] 5 tg [aj+1,,,h
]} = {Xj+1,i,0,Xj +1,i,1, ••• Xj +1,i,h-1, Xj +1,1, h} (23)
Значения ряда Lx подставляются в выражение (21), при этом вычисленные значения yj+gih записывается в ряд Ly :
Т ={ yImg • yImg • yImg • yImg • yImg } (24)
y \"j +1,i ,0' "j +W' Л/+1,2> "j +1,i ,h-15 yj +1,i ,hj •
Значения ряда Ly подставляются в ряд Lm в соответствии с выражением
Lm = {arctg] + 0,5Mj+1' ••• arctg[y^jmg,,-,h-1 ] + 0,5Mj+1,arctg] + 0,5М^} = (25)
= { +1,i,0, ••• mj +1,i,h-1, mj +1,i,h }• Если ранее был получен полином f (Mjmgih ) = xlmih, то генерируется ряд
Lm ={mj+1,i,05 mj+1,i,1' mj+1,i,2' ••• mj +1,h-15 mj +1,i,h} номеров стр°к от mJ+u,0 до mj+1,i,h, при этом если
< 0, то mj+1i0 принимается равным нулю, если mj+1i0 > (Mj+1 -1), то mj+1i0 принимают рав-
mj+U0
ным Mj+1 — 1 •
Для значений ряда Ьт вычисляется ряд Тр:
ТР={Р- +1,1,0 5 Р- +1,1,1; Р- +1,1,2 5 ••• Р- +1,1,^-15 Р- +1,1,л} • (26)
На основаниях значений Тр вычисляется ряд Ьу :
Т /+1,1,0]; *ё[Р-+щ ]5 ••• *§[Р-+и,и ]5 *§[Р-+ил]} = ^/+1,1,о5 -V/-+1,1,15 ••• У-+и,и5 У/+и»}• (27)
Значения ряда Ьу подставляются в выражение (23), при этом вычисленные значения х1™^ к записывают в ряд Ьх:
т = Г х 1тб • х 1тб • х 1тб • х 1тб • х 1тб Т (28)
^х Х"*"- +1,1,05 +1,1 ,15 +1,1,25 ••• +1,1 ,/¡-15 +1,1 ,к] ■
Значения ряда Ьх преобразуются в ряд Ьп согласно выражению
4 ={аго18 [ -,,о ] + 0,5 +15 ••• аго1в [ х^н-1 ] + 0,5 М-+, аго1в [ х^, м ] + 0,5 М-+1} =
= {п +1,1,0 5 ••• П- +1,1,А-15 П- +1,1 ,к }
На заключительном этапе после вычисления рядов Ьп и Ьт из их значений формируют массив поиска
M ;+1, =(M ] [Lm ]) =
n+1,i,0 ] [n+1,i,1] - [n+1,i,h—1] [n+1,i,h P
[mj+1,i,0] [m+1,i,1] - [m+1,i,h—1] [m+Uh],
(30)
с округленными до ближайшего целого значениями пиксельных координат п-+11 л и т--+1, в своей совокупности определяющими положение дополнительно ограниченной с двух сторон и
адаптированной по форме к дисторсионным искажениям объектива области поиска Linp+j i на i-м кадре изображения ImgJ+1i j + 1-го ОЭК.
Заключение
Таким образом, задача автоматического построения адаптивной области поиска соответствий полностью решена.
Особенность предлагаемых способов построения адаптивной области изображений объектов на стереопаре заключается в сниженных требованиях к ЭВМ за счет осуществления пошаговых операций. Данные способы не требуют предварительного нахождения соответствий на изображениях, вычисления фундаментальной матрицы и решения сложных систем уравнений с множеством неизвестных. Это, в свою очередь, определяет возможность динамичного перерасчета положения области поиска на изображениях при изменении координат, ориентации ОЭК в пространстве и изменении фокусного расстояния их объективов в процессе съемки.
Список литературы
1. Зубарь А. В., Сидоренко А. А., Щербо А. Н., Тишин С. А. Анализ способов поиска соответствий на изображениях для маломощных систем технического зрения // Национальные приоритеты России. Наука и военная безопасность. 2017. № 4. С. 5-12.
2. Пьянков Д. И. Пространственная обработка несинхронизированных видеопоследовательностей на основе ректификации кадров // Программные продукты и системы. 2013. № 1. С. 61-66.
3. Гошин Е. В. Модель реконструкции 3Б-сцен с учетом эпиполярных ограничений // Молодой ученый. 2014. № 12. С. 71-73. URL: https://moluch.ru/archive/71/12174/ (дата обращения: 10.01.2020).
4. Вахимов А. Т., Гуревич Л. С., Павленко Д. В. Обзор алгоритмов стереозрения // Стохастическая оптимизация в информатике / под. ред. О. Н. Граничина. СПб. : Изд-во С.-Петербург. ун-та, 2008. Вып. 4. С. 151-167.
5. Крыловецкий А. А., Протасов С. И. Алгоритмы анализа изображений в системах стереозрения реального времени // Вестник Воронежского государственного университета. Сер.: Системный анализ и информационные технологии. 2010. С. 9-18.
6. Грузман И. С., Киричук В. С., Косых В. П., Перетягин Г. И. Цифровая обработка изображений в информационных системах : учеб. пособие. Новосибирск : Изд-во НГТУ, 2000. 168 с.
7. Форсайт Д. А., Понс Ж. Компьютерное зрение. Современный подход : пер. с англ. М. : Вильямс, 2004. 928 с.
8. Fursov V., Goshin Ye. Conformed Identification of the Fundamental Matrix in the Problem of a Scene Reconstruction, using Stereo Images // Image Mining. Theory and Applications : proceedings of IMTA-4 2013. 2013. P. 29-37.
9. Зубарь А. В., Пивоваров В. П. Дополнительные ограничения при поиске изображений на стереопарах вдоль эпиполярных линий // Омский научный вестник. 2018. № 2. С. 124-128.
10. Пат. 2740435 РФ, МПК G06T 7/246. Способ определения положения области поиска соответствий на дис-торсионно-искаженных изображениях / Зубарь А. В. [и др.]; заявитель и патентообладатель Зубарь А. В. № 2020108613 ; заявл. 27.02.2020 ; опубл. 14.01.21, Бюл. № 2.
11. Годунов А. И., Лобачев А. В. Оценка возможности применения адаптивных алгоритмов в автоматизированных системах управления // Надежность и качество сложных систем. 2014. № 4. С. 41-47.
12. Пафиков Е. А., Годунов А. И., Юрков Н. К., Николаев О. В. Алгоритмы адаптивного обнаружения сигнала, отраженного от малоразмерных наземных целей // Надежность и качество сложных систем. 2023. № 2. С. 32-43.
13. Волотов Е. М., Волотова Т. А., Митрофанов И. В., Митрофанов Е. И. Модель погрешности определения параметров траектории при использовании системы регистрации на базе видеокамер общего назначения // Надежность и качество сложных систем. 2023. № 1. С. 29-37. doi: 10.21685/2307-4205-2023-1-4
14. Коршунов Г. И. Моделирование физических сред для оптимизации цифрового управления в киберфизиче-ских системах // Надежность и качество сложных систем. 2023. № 1. С. 23-28. doi: 10.21685/2307-42052023-1-3
References
1. Zubar' A.V., Sidorenko A.A., Shcherbo A.N., Tishin S.A. Analysis of ways to find correspondences in images for low-power vision systems. Natsional'nye prioritety Rossii. Nauka i voennaya bezopasnost' = National priorities of Russia. Science and military security. 2017;(4):5-12. (In Russ.)
2. P'yankov D.I. Spatial processing of unsynchronized video sequences based on frame rectification. Programmnye produkty i sistemy = Software products and systems. 2013;(1):61-66. (In Russ.)
3. Goshin E.V. Model of reconstruction of 3D scenes taking into account epipolar constraints. Molodoy uchenyy = Young scientist. 2014;(12):71-73. (In Russ.). Available at: https://moluch.ru/archive/71/12174/ (accessed 10.01.2020).
4. Vakhimov A.T., Gurevich L.S., Pavlenko D.V. Overview of stereovision algorithms. Stokhasticheskaya optimi-zatsiya v informatike = Stochastic optimization in computer science. Saint Petersburg: Izd-vo S.-Peterburg. un-ta, 2008;(4):151-167. (In Russ.)
5. Krylovetskiy A.A., Protasov S.I. Algorithms for image analysis in real-time stereo vision systems. Vestnik Voro-nezhskogo gosudarstvennogo universiteta. Ser.: Sistemnyy analiz i informatsionnye tekhnologii = Bulletin of the Voronezh State University. Ser.: System analysis and information technologies. 2010:9-18. (In Russ.)
6. Gruzman I.S., Kirichuk V.S., Kosykh V.P., Peretyagin G.I. Tsifrovaya obrabotka izobrazheniy v informatsionnykh sistemakh: ucheb. posobie = Digital image processing in information systems : textbook. Novosibirsk: Izd-vo NGTU, 2000:168. (In Russ.)
7. Forsayt D.A., Pons Zh. Komp'yuternoe zrenie. Sovremennyypodkhod: per. s angl. = Computer vision. A modern approach : translated from English. Moscow: Vil'yams, 2004:928. (In Russ.)
8. Fursov V., Goshin Ye. Conformed Identification of the Fundamental Matrix in the Problem of a Scene Reconstruction, using Stereo Images. Image Mining. Theory and Applications: proceedings of IMTA-4. 2013;2013:29-37.
9. Zubar' A.V., Pivovarov V.P. Additional restrictions when searching for images on stereo pairs along epipolar lines. Omskiy nauchnyy vestnik = Omsk Scientific Bulletin. 2018;(2):124-128. (In Russ.)
10. Patent 2740435 Russian Federation, MPK G06T 7/246. A method for determining the position of the correspondence search area on distorted images. Zubar' A.V. et al.; applicant and patent holder Zubar A.V. No. 2020108613; appl. 27.02.2020; publ. 14.01.21, Bull. № 2. (In Russ.)
11. Godunov A.I., Lobachev A.V. Assessment of the possibility of using adaptive algorithms in automated control systems. Nadezhnost' i kachestvo slozhnykh system = Reliability and quality of complex systems. 2014;(4):41-47. (In Russ.)
12. Pafikov E.A., Godunov A.I., Yurkov N.K., Nikolaev O.V. Algorithms for adaptive detection of a signal reflected from small-sized ground targets. Nadezhnost' i kachestvo slozhnykh system = Reliability and quality of complex systems. 2023;(2):32-43. (In Russ.)
13. Volotov E.M., Volotova T.A., Mitrofanov I.V., Mitrofanov E.I. Model of error in determining trajectory parameters when using a registration system based on general-purpose video cameras. Nadezhnost' i kachestvo slozhnykh system = Reliability and quality of complex systems. 2023;(1):29-37. (In Russ.). doi: 10.21685/2307-4205-20231-4
14. Korshunov G.I. Modeling of physical environments for optimizing digital control in cyberphysical systems.
Nadezhnost' i kachestvo slozhnykh system = Reliability and quality of complex systems. 2023;(1):23-28. (In Russ.). doi: 10.21685/2307-4205-2023-1-3
Информация об авторах / Information about the authors
Алексей Владимирович Зубарь
кандидат технических наук, доцент кафедры наземных радиотехнических средств, Филиал Военной академии материально-технического обеспечения имени генерала армии А. В. Хрулева в г. Пензе (Россия, г. Пенза, Военный городок) E-mail: alexey_zubar@mail.ru
Aleksey V. Zubar
Candidate of technical sciences, associate professor of the sub-department of ground radio engineering, Branch of the Military Academy of Logistics named after Army General A.V. Khrulev in Penza (Military Town, Penza, Russia)
Олег Владимирович Духанов
кандидат технических наук,
преподаватель кафедры стрелкового оружия,
Филиал Военной академии материально-
технического обеспечения
имени генерала армии А. В. Хрулева в г. Пензе
(Россия, г. Пенза, Военный городок)
E-mail: duhanov3@gmail.com
Oleg V. Dukhanov
Candidate of technical sciences, teacher of the sub-department of small arms, Branch of the Military Academy of Logistics named after Army General A.V. Khrulev in Penza (Military Town, Penza, Russia)
Алексей Александрович Громов
курсовой офицер - преподаватель факультета ракетно-артиллерийского вооружения,
Aleksey A. Gromov
Course officer - teacher
at the faculty of missile and artillery weapons,
Филиал Военной академии материально-
технического обеспечения
имени генерала армии А. В. Хрулева в г. Пензе
(Россия, г. Пенза, Военный городок)
E-mail: darkzgrom@gmail.com
Александр Юрьевич Тычков
доктор технических наук, доцент,
заведующий кафедрой радиотехники
и радиоэлектронных систем,
Пензенский государственный университет
(Россия, г. Пенза, ул. Красная, 40)
E-mail: tychkov-a@mail.ru
Branch of the Military Academy of Logistics named after Army General A.V. Khrulev in Penza (Military Town, Penza, Russia)
Aleksandr Yu. Tychkov
Doctor of technical sciences, associate professor,
head of the sub-department of radio engineering
and electronic systems,
Penza State University
(40 Krasnaya street, Penza, Russia)
Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.
Поступила в редакцию/Received 11.10.2023 Поступила после рецензирования/Revised 17.10.2023 Принята к публикации/Accepted 15.11.2023
