CC BY
30
УДК 004.932
ОБНАРУЖЕНИЕ ТОЧЕК ЛАЗЕРНОГО ПОДСВЕТА СТЕРЕОСИСТЕМЫ НА СЛОЖНОМ ФОНЕ
А.И. Баранчиков, Е.Р. Муратов, М.Б. Никифоров, Д.И. Устюков
Описывается использование структурированного лазерного подсвета в качестве части системы стереозрения для увеличения точности значений карты глубины. Использование такой подсистемы позволяет более точно вычислить карту глубины стерео-алгоритмом в условиях ограниченной видимости и для малоинформативных участков местности. Сложность получения такой информации связана с тем, что отражения лазерных лучей на изображениях могут иметь разную форму, яркость и могут быть расположены на сложном фоне. Предлагается методика обнаружения пятен и точек лазерного освещения, а также их центров на сложном фоне. Вычисленные координаты центра освещения позволяют оценить расстояние до объектов, которое стерео-алгоритм не может выполнить без системы подсвета, а также увеличить информационное содержание нетекстурированных областей изображения.
Ключевые слова: точки лазерного освещения, стереосистема, измерение расстояния, обнаружение пятен освещения, пятна на сложном фоне.
При выполнении пилотом летательного аппарата (ЛА) вертолетного типа сложных маневров, таких, как посадка или зависание при строительных или спасательных работах, требуются анализ и контроль опасных для пилотирования объектов. Оценка расстояния до объектов и построение рельефа зоны маневров ЛА - одна из актуальных задач бортовой радиоэлектронной аппаратуры (БРЭО). Помимо полученного синтезированного рельефа, пилоту необходимо также визуально наблюдать эту зону, а БРЭО -помогать детектировать опасные участки на ней. Подобная информация особенно актуальна для пилота, когда ЛА находится на высотах ниже 50 м. Наличие на борту ЛА подобной системы существенно повышает безопасность.
Стереосистема с длинной базой, например, от 0.5 м, способна вычислить карту глубины с погрешностью, пригодной для решения поставленной задачи [1]. Обычно в качестве сенсоров стереосистемы используются телевизионные камеры. Но в условиях ограниченной видимости (дымки, сумерек и т.п.) изображения, регистрируемые такими камерами, не пригодны для вычисления качественной карты глубины стереоалгорит-мами [2,3,4]. Одна из проблем, с которыми сталкиваются большинство стереоалгоритмов, - формирование «ложных» однородных участков на изображениях, как следствие условий плохой видимости. Повысить точность карты глубины для таких участков можно, если совместно со стереосистемой использовать точечный лазерный подсвет. В качестве такого
подсвета лучше всего использовать невидимую глазу сетку точек лазерного излучения с длиной волны 1,54 мкм и классом излучения «А» (безопасном для зрительной системы человека). Зафиксировать такое излучение можно сенсорами ближнего инфракрасного диапазона (Short - wavelength infrared - SWIR), более того, для большинства условий ограниченной видимости изображение со SWIR - камеры будет более четкое и информативное.
Проблемные аспекты при обнаружении пятна подсвета на изображении
Расчеты показали, что лазерный излучатель мощностью 50 мВт с коллиматором создает пятно на удаленной на 50 м поверхности в 1 пиксель, а на расстоянии 20 м пятно может выглядеть как яркий объект размером 2х2 пикселя. За основу для проведения расчетов был взят энергетический расчет для лазерного дальномера [5].
Чтобы точно определить расстояния до объекта, подсвеченного лазером, необходимо определить центр пятна на изображении. Данная задача является весьма сложной в силу следующих причин.
Во-первых, в зависимости от расстояния и условий освещенности прибор с зарядовой связью (ПЗС) SWIR-сенсора может регистрировать существенное количество энергии, при которой происходит перетекание заряда с текущей ПЗС-ячейки на соседние. Таким образом, на изображениях со SWIR-сенсора наблюдается увеличение диаметра пятна лазерного подсвета от увеличивающейся мощности отраженного лазерного излучения (по мере приближения к подсвечиваемому объекту).
Во-вторых, в ряде случаев пятно может достигать до 25 пикселей в диаметре. Большинство пикселей, формирующих форму пятна, должны иметь максимальное значение яркости (эффект перенасыщения). Но анализ изображений реальных пятен лазерного подсвета показал, что яркость этих пикселей колеблется в некотором диапазоне значений, так как после оцифровки сигнала с ПЗС-датчика обычно код яркости содержит "шумовую" составляющую и не несет точной информации о яркости. Это не позволяет определять пятно по признаку «группа пикселей с максимальной яркостью» и затрудняет нахождение центра пятна.
В-третьих, участки травы, гравий, пыль и прочие элементы поверхности могут выглядеть визуально, как пятна от лазерного излучения, даже на близких расстояниях от объекта, иногда до 3 м (зависит от условий освещенности). На таких расстояниях точки лазерного подсвета могут быть размером не более 2х2 пикселя и не всегда их яркость будет больше яркости точечных объектов фона.
В-четвертых, пятно может распадаться на несколько пятен, если апертура луча частично накрывает объект, что часто наблюдается на ветках деревьев и траве (рис. 1).
Рис. 1. Несколько пятен от одного луча: представлены восемь пятен от четырех соседних лучей лазерного
подсвета
Обнаружение точек лазерного подсвета на изображении
Исходя из перечисленных причин разработка алгоритма нахождения центров пятен лазерного подсвета в реальном времени с учетом возможности его аппаратной реализации на существующей элементной базе является актуальной задачей.
Яркость одного и того же объекта на изображениях от левого и правого сенсора может существенно отличаться (рис. 2).
Рис. 2. Различие яркости одних и тех же объектов на изображениях от левого и правого сенсоров
На разность яркостей могут влиять как элементы оптики (эффект виньетирования, замутнение стекол), так и разная чувствительность сенсоров и то, что одна и та же точка объекта наблюдается под разными углами и по разному отражает падающий на нее свет. Физическая синхронизация яркости сенсоров стереосистемы на текущий момент времени - до конца не решенная задача. Для уменьшения влияния разности яркости на качество получаемого результата стереосистемой целесообразно вместо яркости пикселей анализировать значения производной первого порядка для
12
пикселей в строке. Физически значения яркости каждого пикселя передаются от камеры к вычислителю строка за строкой, последовательно, в виде потока данных, поэтому значение производной можно вычислить на потоке по формуле
1' х-1 =1"Ч^, (1)
где I' - значение производной; 1х - яркость текущего пикселя в строке изображения.
Вычисление производных на краях строки осуществляется по формулам
I'о = II-1о, IП-1 = 1п-1 - 1п—2, (2)
где п - разрешение изображения по ширине в пикселях.
БРОЛ позволяет синтезировать потоковый цифровой автомат, не требующий дополнительного времени для получения значений производной (фактически результат получается с задержкой в несколько тактов работы цифрового автомата от поступающих данных).
Для определения пятна подсвета и его центра следует анализировать значения производных на предмет характерного распределения. Это распределение производной по строке выглядит следующим образом (рис. 3). Левая граница пятна характеризуется положительным выбросом значения производной, затем наблюдается некоторое количество значений равных по модулю не превышающих порог е, который учитывает влияние шума при оцифровке значений с матрицы сенсора и затем отрицательный выброс, по амплитуде схожий с амплитудой положительного.
Рис. 3. Четыре пары вариантов пятен подсвета и фона, где левое изображение каждой пары - внешний вид пятна на фоне, правое изображение каждой пары - распределение первой производной в строке, содержащей максимальный диаметр пятна
Под такой вид распределения попадают точки подсвета и множество объектов сложного фона, поэтому требуется произвести фильтрацию точек подсвета среди множества найденных. Для фильтрации будем использовать особенности системы с подсветом.
Пусть подсвет представляет собой точечные источники лазерного излучения, образующие равно отклоненные друг от друга лучи (массив 7х7 лучей (рис. 4). Угол отклонения каждого луча друг от друга составляет 3,75°.
я
а б
Рис. 4. Вид лучей лазерного подсвета: а - направление отклонения лучей в строке; б - направление всех
излучателей подсвета
Если расположить подсвет относительно сенсоров, как показано на рис. 5, а, то можно однозначно определить геометрическое место каждого пятна на изображениях в зависимости от расстояния излучателя до объекта отражения.
а б
Рис. 5. Стереосистема: а - схематическое представление размещения подсвета относительно сенсоров; б - внешний вид стереосистемы с подсветом (Лс - левый сенсор, Пс - правый сенсор)
Определим точку сходимости всех лучей подсвета как начало вектора с координатами (0,0,0), и концом в точке (0,0,И), где И - некоторая искомая высота. Система координат расположена таким образом, что центральный луч группы лучей 7х7 находится на оси 07 и все лучи направлены в сторону положительных значений этой оси. Обозначим в наклон луча с номером I = 1... 49 от оси 07 в плоскости Х7, а у^ - наклон от оси 07 в плоскости У7. Координаты х и у для некоторого расстояния И (7 = И), точки на луче / можно вычислить по формулам
14
х = * • ),у = -2 • 1в(у,-). Нахождение центра пятна лазерного подсвета С(х*, у*) на изображении от сенсора вычисляется по формулам
Ь Ь
* (х + 2) • ж * (у + 2) • ^у н
х =-2-+ —, у =-2-+—,
2 2 2 2
= Ж = н
'х = а , *У = а , 2 • Ч* 0х) 2 •« а2у)
где Ж - ширина изображения в пикселях; Н - высота изображения в пикселях; ах,ау - углы зрения сенсора в горизонтальной и вертикальной плоскостях; Ь - расстояние между камерами.
На рис. 6, аОшибка! Источник ссылки не найден. представлены все возможные положения отражений при нахождении излучателя на расстояниях 0...50 м от объекта для левого сенсора.
а б
Рис. 6. Треки перемещения точек подсвета на изображении: а - геометрическое место отражения лучей от объекта на расстояниях 0...50 м; б - то же, что и (а), но лазерный подсвет
повернут вокруг оси №
Из рис. 6, а видно, что геометрическое место точек ряда лучей совпадает. Избежать пересечения можно, если повернуть излучатель вокруг оси 07 на угол а. Это дает однозначное определение номера луча по координатам найденной точки на изображении и возможность однозначного определения расстояния до объекта. На рис. 6, б представлено геометрическое место точек отражений лучей от объектов на расстояниях 0.. 50 м, излучатель был повернут вокруг оси 07 на 4,5°. Геометрические места для лучей (рис. 6, б) получены с дискретным шагом по дальности в 1 см. Геометрические места точек на рис. 6 получены с применением идеальной мо-
15
дели отклонения лучей излучателя. В реальных условиях изготовления устройства могут наблюдаться погрешности отклонения лучей, что приводит к необходимости калибровки лазерного подсвета [6,7] и определения треков для каждого луча. Так как в треке всегда находится центр пятна подсвета, то непосредственно вычислить координаты центра пятна можно путем вычисления центра между положительным и отрицательным выбросом значений производных распределения яркостей пикселей пятна на треке. Это, в свою очередь, позволяет снизить вычислительные затраты.
Дополнительным фильтром точек подсвета на сложном фоне служит следующее условие: максимальные значения модуля производной, принадлежащей пикселям границ потенциального пятна с центром в текущей точке, должны быть больше значений о (отклонения) для значений производной яркости всех пикселей попавших в трек в окрестности искомой точки. Следовательно, если модуль производной меньше о, то этот пиксель не может быть пикселем границы пятна.
Вычисление математического ожидания Мх и дисперсии Вх для значений из окрестности точки выполняется по формулам
где х - значение производной; т-п+1 - количество значений в окрестности.
Последним условием фильтрации точки подсвета служит одновременное ее присутствие в треках с одинаковыми номерами на левом и правом изображениях по одной и той же координате у (условия ректификации изображений [3]).
На рис. 7, а представлен трек перемещения одной из точек лазерного подсвета, на рис. 7, в - графики распределения производных для яркостей пикселей в треке на изображениях от левого (верхний график) и правого (нижний график) сенсоров. На графики наложено распределение о, полученное по окрестности для каждого значения производной (окрестность содержит 20 значений). «Элементы» границы пятна могут быть детектированы по следующему условию. Для одной и той же координаты х в распределениях производных в треке должны быть одинаковые по знаку значения, а по модулю - больше, чем о. При этом в координате х+Ах (некоторое расстояние) должна присутствовать пара значений с противоположным знаком, близких по модулю к значениям «положительной» пары.
Рассматривая распределение производных левого изображения, можно выделить два участка Т1 и Т2, удовлетворяющих условиям фильтрации. Эти участки соответствуют одноименным точкам на рис. 7, б. Однако для граничной точки участка Т1 одно из значений меньше о, таким образом, точка Т1 является ложной.
Следует отметить, что во время маневров ЛА вибрации передаваемые на сенсоры способствуют незначительному перемещению изображения фона относительно маски трека, но не точек подсвета. В этом случае
ложные точки (точки фона) не должны постоянно находиться в треке, и их можно отсеять, добавив межкадровую обработку, что повысит устойчивость определения пятен подсвета.
а б в
Рис. 7. Принцип фильтрации точек подсвета: а - трек точки (изображение с левого сенсора); б - точки, найденные алгоритмом (изображение с левого сенсора); с - распределение производных в треке на левом и правом изображениях, ограниченных распределением а
Если ось OX локальной системы координат провести по линии трека, то на следующем кадре выявленная точка будет считаться точкой лазерного подсвета, если разность координат найденной точки на текущем и предыдущем кадре меньше некоторого порога А (эмпирически установлен разброс значений не более 10 пикселей). Это позволяет повысить устойчивость определения точки подсвета на сложном фоне.
Заключение
Предлагаемый алгоритм позволяет определить центры отраженных пятен лазерного подсвета. Простота алгоритма позволят его синтезировать на FPGA совместно с автоматом стереосистемы для вычисления карты глубины [4, 8]. Результаты тестирования алгоритма на реальных видеопоследовательностях со сложной конфигурацией фона обеспечивают вероятность обнаружения точек подсвета 0,98 при условии одновременного присутствия точек на изображениях от левого и правого сенсоров. При этом визуально по статическому изображению определить положение большинства точек не представлялось возможным. Реализация предложенной системы позволит повысить безопасность маневров при выполнении посадки и висения ЛА на малой высоте в условиях ограниченной видимости.
Список литературы
1. Estimation of Distance to Objects by Stereovision / Yevgeniy R. Muratov, Michael B. Nikiforov, Alexey B. Rusakov, Victor S. Gurov / 4rd Mediterranean Conference on Embedded Computing (MECO). Budva, 2015. P. 155-158.
17
2. Szeliski R. Computer Vision: Algorithms and Applications, 2010.
979 p.
3. Hartley R., Zisserman A. Multiple View Geometry in Compyter Vision (second edition) // Cambridge university press, 2004. 673 p.
4. Determination of distance to objects by means of stereovision / V.S. Gurov, M.B. Nikiforov, Y.R. Muratov, D.I. Ustukov // 5rd Mediterranean Conference on Embedded Computing (MECO). Bar, 2016. P. 64-67.
5. Work modeling of the scanning type laser radar in real-time / Yevgeniy R. Muratov, Dmitry A. Kolchaevm Michael B. Nikiforov, Victoria A. Sablina // SPIE Optical Metrology: proceedings. Munich, Germany. 2017. Vol. 10332. Videometrics, Range Imaging and Applications XIV. 103320U.
6. Sablina Victoria A., Novikov Anatoly I., Nikiforov Michael B. Determining the Beam Directions for the Laser Illumination Calibration. SPIE Optical Metrology: proceedings. Munich, Germany. 2017, Vol. 10332. Videometrics, Range Imaging and Applications XIV. 103320U.
7. Sablina Victoria A. , Nikiforov Michael B. A Calibration Technique For the Stereo Camera System With the Laser Illumination // International Conference on Robotics and Machine Vision: proceedings. 2017. Vol. 10253.
8. Муратов Е.Р., Устюков Д.И. Реализация алгоритма стереозрения на FPGA // Сборник тезисов НТК «Техническое зрение в системах управ-ления-2016». С. 50-51.
Баранчиков Алексей Иванович, д-р техн. наук, профессор, alexih a inhox. ru, Россия, Рязань, Рязанский государственный радиотехнический университет,
Муратов Евгений Рашитович, канд. техн. наук, доцент, myratov eramail.ru, Россия, Рязань, Рязанский государственный радиотехнический университет,
Устюков Дмитрий Игоревич, ассистент, ustukov. mailayandex. ru, Россия, Рязань, Рязанский государственный радиотехнический университет,
Никифоров Михаил Борисович, канд. техн. наук, доцент, nikiforov.m. h a evm.rsreu.ru, Россия, Рязань, Рязанский государственный радиотехнический университет,
DETECTION OF LASER ILLUMINATION POINTS OF A STEREO SYSTEM ON A
COMPLEX BACKGROUND
A.I. Baranchikov, E.R. Muratov, M.B. Nikiforov, D.I. Ustyukov
The article describe to use of structured laser illumination as a subsystem of a stereosystem in order to increase the percentage of correct calculated values of the depth map. However, the use of such a subsystem implies the detection of information received from it. The complexity of obtaining such information is due to find reflected of laser heam on images
which can be different shapes, brightness, and located on complex background. The article proposes a technique for confident detection of spots and points of laser illumination, as well as their centers) on a complex background including when the background objects move relative to the sensors of the stereo system. Computed coordinates of the center of the spots of the illumination makes it possible to estimate the distance to objects with a different error than this do the stereo algorithm, and also to increase the information content of the untextured areas of the image.
Key words: laser illumination points, stereo system, distance measurement, detection of illumination spots, spots on complex background.
Baranchikov Alexey Ivanovich, doctor of technical sciences, professor, [email protected], Russia, Ryazan, Ryazan State Radio Engineering University,
Muratov Evgeny Rashitovich, candidate of technical sciences, docent, myratov_er@mail. ru, Russia, Ryazan, Ryazan State Radio Engineering University,
Ustyukov Dmitry Igorevich, assistante, Ustukov. mail@yandex. ru, Russia, Ryazan, Ryazan State Radio Engineering University,
Nikiforov Michail Borisovich, candidate of technical sciences, docent, nikiforov. m. b@evm. rsreu. ru, Russia, Ryazan, Ryazan State Radio Engineering University
УДК 004.932
МОДИФИКАЦИЯ ВАРИАЦИОННОГО МЕТОДА ВЫЧИСЛЕНИЯ ОПТИЧЕСКОГО ПОТОКА ДЛЯ РЕАЛИЗАЦИИ НА ПЛИС
П.В. Беляков, Е.В. Ларкин, М.Б. Никифоров
Рассматривается вариационный метод вычисления оптического потока, основанный на минимизации функционала оптического потока и предлагается схема его аппаратной реализации на ПЛИС в реальном масштабе времени и с приемлемой затратой вычислительных ресурсов.
Ключевые слова: оптический поток, вариационный метод.
Вычисление оптического потока является одной из ключевых проблем в компьютерном зрении и используется для выделения объектов, сегментации, компрессии видео, 3Б-реконструкции, технического зрения роботов [1, 2]. Оптический поток - это изображение видимого движения, представляющее собой сдвиг каждой точки между двумя изображениями. По сути, он представляет собой поле скоростей (т.к. сдвиг эквивалентен мгновенной скорости) и для каждой точки первого изображения 11(х, у) находится такой сдвиг (йх, йу), чтобы исходной точке соответствовала точка на втором изображении 12 (х + йх, у + йу) [3].
19
