CC BY
77
Электронный журнал Cloud of Science. 2014. T. 1. № 2
http://cloudofscience.ru
УДК 004.4
Методы сокращения вычислительной сложности алгоритмов совмещения разнородных изображений
Е. Р. Муратов, М. Б. Никифоров
Рязанский государственный радиотехнический университет 390005, Рязань, ул. Гагарина, 59/1, e-mail: [email protected]
Аннотация. Повышение осведомленности пилота летательного аппарата о закабинном пространстве в условиях ограниченной видимости или полете на малых высотах в сложном рельефе местности является актуальной научно-технической задачей. Система комбинированного видения позволяет решить эту задачу путем предоставления комплексной информации от датчиков системы технического зрения, дополненной синтезированной моделью местности. В статье рассмотрены вопросы сокращения вычислительной сложности совмещения разнородных изображений.
Ключевые слова: алгоритмы совмещения изображений, вычислительная сложность алгоритмов.
Повышение осведомленности пилота летательного аппарата (ЛА) о закабинном пространстве в условиях ограниченной видимости или полете на малых высотах в сложном рельефе местности является актуальной научно-технической задачей. Система комбинированного видения ЛА должна решить эту задачу путем предоставления комплексной информации от датчиков системы технического зрения (СТЗ), дополненной синтезированной моделью местности. Синтезированная модель местности, или, другими словами, виртуальная модель местности (ВММ), строится по данным цифровой карты местности и текущим навигационным данным. Ошибки определения текущих навигационных данных ЛА не позволяют совмещать информацию от ряда датчиков СТЗ (таких как видеокамера, тепловизион-ная камера, радар) простым наложением двух изображений. Реальные суммарные погрешности позиционирования сенсоров могут достигать [1]:
- по координатам местности 35 ... 45 м;
- по углам 0.1°... 0.2°;
- по высоте 6 ... 13 м.
На высотах порядка 1000 м и выше можно пренебречь ошибками в определении навигационных данных и выводить на индикатор пилота наложение ВММ на
изображения от датчиков СТЗ. На высотах ниже 1000 м требуется выполнять геометрическое совмещение разнородных изображений (например, кадр от видеокамеры и изображение ВММ). Чем ниже высота, тем больше расхождение изображений. На высотах порядка 100 м угловое расхождение ВММ и изображений от сенсоров достигает 1 радиана [1]. Для обеспечения безопасности полетов к системам комбинированного видения предъявляется ряд требований. В частности, требования регламентируются документом Р-315 [3], входящего в авиационный регистр международного авиационного комитета (АРМАК). А именно, в системах комбинированного видения максимальное угловое расхождение совмещенных изображений должно составлять не более 5 мрад, скорость обновления информации на индикаторах пилота быть не менее 15 Гц.
Вычислительная сложность геометрического совмещения возникает в первую очередь из-за разнородности информации, представляемой на ВММ и реальных изображениях. Геометрическое совмещение изображений, подверженных различным погодным, климатическим и сезонные факторам, фактически возможно только по контурам протяженных объектов на местности.
Существует несколько методов геометрического совмещения двух изображений:
- совмещение по линеаментам (нахождение линий на изображениях и вычисление между ними соответствия) [4];
- совмещения по парным точкам (ключевым точкам);
- корреляционно-экстремальное совмещение (КЭС).
При работе с разнородными изображениями, среди которых в большинстве случаев будут изображения от СТЗ, полученные в условиях ограниченной видимости, сложно выделить и сопоставить достаточное количество прямых линий или пар ключевых точек. Ошибка, например, в выборе одной пары точек может привести к неудовлетворительному результату совмещения. Поэтому самым надежным алгоритмом совмещения будет корреляционно-экстремальное совмещение по контурам объектов, выделенных на изображениях. Несмотря на то, что корреляционноэкстремальное совмещение дает результат в независимости от характера и состава контурных линий объектов, оно имеет значительные вычислительные затраты. При совмещении изображений для каждого кадра от датчика необходимо строить проекции ВММ, изменяя шесть параметров виртуальной камеры. Совмещение одной пары изображений сводится к определению значения корреляционной функции для ~106 пар изображений, что в 104 раза превышает производительность классической вычислительной архитектуры с графконтроллером [1].
Корреляционно-экстремальное совмещение выполняется с перебором значений по шести координатам: высоте, координатам места, курсу, крену и тангажу.
Предлагается использовать ряд подходов, позволяющих сократить вычислительную сложность корреляционно-экстремального совмещения до возможности выполнения его в реальном времени.
Для исключения перебора значений по курсу предлагается строить ВММ больших размеров (рис. 1).
Рисунок 1. ВММ расширенных размеров ав + 2А9
Для исключения перебора по крену и тангажу — использовать линию горизонта или некореляционное совмещение по крену, если линию горизонта невозможно представить прямой линией, а также при ее отсутствии. На изображении аА, ав — углы зрения реальной камеры, А9 — погрешность определения тангажа, Ау — погрешность определения курса.
Время, затрачиваемое на обработку одной пары изображений, складывается из времени, затрачиваемого на предобработку пары изображений и досовмещение их методом КЭС. Под предобработкой будем понимать последовательность действий над изображениями, предоставленную на рис. 2.
Ракурс ВММ в контурных пиниях
Видео кадр
Отделение линии горизонта »
"Фрагментация11
Визуализация
Переход ргов-э-уиу
-I-
Автоматическое контрастирование
Утоньшен ие Размытие
Векторизация Детектор границ
Определение доверительной зоны для линии горизонта Масочное отсечение
1
Яркостная фильтрация
Переключение на оставшиеся контуры объектов на ВММ "Фрагментация "
I Удаление неинформативных фрагментов
"Фрагментация" I
Утоньшение ■ Утоньшение
Векторизация Векторизация
Совмещение
Рисунок 2. Последовательность процедуры совмещения изображений
Для ряда шагов (контрастирование, размытие, детектор границ) в этой последовательности применяются известные алгоритмы. Для других используются авторские [2, 6], целью создания которых является снижение временных затрат вычислений.
Некореляционное совмещение оперирует полученными параметрами отрезков в векторном описании границ объектов. Векторное описание границы объекта
(контура) в итоге представлено упорядоченным множеством {Т }”=1 вершин в составе ломанной [2]. Для каждого отрезка Т1Т+1 в составе ломанной (рис. 3) определяется его длина й и углы а\ и Р;, образованные этим отрезком с положительным направлением оси ОХ в обоих вершинах.
Основной идеей некореляционного совмещения по крену и тангажу является нахождение реальной линии горизонта и совмещение ее с синтезированной. Для этого отбираются отрезки линий на изображениях от СТЗ, находящиеся в области вероятного нахождения линии горизонта. Эта область заключена на рис. 4 между линиями g 1 и g2 и рассчитывается с учетом максимальных ошибок в определении навигационных данных [5]. Используя координаты этих отрезков методом наименьших квадратов, вычисляется линия.
Р,
ОХ
Рисунок 3. Векторное представление линий
Рисунок 4. Нахождение линии горизонта
Погрешность по крену вычисляется по формуле
где Ья — линия, параллельная вычисленной линии горизонта; Ья — линия, параллельная синтезированной линии горизонта.
Погрешность по тангажу вычисляется по формуле
где а А — угол зрения телекамеры в вертикальной плоскости; 1Н — высота изображения в пикселях; АН — расстояние в пикселях между точками пересечения перпендикуляра к вычисленной линии горизонта в координате х, равной центру изображения по оси ОХ и пересечением его с линией горизонта, построенной по ВММ (см. рис. 4б).
В случае, если линию горизонта выделить невозможно, то производится некорреляционное совмещение по крену, основывающееся на преобладающем наклоне отрезков на векторизованном изображении, полученном от СТЗ.
Алгоритм нахождения углового расхождения изображений по крену сводится к следующему. Составляется комбинация пар отрезков, у которых модуль разности наклонов не превышает некоторого порогового значения ег (максимально возможного угла взаимного разворота с учетом погрешности определения навигационных данных). Образованные пары отрезков участвуют в процедуре вычисления статистических величин. Алгоритм нахождения угла взаимного разворота носит итерационный характер. На каждой итерации множество отфильтрованных пар отрезков составляют множество Г {Т^Т^}, где Т1т— отрезки из векторного описания первого изображения, Тумм — из второго (ВММ). В данном множестве один отрезок первого изображения может быть в паре с несколькими отрезками второго изображения и наоборот. Каждой паре отрезков соответствует значение разности углов их наклонов к оси ОХ —
Далее выполняются следующие шаги:
1. Нахождение предельных погрешностей для координат в зависимости от навигационных данных е кг.
2. Нахождение пар длинных ребер с взаимным расположением, удовлетворяющим найденным погрешностям.
3. Нахождение математического ожидания среди значений разности наклонов пар ребер, выбранных на шаге 2, по формулам
Д9 = 0 - аг^аи
т
А
4. Нахождение дисперсии среди значений разности наклонов, выбранных на шаге 2 пар ребер, по формулам
т , ,2 „ А'
А' = Е(Да -М(Да)) , |Да,| <екг, в(Да)= — •
і=1 т
5. Нахождение отклонения вычисляется по формуле
А" = ^Даі, |Даі -М(Да) <^-д/£)(Да),
8 =
А"
", (т') > 0; 0 . 1
т 0 <Л< 1.
М(Да), (т') = 0;
6. Поворот ВММ изображения относительно видеоизображения на угол, равный значению отклонения.
7. Алгоритм завершает работу, если е — требуемая точность совмещения превышает заданную величину, иначе алгоритм повторяется с шага 2.
Исходным углом поворота одного изображения относительно другого будем считать Д = ^ п 8п, где п — номер итерации.
В экспериментальных исследованиях значение е было выбрано как 0.01°.
Чем меньше максимально возможное угловое расхождение, тем меньше требуется итераций. Для углового расхождения 16° обычно требуется не более 5-6 итераций. На рис. 5 представлен результат вычисления углового расхождения для телевизионного изображения и ВММ.
Рисунок 5. Результат совмещения изображений по крену
Замер производительности алгоритма для совмещения данных изображений размерностью 704^576 пикселей по крену составил 0.014 мкс. Данное время было получено при выполнении алгоритма на одном ядре процессора ЛМБ РЬепош II
3.1 ГГц. На каждой итерации были получены следующие углы компенсации взаимного разворота:
- первая итерация 5 = -6.82;
- вторая итерация 5 = -2.13;
- третья итерация 5 = -0.46;
- четвертая итерация 5 = 0.
При обработке 25 кадров/с на совмещение пары изображений отводится 0.04 с. В свою очередь, предварительная обработка одного кадра размерностью 704^576 пикселей представленными методами на тестовом стенде (1 ядро СРи РЬепош-П 3 Ггц, 10 ОИорз) выполняется в среднем за 0.42 с, что в ~14.14 раза больше требуемого времени.
Была произведена оценка времени выполнения алгоритмов на различных процессорах и видеочипах, результаты оценок приведены в табл. 1 и 2.
Таблица 1. Оценка производительности алгоритмов на СР11
Модель Тактовая частота МГц Прончводнте-лъность CPU, Гфлопс Требуемое кол-во CPU, шт
AMD Phenom II Х4 945 3000 40 4
мцстшоои 1000 1<Т> 9
Эльбрус-2С+ 500 32 5
Risc R16000 750-1000 14 102
IntelXeon Е5-2695 V2 2400 259 1
Таблица 2. Оценка производительности алгоритмов на GPU
Видео контроллер Кол-во GPU Произво- дительность, Гфлопс Требуемое кол-во чипов, шт
AMD HD7870 1280 2560 1
AMD Mob. 6870 800 1080 1
Из произведенных оценок видно, что в реальном времени возможно производить совмещение с использованием одного графического чипа, поддерживающего технологию OpenCL.
Узким местом вычислений с использованием технологии OpenCl является большое время передачи данных по шине. Предлагается использовать технологию OpenCLGL Interop [7] для минимизации времени передачи данных по шине. Пред-
лагается выводить данные от СТЗ непосредственно в текстуру ОрепОЬ, доступ к которой возможен из ОрепСЬ. Структура модуля, производящего совмещения изображений с помощью ОрепСЬ на видеоконтроллере, представлена на рис. 6.
Видео поток
Рисунок 6. Схема процедуры совмещения с использованием OpenCL и OpenGL
Структура предусматривает вывод видеопотока непосредственно в текстуру, обрабатываемую ОрепО1. ВММ формируется также непосредственно технологией ОрепО1. Для каждого кадра производится доступ к структурам под управлением ОрепОЬ и обработка данных, хранящихся в них с помощью технологии ОрепСЬ, что не требует перемещения данных во внутренней памяти видеоконтроллера. Результат совмещения выводится с помощью ОрепОЬ, что также не требует перемещения данных в видеопамяти и существенно сокращает временные затраты на обработку данных.
Выводы. Совмещение разнородных изображений в реальном времени возможно выполнить методом КЭС. Технология ОрепСЬ позволяет выполнить совмещение на одном графическом чипе, а совместно с технологией СЬОЫ^егор производительнее ОрепСЬ с передачей данных по шине в ~50-100 раз (зависит от граф-контроллера).
Рассмотренные методы нахождения истинных значений тангажа и крена совместно с изображением ВММ, полученным виртуальной камерой с расширенными углами зрения, позволяет сократить трудоемкость КЭС с 106 до 103-102.
Литература
[1] Костяшкин Л. Н., Логинов А. А., Никифоров М. Б. Проблемные аспекты системы комбинированного видения летательных аппаратов // Известия ЮФУ. 2013. № 5. С. 61-65.
[2] Loginov А. А., Muratov E. R., Nikiforov M. B., Novikov A. I. Image vectorization in real time // European Science and Technology: Materials of the IV international research and practice conference. — Munich Germany, 2013. Vol. I. P. 274-280.
[3] Руководство Р-315 «По минимальным стандартам характеристик авиационных систем (MASPS) для систем улучшенного видения, систем искусственного видения, комбинированных систем искусственного видения и бортовых систем увеличения дальности видения» Авиационного Регистра Межгосударственного Авиационного Комитета (АР МАК), 2008.
[4] Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход / пер. с англ.
— М. : Изд. дом «Вильямс», 2004.
[5] Герман Е. В., Муратов Е. Р., Новиков А. И. Математическая модель формирования зоны неопределенности в задаче совмещения изображений // Вестник РГРТУ. 2013. Вып. 46-2. С. 10-16.
[6] Муратов Е. Р. Скелетизация контуров изображений в авиационных системах комбинированного видения // Техническое зрение в системах управления-2013: научно-техническая конференция. — М. : ИКИ РАН, 2013. С.158-159.
[7] Scarpino M. OpenCl in action. How to accelerate graphics and computation. — Manning publication Co., 2012.
Авторы:
Муратов Евгений Рашитович, кандидат технических наук, доцент кафедры ЭВМ Рязанского государственного радиотехнического университета
Никифоров Михаил Борисович, кандидат технических наук, доцент кафедры ЭВМ Рязанского государственного радиотехнического университета
Methods of Reducing the Computational Complexity of Combining Disparate Images
E. R. Muratov, M. B. Nikiforov Ryazan state radio engineering university 390005, Gagarina Str, 59/1. Ryazan, Russia, e-mail: [email protected]
Abstract. The rise of awareness of the aircraft pilot behind the cockpit space in conditions of reduced visibility or flying at low altitude in difficult terrain is an actual scientific and technical challenge. Combined vision system solves this problem by providing integrated information from sensors vision system, supported by a synthetic model of the terrain. The article discusses the reduction of computational complexity of combining disparate images.
Keywords: algorithms for image registration, the computational complexity of algorithms.
Reference
[1] Kostyshkin L. N., Loginov A. A., Nikiforov M. B. (2013) Problemnye aspekty sistemy kombinirovannogo videnija letatel'nyh apparatov. Izvestija JuFU, 5, 61-65. (rus)
[2] Loginov A. A., Muratov E. R., Nikiforov M. B., Novikov A. I. (2013) Image vectoriza-tion in real time, European Science and Technology. Proc. IV intern. research and practice conference. Munich Germany: Vol. I, 274-280.
[3] Po minimal'nym standartam harakteristik aviacionnyh sistem (MASPS) dlja sistem uluchshennogo videnija, sistem iskusstvennogo videnija, kombinirovannyh sistem is-kusstvennogo videnija i bortovyh sistem uvelichenija dal'nosti videnija. Rukovodstvo R-315 Aviacionnogo Registra Mezhgosudarstvennogo Aviacionnogo Komiteta (AR MAK). (2008) (rus)
[4] Forsajt D., Pons Z. (2004) Kompjuternoe zrenie. Sovremennyj podhod. Moscow,
Izd. dom Viljams. (rus)
[5] German E. V., Muratov E. R., Novikov A. I. (2013) Matematicheskaja model' formi-rovanija zony neopredelennosti v zadache sovmeshhenija izobrazhenij. Vestnik RGRTU, 46-2, 1016. (rus)
[6] Muratov E. R. (2013) Skeletizacija konturov izobrazhenij v aviacionnyh sistemah kombinirovannogo videnija. Tehnicheskoe zrenie v sistemah upravlenija-2013: Proc. conf. Moscow, IKI RAN, 158-159.
[7] Scarpino M. (2012) OpenCl in action. How to accelerate graphics and computation. Manning publication Co.
