Программно-аппаратная реализация технологии геометрической коррекции и комплексирования изображений на мобильной платформе Текст научной статьи по специальности «Математика»

МА ТЕМА ТИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ВЫЧИСЛИТЕЛЬНЫХ МАШИН, КОМПЛЕКСОВ И КОМПЬЮТЕРНЫХ СЕТЕЙ

УДК 004.932

ПРОГРАММНО-АППАРАТНАЯ РЕАЛИЗАЦИЯ ТЕХНОЛОГИИ ГЕОМЕТРИЧЕСКОЙ КОРРЕКЦИИ И КОМПЛЕКСИРОВАНИЯ ИЗОБРАЖЕНИЙ НА МОБИЛЬНОЙ ПЛАТФОРМЕ

А.И. Ефимов, Д. А. Колчаев, Д.И. Устюков

В статье рассматривается решение задачи по реализации на специализированном вычислителе алгоритмов взаимной геометрической коррекции, комплексирова-ния и последующей визуализации телевизионных и тепловизионных изображений, получаемых от мобильных сенсоров. Приведено описание модифицированного алгоритма геометрического преобразования изображений с применением проективных преобразований.

Ключевые слова: система технического зрения, телевизионное изображение, тепловизионное изображение, комплексирование изображений, ПЛИС.

На современном этапе развития техники сенсоры мобильных систем технического зрения (телевизионные и, особенно, тепловизионные) не позволяют получать изображения, полностью лишенные цветовых, динамических и геометрических искажений. Это может быть обусловлено как технологическими дефектами при производстве, погрешностями в работе аналого-цифровых преобразователей и фотопринимаю-щих устройств.

Кроме этого, в сложных условиях видимости: при задымлении, тумане, встречной засветке искусственным или естественным светом, значительно снижается эффективность решения задач обнаружения, классификации и распознавания объектов на обрабатываемых изображениях, а именно решение этих задач является конечной целью работы большинства систем технического зрения.

Одной из основных тенденций развития современных оптико-электронных систем (ОЭС) является создание систем, работающих в двух и более диапазонах оптического спектра, в которых используются информационные каналы, основанные на использовании признаков объекта, обусловленных различными физическими факторами (например, [1]). Путем комплексирования различных информационных каналов возможно получить изображение, наиболее приемлемое как для человеческого глаза, так и для дальнейшей обработки.

Основной предпосылкой для комплексирования отдельных составляющих ОЭС является различное воздействие факторов естественного и искусственного происхождения на различные каналы получения видеоинформации, поскольку каждый канал,

207

взятый в отдельности, не в состоянии удовлетворить требованиям к аппаратуре в условиях плохой видимости, обусловленной неблагоприятными внешними явлениями. При этом эффективность комплексированной ОЭС оказывается выше эффективности каждого из ее каналов в отдельности [2].

Основными преимуществами комплексирования являются [3]:

- улучшение характеристик системы благодаря созданию некоторой «избыточности» ее возможностей, обусловленной наличием нескольких каналов;

- увеличение периода слежения (один из каналов может обнаружить и сопровождать цель в то время, когда другие каналы не в состоянии это выполнить);

- повышение достоверности полученных данных вследствие подтверждения их несколькими каналами;

- повышение общей надежности системы обнаружения и идентификации объектов;

- повышение помехозащищенности и помехоустойчивости системы;

- устранение негативных эффектов дискретизации изображения;

- выявление и устранение негативного влияния облачности и тумана, пылевых взвесей;

- возможность использования новых признаков при распознавании объектов, например спектральной сигнатуры.

1. Алгоритмы совмещения полей зрения разноспектральных сенсоров

Основными причинами несовпадения элементов сцены на кадрах видеодатчиков многокамерной системы технического зрения (СТЗ) согласно [4] являются:

- различие взаимного положения камер и объектов съёмки;

- различное разрешение матриц камер СТЗ;

- различные поля зрения объективов и их дисторсия;

- отсутствие синхронизации моментов начала экспонирования кадров (при наблюдении движущихся объектов).

Все без исключения перечисленные факторы будут присутствовать в любой ОЭС, имеющей в своем составе телевизионную и тепловизионную камеры.

Согласно [5]: «Видеодатчики многоспектральной СТЗ (камеры К1 и К2 на рис. 1) могут использовать либо общий оптический канал со светоделителем, разделяющим волны видимого и инфракрасного диапазонов, либо отдельные оптические каналы. Во втором случае неколлинеарность оптических осей камер и разнесение их оптических центров приводят к появлению проективных искажений и эффекту оптического параллакса, однако именно такой подход (ввиду меньших габаритов системы камер) наиболее часто применяется на практике [6]».

Рис. 1. Перекрывающиеся поля зрения датчиков двухкамерной СТЗ при их различном расположении

В мобильной системе технического зрения, на которой планируется применение описываемого в настоящей статье подхода, применяется способ установки камер с отдельными оптическими каналами. Как уже было отмечено, используемый способ установки порождает проективные искажения. Поэтому с целью взаимной геометриче-

208

ской коррекции изображений от телевизионного и тепловизионного сенсоров предлагается использовать дробно-линейные преобразования. Данный класс преобразований, в отличие от аффинных, способен корректировать проективные искажения.

2. Совмещение изображений с помощью проективных преобразований Для выполнения геометрической коррекции телевизионного и тепловизионно-го изображений в условиях наличия незначительных проективных искажений с целью их последующего комплексирования можно использовать дробно-линейные преобразования:

/гп х + ¿12 у+ ¿13

х =

У =

¿31 *' + ¿32 У +1 , ¿21*' + ¿22 У + ¿23 .

(1)

1*" ' ¿11 ¿12 ¿13 ' (х ' >

1у = ¿21 ¿22 ¿23 / У

1 V ¿31 ¿32 1 V1 >

¿31 * + ¿32 У' +1

В матричной форме (в однородных координатах) выражение (1) можно записать в виде:

(2)

Матрица н = (¿ - ) в составе формулы (2) называется матрицей томографии.

Она содержит 8 неизвестных параметров, для нахождения которых необходимо как минимум 4 пары ключевых точек на сопоставляемых изображениях.

Формирование множества пар ключевых точек, с одной стороны, и выбор из этого множества оптимального набора точек, обеспечивающих корректное определение элементов матрицы гомографии, с другой стороны, это две основные задачи в проблеме геометрического совмещения изображений с помощью матрицы гомографии.

Зрительный анализ двух разноспектральных кадров почти всегда позволяет найти несколько пар опорных точек. Авторами в [7] предлагается выполнять оценку матриц гомографии разноспектральных камер, размещая на плоскости наблюдения несколько заранее известных меток, имеющих характерный внешний вид во всех спектральных диапазонах: например, прожекторы, лучи которых направлены в сторону датчиков. При условии проведения видеосъемки при полной неподвижности датчиков относительно друг друга, достаточно найти опорные точки на одной паре кадров, оценить параметры проективного преобразования (матрицы Н) и использовать их затем на каждом последующем кадре. Использование данного подхода показывает хорошие результаты в случае, когда характерные наблюдаемые объекты находятся от ОЭС на некотором фиксированном расстоянии. В случае, когда объекты сцены (либо ОЭС) перемещается в пространстве, требуется заново оценивать параметры проективного преобразования.

Как уже отмечалось, задача автоматического поиска соответствия между характерными точками на разнородных изображениях является весьма сложной и на настоящий момент не существует универсального алгоритма ее решения, применимого во всех возможных условиях.

3. Алгоритм автоматического поиска соответствующих точек на разноспектральных изображениях

Для осуществления автоматического поиска соответствующих точек на разно-спектральных изображениях предлагается использовать следующую технологию:

Шаг 1. Выделение границ на изображении с применением детектора границ Кенни [8];

Шаг 2. Однократное применение к полученному изображению морфологической операции «Низ шляпы», соответствующей вычитанию из исходного изображения результатов его открытия;

Шаг 3. Сложение результата шагов 1 и 2;

Шаг 4. Однократная эрозия результата шага 3;

Шаг 5. Вычитание из результата шага 1 результата двух- трехпроходной дила-тации результата, полученного на 4 шаге.

Существенно повысить качество получаемых результатов возможно, если произвести обработку исходного изображения медианным фильтром с окном большого размера (5х5, 7х7 или 9х9 в зависимости от характера сцены). Решение об увеличении размера фильтра принимается, исходя из количества пикселей границ, остающихся на результирующем изображении после применения описанного алгоритма.

Шаг 6. Аппроксимация контуров основных объектов на реальном и синтезированном изображениях многоугольниками.

Для решения этой задачи используется алгоритм, основанный на вычислении косинусов углов между двумя прямыми, проходящими через текущую точку контура. В каждой точке контура вычисляется косинус

_ Р1 Р2 + к2

cos а

i+kPV1+ki

угла между прямыми ^ : у _ к^ х и ^ : у _ к^ х, проходящими через данную точку и

через т пикселей слева и справа от этой точки. Оптимальная оценка к углового коэффициента каждой прямой находится как оценка метода наименьших квадратов по формуле

„ т 1т 2

к _ £ у\х\ £х . 1_1 / 1 _1

В этой формуле (х^ ; у^ ) - координаты точек А^ , 1 _ 1, т в подвижной системе коорди-

нат Оху для углового коэффициента ^ и (х^ ; у^ ) - координаты точек В^ , 1 _ 1, т -

для углового коэффициента к 2 .

Шаг 7. Установление взаимно однозначного соответствия между угловыми точками многоугольников, полученных на предыдущем шаге (поиск пар ключевых точек). Для этого в каждой точке М^ первого многоугольника вычисляются значение

критерия Ьу _б(Мг-, М j) «похожести» углов

а 1 _ZM/_1М/М/+1

и

_ к • ¿1 _ к • ¿2

ß j ZMj_iM'jM'j+1: djj =1 cos а,- - cos ß

2

+

—+ —-.-

+ b1 ai+ bi

Здесь a1 = MiMi-1, a2 = MiMi+1 ; b1 = MjMj-1, b2 = MjMj+1 . При фиксированном значении индекса - проходим все точки M j второго контура из списка

{м j Ij-i и находим индекс jg точки M jg , для которой 5(м,,Mj )= min5-j, j = 1, m,

т.е. jg = argmin 5j [10]. Установленные таким образом соответствия и выступают в

j=1, m

качестве исходных для дальнейшего нахождения параметров дробно-линейного преобразования одного изображения к плоскости другого.

210

4. Алгоритм построения матрицы гомографии по произвольному числу ключевых точек

Алгоритм вычисления элементов матрицы гомографии по 4 парам ключевых точек хорошо известен и для решаемой задачи сводится к следующему. Для каждой пары ключевых точек X/ = (хг-, у/ )Т и X / = (хг', у г' )Т, / = 1, к в соответствии с формулами (1) можно составить пару уравнений

¿3! х1х\ + ¿32х1у\ + х1 = ¿п х/ + ¿12УI + ¿13 , (3)

^31 Угх'г + ¿32У/У/ + У/ = ¿21х/ + ¿22У/ + ¿23 •

Неизвестных элементов матрицы гомографии Н восемь. Поэтому необходимо как минимум 4 пары таких уравнений и, как следствие 4 пары ключевых точек из множества к пар (к > 4 ) ключевых точек. Система линейных алгебраических уравнений (СЛАУ) вида (3), преобразованная к стандартной форме записи СЛАУ, имеет следующий вид

АОя = В, (4)

где А - основная матрица системы [11],

С н = (¿11 ¿12 ¿13 ¿21 ¿22 ¿23 ¿31 ¿32)Т - вектор-столбец подлежащих определению элементов матрицы гомографии,

В = (х1 х2 х3 х4 У1 У2 У3 У4)Т - вектор-столбец координат ключевых точек первого изображения, записанных в указанном порядке.

При корректном нахождении минимального набора из четырех пар ключевых точек будет построена матрица гомографии, которая обеспечит адекватное приведение одного изображения к плоскости другого: X = НХ '.

Из-за сложности корректного нахождения четырех пар ключевых точек, естественным представляется желание использовать большее число пар ключевых точек для поиска матрицы гомографии. Это позволит с одной стороны, существенно упростить определение набора пар ключевых точек, используемых для совмещения, а с другой, снизить влияние зашумленных пар точек на итоговый результат.

В случае использования всех к пар ключевых точек, система (4) будет состоять из 2к уравнений. Ее решение с помощью любого численного алгоритма, не обладающего вычислительной устойчивостью (метод Гаусса и др.), может приводить к ошибочным результатам. Поэтому от СЛАУ вида (4) целесообразно перейти к нормальной СЛАУ

(а Т А )С н = А Т В . (5)

Она получается из системы (4) умножением слева обеих ее частей на матрицу

Т

А . Названный переход эквивалентен поиску преобразования Н , минимизирующего сумму квадратов уклонений образов НХ ' точек Xот соответствующих им точек X, т.е.

\2

k

F (G н )= X

i=1

(xi - (xA i + yihi2 + ¿13 - Xixfa i - Xiyih32)) +

Syi - (h21xi + h22y'i + h23 - h31 yixi + h32yi/i))2 , или в матричной форме

(B - AG H )T (B - AG H)® min.

® min,

H

f:

Из необходимого условия минимума ^(сн) = о функции ) полу-

I ЗСН )

чаем систему уравнений (5).

Элементы куу матрицы томографии по произвольному числу точек находятся в

результате решения системы из восьми линейных алгебраических уравнений АОн _ В , где А - матрица размера 8*8:

А_

£ £х,у, £х, 0 0 0 _£х2х; _£х.ух / 1 1 1 / 1 1

£х,у, 0 0 0 _£х,у,х _£у2х

£х, т 0 0 0 _£х;х; _£л

0 0 0 £х2 £х у £х, _£ху _£ху,у

0 0 0 £х,у, £у _£х,у,у _£уу

0 0 0 £х, £у т

_£х,у,х _£хЛ _£у; _£х у у; _£х,у + у2 К + у2)х

-£хул _£ух _£ух _£уу; _£иу- 2

Он - вектор-столбец размера 8Х1: О н _ [кп ; к12 ; к13 ; к21 В - вектор-столбец размера 8 Х1:

£ х,х, £ уЛ £ х;_

£ Хгу\

£ у,у, £ у, _ £ [х'2+у;

х + у;2 )х,у,

2 к

к 22

£(х2 + у2 )у

к23 ; к31

к32 )7

В _

В составе матрицы А

■£ (

и вектора

х,2 + у,2 )у

В

/

числа

х;, у,

х,, у,,, _ 1,..., т и числа , _ 1,...,т представляют собой соответственно координаты т точек на изображении (контуре) и отвечающих им «идентичных» т точек на втором изображении (контуре).

В результате имеем алгоритм вычисления элементов матрицы гомографии по произвольному количеству ключевых точек (более 4), требующий решения СЛАУ из 8 уравнений, независимо от количества пар ключевых точек, применяемых для вычисления. Это позволяет использовать всё множество пар ключевых точек, исключить трудоемкую процедуру выбора строго 4 пар точек, а также позволяет избежать решения СЛАУ из 2к уравнений [9].

Применение для вычисления элементов матрицы гомографии более 4 пар ключевых точек позволяет уменьшить влияние возможных ошибок при определении координат этих точек.

5. Алгоритм уточнения проекционного преобразования

В случае нахождения на изображении к пар ключевых точек (к>>4) предлагается применять пошаговый алгоритм поиска матрицы гомографии, состоящий из следующих шагов:

1) нахождение матрицы гомографии по всему множеству пар ключевых точек и совмещение изображений с её помощью;

2) оценка качества совмещения изображений (правильности нахождения матрицы гомографии). Если совмещение неудовлетворительное, то определяется пара (пары) ключевых точек, расстояния между образами которых оказались большими, чем 1,75 среднего расстояния по всему множеству ключевых точек, и удаляются из множества пар ключевых точек. Также из множества ключевых точек, расположенных в некоторой малой окрестности (размер окрестности выступает в качестве параметра алгоритма), возможно использование единственной;

3) повторное нахождение матрицы гомографии по сокращенному множеству пар ключевых точек, совмещение изображений, оценивание качества совмещения.

Шаги 2 и 3 алгоритма выполняются итерационно до момента получения удовлетворительного совмещения изображений.

В результате работы алгоритма получаем максимально качественное из возможных (в смысле применяемого показателя качества) совмещение изображений с использованием исходного набора пар ключевых точек.

Ниже представлены результаты геометрической коррекции ТВ и ТПВ изображений с применением предлагаемых подходов. В таблице показаны получаемые матрицы проективных преобразований, на рис. 2 - получаемые результаты взаимной геометрической коррекции ТВ и ТПВ кадров.

Матрицы проективного преобразования для совмещения ТВ и ТПВ изображений

Приведение ТПВ к опорному ТВ Приведение ТВ к опорному ТПВ

н = " 1,33 0,02 - 212,2" - 0,01 1,82 -157,1 0 0 1 н = "0,74 - 0,02 -166,4" 0,01 0,55 97,5 0 0 1

Рис. 2. Результаты геометрического преобразования изображений для последующего комплексирования: а - исходное ТВ изображение с отмеченными ключевыми точками; б - исходное ТПВ изображение с отмеченными ключевыми точками; в - приведение ТПВ к опорному ТВ; г - приведение ТВ к опорному ТПВ

В качестве алгоритма для комплексирования предлагается использовать подход по переносу цвета, описанный в [5]. На рис. 3 показаны возможные варианты комплексирования телевизионного и тепловизионного изображений с псевдоцветовой раскраской.

Рис. 3. Результаты комплексирования ТВ и ТПВ изображений

6. Аппаратная реализация алгоритма преобразования изображений с использованием матрицы гомографии

Системы технического зрения используются преимущественно в мобильных устройствах. Это накладывает дополнительные условия, а именно СТЗ должна обеспечивать высокое быстродействие при низком энергопотреблении. В задачах обработки

213

изображений одними из наиболее подходящих устройств являются программируемые логические интегральные схемы типа FPGA (field-programmable gate array - программируемая вентильная матрица). Благодаря своей структуре FPGA позволяют создавать многоступенчатые конвейерные вычислители с высокой степенью параллелизма.

Реализация алгоритма преобразования одного изображения к плоскости другого с применением матрицы томографии на FPGA выполнена следующим образом.

В основе алгоритма лежит операция матричного умножения матрицы гомогра-фии H на матрицу М. Матрица М - координата одного пикселя преобразуемого изображения.

Результат произведения матриц можно записать в следующем виде:

x' = h11 • x + h12 • y + h13 1,

М'

(x ^ /

У

V Z' У

У' = h21 • x + h22

Z' = h31 • x + h32

У + h23 -1,

• у +11.

При реализации алгоритма в ПЛИС следует выделить следующее:

вычисление значений х',у',^ возможно производить параллельно;

операции произведений кц • х, • х, к3^ • х и к^2 • у, к22 • у, к32 возможно выполнять одновременно;

У

операции умножения констант на единицу h13 •1,

h23 -1 и 1-1 следует

сразу заменить константами h^, h23 и 1;

Во избежание ошибок, вызванных неравномерным распространением сигналов, вычисление сумм следует разбить на 2 действия.

Граф конечного автомата, реализующего произведение матриц, представлен на

рис. 4.

Рис. 4. Граф конечного автомата

Состояния автомата имеют следующий смысл:

Co - начальное состояние, установка начальных значений x и у;

С1 - вычисление произведений;

C2 - вычисление суммы, шаг 1;

С3 - вычисление суммы, шаг 2;

С4 - фиксация новых значений;

С5 - при исчерпании точек для обработки (К) - переход в начальное состояние, иначе (С) - переход к следующим координатам (переход в состояние С1).

Для каждого кадра видеопоследовательности автомат пребывает в состоянии С1 только 1 раз, затем циклически повторяется цепочка С2^С3^С4^С5^С2. Таким образом, для пересчёта координат одной точки требуется 4 такта синхроимпульса.

Стоит отметить, что большинство операций выполняется над вещественными числами. Для упрощения реализации арифметических операций все числа представляются в FPGA сдвинутыми на 8 разрядов влево и используется только целая часть полученных чисел. Общая разрядность операндов представлена 24 битами. Операции умножения выполняются на блоках, сгенерированных с помощью IP CORE GENERATOR, что позволяет безошибочно определить количество тактов необходимых для выполнения операции на любом наборе аргументов имеющих данную разрядность.

Конечный автомат, представленный на рис. 4, в общем случае можно использовать параллельно для произвольного числа обрабатываемых точек, но это сильно усложняет структуру устройства, и его отладку, требует больших аппаратных затрат. Поэтому было принято решение использовать 32 параллельно работающих блока. Тогда для обработки изображения размером 704x576 требуется 50688 тактов. Это соответствует 1,013 мс при частоте 50 МГц и ~0.25мс при частоте 200 МГц. Выполнение аналогичной операции пересчета координат пикселей одного изображения к плоскости другого на ЭВМ классической архитектуры с однопоточной обработкой занимает в среднем 65мс. В случае использования четырех ядер процессора, время обработки сокращается до 17 мс. Получаем, что аппаратная реализация алгоритма преобразования одного изображения к плоскости другого позволяет повысить быстродействие [12] в 65 раз.

После вычисления координат пикселей одного изображения, в плоскости другого, требуется лишь перестановка яркости пикселей в соответствии с новыми координатами. Возможно также комплексирование совмещаемых изображений.

Заключение

В настоящей статье приводится описание алгоритмов взаимной геометрической коррекции телевизионных и тепловизионных изображений с целью их последующего комплексирования и визуализации. Программно-аппаратная реализация предлагаемых подходов позволяет существенным образом повысить быстродействие обработки графической информации.

Работа выполнена в рамках гранта Президента Российской Федерации для государственной поддержки молодых российских ученых МК-661.2018.9, соглашение о предоставлении субсидии № 075-02-2018-683 от 16.11.2018

Список литературы

1. Лифанов Ю.С., Саблин В.Н., Салтан М.И. Направления развития зарубежных средств наблюдения за полем боя / Успехи современной радиоэлектроники, 2004. № 7.

2. Мордвин Н.Н., Попов Г.Н. Концепция построения оптико-электронных приборов наблюдения универсального назначения / Известия ВУЗов. Сер. «Приборостроение», 2007. № 2.

3. Фатеев В.Ф., Миньков С. А. Новое направление развития малых космических аппаратов дистанционного зондирования Земли / Изв. ВУЗов. Сер. «Приборостроение», 2004. № 3.

4. Brown L.G. A survey of image registration techniques // ACM Computing Surveys, 1992. Vol. 24(4). P. 325-376.

5. Холопов И.С. Реализация алгоритма формирования цветного изображения по сигналам монохромных видеодатчиков видимого и длинноволнового инфракрасного диапазонов в цветовом пространстве YCbCr // Компьютерная оптика, 2016. Т. 40, № 2. С. 266-274. DOI: 10.18287/2412-6179-2016-40-2-266-274.

6. Бельский А., Жосан Н., Брондз Д. и др. Круглосуточная панорамная система технического зрения для вертолетов. Фотоника, 2013. Вып. 38, № 2. С. 80-86.

7. Алпатов Б.А., Бабаян П.В. Электронная юстировка изображений при муль-тиспектральном наблюдении // Цифровая обработка сигналов, 2003. № 1. С. 24-26.

8. Сanny J. A Computational Approach to Edge Detection [Электронный ресурс]. / J. Canny // IEEE Transactions on pattern analysis and machine intelligence, 1986. №6(8). URL: http://perso.limsi.fr/vezien/PAPIERS ACSZcanny1986.pdf (дата обращения: 19.11.2017).

9. Ефимов А.И., Логинов А.А., Никифоров М.Б., Новиков А.И. Построение матрицы гомографии на основе произвольного количества пар ключевых точек // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций. Горячая-линия Телеком, 2015. С. 137-139.

10. Ефимов А.И., Новиков А.И. Предварительное совмещение изображений и методы оценки качества совмещения [Текст] Российский научно-технический журнал «Цифровая обработка сигналов». М., 2014. №3. С. 23-29.

11. Новиков А.И., Саблина В. А., Горячев Е.О. Применение контурного анализа для совмещения изображений // Известия Тульского государственного университета. Технические науки, 2013. Вып. 9. Ч. 1. С. 260-270.

12. Клинцов Г.Н., Ларкин Е.В. Основные свойства вычислительных алгоритмов, выполняемых на реальных ЭВМ // Известия Тульского государственного университета. Технические науки, 2016. № 1. С. 61-68.

Ефимов Алексей Игоревич, канд. техн. наук, доцент, lexie62rus@,mail. ru, Россия, Рязань, Рязанский государственный радиотехнический университет,

Колчаев Дмитрий Алексеевич, аспирант, 3force3amail.ru, Россия, Рязань, Рязанский государственный радиотехнический университет,

Устюков Дмитрий Игоревич, аспирант, ustukov.mailaya.ru, Россия, Рязань, Рязанский государственный радиотехнический университет

SOFTWARE AND HARD WARE IMPLEMENTA TION OF GEOMETRIC CORRECTION AND IMAGE FUSION TECHNOLOGIES ON A MOBILE PLATFORM

A.I. Efimov, D.A. Kolchaev, D.I. Ustukov

The article provides various solutions for the implementation on specialized computing devices of algorithms for mutual geometric correction, fusion and visualization of television and thermal images obtainedfrom mobile sensors. A description of a modified geometric image transformation algorithm using projective transformations is given.

Key words: technical vision system, television image, thermal image, image fusion,

FPGA.

Efimov Aleksey Igorevich, candidate of technical sciences, docent, lex-ie62rus@,mail. ru, Russia, Ryazan, Ryazan State Radio Engineering University,

Kolchaev Dmitry Alekseevich, postgraduate, 3force3amail. ru, Russia, Ryazan, Ryazan State Radio Engineering University,

Ustukov Dmitry Igorevich, postgraduate, ustukov. mailaya. ru, Russia, Ryazan, Ryazan State Radio Engineering University