CC BY
54
МЕХАНИКА. ТРАНСПОРТ. МАШИНОСТРОЕНИЕ
ши АО ОО ©
|
Капустин А.Н., Гарифулин В.Ю.,
Перелыгин В.Н., Лукьянов А.В. УДК 681.518.54 + 620.19
ЭФФЕКТИВНОЕ СОПОСТАВЛЕНИЕ ИЗОБРАЖЕНИЙ В ИНФРАКРАСНОМ И ОПТИЧЕСКОМ СПЕКТРАЛЬНЫХ ДИАПАЗОНАХ С ИСПОЛЬЗОВАНИЕМ СТЕРЕОПАРЫ «ТЕПЛОВИЗОР -ВИДЕОКАМЕРА»_
Введение.
Инфракрасная (ИК) термография играет все более важную роль в техническом обслуживании энергетического, теплового технологического оборудования предприятий на этапе определения их технического состояния. Этот метод получения изображений (термограмм) в невоспринимаемом глазом тепловом излучении, испускаемом объектами, позволяет также без соприкосновения с оборудованием выявлять ее чрезмерно разогретые механические и электрические узлы, что нередко предшествует отказам. Изменение картины тепловых излучений свидетельствует об изменении режима работы или технического состояния деталей и узлов машин. Их перегрев может быть следствием развивающихся дефектов.
Современные термографические системы на базе портативных камер обладают функциями записи изображений, сбора и хранения данных и калибровки. Программы анализа термоизображений позволяют сравнивать результаты текущих съемок с ранее накопленными данными, обеспечивая поддержку анализа трендов. Кроме того, термокамеры, используемые для фиксации изображений и сбора данных, обеспечивают мгновенный пересчет всех наблюдаемых термоуровней с целью компенсации таких факторов, как колебания температуры окружающей среды, изменение расстояния от камеры до объекта, изменение излучательной способности поверхностей машин.
Термография уже применяется для эффективного контроля электрооборудования работающих машинных агрегатов, и в этом она удачно дополняет виброконтроль, позволяя определять не охваченные последним электрические дефекты, а также дефекты смазки и передач. Классификация термопризнаков в сочетании с классификацией вибропризнаков дефектов оборудования позволят выявить цепочку причинно-следственных связей дефектов, что способствует раннему обнаружению дефектов. Ввиду сложности распознавания нетермоконтрастных деталей на электрических сборках с большой плотностью монтажа, для повышения достоверности и производительности тепловизионного
контроля предлагается синхронная фото- терморегистрация с последующей совместной обработкой фото- термоизображений.
В общем случае, задача сопоставления изображений решается классическим способом - на обоих изображениях достоверно определяются соответствующие друг другу элементы, после чего по какому-либо алгоритму осуществляется преобразование одного изображения к другому таким образом, чтобы достоверно сопоставленные элементы совпали, а участки между ними были преобразованы для достижения максимального качества сопоставления [1,2]. В этой трактовке, сопоставление изображений, полученных с использованием стереопары, в известном смысле, решается проще — поскольку взаимное положение камер известно точно, вероятное положение искомого объекта на сравнивае-
ИРКУТСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ПУТЕЙ СООБЩЕНИЯ
мом с эталонным изображении ограничено некоторой достаточно небольшой областью. Неопределенность в определении положения объекта остается, ввиду присутствия глубины сцены. Далее, в статье будет предложен эффективный алгоритм сопоставления изображений, исходя из ограничений стереопары.
1.Используемая терминология и основные соглашения.
Предварительно необходимо дать следующие определения, которые затем будут использованы в тексте. Исходное изображение, которое мы будем считать эталонным при сравнении, назовем базовым. Сравниваемое с ним изображение со второй камеры стереопары будем называть контрольным. Двумерные преобразования, выполняемые над изображениями как целыми объектами, будем обозначать общим термином гомография. Очевидно, что как частный случай, гомографией можно считать афинные, проективные и т.д. преобразования.
Для сопоставления изображений полезно пользоваться соотношениями эпиполярной геометрии. Пусть С и С' - пара камер с точечной апертурой. Тогда т и т' - проекции на плоскости изображений I и I' камер С и С' точки в трехмерном пространстве M см. рис.1.
Тогда основное соотношение эпиполяр-ной геометрии представлено в виде
т Бт = 0
(1)
для всех пар соответствующих точек. Матрица Б называется фундаментальной матрицей
[3].
Фундаментальная матрица — это матрица 3*3, имеющая ранг = 2, проецирующая точки на плоскости I в линии на плоскости I' и на-
оборот. Так, если т - точка на I, то Бт = 1' - эпи-полярная прямая на I'. Тогда из уравнения (1.1) т'г 1' = 0. То есть, любая точка т', соответствующая т, должна лежать на эпиполярной прямой Бт.
Также для фундаментальной матрицы существует пара точек еие', принадлежащих I и I', для которых выполняется соотношение
Бе = 0 = е', (2)
где 0 — нулевой вектор. Эти точки называются эпиполюсами. Главное свойство эпиполюса — принадлежность всем эпиполярным прямым плоскости изображения.
Здесь и далее предполагаем, способ вычисления фундаментальной матрицы и эпипо-люсов нам известен. Подробнее, см. [4].
2. Методика покоординатного выравнивания эпиполярных прямых.
Сопоставление изображений можно представить как процесс преобразования эпи-полярной геометрии сопоставляемых изображений в некоторую каноническую форму. То есть, применив проективные преобразования (преобразования гомографии) для каждого из сопоставляемых изображений, мы поместим их эпиполюсы в заранее определенные нами точки. Пусть такой точкой будет точка 1 = [100]т, лежащая в бесконечности, соответственно фундаментальная матрица для таких изображений будет определена следующим соотношением [5]
"0 0 0
Р = [1]х =
0 0 -1 0 1 0
Рис. 1. Основные соотношения эпиполярной геометрии.
Обозначение [1]х означает антисимметричную матрицу, полученную векторным произведением 1.
Соответственно, можно определить основные правила, которые будут выполняться для полученных изображений:
1)Все эпиполярные линии параллельны оси ОУ;
2)Соответствующие точки имеют идентичные по оси ОУ координаты.
Пусть Н и Н' - гомографии, преобразующие изображения I и I' к канонической форме, постулированной выше. Пусть т £ I и т' £ I' - пара соответствующих точек, удовлетворяющих основным закономерностям эпиполярной геометрии. Тогда этим точкам
соответствуют точки т и т' на изображениях в канонической форме таких, что т = Нт и т' = Н' т'.
Очевидно, что, поскольку полученные точки также удовлетворяют соотношениям гомографии, то
т'
Бт = 0,
т'т Н'г БНт = 0.
Н =
и т " Ч иь ис
V т = Уь Ус
wт wb wc
(4)
Рис.2. Графическое отображение элементов матриц гомографии.
дый компонент будет получен отдельно, после чего итоговая матрица будет исчислена перемножением последних.
Прежде всего очевидно, что инвариантная к масштабированию матрица гомогра-фии может быть представлена в форме
Н =
Окончательно, фундаментальная матрица может быть получена из выражения
Б = Н'т [1] Н. (3)
Фактически, таких матриц гомографии Н и Н' можно определить множество, нас интересуют лишь те, которые будут удовлетворять определенным заданным критериям.
Определим и,уиш как прямые линии, заданные коэффициентами в строках матрицы гомографии Н так, что
и и и
а Ь с
V V
а ь с
Wa Wb 1
(5)
делением на постоянную wc. Аналогично, разделим Н' на w' с. Эти действия не могут вызвать затруднений, поскольку wc, w' с не равны 0, в силу положения начала координат. Определим декомпозицию H как Н = Н 0 Нр ,
где Нр - матрица проективного преобразования, Н а - матрица аффинного преобразования. Таким образом найдем, что
' 1 0 0"
Нр = 0 1 0 . (6)
Wb 1
Аналогично, определим прямые и', V' и как строки матрицы Н'. По определению, для полученных прямых верно соотношение
Не = [ите уте wте]Т =[1 0 0]т.
Это означает, что прямые v и w должны проходить через эпиполюс e (согласно основным соотношениям гомографии). Аналогично, V' и w' должны проходить через другой эпиполюс е'. Кроме того, v и V', а также w и w' являются соответствующими эпиполярными прямыми. Обозначенные закономерности легко представить в графическом виде (рис.2).
Для того, чтобы определить искомые матрицы гомографии, используем метод их декомпозиции на более простые матрицы. Каж-
Из уравнений (1.5) и (1.6) следует, что
и„
На = ННр1 =
0
0
1
(7)
Определение дляН' а и Н'р осуществляется аналогично.
Далее, получим выражения для вычисления каждого компонента матрицы гомогра-фии.
3.Проективная компонента.
Матрицы Нр и Н'р полностью характеризуют проективные компоненты матриц гомографии. Эти преобразования проецируют эпи-полюсы e и е' в точки, расположенные в бесконечности (w-координата равна 0. По определению, Нр и Н'р определяются прямыми w и w' - соответственно.
Линии w и w' не являются независимыми. Пусть существует некоторая прямая на плоскости изображения z = ц 0]т , тогда можно
определить, что некоторые прямые w и w' связаны выражением
[е] ^ z и w' = Fz. (8)
w
Это соотношение следует из того, что прямые соответственны и являются эпиполярными. Таким образом, любое z определяет пару эпиполярных прямых. Необходимо выбрать г
Б
ИРКУТСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ПУТЕЙ СООБЩЕНИЯ
таким, чтобы минимизировать условия, сформулированные ниже.
Пусть рг. -[р!и р,у 1]Т - точка на исходном изображении. Тогда эта точка будет трансформирована преобразованием Нр в
Р! ,и Р!,
или, упрощая -
точку с координатами
1
w,
W,. -wr
w,
(9)
где wr
Т 1 V п
- рс,гдерс -—У. , Р! -централь-п 1
ный пиксель. Минимизируя соотношение (9), найдем искомую матрицу Нр.
Очевидно, что можно представить выражение (9) в виде
(Р! -Рс )
Т
' р с
или в матричной форме -'ТРРТ'
т т ' ' Рс Рс '
где P является матрицей
р1,и — рс ,и р 2,и — рс ,и Р - р1,V — рс,V р2,V — рс,V 0 0
(10)
р п,и рс ,и р п, V рс , V 0
Аналогично определяются р' с и Р' длядру-гого изображения.
Из соотношения (8) для обоих изображений можно представить (10) как
А
гТ Н! РРТ [е] х 2 + zT Б^РР^z гТ Н>с рс [е]х 2 + 2Т Р_р_ 2
ГА2 2ТА' 2
2ТВ2 2ТВ' 2
(11)
с весом
w! - 'Тр.. Если веса для всех точек изображения будут идентичны, то преобразование выродится в аффинное. Это возможно, если полюс действительно окажется в бесконечности. Зададимся целью максимально приблизить искомое проективное преобразование к аффинному, понимая, конечно, что предельный результат недостижим.
4. Постановка задачи минимизации контрольного соотношения.
Рассмотрим множество всех весов для каждой точки изображения. Определим соотношение минимизации различия значений весов относительно веса центрального пикселя, как
где А,В, А' и В' - матрицы 3*3, значения которых зависят от набора точек р. и р' ]. Поскольку w-координата для z равна 0, значимым является только верхний левый блок 2*2 для каждой из матриц. Следовательно, можно представить 2 - [X ц] Т .
Поскольку ранее было предположено, что рассматривается весь набор точек
Рм -[! ] 1]Т, где ! -0,— ,ш—1и ] -0, •••,Л —1, здесь юи Л — ширина и высота изображения I, центр которого расположен в точке с координатами ю—1 Л —1 п
рс
1
22
Соответственно, нетрудно получить следующие соотношения
РРТ =юЛ
12
"ю2 —1 0 0
0 Л2 —1 0
0 0 0
и
Рс Рс =т 4
(ю—1)2 (ю—1)(Л —1) 2 (ю—1) (ю—1)(Л —1) (Л —1)2 2 (Л —1)
2 (ю—1) 2 ( Л —1) 4
Используя эти результаты, вычислим А,В, А' и В' в формате 2*2.
5. Решение задачи минимизации.
Поскольку 2 - [X ц]Т определена с точностью до постоянной масштабирования, можно установить, что ц-1. Минимизация выражения достигается, если первая производная поX равна 0. Для эффективной минимизации (11) необходимо определить начальное значение.
Найдем его следующим образом: минимизируются отдельно оба рациональных выражения 2Т АуТ„ и гТ А' уС, . Это позволяет
А /2 В 2 /2В' X
определить два различных значения z, которые можно обозначить ~1 и ~2. Их среднее зна-
используется как начальное
чение
значение для минимизации всей суммы.
Минимизация 2ТАу2гВ2 эквивалентна максимизации выражения 2 В/2ТА2; обозначим его Поскольку A является симметричной и
2
п
! —1
!-1
2
В
В
положительно-определенном, можно использовать факторизацию Холетского, А = БтБ. Введем новую переменную у = тогда f(z) можно преобразовать
У) =
ут Б " т ВБ 1 у
т
У У
значению. Окончательно, z = Б 1 у.
Аналогичная процедура может быть использо-
zт А' z/
' zт В' z.
Н, =
и
УЬ - и сЖЬ Ус Ж а — У а 0
У а - У сЖа УЬ УЖь Ус
0 0 1
'Sa 5ь Бс -
Н 8 = 0 1 0
0 0 1
(12)
Поскольку уравнения прямых w и w' получены выше, выразим коэффициенты Уа и уь из выражения (12)
Р = н 'т И*н =
Поскольку у определен с точностью до коэффициента масштабирования, у) может
быть максимизирована, когда у равен собственному вектору матрицы Б -тВБ 1, соответствующего максимальному собственному
у„ -у-Ж
у .ж „ -у „
у —у
(13)
вана для минимизации
6. Аффинные преобразования.
В выражении (7) была определена матрица афинного преобразования. Рассмотрим вариант ее дельнейшей декомпозиции с целью интерпретации ее элементов через известные величины.
Пусть выражение (7) может быть преобразовано так, чтобы являться произведением двух матриц — преобразования подобия и растяжения по оси ОХ:
Н а = Н 8 Н,,
где
Используя последнюю строку этого матричного уравнения, получим, что
(14)
(15)
(16)
У а = Р31 + У' с Жа , УЬ = Р32 + У' с ЖЬ ,
У а = Р33 + У' с .
Подставляя (14- 16) в (12), получим окончательно
Н„ =
Р32 — ЖЬР33 Р31 — Ж а Р33 0
ЖаР33 — Р31 Р32 — ЖЬР33 0
0 1
Р — У'
1 33 * с
(17)
Аналогично, для у' а и у' Ь получено
Н' =
Ь Р33 Р23
Р13 — Ж' а Р33
0
а Р33 — Р13 Ж' Ь Р33 — Р23 У'
1
0
0
(18)
Поскольку матрица Н8используется только для трансформации вдоль оси ОХ, она может быть отброшена с тем, чтобы далее воспользоваться иными методами сопоставления изображений.
Выше получено, что матрицы Нр и Н'р выполняют сдвиг эпиполюсов в точки в бесконечности. С использованием матриц Нг и Н'г необходимо осуществить вращение с тем, чтобы точки соответствовали вектору направления 1 = [100]т. Таким образом, будет получено соответствие линий направленных параллельно оси ОХ для каждой точки оси ОУ для обоих изображений.
Окончательно, для преобразования изображений необходимо использовать произведение матриц Н гН р и Н' г Н' р.
Результат применения данной методики представлен на рис.3.
7. Методика сопоставления точек контрольного и базового изображений.
После получения матриц гомографии, преобразующих изображения таким образом, что любые точки в сопоставимых областях изображений имеют одинаковые координаты по оси ОУ (с точностью до постоянной сдвига), необходимо определить координаты соответствующих точек по оси ОХ.
Для этого предложен следующий алгоритм:
•предварительная обработка изображений с целью их максимальной адаптации для автоматизированных алгоритмов анализа и вычислений;
•определение величины постоянной сдвига одного изображения относительно другого;
•поиск опорных точек на базовом изображении;
ИРКУТСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ПУТЕЙ СООБЩЕНИЯ
Рис. 3. Применение методики покоординатного выравнивания эпиполярных прямых.
•формирование структуры связей между опорными точками путем построения триангуляции Делоне;
•поиск точек-кандидатов на контрольном изображении;
•выбор наиболее подходящих кандидатов с точки зрения минимизации энергии трансформации структуры связей по сравнению с базовым изображением.
Рассмотрим методику более подробно.
7.1. Предварительная обработка изображений.
Необходимость предварительной обработки изображений объясняется, прежде всего, существенным различием между типами сенсоров, которые получают тепловизионное изображение и фотографию в оптическом диапазоне.
Тепловизионное изображение формируется с использованием микроболометрической матрицы и представляет собой двумерное поле, каждая точка которого обладает яркостью глубиной 8 бит. Автоматически адаптируемый диапазон яркостей динамически меняется в зависимости от температуры самого теплого и самого холодного объекта в кадре. Таким образом, на изображении в простейшем случае самые холодные участки являются черными, а самые горячие — белыми. Между ними производитель предусмотрел несколько видов температурных шкал, отличающихся синтезированными промежуточными
цветами, предназначенными только для улучшения восприятия. Фактически, наиболее функционально использовать изображение в градациях серого цвета.
Оптическое изображение получено с использованием фотометрических датчиков и байеровской схемы получения цветов. Каждый итоговый пиксель изображения, в результате, имеет одинаковую глубину цвета для каждого из трех основных цветов. Кроме того, цветовое пространство адаптировано под то, которое воспринимает среднестатистический человек.
Таким образом, наиболее корректно использовать такую характеристику, как яркость отдельных участков изображения, а также контрастность этих участков.
Еще одним существенным отличием является излучательная и отражательная способность наблюдаемых поверхностей, которая существенно зависит от длины волны фикси-
руемого электромагнитного излучения. Это значит, что в общем случае предметы выглядят отлично друг от друга в обоих диапазонах, с точки зрения градиентов яркости и величины контраста. Это значительно снижает эффективность сопоставления изображений и требует некоторых подготовительных преобразований перед запуском алгоритма сопоставления изображений.
Предложено использовать следующие алгоритмы.
1) Метод контрастно ограниченной адаптивной эквализации (выравнивания) гистограммы (СЫНЕ).
Данный метод основан на исследовании для каждого пикселя гистограммы его окрестности и коррекции его яркостной характеристики путем изменения контраста таким образом, как определено в характеристиках функции. Тестовое изображение до и после применения метода приведено на рис.4,5.
2) Локальный диапазон изображения.
Метод используется для выделения локальных границ на изображении и состоит в вычислении локального диапазона яркости (максимальное минус минимальное значение яркости) на участке вокруг исследуемого пикселя. Участок можно задавать, используя маску, минимальный размер участка, очевидно, 3*3 пикселя. Изображение на рис.5, обработанное с использованием такой функции, представлено на рис.6.
В результате, обработанные таким образом изображения, имеют большую вероятность корректного сопоставления точек, чем оригинальные.
Рис. 4. Исходное тестовое изображение.
ИРКУТСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ПУТЕЙ СООБЩЕНИЯ
Рис. 5. Тестовое изображение после эквализации Рис. 6. Вычисление локального диапазона для тес-гистограммы. тового изображения.
7.2. Определение величины постоянной сдвига.
Как видно из рис.3 у изображений, для которых покоординатно для оси ОУ выровнены эпиполярные прямые, совпадает разрешение по этой оси, то есть любые сопоставляемые точки имеют одинаковую ординату. Однако существует сдвиг по оси ОУ, который необходимо выявить, поскольку сопоставляемые изображения получены устройствами, имеющими значительную разницу, как по углу зрения, так и по разрешению регистрирующей матрицы.
Этот этап предполагает вмешательство оператора в процесс определения постоянной. Далее, полученное значение будет использоваться во всех вычислениях автоматически.
Для определения постоянной сдвига предложен следующий алгоритм.
1.Использовать как позитовное, так и негативное изображение термограммы.
2.Для каждого варианта рассчитать величину нормированной кросс-корреляции.
3.Использовать сглаживание полученной поверхности методом скользящего среднего.
4.Сравнить 2 полученные поверхности, по результатам визуально определить, какой вариант (прямой или негативный) термограммы более всего соответствует оптическому изображению.
5.Определить постоянную сдвига.
Формула для вычисления нормированной кросс-корреляции имеет вид
У(и,у) =
^(X,У) — 4,У р(X — и,у — У) — I]
__х1у_,
{Ер(X,У) — 4,У ]2 (X — и,У — У) — Ц2 }
[ х,У х,У )
здесь / — изображение, х, у — соответствующие измерения, содержит искомый участок I с координатами и, у. I - среднее по искомой области, 4,У - среднее от f(x,у) по области, соответствующей искомому участку.
Результат сопоставления двух обоюдно инверсных графика, отображающих величину корреляции, приведен на рис.7.
Полученные результаты демонстрируют необходимость использования негатива термограммы в дальнейших вычислениях. В соответствии с координатами пика корреляции определяется постоянная сдвига у_offset = 137 пикс. Сопоставление изображений с выбранным сдвигом дает результат, изображенный на рис.8.
Полученная величина сдвига используется, чтобы из исходного контрольного изображения выделить участок шириной, соответствующей ширине базового изображения.
7.3. Поиск опорных точек на базовом изображении. Формирование структуры связей.
Операция поиска опорных точек является весьма важной для работы алгоритма в целом, поскольку правильный выбор позволяет с большей вероятностью обнаружить данные точки на контрольном изображении. Поэтому поиск контрольных точек выполняется для ба-
МЕХАНИКА. ТРАНСПОРТ. МАШИНОСТРОЕНИЕ
ши оо оо ©
|
а) б)
Рис. 7. Сглаженные гистограммы для позитива (а) и негатива (б) термограммы.
зового изображения, обработанного методом CLAHE и локального диапазона. Результат — точки с наибольшим контрастом, становятся максимально удаленными друг от друга в пределах изображения.
Для полученного набора опорных точек структура связей формируется с использованием триангуляции Делоне. Триангуляция Делоне позволяет найти ближайших соседей
Рис. 8. Сопоставление снимков по результатам вычисления нормированной кросс-корреляции.
каждой точки таким образом, что описанная вокруг любого треугольника окружность не содержит других опорных точек.
В результате, базовому изображению соответствует массив необходимого количества контрольных точек и топографические данные, позволяющие построить триангуляцию Делоне, как показано на рис.9.
На рисунке опорные точки выделены красными звездами, связи — желтыми прямыми.
7.4. Поиск точек-кандидатов на контрольном изображении.
Поскольку выше было показано, что все соответствующие точки сопоставляемых изображений имеют одинаковую ординату (с точностью до искажения, вызванного несовершенством оптической схемы объектива и отличием его от ртко1е-камеры), необходимо максимально ограничить также значение абсциссы. Поскольку оптическая схема используемой системы пары сенсоров не меняется, также не меняется и соотношение эпиполюсов и направление эпиполяр-ных прямых. Следовательно, полученное для ординаты соотношение будет выполняться всегда, вне зависимости от фиксируемой сцены (за исключением варианта, когда точка, присутствующая на одном снимке будет закрыта другим предметом сцены ввиду параллакса съемки на втором снимке).
Для абсциссы, в общем случае, это не верно. Наиболее простой вариант — преобразование изображений абсолютно плоских сцен — в этом случае
ИРКУТСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ПУТЕЙ СООБЩЕНИЯ
Рис. 9. Структура связей опорных точек базового изображения.
базовое изображение можно преобразовать в контрольное, применив преобразование го-мографии. Для сцен с выраженной трехмерностью предметов такой способ не подходит, следовательно, универсального соотношения между абсциссами базового и контрольного изображений установить нельзя.
Рассматривая этот наиболее общий случай, предложим алгоритм, который бы позволил решить проблему сопоставления изображений.
Для каждой опорной точки на базовом изображении необходимо определить массив
точек-кандидатов (рис. 10). Для этого используем метод поиска нормированной кросс-корреляции. Яркость изображения нормируется с использованием метода CLAHE. Вокруг каждой опорной точки выбирается область размером (height_b/10, 10) пикселей, где height_b — вертикальный размер базового изображения в пикселях.
С использованием предвычисленной константы сдвига y_offset поиск осуществляется в контрольном изображении в области размером (height_b/10 + 10, 80) в случае, если определяется постоянная x_offset - сдвиг по оси абсцисс, характеризующий общий сдвиг базового изображения относительно контрольного. Параметр x_offset может быть также определен с использованием нормированной кросс-корреляции. Выполняется вычисление двумерного поля, характеризующего критерий схожести базовой области и участка контрольной с использованием нормированной кросс-корреляции. Значения полученного массива сглаживаются с использованием метода двумерного скользящего среднего
i +— j+—
^ ^ corr(u,v)
corr_sred(i, j) =
, n , m
u=--v = j--
2 2
m • n
При этом значения, относящиеся к краю поля значений корреляции, приравниваются 0 в диапазоне
согг _ sred(1,width _ Ь / 2) _ 0,
Рис. 10. Выбранные точки-кандидаты на контрольном изображении.
n
m
corr _ sred(width _ c + width _ b / 2, width _ c + +width _ b) = 0,
corr _ sred(1, height _ b /2) = 0, corr _ sred( height _ c+height _ b /2,
height _ c+height _ b) = 0.
где height_b, height_c, width_b, width_c соответственно высоты и ширины базового и контрольного изображений. Исключение крайних точек поля происходит из вероятности некорректного сопоставления базового и краев контрольного изображений; в этой ситуации при определенных параметрах корреляция может быть значительной, свидетельствуя о заведомо ложных совпадениях.
Устанавливается величина массива точек-кандидатов. Далее, из поля значений функции корреляции выбирается 5 первых точек и определяются соответствующие им координаты точек.
Данная процедура выполняется для каждой опорной точки базового изображения. Если точек определено N, а кандидатов M для каждой, то всего в расчетах используется N*M точек.
Алгоритм выбора оптимальной конфигурации состоит в переборе всех возможных конфигураций точек-кандидатов с тем, чтобы
выбрать тот, для которого структура связей будет максимально совпадать со структурой базового изображения. Блок-схема алгоритма представлена на рис.11.
Далее, выполняется кусочно-линейное преобразование контрольного изображения, узлами преобразования служат распознанные точки. Структура связей базового изображения для контрольного представлена на рис.12. Полученный результат после применения кусочно-линейного преобразования в сравнении с оригинальным изображением, представлен на рис.13.
8. Выводы.
Алгоритм совмещения в целом показывает удовлетворительный результат. Небольшой сдвиг левого нижнего угла произходит вследствие отсутствия в его окрестности точек для коррекции. В целом также заметно искажение геометрии изображения, характерное для дисторсии - явления искажения изображения в объективе.
Получен алгоритм, позволяющий эффективно сопоставлять изображения различных длин волн путем использования методики проективной трансформации с целью оптимизации геометрических параметров, а также сопоставления контрольных точек путем мини-
Рис. 11. Блок-схема алгоритма поиска оптимальной конфигурации точек-кандидатов.
мизации энергии связей точек, сформированных триангуляцией Делоне.
Дальнейшими шагами по развитию методики являются устранение искажений дис-торсии в объективах камер, более равномерное распределение опорных точек по кадру, оптимизация списка точек-кандидатов с целью повышения скорости вычислений и использование алгоритмов более плавной (например, сплайновой) аппроксимации для более эффективного совмещения базового и контрольного изображений.
БИБЛИОГРАФИЯ
1. Лукьянов А.В., Капустин А.Н., Лукьянов А.А. Алгоритмическое и программное об-
еспечение автоматизированного термомониторинга и диагностики оборудования. -Контроль. Диагностика.- 2005, №9, C.45-54.
2. Лукьянов А.А. Интеллектуальные задачи мобильной робототехники. - Иркутск: Изд-во Иркутского гос. университета, 2005 г., 312 с.
3. O. Faugeras. Three-Dimensional Computer Vision: A Geometric Viewpoint. MIT Press, 1993. PP. 33-35.
4. Z. Zhang. Determining the epipolar geometry and its uncertainty: A review. International Journal of Computer Vision, 27(2):161 — 1195, 1998. PP. 12-14.
5. C. Loop, Z. Zhang. Computing Rectifying Homographies for Stereo Vision, Technical Report MSR-TR-99-21, April 8, 1999. 118 p.
