Разработка и исследование алгоритма поиска положения особых точек в системах технического зрения летательных аппаратов Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 519.6

А. С. Тужилкин

Разработка и исследование алгоритма поиска положения особых точек в системах технического зрения летательных аппаратов

Рассмотрена задача поиска положения особых точек в системах технического зрения летательных аппаратов. Разработан алгоритм быстрого поиска. Определены положения особых точек в последовательности изображений высокодинамичных объектов в системах технического зрения летательных аппаратов. Проведен анализ существующих алгоритмов поиска особых точек. Входная последовательность кадров изображений подвержена геометрическому преобразованию - повороту. Осуществлено моделирование разработанного алгоритма на последовательности кадров наблюдаемого объекта. Проведено сравнение эффективности и быстродействия поиска особых точек известного алгоритма SIFT с предложенным алгоритмом. Показано, что разработанный алгоритм обеспечивает более быстрый и устойчивый к геометрическому преобразованию изображения наблюдаемого объекта поиск особых точек по сравнению с алгоритмом SIFT.

Ключевые слова: особые точки, система технического зрения, дескриптор, высокодинамичные объекты, геометрическое преобразование.

Введение

Системы технического зрения (СТЗ) предназначены для восприятия техническими средствами визуальной информации об окружающей среде в различных спектральных диапазонах, а также для обработки и анализа изображений с целью дальнейшего решения задачи классификации объектов. Обработка визуальной информации заключается в получении некоторого представления об окружающей сцене, ее изображении и в формировании опи-® сания объекта наблюдения для дальнейшей ™ классификации. Это в полной мере относится ^ к СТЗ современных летательных аппаратов — (ЛА). Описание должно, с одной стороны, | содержать всю существенную информацию < о наблюдаемом объекте, а с другой - обеспе-Д чивать качественную обработку изображений

<® ' т-т

5 с минимальными временными затратами. При описании с помощью СТЗ изображения объек-§ та происходит частичное выделение искомой я информации при некоторой общей потере. Ба-

1 „

се ланс этих двух процедур является важнейшей

| задачей СТЗ [1].

^ Рассмотрим основные особенности, опре-

| деляющие специфику разработки конкретных

о СТЗ для перспективных ЛА.

Во-первых, при разработке подсистем

™ информационного обеспечения СТЗ требуется

с? решать не общую проблему автоматического понимания изображения произвольной сцены,

см

2 _

(П

I! © Тужилкин А. С., 2018

а гораздо более определенную и узкую задачу проблемно-ориентированной интерпретации изображения объекта. Часто эта задача сводится к обнаружению и идентификации на изображении объекта некоторого набора особых точек (ОТ), наличие которых может повлиять на формирование решения.

Во-вторых, к алгоритмам обработки изображений объектов в СТЗ предъявляются специальные требования, связанные с назначением и характеристиками разрабатываемой или уже существующей системы. Для ЛА характерно высокое динамическое изменение положения в пространстве. По этой причине в зависимости от специфики конкретной задачи к подсистеме анализа изображений предъявляются следующие требования: робастность, локализация и вычислительная реализуемость в реальном масштабе времени в рамках заданной аппаратной архитектуры. Функционирование СТЗ обычно осуществляется в реальном масштабе времени и требует разрешения классического противоречия между требованиями высокого быстродействия системы и сокращения объема памяти [2].

В процессе распознавания изображения объектов СТЗ одной из значимых проблем остается задача сопоставления изображения, выделенного из фотоснимка или видеокадра, с его эталонными образами, хранящимися в базе данных. Основной методикой решения этой задачи является установление соответствия между некоторым подмножеством ОТ изобра-

жения (точечных особенностей) и соответствующими подмножествами ОТ эталонных образов объекта. При работе средств распознавания изображений используют различные способы соотнесения объектов распознавания и их образов, хранящихся в базе данных.

Под ОТ понимается точка на изображении ЛА, которая имеет четко определенные позиции на соседних кадрах и может быть надежно обнаружена для последующей классификации объекта наблюдения. ОТ имеет ряд признаков, существенно отличающих ее от множества соседних с ней точек объекта текущего изображения. ОТ может представлять характерные части на изображениях объекта, например, углы, вершины геометрических фигур, небольшие окружности и круги, края плоскостей, резкие цветовые переходы, перепады яркости или контрастности. Фактически она может быть изолированной точкой локального максимума или минимума линии интенсивности или представлять собой наиболее простой элемент дискретного представления функции описания объекта.

Несмотря на то что изображение ЛА в виде набора ОТ представляет собой простую структуру - матрицу двумерных чисел, которая содержит большое количество информации о наблюдаемой сцене. Извлечь структурированную информацию из этой сцены - сложная задача. Если речь идет о последовательности изображений высокодинамичных объектов, то задача становится еще сложнее, так как появляются пространственно-временные связи между кадрами. Требуется обоснование алгоритма, который позволит осуществить быстрый поиск и определить местоположение ОТ в последовательности изображений объекта в реальном масштабе времени.

Целями данной статьи являются разработка алгоритма быстрого поиска и определение положения особых точек в последовательности изображений высокодинамичных объектов в системах технического зрения летательных аппаратов. Сравнительный анализ алгоритмов описания и сопоставления дескрипторов ОТ В процессе выделения ОТ на кадре изображения необходимо с помощью детектора провести поиск ОТ и для каждой найденной точ-

ки задать вектор-дескриптор, описывающий структуру ее окрестности, выделяющей ее из остального множества найденных точек.

Множество дескрипторов ОТ определяют модель объекта на изображении, которая в дальнейшем используется для сопоставления объекта с его эталонными изображениями в базе данных. На основе анализа множества пар дескрипторов исходного объекта и его эталонных образов принимается решение о том, являются ли сопоставляемые изображения аналогами.

Сопоставление дескрипторов осуществляется следующим образом. В пространстве классификации выбирается множество пар наиболее близких дескрипторов. Степень близости рассчитывается как расстояние вектора дескриптора в пространстве изображений. Далее на основе отобранных пар наиболее близких дескрипторов принимается решение о соответствии исходного изображения его образу путем сравнения расстояний относительно некоторого порогового значения.

В настоящее время разработано большое количество алгоритмов поиска ОТ с различными детекторами и описанием окрестности найденной точки. Перечислим наиболее известные из них.

1. Алгоритм SIFT (Scale Invariant Feature Transform). Дескрипторы окрестности точки инвариантны к масштабированию и поворотам изображения, устойчивы к изменениям освещения, шумам и ракурсу наблюдателя. SIFT - один из наиболее часто используемых алгоритмов описания дескрипторов ОТ.

2. Алгоритм SURF (Speeded Up Robust Features). Дескрипторы окрестности точки также инвариантны к масштабированию и вращению, так как для описания окрестности найденной точки используется матрица Гессе. При этом для каждой ОТ рассчитываются градиент максимального изменения яркости на данном участке и коэффициент масштабирования по матрице Гессе.

3. Алгоритм RIFF (Rotation Invariant Fast — Features). Дескриптор, как и в предыдущих ал- | горитмах, инвариантен к масштабированию, i

Ф

вращению и изменению освещенности. В ос- £ нову положены радиальное и тангенциальное Е.

о см

<

I

о те

s

о ^

CQ ш г

о.

ф

£

и

V

со

см

■Clin

с?

см

■Clin см

(П (П

разложение гистограмм градиента и последующая обработка по кольцам.

Перечисленные выше алгоритмы имеют свои преимущества и недостатки. Основным недостатком алгоритмов SIFT и SURF являются неустойчивость выделения ОТ при низком отношении сигнал/шум и низкий процент правильного распознавания элементов изображений объектов без ярко выраженной текстуры. Алгоритм RIFF имеет неустойчивость, вызываемую размытием изображения вследствие наличия межкадрового рассогласования [3]. Теоретические исследования Для СТЗ необходимо обрабатывать видеопоследовательность в реальном масштабе времени, поэтому избыточная вычислительная сложность алгоритмов SIFT, SURF и RIFF является нежелательным моментом. В связи с этим предложен алгоритм быстрого поиска и определения положения ОТ в последовательности изображений ЛА за счет значительного уменьшения количества входной информации. Предложенный алгоритм основан на анализе статистического распределения точек бинарного изображения ЛА.

При получении последовательности изображений проводится предварительная обработка, целью которой является подготовка последовательности кадров ЛА для их дальнейшей обработки и анализа. Алгоритм предварительной обработки включает фильтрацию изображений, для повышения резкости изображения, бинаризации с анализом полученных данных и последующей морфологической обработки (рис. 1).

XZ.

Последовательность изображений

Фильтрация изображения

У

Бинаризация изображения

X У

Морфологическая обработка

Последовательность бинарных изображений

Рис. 1. Блок-схема алгоритма предварительной обработки изображения

Обычно изображения, сформированные различными информационными системами, искажаются под действием помех. Это затрудняет их визуальный анализ человеком-оператором и автоматическую обработку в ЭВМ. При решении некоторых задач обработки изображений помехами могут быть те или иные компоненты этого изображения. Например, при анализе космического снимка земной поверхности может быть поставлена задача определения границ между ее отдельными участками (лесом и полем, водой и сушей и т. п.). Отдельные детали изображения внутри разделяемых областей, согласно поставленной задаче, являются помехой.

Ослабить действия высокочастотных и импульсных помех можно с помощью линейной пространственной фильтрации. При фильтрации яркость (сигнал) каждой точки исходного изображения, искаженного помехой, заменяется некоторым другим значением яркости, которое признается в наименьшей степени искаженным помехой.

Бинаризация изображения является ключевым моментом, от которого зависит качество работы алгоритма поиска ОТ. Использование этой операции позволит разделить изображение на ряд составляющих его смысловых областей. Результат бинаризации принято представлять в виде изображения, имеющего столько же элементов, сколько их содержит исходное изображение. Таким образом, в общем случае видеопоследовательность является исходными данными для бинаризации.

Существует немало подходов к решению задачи бинаризации, имеющих свои преимущества и недостатки [4]. Большая часть из них основана на анализе признаков точек изображения. Признаки точек - это скалярные или векторные величины, вычисляемые с помощью яркостного поля изображения, выбор которых решающим образом влияет на правильность бинаризации.

Общеизвестным [4] является тот факт, что успех задачи бинаризации объектов зависит от удачно выбранной для описания объектов системы признаков. Существующие алгоритмы бинаризации [4] подразделяются на бинаризацию с нижним порогом, верхним порогом, двойным ограничением и др.

В предложенном алгоритме быстрого поиска ОТ в качестве информации используется гистограмма распределения яркости пикселей растрового изображения. Строится гистограмма по значениям

р, = п, / N

где п - это количество пикселей с уровнем яркости Г;

N - общее количество пикселей на изображении.

Диапазон яркостей делится на два класса с помощью порогового значения уровня яркости k, которое имеет целое значение в диапазоне 0..Х. Каждому классу соответствуют относительные частоты ю 0, Ю!:

ю(

(к) = £ Pi;

i=1

ю

i(k) = £ P' =1 -юо (к);

i=к+1

^ о(к)=£

' X p^

i=1 юо

^i(k) = 2

i x Pi

i=k+i ®i

(1) (2)

(3)

(4)

где , ^ - средняя яркость всего изображения.

Вычислим максимальное значение оценки качества разделения изображения на две части:

l-1

П(к) = max

к=1

а Кл(к) О2

\ ^общ у

(5)

где о Кл - межклассовая дисперсия; о Кл =ш сШ1(ц1 -ц о )2;

о0бщ - общая дисперсия всего изображения целиком.

После выполнения бинаризации изображений на области проводится их морфологическая обработка. В первую очередь математическая морфология используется для извлечения некоторых свойств изображения, полезных для его представления и описания, например, контуров, остовов, выпуклых оболочек. Основными операциями математиче-

ской морфологии являются наращивание, эрозия, замыкание и размыкание. Полученные совокупности пикселей необходимо описать и представить в форме, удобной для последующей компьютерной обработки. Область представляется внутренними характеристиками (т. е. совокупностью элементов изображения, составляющих эту область). Обычно внутреннее представление выбирается, если представляют интерес свойства самой области, например цвет и текстура, в данном случае формирующие его вес. Вес объекта - это сумма точек, составляющих данный объект.

Анализ и поиск ОТ осуществляются на бинарных изображениях, на которых при этом должны быть определены все бинарные объекты. Составляются списки бинарных объектов и признаков каждого из них.

Пусть на текущем изображении M(x, у) присутствуют N бинарных объектов. По каждому объекту создается трехмерный вектор

AN (х, у, z),

где x, у - координаты центра масс объекта; z - вес объекта (один из признаков).

Далее на основе массива векторов определяется матрица расстояний Ц^Ц следующим образом:

4 А . .. а, . . an

A 0 %12 . .. Гц . . %1n

А 0. .. r2i . . r2n

А 0. . %

0

Здесь евклидово расстояние между Л и Лк составляет

Гу=у1 (х - Хк )2 + (у, - Ук )2 + (z¡ - Zk )2, (6)

где х,, у1, хк, ук - координаты ОТ на изображении.

Затем преобразуем матрицу в вектор- я

строку, элементами которого будет математи- |

ческое ожидание вектора-столбца матрицы |

расстояний |Ы|: 5

M(X) = X ^ X Pi.

(7)

о

CM

<

I

(0 те

0 ü CQ (S

1 Q. <D

£

и

<D CQ

CM ■Clio 9

CM ■Clio

CM

w w

На основании полученных значений математического ожидания проводим поиск трех контрольных точек с максимальными значениями математического ожидания. ОТ, у которой математическое ожидание будет максимальным, станет центральной, относительно нее будут определены все дальнейшие преобразования.

Точность определения координат ОТ является наиболее значимым критерием для алгоритмов оценки и компенсации геометрических преобразований поступающих изображений. Обеспечение высокой точности - один из ключевых вопросов, связанных с решением задач распознавания и сопоставления образов в СТЗ. Экспериментальные исследования Проведено сравнение предложенного алгоритма быстрого поиска и определения положения ОТ с наиболее часто используемым алгоритмом описания дескрипторов особых точек SIFT в среде MATLAB.

Исходными данными служили малоконтрастные изображения различных ЛА. Причем одно изображение подвергалось геометрическому преобразованию (повороту) относительно другого. Критерием эффективности являлось количество найденных ОТ.

Положим, что в первом опыте рассогласование между двумя изображениями ЛА относительно центра составило 1°. При использовании алгоритма SIFT на первом изображении найдено 118 точек, на втором - 158 точек (рис. 2).

Рис. 2. Результат использования особых точек методом SIFT при поиске ОТ: а - исходное изображение; б - изображение при рассогласовании в 1°

Из найденных ОТ всего 43 точки сопряжения (т. е. с одинаковым дескриптором на двух разных изображениях).

По результатам эксперимента можно заключить, что даже небольшой поворот изображения ЛА дает большое количество ложных срабатываний при поиске с помощью алгоритма SIFT. На рис. 2 отчетливо видно появление точек сопряжения вне объекта наблюдения (самолета).

Результаты анализа и обработки исходных изображений с использованием разработанного алгоритма приведены на рис. 3. Предложенный алгоритм позволяет определить 15 точек на первом изображении (рис. 3, а) и 13 точек на втором (рис. 3, б), из которых ОТ сопряжения всего 3.

Рис. 3. Результат поиска ОТ разработанным алгоритмом: а - исходное изображение; б - изображение при рассогласовании в 1°

Во втором опыте рассогласование между двумя изображениями относительно центра составило 10°. На первом изображении с помощью алгоритма SIFT найдено 118 ОТ (рис. 4, а), на втором - 248 ОТ (рис. 4, б). Причем из найденного количества ОТ точек сопряжения всего 16.

По результатам второго опыта установлено отчетливое уменьшение свойства инвариантности алгоритма SIFT к повороту изображения не более 10°. Таким образом подтверждены ограничительные возможности алгоритма SIFT при повороте изображения на 10°.

Подобным образом проведена апробация разработанного алгоритма быстрого поиска ОТ на двух изображениях, рассогласование между которыми составило 10° относительно центра.

4 щ

К 1 ík

t ■ Ii. + 1 1 1 1 1

а б

Рис. 4. Результат поиска особых точек методом SIFT

при поиске ОТ: а - исходное изображение; б - изображение при рассогласовании в 10°

4

V

4v

4

а б

Рис. 5. Результат поиска особых точек предложенным алгоритмом:

а - исходное изображение; б - изображение при рассогласовании в 10°

На рис. 5, а предложенный алгоритм быстрого поиска ОТ находит 15 точек, на рис. 5, б -13 точек, из которых точек сопряжения найдено 3.

В третьем опыте рассогласование между двумя изображениями относительно центра составило 90°. С помощью алгоритма SIFT на первом изображении найдено 118 точек, а на втором - 88 точек. При этом точки сопряжения отсутствуют.

При использовании предложенного алгоритма быстрого поиска ОТ на первом изображении (рис. 6, а) найдено 15 точек, на втором (рис. 6, б) - 15 точек, при этом всего 3 точки сопряжения.

Результаты сравнения временных затрат на вычисления при различном угловом рассогласовании приведены в таблице.

Данные таблицы служат подтверждением того, что разработанный алгоритм имеет

/

а б

Рис. 6. Результат поиска особых точек предложенным алгоритмом:

а - исходное изображение; б - изображение при рассогласовании в 90°

Время вычисления при различном угловом рассогласовании

Угол поворота Алгоритм Время, с

1° SIFT 3,46

Предложенный 0,63

10° SIFT 3,88

Предложенный 0,61

90° SIFT 3,55

Предложенный 0,64

преимущество в скорости вычисления по сравнению с алгоритмом SIFT. Заключение

Проведен анализ существующих алгоритмов поиска ОТ в СТЗ, выявлены их основные преимущества и недостатки. Разработан алгоритм быстрого поиска ОТ, основанный на анализе статистического распределения бинарного изображения.

Проведен анализ эффективности поиска ОТ известным алгоритмом SIFT и предложенным алгоритмом быстрого поиска ОТ на последовательности из двух кадров малоконтрастного изображения при разном угловом рассогласовании.

В результате подтверждены основные недостатки алгоритма SIFT [5, 6]: нечеткое выделение ОТ ЛА относительно фона; низкий процент правильного распознавания элементов изображений объектов без ярко выраженной текстуры; инвариантность к угловому рассогласованию на угол не более 10°. Полученные — результаты показывают устойчивость пред- g ложенного алгоритма поиска ОТ к повороту | изображения. На основе экспериментальных S исследований можно сделать вывод об инвари- ^

антности предложенного алгоритма к угловому рассогласованию ЛА.

Обоснована возможность значительного уменьшения количества входной информации, что позволило уменьшить вычислительную сложность алгоритма и снизить требование к быстродействию аппаратного обеспечения. Это в свою очередь является основным критерием при выборе алгоритмов обработки информации в СТЗ ЛА в реальном масштабе времени.

Полученные результаты могут быть использованы в интеллектуальных оптических системах обработки информации, распознавания образов и принятия решения применимо к классам оружия ПЗРК и ПТРК.

Список литературы

1. Обработка и анализ изображений в задачах машинного зрения / Ю. В. Визильтер, С. Ю. Жел-тов, А. В. Бондаренко и др. М.: Физматкнига, 2010. 672 с.

2. Ли И. И. Многоканальные устройства пред-процессорной обработки сигналов для многоэлементных ИК ФПУ // Прикладная физика. 2009. № 2. С. 69-79.

3. Rublee E., Rabaut V., Konolige K., Bradski G. ORB: an efficient alternative to SIFT or SURF // IEEE International Conference on Computer Vision (ICCV), 2011. Pp. 2564-2571.

4. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.

5. Juan L., Gwun O. A comparison of SIFT, PCA-SIFT and SURF // International Journal of Image Processing. 2009. Vol. 3. No. 4. Pp. 143-152.

6. Lowe D. G. Distinctive image features from scale-invariant keypoints // International Journal of Computer Vision. 2004. Vol. 60. No. 2. Pp. 91-110.

Поступила 06.03.18

Тужилкин Александр Сергеевич - ведущий инженер-конструктор Акционерного общества «Научно-производственная корпорация «Конструкторское бюро машиностроения», г. Коломна. Область научных интересов: обработка изображений, искусственный интеллект.

о см

<

Development and research of the algorithm search of the singular points position in the aircraft vision systems

The paper deals with the feature detection problem in aircraft machine vision systems. We developed a fast detection algorithm. We determined feature locations in an image sequence depicting fast-moving objects as registered by aircraft machine vision systems. We analysed existing feature detection algorithms. The input i image frame sequence undergoes a geometric transformation, that is, rotation. We simulated how our algorithm <3 processed a sequence of frames depicting the target. We compared efficiency and speed of feature detection in 5 the well-known SIFT algorithm with that of our algorithm. We demonstrate that the algorithm developed ensures » faster feature detection that is more resistant to geometric transformations of the target image as compared to § the SIFT algorithm.

CQ

„ Keywords: features, machine vision system, descriptor, fast-moving objects, geometric transformation.

V

x Tuzhilkin Aleksandr Sergeevich - Leading Design Engineer, Joint stock company "Research-and-production corporation

"Konstruktorskoe byuro mashynostroyeniya", Kolomna. s Science research interests: image processing, artificial intelligence.

и <u CQ

CM t ю 9

CM ■Clio

CM

w w