CC BY
159
УДК 004.93'12
АНАЛИЗ ФОРМЫ ИЗОБРАЖЕНИЙ И РАСПОЗНАВАНИЕ ОБЪЕКТОВ НА ОСНОВЕ СКЕЛЕТНО-КОНТУРНОГО ПРЕДСТАВЛЕНИЯ
Н.А. МАКСИМОВ, А.В. ШАРОНОВ
Рассматривается информационная технология распознавания самолетов на изображениях, полученных с помощью аэрофотосъемки. Разрабатываемый метод базируется на анализе скелетно-контурных характеристик. Выделены основные признаки распознавания и проведен анализ устойчивости процедуры распознавания к разного рода шумам и искажающим факторам. Результаты работы могут найти применение при создании программно-алгоритмического обеспечения специальных систем беспилотных летательных аппаратов (БЛА).
Ключевые слова: изображение, скелетно-контурное представление, распознавание.
Введение
Задача распознавания изображений возникает в большинстве разработок современных систем машинного зрения. К таким задачам относится и задача распознавания самолетов. Распознавание подразумевает этап выявления признаков формы по изображению и составления его признакового описания. На последующих этапах на основе полученного признакового описания объекта принимается решение о его форме. Для принятия этого решения могут быть использованы различные методы классификации или сравнения описаний исследуемого и эталонных объектов.
Для описания структуры самолёта часто используется представление в виде скелета (серединных осей). Следует отметить, что большинство существующих методов анализа формы ориентируется на использование либо граничного, либо скелетного представления, и тем самым контурных или структурных признаков. В то же время существуют задачи, в которых необходимо использовать как структурные, так и контурные признаки [2; 3].
При использовании скелета в практических исследованиях возникает проблема неоднозначности его вычисления и, соответственно, толкования. Форма скелета чрезвычайно чувствительна к локальным свойствам границы образа. Поэтому до вычисления скелета самолёта необходимо уменьшить влияние шумовых эффектов, например, избавиться от «кипения» по контуру объекта на бинарном изображении.
В настоящей работе сделана попытка объединения скелетных и контурных признаков с целью создания более эффективных методов распознавания самолётов на снимках с БЛА или спутника, а также идентификации и классификации распознанных самолётов. Его суть заключается в построении структуры (скелетно-контурного представления) самолёта и определении совокупности уникальных значений характерных признаков. Распознавание происходит путем сравнения уникальных признаков, полученных при анализе структуры (скелета) и контура самолёта, с аналогичными признаками, вычисленными по справочным данным и занесенными в базу данных для каждого типа самолёта.
1. Постановка задачи
Требуется разработать алгоритм и программное обеспечение (ПО) для распознавания типов воздушного судна (ВС) по скелету и контуру их растрового бинарного изображения (РБИ).
Дано множество М объектов ю. Объекты - ВС задаются значениями признаков X,/ = 1,.., N вычисленных по скелету их изображения. Эти наборы признаков одинаковы для
всех ВС (длина фюзеляжа, угол между крылом и фюзеляжем и т.д.). Совокупность признаков ВС ю определяет некоторым образом его описание 1(1 (ю) = (х^ю), х2(ю),.., хы (ю)).
Признаки выражаются числовыми значениями.
На всём множестве М существует разбиение на подмножества (типы самолетов)'.
т
м = ^п..
1=0
Разбиение на типы может быть задано полностью (т.е. полной совокупностью информации, однозначно описывающей каждый класс) или определяться некоторой априорной информацией 10 о классах П., например, характеристическим описанием входящих в них объектов.
Задача распознавания состоит в том, чтобы для каждого данного объекта ю по его описанию I(ю) и априорной (обучающей) информации 10 вычислить значения предикатов
Р = (юеЦ), 1 = 1,..,т, каждый из которых принимает истинное значение в том и только в том случае, когда объект ю принадлежит типу с номером 1.
Для описания невозможности распознавания ВС предикаты р заменяются величинами«. е {0(ю еПД А(неизвестно)}.
2. Алгоритм решения задачи
Решение задачи можно представить в виде следующей последовательности этапов:
- предварительная обработка изображения (бинаризация, шумоподавление);
- построение скелета и выделение контура исходного изображения ВС;
- выделение признаков распознавания и вычисление их значения;
- идентификация типа ВС, т.е. нахождение эталона с наименьшим отклонением признаков.
Рассмотрим кратко каждый из перечисленных этапов.
3. Предварительная обработка
К предварительной обработке относятся операции преобразования изображения к определенному формату, фильтрация и бинаризация. Предварительная обработка необходима для преобразования всех возможных форматов изображений к единому формату, с которым будут работать алгоритмы на всех последующих этапах.
Указанные процедуры предварительной обработки достаточно хорошо изучены, поэтому, не вдаваясь в подробности, отметим, что нами использовалась пороговая адаптивная бинаризация [10], при которой порог мог задаваться как автоматически, так и вручную.
Удачным решением для удаления шумов в полученном бинарном изображении является применение медианной фильтрации [10].
4. Скелетизация
Перед распознаванием объект подвергается процедуре скелетизации (утоньшения). От результатов скелетизации в значительной степени зависят результаты распознавания.
Методы скелетизации обеспечивают выделение средних линий объектов изображения для дальнейшего анализа. Скелет изображения полностью описывается прямыми (ребрами), соединяющими попарно множество центральных точек окружностей, каждая из которых касается контура объекта изображения минимум в двух точках, и нет такой точки контура, которая бы не лежала на одной из множества окружностей, формирующих скелет [1-4].
Скелет изображения удовлетворяет одному из утверждений:
- скелет сохраняет исходную топологию представляемого им объекта;
- при масштабировании объекта его скелет пропорционально увеличивается (или уменьшается);
- при повороте или переносе объекта его скелет поворачивается или переносится относительно той же центральной точки, что и сам объект.
Большинство из рассматриваемых скелетов несут в себе избыточное количество ребер, многие из которых могут быть удалены в процессе оптимизации скелета без нарушения его топологии.
Существует достаточно много методов скелетизации: волновой алгоритм (алгоритм ЛИ), алгоритмы Форчуна, Щепинга, Зонга-Суня и т.д. Из всех алгоритмов наиболее предпочтительным оказался алгоритм Зонга-Суня, что объясняется его высокой вычислительной эффективностью и возможностью оптимизации.
Алгоритм Зонга-Суня является морфологической операцией эрозии. Для алгоритма задаются маски и осуществляется полный проход изображения с подсчетом удаленных пикселей до тех пор, пока есть возможность удалять новые пиксели. Количество проходов по изображению определяется как половина ширины самого широкого объекта изображения.
Алгоритм Зонга-Суня [1] является параллельным, т.к. все изменения пикселей заносятся в отдельный массив, т.е. заносится новое значение в массив, который обрабатывается в данный момент.
Идея алгоритма состоит в утончении фигуры от границы к ее середине путем перекрашивания черных граничных точек в белые. Алгоритм заключается в следующем: в произвольной последовательности просматриваются все точки изображения. Этот алгоритм выполняется в два этапа. На первом этапе обрабатываются северо-западные граничные и юго-восточные угловые соседи пикселя р; на втором - юго-восточные граничные пиксели и северо-западные выпуклые угловые [9]. Использование двухпроходного итерационного алгоритма позволяет избежать чрезмерной эрозии результирующего изображения.
Если модифицировать алгоритм Зонг-Суня таким образом, чтобы каждый последующий проход он совершал только по пикселям изображения, оставленным на предыдущем проходе, и не обрабатывал пиксели фона, время его выполнения будет значительно меньше.
Одной из особенностей алгоритма Зонг-Суня [7] является наличие в результирующем изображении линии, толщиной в 2 пикселя. Этот недостаток устраняется дополнительной обработкой результирующего изображения масками, устраняющими лишние пиксели.
Используемый в работе алгоритм является модификацией алгоритма Зонга-Суня. При этом в каждом проходе используются только пиксели цвета переднего плана, оставшиеся с предыдущей итерации. На первой итерации отбираются все пиксели переднего плана, а затем, с каждой итерацией список пикселей уменьшается. Такое усовершенствование позволяет увеличить скорость работы алгоритма.
5. Сравнение контуров в задаче распознавания типов ВС
Для получения более точного результата требуется провести дополнительное распознавание, используя контур исходного изображения.
В качестве непрерывной границы (контура) РБИ предлагается использовать границу многоугольной фигуры, которая:
- разделяет белые и черные точки растра;
- имеет минимальный периметр.
Распознавание полученных контуров изображений будем проводить, используя метод полярных диаграмм [6].
В основу метода положен пересчет координат точек, принадлежащих контуру, из прямоугольной в полярную систему координат. Для этого внутри рассматриваемого контура А некоторым образом выбирается начальная точка а о - фактически эта точка становится началом от-
счета (полюсом) новой системы координат. Приблизительное положение точки отсчета можно получить, вычислив геометрический центр контура, однако из-за неизбежных неточностей выделения целесообразно рассмотреть множество точек, расположенных в окрестностях геометрического центра. Направление полярной оси не оказывает существенного влияния на свойства результирующей диаграммы, поэтому конкретный выбор определяется в основном удобством представления.
Далее построенная система координат разбивается на N секторов Si (рис. 1), 1 = 0..Ы -1 (любому сектору Si соответствует пара граничных углов <р\ = = ~П'(1 +1)). Построе-
ние полярной диаграммы для контура А в некоторой точке а0 заключается в подсчете доли точек контура, принадлежащих тому или иному сектору. Точка принадлежит сектору Si, если ее
координаты (рк,ук) удовлетворяют условию р\ <рк <р"\,.
Доля точек - отношение количества точек, принадлежащих сектору, к общему числу точек, составляющих контур.
Рис. 1. Разбиение изображения на секторы
Таким образом, полученная диаграмма описывает распределение точек контура в пространстве и не зависит от масштаба рассматриваемого контура.
Использование метода полярных диаграмм дает существенный выигрыш в производительности и точности распознавания типа ВС.
6. Выделение основных признаков
После построения скелета исходного изображения во время анализа полученного скелета ВС программа выделяет основные параметры (характеристики) скелета. Для этого происходит построение геометрического центра (Е) фигуры (рис. 2). Центр фигуры есть такая точка, в которой делится пополам всякая хорда, проходящая через эту точку.
Далее находится узловая очка (О) пересечения 4-х ребер, находящаяся на наименьшем расстоянии от центра (Е). Эта точка пересечения линии фюзеляжа и крыльев.
Рис. 2. Анализ скелета изображения
Таким образом, идентификация скелета происходит по следующим признакам:
К1: Находится минимальный угол между отрезками, исходящими из узловой точки, т.е. наименьший из углов а, в, ш, у.
К2: Отношение наибольшего ребра узловой точки к наименьшему, т.е. отношение наибольшего к наименьшему из отрезков ОА, ОВ, ОС и ОБ.
К3: Отношение наибольшего прямого ребра из узловой точки ко всей длине скелета, т.е. отношение наибольшего из отрезков ОА, ОВ, ОС и ОБ к сумме всех ребер полученного скелета.
К4: Находится из контура изображения как отношение количества точек, принадлежащих сектору, к общему числу точек, составляющих контур.
7. Идентификация типа ВС
Под идентификацией понимается установление тождественности неизвестного объекта к известному на основании совпадения признаков.
Наиболее простые методы основаны на использовании численных значений признаков, инвариантных относительно параметров положения объекта. Площадь и периметр неизвестного объекта сравниваются с соответствующими параметрами нескольких эталонов, и выбирается тот эталон, отклонение от которого оказалось наименьшим. Понятие наименьшего отклонения можно проиллюстрировать условным размещением распознаваемого объекта и всех эталонов в виде точек в некотором пространстве, координатами в котором являются значения параметров К1, К2, К3, К4. Используя так называемое правило ближайшего соседа, выбирают в этом пространстве эталон, который ближе других находится к объекту. Размерность пространства равна числу рассматриваемых признаков. Пусть имеется т эталонов, и для каждого из них измерено п признаков/,i = 1,..,т; 1 = 1,..,п.. Предположим также, что распознаваемый объект имеет признаки /,1 = 1,..,п.. Тогда ненормированное расстояние в пространстве признаков от объекта до эталона i будет определяться следующей формулой [10]
При этом ближайшим соседом будет эталон i, для которого Di минимально.
Приведенная формула применима в том случае, когда все измеряемые признаки имеют сравнимые диапазоны значений. Если же признаки существенно различны, тогда разница в больших параметрах признаков поглотит разницу в малых параметрах. Во избежание этого вводят нормирующие множители. Тогда в приведенном примере необходимо п нормирующих множителей N,1 = 1,..,п., т.е. по одному на каждый признак. В этом случае нормированное расстояние в пространстве признаков определится как
Коэффициенты Nj определяются исходя из ожидаемого диапазона изменений значений
признаков у каждого эталона, т.е. учитывают возможные значения признаков, которые могут появиться при большом количестве измерений.
Нормирующие коэффициенты NJ-, используемые в уравнении (2), определяются как взвешенные средние дисперсий измерений
п
(1)
( £ Г V
п, / - /
Г^ ^ 1 ¿И
(2)
т
Nj = -• (3)
Хр.
.=1
Если можно предположить, что разные эталоны дадут разные значения дисперсий, тогда можно пойти на шаг дальше и использовать эти частные значения дисперсий в качестве индивидуальных нормирующих коэффициентов для каждого эталона и каждого признака.
8. Тестирование системы и исследование эффективности метода распознавания
Для проведения тестирования созданной программы распознавания самолетов была проведена оценка точности распознавания.
Экспериментально была определена точность распознавания типа ВС в БД в случае отсутствия искажений и составила примерно 96% (191 из 200 изображений были распознаны верно). Это означает, что 4% снимков были неверно определены. Под выражением «отсутствие искажений» здесь понимаются следующие условия:
- изображение ВС не повёрнуто относительно оси ОХ;
- изображение не имеет шумов;
- изображение не имеет затемнений (т.е. имеет равномерную контрастность).
Для оценки устойчивости алгоритма были построены и проанализированы зависимости точности распознавания изображений от перечисленных выше искажений.
В БД имеется 30 типов эталонов. Определим зависимость точности распознавания изображения к различному роду искажений. За точность распознавания примем отношение количества верно распознанных изображений к общему количеству эталонов, хранящихся в БД.
Поворот исходного изображения. В качестве эталонного снимка взято изображение, не имеющее отклонение относительно оси ОХ. Поворот же входного изображения будем изменять каждый раз на 15°. Диапазон изменения от 00 до 1800. Зависимость точности распознавания от угла поворота представлена на рис. 3. Средняя точность распознавания при этом составляет примерно 89%.
1
0.65
15 30 45 60 75 90 105 120 135 150 165 130 Угол поворота, относительно оси ОХ
Рис. 3. Зависимость распознавания ВС от угла поворота
Количество шума на исходном изображении. Цифровой шум - дефект изображения, вносимый фотосенсорами и электроникой устройств, которые их используют. Цифровой шум заметен на изображении в виде наложенной маски из пикселей случайного цвета и яркости.
В цветном изображении шум может иметь разную интенсивность для разных каналов изображения, обычно это характеризуется отношением сигнал-шум. Наглядно можно сравнивать шум разных матриц так: привести две парные тестовые фотографии к одному размеру и одинаковой яркости, и после это визуально оценить цветовые шумы.
Рис. 4. Изображение с различной интенсивностью шума
В качестве эталонного снимка взято изображение с нулевой интенсивностью шума. Значение интенсивности шума входного изображения будет варьироваться в диапазоне от 0 до 100. Зависимость точности распознавания от интенсивности шума представлена на рис. 5.
0.65
10 20 30 40 50 60 70 80 90 100 Интенсивность шума
Рис. 5. Зависимость точности распознавания от значения интенсивности шума
Как видно из графика на рис. 5, точность нахождения снимков в БД уменьшается с увеличением интенсивности шума. Средняя точность распознавания составила 88%.
Контрастность исходного изображения. Контрастность - различимость предмета наблюдения от окружающего его фона. Визуальное восприятие объекта возможно только при наличии контраста между объектом и фоном. В качестве эталонного снимка взято изображение с уровнем контрастности, равным нулю. Значение контрастности входного изображения будет изменяться в диапазоне от -100 до 100. Зависимость точности распознавания от контрастности представлена на рис. 6.
Как видно из графика на рис. 6, при изменении значения контрастности на исходном изображении среднее значение точности распознавания составляет 84%, т.е. алгоритм наиболее чувствителен к контрастности изображения.
5
S 0,9 1
2 0,8? g
§" 0,8 С
I 0.7?
0.6?
-100 -SO -60 -40 -20 О 20 40 60 80 100 Значение контр аешносшн
Рис. 6. Зависимость точности распознавания от контрастности
Заключение
По результатам проведённых выше тестов видно, что изменение угла поворота изображения относительно оси ОХ и наличие шумов в исходном изображении не оказывают существенного влияния на работу программы. При этом алгоритм наиболее чувствителен к контрастности входного изображения и требует дальнейшей доработки, т.к. этот недостаток приводит к уменьшению точности распознавания типа ВС.
В целом же можно сделать вывод о корректной работе программы, обеспечивающей точность распознавания изображений около 90%, т.е. можно заключить, что предлагаемый метод и его программная реализация при соответствующей доработке могут использоваться для решения задачи распознавания типов ВС по скелету его растрового бинарного изображения.
ЛИТЕРАТУРА
1. Темнов К.А., Галкин С.В., Кирилов А.В. Алгоритм скелетизации растрового монохромного изображения // Информационно-измерительные и управляющие системы. - 2009. - Т. 7. - № 8. - С. 45 - 50.
2. Рейер И.А. Методы анализа формы изображений на основе непрерывного гранично-скелетного представления: дис. ... канд. техн. наук. - М., 2001.
3. Рейер И.А., Петровцева М.А. Язык гранично-скелетного представления бинарных изображений: труды междунар. конф. «Графикон-2003». - М.: МГУ, 2003. - С. 228 - 234.
4. Местецкий Л.М. Непрерывный скелет бинарного растрового изображения: труды междунар. конф. «Гра-фикон-98». - М.: МГУ, 1998. - С. 71 - 78.
5. Местецкий Л.М. Скелетизация многоугольной фигуры на основе обобщенной триангуляции Делоне // Программирование. - 1999. - № 3. - С. 16 - 31.
6. Казбеков А.В., Максимов Н.А. Методы сравнения контуров в задачах распознавания образов // Научный Вестник МГТУ ГА. - 2012. - № 185 (11). - С. 37 - 43.
7. Быстров М.Ю. Применение структурного подхода к распознаванию скелетов бинарных изображений // Ученые записки Петрозаводского государственного университета. - 2011. - № 2 (115). - С. 76 - 80.
8. Zhang T., Suen C. A fast parallel algorithm for thinning digital patterns / Communications of the ACM, 1984. -№ 3. Vol. 27. - Р. 236 - 239.
9. Система распознавания автомобильных номеров «ДИГНУМ АВТО». [Электронный ресурс]. URL: http://www.dignum.ru/dignumauto/.
10. Научные и научно-педагогические кадры инновационной России: отчет о научно-исследовательской работе в рамках федеральной целевой программы. [Электронный ресурс]. URL: http://topreferat.znate.ru/docs/index-3864. html?page= 10.
11. Выделение и анализ скелетов объектов на цветных снимках // Программные продукты и системы. - 2009. -№ 2. [Электронный ресурс]. URL: http://www.swsys.ru/index.php?page=article&id=2198.
12. Verma B. Pattern Recognition Technologies and Applications: Recent Advances // B. Verma, M. Blumenstein. USA: IGI Global Press, 2008.
13. Canny J. A Computational approach to edge detection IEEE Transactions on Pattern Analysis and Machine Intelligence, 8(6):679-698, ноябрь 1986.
ANALYSIS OF THE IMAGE AND OBJECTS RECOGNITION ON THE BASIS OF SKELETON-CONTOUR REPRESENTATION
Maximov N.A., Scharonov A.V.
The information technology of recognition of aircraft type aircraft on images obtained from aerial photography. The developed method is based on the analysis of skeleton-contour characteristics is discussed. The main signs of recognition and the analysis of the sustainability of the procedure of all kinds of noises and distorting factors recognition. The results can be used at creation of program-algorithmic support of special systems of unmanned aerial vehicles (UAV).
Key words: image, skeleton-contour representation, recognition.
Сведения об авторах
Максимов Николай Анатольевич, 1947 г.р., окончил МАИ (1971), кандидат технических наук, доцент кафедры информационных технологий МАИ (Национального исследовательского университета), автор более 150 научных работ, область научных интересов - проектирование информационных систем, обработка изображений и распознавание образов.
Шаронов Анатолий Васильевич, 1937 г.р., окончил МАИ (1962), МГУ им. М.В. Ломоносова (1970), профессор, доктор технических наук, заведующий кафедрой информационных технологий МАИ (Национального исследовательского университета), автор более 150 научных работ, область научных интересов - информационная теория оценок, идентификация сложных динамических систем и обработка изображений.
