CC BY
12
2. Информационные системы и технологии
УДК 004.932
О Ю. В. Авраменко, Р. К. Федоров
РЕАЛИЗАЦИЯ ПРЕДИКАТА ДЛЯ УЧЕТА ТЕКСТУРНЫХ И СПЕКТРАЛЬНЫХ ПРИЗНАКОВ ПРИ РАСПОЗНАВАНИИ
ОБЪЕКТОВ1
В ИДСТУ СО РАН разработан и активно развивается логический метод распознавания объектов на растровых изображениях в рамках деформируемых моделей. Деформируемая модель задается при помощи логических правил с пространственными ограничениями. Процедура распознавания заключается в поиске комбинации положения объекта и других признаков, удовлетворяющих пространственным ограничениям, с наименьшим значением функции энергии. В статье предлагается реализация предиката texture для учета текстурных и спектральных признаков в процессе распознавания.
Ключевые слова: Пролог, логические методы, распознавание образов, деформируемые модели.
О Y. V. Avramenko, R.K. Fedorov
IMPLEMENTATION OF THE INBUILT PREDICATE FOR TEXTURAL AND SPECTRAL ANALYSIS IN OBJECT RECOGNITION TASK
The logical method of object recognition on raster images within the de-formable models is developed at ISDCT RAS. The deformable model is defined by logical rules with spatial constraints. Recognition procedure produces a search of combination of the object position and other features, satisfying spatial constraints, with the lowest value of the energy function. The article suggests the implementation of a predicate to account for texture textural and spectral features in the recognition process.
Keywords: Prolog, pattern recognition, active contour model.
Введение
В настоящее время в области компьютерного зрения продолжают разрабатываться новые и активно развиваться существующие методы распознавания образов на растровых изображениях. Это обусловлено тем, что задача распознавания на растровых изображениях не является полностью решенной из-за влияния множества факторов обработки растровых изображений: шум, размытие, перепады яркости, искажения, отсутствие
1 Работа выполнена при финансовой поддержке РФФИ, грант 13 07-12080.
16
фрагментов и т.д. Различные методы успешно применяются в прикладных задачах, но являются узконаправленными и не всегда дают качественные результаты. Обычно на различных сценах растровых изображений существует большое количество объектов и их альтернатив расположения. Для того чтобы выделить распознаваемые объекты требуется некоторая дополнительная априорная информация, которая значительно изменяется в зависимости от задачи. Поэтому для задачи распознавания на растровых изображениях является важным гибкое применение априорной информации в методе распознавания.
Рассмотрим существующие методы в контексте возможности применения пользователем априорной информации в процессе распознавания. Одним из важных свойств объекта является его структура. Работы [1], [2], [3] показывают развитие методов применения деформируемых моделей, определяющих пространственное расположение фрагментов контура объектов. Пространственное расположение фрагментов контура задается пользователем с помощью различных графических примитивов (отрезков, сплайнов, полиномов и т.д.). В статье [4] описан метод распознавания зданий на космоснимках, использующий информацию о структурных и спектральных свойствах объекта. Используемая информация в методе жестко зашита, и позволяется изменение только ряда параметров. Для качественного распознавания кроме структурных и спектральных свойств, требуется учитывать текстурные свойства, знать относительные положения объектов, в том числе топологические отношения, и т.д. На разных изображениях большее значение могут получить те или иные свойства объектов или их комплекс. Например, в работе [5] для задачи распознавания дорожной сети населенного пункта используются знания о связности дорожной сети. Набор априорной информации, требуемой для корректного распознавания, может изменяться в зависимости от класса объекта, специфики изображения и т.д. Поэтому требуется некоторый механизм включения и применения априорной информации о свойствах объектов в процесс распознавания. Одним из таких подходов является использование некоторого языка, позволяющего формализовать априорную информацию. В статье [6] для распознавания изображений используется язык Пролог. Механизм логического вывода очень удобен для поиска объектов с учетом свойств и связей между ними. Свойства и связи в методе представлены в виде фактов. Основной проблемой является наполнение базы фактов и алгоритмическая сложность, что ограничивает область применения подобных методов. Поэтому распознавание объектов на растровых изображениях с учетом априорной информации является актуальным направлением исследования.
Распознавание объектов
В ИДСТУ СО РАН разработан и активно развивается метод распознавания объектов на растровых изображениях в рамках деформируемых моделей. Деформируемая модель задается при помощи логических правил с пространственными ограничениями. Получение информации методом из изображения (например, положение отрезка границы объекта) осуществляется при помощи встроенных предикатов. С каждым предикатом связана функция принадлежности /; е [0; 1] - оценка соответствия примитива или свойства изображению, где 1 - полное соответствие, 0 — полное не соответствие.
Оценка соответствия возможного положения объекта и деформируемой модели определяется значением функции энергии
п
,...,/ип) = —У—> min , где п - количество встроенных предикатов.
1
Процедура распознавания заключается в поиске комбинации положения объекта и других признаков, удовлетворяющих пространственным ограничениям, с наименьшим значением функции энергии. Механизм логического вывода Пролога производит перебор возможных решений поиском в глубину. Из найденных решений в конечном результате остаются со
значением функции энергии меньше заданного порога L<L . Порог влияет на скорость работы метода, и качество распознавания, подбирается пользователем с учетом специфики конкретной задачи.
Реализация предиката texture
На изображениях могут присутствовать объекты подобной формы, например, крыша здания и асфальтированная площадка. Для того чтобы их различить реализован предикат texture. Принцип работы предиката заключается в оценке соответствия заданной области изображения и прецедентов по текстурным и спектральным признакам на основе метода опорных векторов. Использование предиката состоит из двух шагов. Первый шаг - это обучение, которое производится на серии изображений и информации о прецедентах наличия или отсутствия распознаваемой текстуры и спектра. Второй шаг — это непосредственно оценка заданной области. При обучении формируется набор растровых файлов, на которых с помощью полигональных объектов в формате SHAPE указывается положение прецедентов. В атрибутивной части объектов SHAPE файла должна содержаться информация о классе каждого прецедента. На основе этих данных для каждого прецедента формируются наборы векторов признаков. Для этого все изображения делятся на ячейки (окна). Необходимость обработки изображения на уровне ячеек обусловлена тем, что пиксель подвержен значительному влиянию шума, освещения и т.д. Каждая ячейка изображения проверяется на нахождение в одном из полигональных объектов SHAPE файла. Если ячейка находится внутри полигонального объекта, то формируется вектор с указанием класса прецедента и добав-
ляется в обучающую выборку. После на основе множества векторов признаков формируется файл модели классификации, таких файлов можно создать несколько, для разных текстур или условий съемки.
При оценке предикат texture работает следующим образом. На вход подается множество точек {Sj,...,^} - область изображения, которая является контуром объекта. Путь к файлу модели классификации class, txt. Изображение, заданной области, разбивается на ячейки. Для каждой ячейки формируется вектор признаков. На основе вектора признаков классификатор относит ячейку к тому или иному классу. Далее вычисля-
match
ется значение функции принадлежности ¡и =-, где match - ячейки
total
соответствующие объекту, total - общее количество ячеек. Классификатор применяется ко всему изображению перед началом процедуры распознавания, для того чтобы избежать подобных многократных вычислений и сократить время работы алгоритма распознавания.
Рассмотрим более подробно формирование векторов признаков. Компонентами вектора признаков являются характеристики частоты встречаемости различных элементов в ячейке изображения размером п х п . Элементами в ячейке являются текстурные и спектральные признаки. Текстурные признаки вычисляются методом LBP [7], который обрабатывает каждый пиксель и её окрестность размером 3x3 по формуле: Г1, хс >= Х1
LBPa = \ , где х, - центральный пиксель, х( - соседние. Получа-
[0,хс<х,
ется, например, шаблон вида 10101000 , где последовательность цифр соответствует последовательности обхода пикселей вокруг центральной точки. Далее каждому пикселю ячейки присваивается номер одного из 256 возможных бинарных шаблонов.
Спектральные признаки соответствуют значениям яркости по каждому из каналов цветовой модели RGB, которые так же принимают одно из 256 возможных значений. Компонентами вектора признаков будут значения частоты встречаемости вычисленных элементов в ячейке. Вектор признаков состоит из четырех наборов компонент х = {R,G,B,LBP} . На рисунке 1 показано, содержание компонент вектора.
Рис. 1. Компоненты вектора признаков. 19
Элементы компонент записываются последовательно, в итоге получается вектор размера 1024. На практике большинство из них получают нулевые значения. Поэтому значения элементов хранятся в виде пар {/;v} , где i — порядковый номер элемента, v - значение.
Апробация предиката texture
Приведем пример правила, использующего предикат texture, для нахождения объекта здание:
building(A,B,C,D):-
line(A,B), line(B,C), line(C,D), line(D,A), dist(AB)>50, dist(B,C)>170, dist(C,D)>50, dist(D,A)>170, dist(AB)<70, dist(B,C)<200, dist(C,D)<70, dist(D,A)<200, angle(A,B,C)>85, angle(B,C,D)>85, angle(C,D,A)>85, angle(D,A,B)>85, angle(A,B,C)<108,angle(B,C,D)<105,angle(C,D,A)<105,angle(D,A,B)<105, texture([A,B,C,D],class).
Правило определяет объект прямоугольной формы с заданной текстурой и спектром. На рисунке 2 показан результат распознавания объектов,
Рис. 2. Результат распознавания объектов. Объекты с диагональной штриховкой распознаны с предикатом texture, объект без штриховки распознается, без его использования.
Заключение
С реализацией предиката texture появилась возможность гибко учитывать текстурные и спектральные признаки объектов в комбинациях с различными другими признаками. Предикат texture повысил качество работы метода, с его помощью стало можно различать объекты подобной формы. Основным недостатком предиката texture является то, что для его применения необходимо знать положение контура объекта. Планируется дальнейшая модификация предиката texture таким образом, чтобы по текстурным и спектральным признакам можно было определить контур объектов. Предполагается, что это позволит находить границы лесов или водных объектов.
Литература
1. Kass М, Witkin A., Terzopoulos D. Snakes: Active Contour Models // First International Conference on Computer Vision, pub. IEEE Computer Society Press, 1987, pp 259-268.
2. Williams DJ., Shah M. A fast algorithm for active contours and curvature estimation// CVGIP: Image Understanding 1992, 55:14-26.
3. Amini AA., Weymouth ТЕ., Jain RC. Using dynamic programming for solving variational problems in vision // IEEE Trans Pattern Anal Machine Intell 1990, 12:855-867.
4. Muller S., Zaum D. Robust building detection in aerial images // CMRT05 2005, vol. 36, Part 3/W24, pp. 143 - 148.
5. Fedorov R., Hmelnov A. Road axial line builder // Pattern Recognition and Image Analysis. — 2003. — T. 13, № 2. — C. 256 - 258.
6. Bell В., Pau L.F. Context knowledge and search in object-oriented Prolog-based image understanding // Pattern Recognition Letters vol. 13 pp. 279 - 290, 1992.
7. Ojala Т., Pietikainen M., Harwood D. A Comparative Study of Texture Measures with Classification Based on Feature Distributions // Pattern Recognition. - 1996, vol. 19(3), pp.51-59.
References
1. Kass M., Witkin A., Terzopoulos D. Snakes: Active Contour Models // First International Conference on Computer Vision, pub. IEEE Computer Society Press, 1987, pp 259-268.
2. Williams DJ., Shah M. A fast algorithm for active contours and curvature estimation// CVGIP: Image Understanding 1992, 55:14-26.
3. Amini AA., Weymouth ТЕ., Jain RC. Using dynamic programming for solving variational problems in vision // IEEE Trans Pattern Anal Machine Intell 1990, 12:855867.
4. Muller S., Zaum D. Robust building detection in aerial images // CMRT05 2005, vol. 36, Part 3/W24, pp. 143 - 148.
5. Fedorov R., Hmelnov A. Road axial line builder // Pattern Recognition and Image Analysis. — 2003. — T. 13, № 2. — C. 256 - 258.
6. Bell В., Pau L.F. Context knowledge and search in object-oriented Prolog-based image understanding // Pattern Recognition Letters vol. 13 pp. 279 - 290, 1992.
7. Ojala Т., Pietikainen M., Harwood D. A Comparative Study of Texture Measures with Classification Based on Feature Distributions // Pattern Recognition. - 1996, vol. 19(3), pp.51-59.
Аераменко Юрий Владимирович, аспирант ИДСТУ СО РАН, e-mail: avramcnkoi/icc.ru.
Фёдоров Роман Константинович, кандидат технических наук, ведущий научный сотрудник ИДСТУ СО РАН, e-mail: [email protected].
Avramenko Yuriy Vladimirovich, postgraduate of ISDCT SB RAS, e-mail: avramcnkoi/icc.ru.
Fedorov Roman Konstantinovich, candidate of technical sciences, senior researcher of ISDCT SB RAS, e-mail: [email protected].
