Научная статья на тему 'Оптимизация распознавания объекта на изображении методом адаптивного движения сканирующего окна'

Оптимизация распознавания объекта на изображении методом адаптивного движения сканирующего окна Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
1689
150
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
РАСПОЗНАВАНИЕ ОБРАЗОВ / ОПТИМИЗАЦИЯ / СКАНИРУЮЩЕЕ ОКНО / OPENCV / МЕТОД ВИОЛЫ ДЖОНСА / PATTERN RECOGNITION / OPTIMIZATION / SCANNING WINDOW / VIOLAJONES

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Новиков Александр Сергеевич, Фокин Андрей Геннадьевич, Чубукина Татьяна Сергеевна

Описан стандартный метод Виолы Джонса для обнаружения объектов на изображении. Рассмотрен алгоритм оптимизации данного метода, реализованного в библиотеке компьютерного зрения OpenCV. В основу алгоритма положен метод адаптивного движения сканирующего окна, позволяющий изменять шаг перемещения сканирующего окна по изображению.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Новиков Александр Сергеевич, Фокин Андрей Геннадьевич, Чубукина Татьяна Сергеевна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

OPTIMIZATION OBJECT RECOGNITION METHOD OF ADAPTIVE TRAFFIC SCANNING WINDOW

А standard method of Viola-Jones for the detection of objects in the image is described. The algorithm optimization of the method, implemented in computer vision library OpenCV. The algorithm is based on the method of adaptive movement of the scanning window, allowing to change the pitch of the scanning window in the image.

Текст научной работы на тему «Оптимизация распознавания объекта на изображении методом адаптивного движения сканирующего окна»

The analysis of electro-optical servosystem with non-contact electric motors poeration was made taking into account pecularities of information and measurement system. Effects of telemetrical dwell of inertial sensitive elements' unit was envisaged on the basis of results. A device allowing to reimburse telemetrical dwell impact was developed and applied in the scheme.

Key words: optical-electronic system, the unit of inertial-sensing elements, a filter with finite impulse response, tele-metric delay extrapolator state mathematical model.

Goryachev Oleg Vladimirovich, doctor of tehnical sciences, professor, head of chair, olegvgorarambler. ru, Russia, Tula, Tula State University,

Neklyudov Anton Igorevich, assistant, neklyudovantonHHamail.ru, Russia, Tula, Tula State University,

Dmitrakov Denis Mihailovich, postgraduate, ddandsixothersvmbolsagmail.com, Russia, Tula, Tula State University

УДК 004.02

ОПТИМИЗАЦИЯ РАСПОЗНАВАНИЯ ОБЪЕКТА НА ИЗОБРАЖЕНИИ МЕТОДОМ АДАПТИВНОГО ДВИЖЕНИЯ СКАНИРУЮЩЕГО ОКНА

А.С. Новиков, А.Г. Фокин, Т.С. Чубукина

Описан стандартный метод Виолы - Джонса для обнаружения объектов на изображении. Рассмотрен алгоритм оптимизации данного метода, реализованного в библиотеке компьютерного зрения OpenCV. В основу алгоритма положен метод адаптивного движения сканирующего окна, позволяющий изменять шаг перемещения сканирующего окна по изображению.

Ключевые слова: распознавание образов, оптимизация, сканирующее окно, OpenCV, метод Виолы - Джонса.

Метод Виолы - Джонса был разработан Полом Виолой и Майклом Джонсом в 2001 году и до сих пор является основным в распознавании объектов на изображениях в реальном времени, хотя основной его задачей является распознавание лиц. Рассматриваемый метод реализован в библиотеке компьютерного зрения OpenCV функцией cvHaarDetectObjects().

Основные принципы, на которых он основан:

используются изображения в интегральном виде, что позволяет вычислять необходимые объекты с высокой скоростью;

используются каскады признаков для быстрого отбрасывания окон, где не найден нужный объект;

используется алгоритм бустинга [1] для выбора наиболее подходящих признаков для искомого объекта на анализируемой части изображения;

используются вейвлеты Хаара, с помощью которых происходит поиск нужного объекта;

все признаки поступают на вход классификатора, который даёт результат «true» или «false».

Метод Виолы-Джонса в общем виде работает по принципу сканирующего окна. То есть имеется изображение, содержащее нужные объекты. Это изображение представлено двумерной матрицей пикселей, где каждый пиксель имеет свое значение:

если изображение черно-белое, то от 0 до 255;

о

если изображение цветное (RGB), то от 0 до 255 . По изображению перемещается прямоугольная активная область или сканирующее окно, в котором происходит поиск с помощью прямоугольных признаков. Эти признаки и описывают найденные на изображении объекты и их черты. В методе Виолы - Джонса используются прямоугольные признаки, называющиеся примитивами Хаара (рис. 1).

Рис. 1. Примитивы Хаара

Поиск ведётся посредством интегрального представления. Оно необходимо для выполнения каких-либо действий с полученными данными. В алгоритме Виолы - Джонса данное представление используется для того, чтобы быстро рассчитать яркость прямоугольных участков изображения - признаков, при этом время расчета не зависит от площади участков.

Интегральное представление имеет одну интересную особенность. По интегральной матрице можно довольно быстро вычислить сумму пикселей произвольного прямоугольника.

Скорость, с которой идет расчет признаков, не может компенсировать их количества. Например, в стандартном окне 24х24 пикселя может находиться около 162 336 возможных признака. Для экономии времени используется алгоритм АёаВооБ1 [1], который выделяет лучшие признаки для обучения классификаторов. Этот алгоритм строит «сильный» классификатор в виде линейной комбинации более «слабых» классификаторов:

h{x) = sign

/ M \

^ CLj hj (х) V=1 j

где M - число возможных признаков.

Тем не менее, как и в других детекторах, основанных на принципе сканирующего окна, объем требуемых вычислений увеличивается пропорционально размеру обрабатываемых изображений, что негативно влияет на производительность системы при обработке изображений в реальном времени, в связи с чем предлагается эффективный подход в виде изменения шага движения сканирующего окна во время обработки и использование параллельных вычислений — для увеличения быстродействия без потери точности. Для этого будет применяться метод RASW (a Run-time Adaptive Sliding Window to Improve Viola-Jones Object Detection).

В общем виде в реализации метода Виолы - Джонса при каждом изменении размера входного изображения или сканирующего окна, это окно передвигается по изображению с неким шагом d. Зададим размер шага по осям X и Y как dX и dY соответственно. Для случаев, когда dX = dY, размер шага примем за d. Шаг сканирования влияет как на пропускную способность, так и на точность обнаружения объектов. Увеличение шага повышает пропускную способность, но в это же время негативно влияет на качество распознавания в связи с тем, что некоторые объекты могут быть пропущены сканирующим окном. Если для перемещения сканирующего окна будет найден такой критерий, при котором оно будет двигаться быстрее в областях, не содержащих объекты, и медленнее в непосредственной близости от объекта, то мы сможем повысить скорость сканирования всего изображения без ухудшения качества. Более того, при более быстром перемещении окна в однородных областях изображения, у классификатора будет уменьшаться шанс ошибочно обнаружить искомый объект в фоновой части изображения. В большинстве существующих реализаций метода Виолы - Джонса шаг сканирования фиксированный и составляет d = 1 или d = 2. При повышении значения шага качество распознавания идет на спад.

При анализе тестового изображения была обнаружена взаимосвязь между наличием объекта поиска в области изображения и номером классификатора в каскаде, на котором данный объект отвергается (обозначим этот номер ступенью выхода). В частности, в областях изображения, содержащих только фон, окно отвергается на более ранних ступенях каскада, и, в общем, чем ближе искомый объект, тем выше ступень выхода. Этот анализ дает понять, что сканирующее окно может быть смело сдвинуто на больший шаг при низком значении ступени выхода, т.к. в большинстве случаев это означает, что данная область не содержит искомые объекты.

При приближении ступени выхода к максимальному значению необходимо уменьшить шаг сканирования, чтобы не пропустить искомый объект. Основная идея метода заключается в том, чтобы тратить меньшее количество времени на области изображения, в которых с малой долей вероятности находятся искомые объекты. Данный подход позволяет исключать бесперспективные области изображения, используя пространственную локальность данных. Даже если отброшенные области были мало затратными в плане вычислений, значительное снижение количества окон приводит к повышению быстродействия обработки каждого изображения, не влияя на качество. Это особенно выгодно, т.к. при непосредственном отбрасывании окна можно избежать предварительной нормализации изображения подокна, являющейся довольно затратной операцией. Данная нормализация необходима для минимизации влияния различных условий освещения в методе Виолы - Джонса.

На рис. 2 графически представлено объяснение преимущества RASW-подхода. Для каждого из подходов, представленных на рис. 2, в пикселе, где расположено сканирующее окно, находится соответствующая геометрическая форма. На рис. 2 слева видно, как, взяв постоянный шаг dX = 2 или dX = 3, детектор не в состоянии разместить сканирующее окно в месте, где присутствует искомый объект. Подход RASW автоматически уменьшает размер шага dX при приближении к объекту, что позволяет разместить окно должным образом. Такое же поведение можно наблюдать на рис. 2 справа с той разницей, что в этом случае постоянный шаг dY = 3 также позволяет разместить окно должным образом.

Далее представлен алгоритм реализации RASW подхода: for y <- 0 to X.height - subwindow.height do dX <- 1

for X <- 0 to X.width - subwindow.width do dX <- dX-1 dY[X] <- dY[X]-1 if dX = 0 AND dY[X] = 0 then exit-stage <- S(X, Y) if exit-stage = n then

R <- (X, Y, width, heidht) push R into V

end if

if exit-stage < dXtl then

dX = dXmax else if dXtl <= exit-stage < dXt2 then dX = dXnom

else

dX = dXmin

end if

else if dX = 0 then

dX <- dXmin else if dY[X] <- dYmin end if end for end for

Здесь X - входное изображение, S - каскад классификаторов, V - вектор обнаруженных объектов, R - свойства текущего окна, п - число классификаторов в каскаде; dXmax, dXmin, dXnom - значения, которые может принимать шаг окна; dXtl, dXt2 - пороговые значения, а переменные dX и dY хранят информацию о ступени выхода предыдущего положения сканирующего окна, знаком <- обозначается перемещение данных.

Д*=2 □ Ах = 3 О RASW д Ау = 2 □ Ду = 3 О RASW Д

204 205 206 207 208 209 210 211 212 213 204 205 206 207 208 209 210 211 212 213

Рис. 2. Графическое объяснение преимущества RASW-nodxoda

По предложенному алгоритму было создано тестовое приложение, которое показало прирост скорости (кадр/с) обнаружения объектов на изображении по сравнению с оригинальным алгоритмом до 2,03 раз без потерь в точности [2].

По сравнению с существующими подходами RASW обеспечивает лучшие показатели в пространствах recall/precision и Fl-score/throughput [2], что особенно важно для приложений реального времени. Предлагаемая оптимизация позволяет достичь большей точности, чем существующие реализаций, но при этом с меньшим объемом вычислений, а также может использоваться в сочетании с распараллеливанием, для повышения производительности. В будущей работе планируется внедрение алгоритмов распараллеливания для повышения быстродействия. Предложенный алгоритм использует локальность данных для улучшения распознавания объектов.

При захвате изображения с видео, может быть принята во внимание также и временная неоднородность для еще большего снижения объема вычислений.

Список литературы

1. Вежневец А., Вежневец В. Boosting - Усиление простых классификаторов. Компьютерная графика и мультимедиа. Вып. №4 (2), 2006. [Электронный ресурс] URL: http://cgm. computergraphics.ru/ content/view/112 (дата обращения: 17.08.2015).

2. RASW: a Run-time Adaptive Sliding Window to Improve Viola-Jones Object Detection F. Comaschi, S. Stuijk, T. Basten, and H. Corporaal. In ASCI.Open 2013, 19th Annual Conference of the Advanced School for Computing and Imaging, Proceedings, pages xyz-xyz. Eindhoven, Netherlands, 26 November, 2013. P. 1 - 6.

3. Viola P. and Jones M. Robust real-time face detection, // International Journal of Computer Vision. 2004. Vol. 57. No. 2. P. 137 - 154.

4. Форсайт Дэвид А., Понс Джин. Компьютерное зрение. Современный подход = Computer Vision: A Modern Approach. М.: Вильямс, 2004. 928 с.

Новиков Александр Сергеевич, канд. техн. наук, доц., alsnovikov@yandex.ru, Россия, Тула, Тульский государственный университет,

Фокин Андрей Геннадьевич, магистрант, actek.fokinagmail.com, Россия, Тула, Тульский государственный университет,

Чубукина Татьяна Сергеевна, студент, oluciferus@gmail. com, Россия, Тула, Тульский государственный университет

OPTIMIZATION OBJECT RECOGNITION METHOD OF ADAPTIVE TRAFFIC

SCANNING WINDOW

A.S. Novikov, A.G. Fokin, T.S. Chubukina

А standard method of Viola-Jones for the detection of objects in the image is described. The algorithm optimization of the method, implemented in computer vision library OpenCV. The algorithm is based on the method of adaptive movement of the scanning window, allowing to change the pitch of the scanning window in the image.

Key words: pattern recognition, optimization, scanning window, OpenCV, ViolaJones.

Novikov Alexander Sergeevich, candidate of technical sciences, docent, alsnovi-kov@yandex. ru, Russia, Tula, Tula State University,

Fokin Andrey Gennadevich, undergraduate, actek.fokinagmail. com, Russia, Tula, Tula State University,

Chubukina Tatyana Sergeevna, undergraduate, oluciferusagmail. com, Russia, Tula, Tula State University

УДК 004.383.3

МАТЕМАТИЧЕСКИЕ МОДЕЛИ, АЛГОРИТМИЧЕСКОЕ, ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ОРГАНИЗАЦИИ И ЛОГИЧЕСКОГО ПРОЕКТИРОВАНИЯ СЛОЖНЫХ И РАСПРЕДЕЛЕННЫХ СИСТЕМ НА БАЗЕ НЕЙРОПРОЦЕССОРОВ

В. А. Романчук, В.Н. Ручкин

Предложены математические модели параллельных и распределенных вычислительных систем на базе нейропроцессоров, алгоритмическое обеспечение расчета производительности и выбора структуры многопроцессорных нейрокомпьютерных систем. Показано разработанное программное обеспечение для логического проектирования сложных параллельных и распределенных нейрокомпьютерных систем.

Ключевые слова: вычислительная система, логическое проектирование, нейро-процессор, нейрокомпьютер.

В настоящее время для процессоров наступил «технологический предел», означающий, что они достигли максимального уровня повышения быстродействия. Промышленные разработки в основном направлены на повышение числа процессоров на кристалле, в связи с чем возникает проблема эффективного параллелизма, то есть трудность при создании алгоритмов, работающих эффективно на нескольких процессорах и ядрах процессора, что отражается в законе Гроша и гипотезе Минского [1]. В работе предлагается в качестве выхода из данной ситуации новая элементная база - нейрокомпьютеры. Нейрокомпьютер - вычислительное устройство нового 6-го поколения, функционирующее на основе принципов работы естественных нейронных систем, то есть головного мозга человека. Нейропроцессор (НП) - главный вычислительный блок нейрокомпьютера. В основе его работы - математическая модель нейрона, которая представляет собой элементарный объект с множеством связей, называемых синапсами по аналогии со связями между биологическими нейронами. Выходные сигналы одних нейронов поступают на входы других, образуя

209

i Надоели баннеры? Вы всегда можете отключить рекламу.