CC BY
116
УДК. 681.7.013.8
СТАБИЛИЗАЦИЯ ИЗОБРАЖЕНИЯ, ПОЛУЧЕННОГО СО СТАТИЧЕСКИ УСТАНОВЛЕННОЙ ВИДЕОКАМЕРЫ
С.В. Думчев, Е.В. Думчев
Рассматриваются вопрос актуальности проведений исследований в области распознавания объектов мобильным робототехническим комплексом, важность стабилизации изображений, получаемых из видеопотока, а также методика стабилизации изображения посредством детектирования на нем исходного шаблона с использованием корреляционных функций.
Ключевые слова: стабилизация, корреляционная функция, видеопоток, детектирование, пространственная сцена, видеокамера.
На сегодняшний день широко развивающимися научно-техническими направлениями, являются исследования в области распознавания образов, проектирования систем технического зрения, а также искусственного интеллекта. Приборы, предназначенные для распознавания объектов на пространственной сцене, имеют диапазон применения, начинающийся от военных и охранных целей и заканчивающийся повышением качества результатов медицинских, химических и других научных опытов [1].
В качестве устройств, обеспечивающих техническое зрение, используются видео,- тепловизионные, радиолокационные, сейсмические и другого вида датчики. Одной из часто встречающихся в рассматриваемой сфере является задача детектирования движения посредством использования статической видеокамеры.
Практическая реализация решения поставленной задачи не является трудоемкой в сравнении с решением задачи распознавания и слежения за подвижным объектом при помощи поворотной камеры, установленной на перемещающейся мобильной платформе, но, тем не менее, обладает определенным рядом проблем.
Основная проблема - это стабилизация получаемого с видеокамеры изображения. Данная проблема возникает вследствие воздействия на камеру внешних факторов. Так большинство камер располагаются на штативе или возвышенности, которые под действием, к примеру, погодных условий совершают микроколебания. Результатом таких микроколебаний являются различного рода отклонения получаемых изображений от первоначально выбранной системы координат. Исходный поток видеоданных начинает «трясти». Особенно этот эффект проявляется при небольших углах обзора.
Вследствие значительных отклонений получаемых изображений от выбранной системы координат такой поток видеоданных является не удобным для анализа как человеком, так и системой искусственного ин-
теллекта. Для решения данной проблемы требуется использовать методы, позволяющие максимально снизить «тряску» Такие методы называются методами стабилизации.
Одним из механизмов стабилизации является использование гиро-стабилизированной платформы [2]. Данный механизм применяется часто, но в связи с дополнительной затратой экономических ресурсов, материалов и сложностью реализации его используют не во всех системах. Вторым механизмом является программная стабилизация. Данная стабилизация отличается простотой реализации и низкой экономической стоимостью. Программная стабилизация изображения обладает следующими минусами и ограничениями [3]:
1) фон должен быть четким и неоднородным для повышения качества стабилизации;
2) имеются задержки, связанные с обработкой больших массивов данных, которые (задержки) при низких характеристиках оборудования могут сделать невозможным отслеживание пространственной сцены, детектирования движения и тем более распознавания на данной сцене объекта в реальном режиме времени;
3) фон должен быть неподвижным и практически неизменным на промежутках между сменами шаблонов.
На практике требуется выбрать наиболее подходящий механизм, при этом для получения максимально качественной стабилизации нужно использовать оба механизма.
Одним из подходов к программной стабилизации изображения является корреляционный.
Основой данного подхода является поиск требуемого изображения по шаблону с использованием корреляционной функции. Обычно в качестве шаблона берется центральная часть практически неизменного во времени фона с исходного изображения.
Основным требованием к шаблону является его размер, а также он должен быть получен с видеокамеры, уже установленной и настроенной для конечного использования. Размер шаблона выбирается исходя из разрешения итоговых изображений. Шаблон должен быть значительно меньше итогового изображения, но при этом нести в себе достаточное количество разнородной информации, не повторяющейся на других участках исследуемой сцены, а именно быть индивидуальной. Чем меньше шаблон, а также разнороднее и индивидуальнее информация, которую он представляет, тем качественнее будет стабилизация. С другой стороны, поиск небольшого и детального шаблона займет большее количество времени и значительно повлияет на производительность.
Наилучшим вариантом будет выбрать шаблон из центра изображения, так как он обеспечивает одинаковую компенсацию смещения по осям координат, а размер шаблона подобрать исходя из качества стабилизации и
производительности.
Одной из возможностей повышения как качества стабилизации, так и производительности, является представление в градациях серого изображения и шаблона.
После того, как шаблон подготовлен, можно осуществлять стабилизацию изображений в видеопотоке. Для этого требуется проводить детектирование шаблона на каждом изображении с видеоряда. Производится это путем последовательного пиксельного наложения шаблона на поступившее из видеопотока изображение и нахождения значения корреляционной функции для каждого из наложений. Результаты удобнее всего записывать в массив.
Рассмотрим принцип детектирования шаблона на примере исходного изображения.
Рис. 1. Исходное изображение
На рис. 1 показано исходное изображение. Красным квадратом выделен шаблон, который представлен на рис. 2.
Рис. 2. Шаблон
На рис. 3 представлено изображение, полученное с видеокамеры в процессе ее работы. Данное изображение было получено в момент физического воздействия на штатив. В связи с этим можно заметить смещение фона и шаблона относительно исходного положения в левый верхний угол.
Рис. 3. Анализируемое изображение
Принцип нахождения шаблона, изображенного на рис. 3, можно проиллюстрировать при помощи формул.
Изображение на рис. 3 представляется в виде массива, каждое значение которого - цветность пиксела:
^ (/, 7) =
51,1 51,2
52,1 52,2
SSW,2
у51,5к 52,ьк ... у
(1)
где ьк - высота изображения в пикселах; ш - ширина изображения в пикселах.
По такому же принципу формируется представление шаблона, изображенного на рис. 2, в виде массива:
р(1р, ]р) =
Г р1,1 р2,1 ... рр^,1 Л
р1,2 р 2,2
р рн',2
(2)
ур1,рк р2,рк ... ppw,рк у
где рк - высота шаблона в пикселах; рм> - ширина шаблона в пикселах.
Поиск шаблона осуществляется при помощи корреляционных функций. Существует несколько разновидностей корреляционных функций, предназначенных для нахождения соответствия между участком изображения и шаблоном.
Корреляционная функция, представляющая собой квадрат разности [4]:
(3)
од 7) = I I (рар, ]р) - ^+, ]+]р
70 1р,
где Я(1,7)- результирующий массив, полученный по итогам корреляционного наложения одного изображения на другое с использованием корреляционной функции; I , 7, ^, 7 - индексы, предоставляющие начальный и
конечный элементы результирующего массива; ж = sw - рж +1 и И = 8к - рИ +1; I, у - индексы, указывающие позицию в результирующем массиве, в которую будет помещено значение, полученное в результате корреляционного наложения шаблона (2) на исходное изображение (1); 1р, ]р - индексы, указывающие на элемент шаблона (2), который будет
накладываться на исходное изображение (1); I + 1р, у + ]р - индексы элемента исходного массива (1), полученные путем сложения индексов результирующего массива и шаблона (2), отображает последовательное смещение шаблона относительно исходного изображения.
Мультипликативная корреляционная функция [4]
у) = I (Р(1р, ]р ) • 5(I + 1р, у + ]р )). (4)
^р ,1 р
Корреляционная функция, учитывающая коэффициенты, а именно ширину и высоту изображения [4]:
Щ, 1) = I (Р Ор', 1р) • 5 '(I + 1р', 1 + 1р)) , (5)
1 р, ] р
где
Р'(!р\ 1р') = Р(1р, 1р) -1 /(™ • sh) • I Р(1р,ур); (6)
^р,]р
5 (I + 1р , У + Ур ) = 5 (I + 1р , у + ]р ) -1/(рж • рИ) • I 5(I + 1р, у + ]р). (7)
1р, ] р
Результаты корреляции помещаются в массив
г2,1 ... гш- рж+1,1
г2,2 ... ssw-pw+1,2
. (8)
ч г1, sh-ph+1 Г2^И-рИ+1 ... rsw-pw+1,sh-ph+1 у
Параметры, используемые в формулах (4), (5), (6), (7), (8), описаны в (1), (2), (3) и имеют аналогичное смысловое значение.
В результирующем массиве (8) индексаторы 1, ] синхронизированы с индексаторами массива, представляющего изображение на рис.1, таким образом, что координаты левого верхнего угла шаблона (2) относительно исходного изображения (1) равны координатам 1, что и представлено в формулах(З), (4), (5) посредством использования одинаковых индексаторов для результирующего (8) и исходного (1) массивов.
Результирующий массив (8) несет в себе информацию, полученную в результате корреляции. Каждое из значений массива показывает степень соответствия участка анализируемого изображения шаблону. Для разных методов корреляции эти значения можно трактовать по-разному [1]. Так для функции (3) идеальным совпадением будет значение, равное 0; для
68
щ, у) =
г1,1 г1,2
функции (4) идеальным совпадением будет максимальное значение; для функции (5) идеальным будет значение 1.
Координаты расположения шаблона (2) на анализируемом изображении (1) можно получить после проверки значений результирующего массива (8) на близость к идеальным значениям. Они будут равны координатам i, j наиболее идеального значения в нем.
Помимо этого можно установить процент требуемой схожести шаблона (2) с полученным участком анализируемого изображения (1). Процент требуемой схожести можно сверять с полученным процентом схожести и делать выводы о возможности стабилизации, а также принимать решение о том, стоит ли ее проводить, показывать ли старое или новое изображение, а может сообщать об отказе системы.
Определив координаты шаблона (2) на анализируемом изображении (1), можно осуществить смещение последнего для осуществления стабилизации. Сдвиг анализируемого изображения (1) производится на величину смещения шаблона (2) в противоположную сторону. Минусом данной операции является недостаточность информации об области, которая оказалась пустой из-за сдвига. Данную область можно заполнить значениями, полученными с предыдущего стабилизированного изображения или изображений путем нахождения среднего значения.
Полученная в результате исследования программа дает неплохие результаты по качеству и времени стабилизации, проводимой в реальном режиме времени. Таким образом, метод можно применять для стабилизации изображения со статической видеокамеры ввиду простоты его реализации и быстроты работы по сравнению с методами SURF и SIFT, которые предназначены скорее для работы с изображениями, полученными с динамической видеокамеры, так как эти методы затрачивают большее количество ресурсов, предоставляя хорошую точность анализа изображения.
Список литературы
1. Думчев С.В. Системы управления информационными процессами робота // Приборы и управление: сб. ст. Вып. 11 / под общ. ред. Е.В. Ларкина. Тула: Изд-во ТулГУ, 2013. С. 77 - 83
2. Обработка и анализ изображений в задачах машинного зрения / Ю. В. Визильтер [и др.]. М.: Физматкнига, 2010. 689 с.
3. Пытьев Ю.П., Чуличков А.И. Методы морфологического анализа изображений. М.: Физматлит, 2010. 336 с.
4. Bradski G., Kaehler Adrian. Learning Open CV. O'Reilly, 2008. 557с.
Думчев Сергей Викторович, асп., electromusicfan@,mail.ru, Россия, Тула, Тульский государственный университет,
Думчев Евгений Викторович, студент, electromusicfan@mail. ru, Россия, Тула, Тульский государственный университет
IMAGE STABILIZATION IS OBTAINED WITH A STATICALLY SET
THE CAMCORDER
S. V. Dumchev, E. V. Dumchev
The question of the relevance of the research in the area of object recognition mobile robotic systems, the importance of stabilizing the images received from the video, as well as methods of detecting image stabilization on it using the original template correlation functions.
Key words: stabilization, the correlation function, the video stream, detection, space scene, the camcorder.
Dumchev Sergey Victorovich, postgraduate, electromusicfan@,mail. ru, Russia, Tula, Tula State University,
Dumchev Evgeniy Victorovich, student, electromusicfan@,mail. ru, Russia, Tula, Tula State University
УДК 620.192.46
СИСТЕМА РЕГИСТРАЦИИ ТЕПЛОВИЗИОННЫХ ИЗОБРАЖЕНИЙ КЛЕЕВОГО ШВА ФАРФОРОВОГО ИЗОЛЯТОРА
И.В. Зайчиков, В.И. Солдатов, И.В. Лавров
Описана система позиционирования тепловизора относительно клеевого шва фарфорового изолятора для регистрации тепловизионных изображений.
Ключевые слова: система, тепловизионный, изображения, регистрация, фарфор, клей.
Контроль состояния клеевых швов фарфоровых изоляторов типа ИВВ-500, применяющихся в составе воздушных выключателей типа ВВБК-500 для ОРУ 500кВ, остается актуальным на текущий момент времени с целью продления эксплуатационного ресурса данных изделий. Для реализации контроля был выбран неразрушающий активный тепловизи-онный метод как наиболее приемлемый с точки зрения технической реализации в полевых условиях и согласующийся с действующими руководящими документами по эксплуатации данного электрооборудования [1]. Внедрение нераз-рушающего контроля состояния клеевых швов фарфоровых изоляторов
