CC BY
16Journal of Siberian Federal University. Engineering & Technologies, 2018, 11(1), 16-23
УДК 004.932.2
Model of the Phase-Energy Characteristics of the Video Image Object Uneven Brightness
Andrey V. Bogoslovsky and Andrey V. Ponomarev*
Military Education and Research Centre of Military-Air Forces
"Military-Air Academy Named After Professor N.E. Zhukovsky and Yu.A. Gagarin" 54а Starykh Bolshevikov Str., Voronezh, 394064, Russia
Received 23.11.2016, received in revised form 13.03.2017, accepted 07.04.2017
A model ofphase-energy characteristics, allowing to identify the objects of uneven brightness in the image. It has been shown that the expression obtained and measured the possible definition of the object in the image characteristics, such as size and localization of inhomogeneities, the location of the object in the image field. Select objects and information about their mutual arrangement may be helpful in solving the problem also enhance the image quality by removing the object of heterogeneity caused by dynamic noise. The use of energy characteristics for the analysis of multivariate data has advantages associated with versatility as static images and video sequences. The results can be used in machine vision systems.
Keywords: machine vision, a still image, a video sequence.
Citation: Bogoslovsky A.V., Ponomarev A.V. Model of the phase-energy characteristics of the video image object uneven brightness, J. Sib. Fed. Univ. Eng. technol., 2018, 11(1), 16-23. DOI: 10.17516/1999-494X-0002.
© Siberian Federal University. All rights reserved Corresponding author E-mail address: [email protected]
Модель фазоэнергетических характеристик видеосигнала изображения объекта неравномерной яркости
А.В. Богословский, А.В. Пономарев
Военный учебно-научный центр Военно-воздушных сил
«Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина» Россия, 394064, Воронеж, ул. Старых Большевиков, 54а
Получена модель фазоэнергетических характеристик, позволяющая идентифицировать объекты неравномерной яркости на изображении. Показано, что по полученным выражениям и измеряемым зависимостям возможно определение характеристик объекта на изображении, таких как размер и локализация неоднородностей, местоположение объекта на поле изображения. Выделение объектов и информации об их взаимном расположении может быть полезна также при решении задачи повышения качества изображения за счет устранения неоднородности объекта, вызванного динамическими шумами. Применение фазоэнергетических характеристик для анализа многомерной информации имеет достоинства, связанные с универсальностью применения как к статическим изображениям, так и к видеопоследовательностям. Возможно использование полученных результатов в системах машинного зрения.
Ключевые слова: машинное зрение, неподвижное изображение, видеопоследовательность.
Проблемы, возникающие при разработке систем машинного зрения, связаны с многообразием реальных сцен, а также со сложностью построения адекватных моделей механизмов зрения. На текущий момент существует множество частных решений конкретных задач [1-5], которые очень востребованы и вносят свой вклад в создание моделей обработки изображений, однако, к сожалению, единый подход, который позволял бы работать с изображениями и видеорядами, не делая между ними различий, отсутствует [6, 7]. Таким образом, актуальной является разработка универсальных методов и алгоритмов идентификации объектов на статических изображениях и движущихся объектов на видеопоследовательностях в интересах развития интеллектуальных систем анализа многомерной информации.
Известен подход [8-10], при котором для выделения движущихся объектов на изображении используют энергетические спектры. В частности, предложена новая характеристика, обобщающая свойства энергетического и фазочастотного пространственного спектров, - фа-зоэнергетический спектр. При такой обработке видеопоследовательностей анализируются разности коэффициентов разложения этих спектров в ряд Фурье по косинусам - энергетические характеристики. В этом случае выделяются некоторые свойства [11, 12], которые присущи и биологическому зрению, например необходимость переменной по полю зрения разрешающей способности, положительная роль краев поля зрения и т.д.
Однако оказывается, что возможно использование и просто фазоэнергетических характеристик без нахождения их приращений [13]. При этом нет необходимости различать,
что обрабатывается - неподвижное изображение или видеопоследовательность. В первом случае будет выделяться форма и размеры объектов, а во втором - пространственное изменение их положения. Возможности частотных характеристик описаны в [14], где получены их модели для простейшего случая - объекта постоянной яркости на равномерном фоне.
Цель статьи - получить модели фазоэнергетических характеристик видеосигнала изо-бр;ниенияобъектанеравномерной яркости, выявляющиехарактерные особенности, позволяющие использовать их в системах машинного зрения.
ПосокФоаканодапи
Рассмотрим изображение объекта неравномерной яркости на равномерном фоне. В [14] боыи ооокнино, чтев про с оейшом слуатеналичия едитотвеоноетобееиоа на изображении необходимо рассматривать три случая в зависимости от его местоположения. Основным из них является случай, когда объект находится достаточно далеко от края изображения и не в его центре. Длс ооркделенносто будем сяитать,чтооеъект распоаоыен справа от центра изображе-аия. Ыияеааигналкероки изображения представлен на рис. 1 (длина строки 2М + 1 пикселей). Перепад в яркости изображения можно рассматривать как шум, вызванный неравномерной освещенностью объекта, и как наличие второго объекта в пределах контура первого.
Видеосигнал фона обозначим через а, объекта - через b и b2. При этом требуется решить задачу идентификации объекта (объектов) на изображении, т.е. получение таких параметров, как границы объекта (L,R и L2,R2), контраст относительно фона, местоположение объекта на потеизображения.
Фазокнкореткиесоия ф(()час остеря отр актеристика (ФЭЧХ) имеет вид
M - p
ср(p) =£ (Я + p) p , (1)
i=-M
где ft иfi+p -с'-й е (' + пК-е отсчета видеосиенало изобрженияысраки; л>-номевфазы [1)].
Взависимости от велкриныфазы/>вкледпикселейизыСиажебисо фазобнереетическую частоту
На рис. 2 показаны ФЭЧХ ф(р). На графике 1 представлена характеристика ф(р) только для первого объекта, расположенного на участке L = 2, R = 25 строки изображения длиной 2M +1 = и-кселей я-оо с-ью°ы = ПОни одноыкдооы фоит н = 9е . Графики 2и 3 тиисисоиот ФЭЧХкии наличие оОъеятаЫскр-ьстРЮ Ь2 = 2УР.ГpaфыкHcooтвeаеевyeу псшожеокю сбъекта 2 нл лчасике В2 = 9«R2 = 10,й графси«(- на участке L2 = 12, R2 «=07.
Ь:
Рис. 1. Модель видеосигнала строки изображения Fig. 1. Model video signal line of theimage
M
P -
Рис. 2. Фазоэнергетическиечастотныехарактеристики ф(/>) Fig. 2. Phase-Energy FrequencyCharacteristics ф^)
Таблица 1. Характерные значения фаз, обусловленные объектом1 Table 1. The characteristic values ofphases caused by an object 1
Точка Значение фазы p Определяет
1.1 R - L + 1 = 24 Длинаобъекта 1
1.2 M - R = 38 Правый край объекта 1
1.3 M - R + 1=62 Левыйкрай объекта 1
1.4 M+L = 62 Левый край объекта1
1.5 M+R + 1 = 89 Правый край объекта 1
Из анализа рис. 2 и модели ФЭЧХ, полученной из (1), следует, что существуют характерные особенности, присутствующие на всех графиках, которые обусловлены объектом 1. Они обозначены символом «■». Значения соответствующих фаз приведены в табл. 1.
При наличии неоднородности освещенности (объект 2) дополнительно появляются особенности, отмеченные на графиках 2 и 3 символом «•». Значения соответствующих фаз приведены в табл. 2.
Сравнительный анализ данных в табл. 1, 2 и графиков рис. 2 позволяет сделать следующие выводы.
При увеличении фазы от значения p = 0 на характеристиках можно определить точки, в которых скачком уменьшается абсолютная скорость изменения зависимостей. По значению
Таблица 2. Характерные значения фаз, обусловленные неоднородностью освещенности Table 2. The characteristic values of phases caused by non-uniformity of illuminance
Точка Значение фазы p Определяет
График 2 График 3
1 r2 — l2 Длина объекта 2
6 6
2 R - r2 Правый край объекта 2 относительно правого края объекта 1
8 11
3 R - l2 + 1 Левый край объекта 2 относительно правого края объекта 1
14 17
4 l2 - L Левый край объекта 2 относительно левого края объекта 1
10 7
5 r2 - l2 Правый край объекта 2 относительно левого края объекта 1
16 13
6 M - r2 Правый край объекта 2 относительно правого края изображения
46 49
7 M - l2 + 1 Левый край объекта 2 относительно правого края изображения
52 55
8 M + l2 Левый край объекта 2 относительно левого края изображения
75 72
9 M + r2 + 1 Правый край объекта 2 относительно левого края изображения
81 78
фазы, соответствующей этим точкам, можно определить длину объекта (точка 1.1, табл. 1 и точка 1, табл. 2). Остальные характерные особенности определяют положение краев объектов относительно краев изображения (1.2-1.5, табл. 1 и 6-9, табл. 2) либо взаимное расположение объектов 1 и 2 (2-5, табл. 2).
Чем правее на изображении находится неоднородность яркости, тем большее значение ф(р) на нижних фазах (рис. 2, зависимости 2 и 3). Это обусловлено тем, что эти участки формируют пиксели изображения с большими номерами (выражение (1)).
Путем сегментации можно выделить только часть изображения, соответствующую объекту 1. При таком подходе реализуется пту чай, когдаобъект постоянной яркости находится на равномерном фоне [14] (рис. 3).
Тогда первый объект с яркостью Ь может рассматриваться как фон а' для второго объ-ектс. Кданицыттркотообъякта Ь,К будут соответствовать границам теяекгк учахеъа строки идеУрсжеенд (-Л—,М) а вторай объект с ораницамиС2,302 пиедставляетцяебъектом,хмеющим яркость V и расположенном на участке от V до Я. При этом новые величины примут следующие значения:
Я -Ь т, т Ь + Я п, п Ь + Я М'Ь = Ь2--—; Я = Я2--—, (2)
где (V + R) / 2 - центр первого объекта.
b (a')
ОйьОк'г 1 ufMu)
b2 (b>)
Объект 2
L (-M)
Рис. 3. Взаимное расположение объектов Fig. 3. Relative positioning of objects
L+R L2 (L'J 2
R2 (R')
R (Af)
Рис. 4. Фазоэнергетическая частотная характеристика ср(р) сегментированного изображения Fig. 4. Phase-Energy Frequency Characteristic cp(p) of the segmented image
При этом ФЭЧХ приобретает вид, показанный на рис. 4, аналогичный графику 1 на рис. 2. Поскольку изображение объекта 1 содержит четное количество (24) пикселей, то слева добавлен 1 отсчет с яркостью объекта. Это привело к смещению точек 2 и 5 табл. 2 на одну пози-
Таким образом, границы участков на фазоэнергетической частотной характеристике непосредственно связаны с параметрами объектов. Доступны для определения размеры объектов, взаимное местоположение и положение объектов на поле изображения, что позволяет легко их идентифицировать.
Важно, что для случая, когда имеет место объект неравномерной яркости, возможно применение универсального подхода по выявлению характерных особенностей с использованием последовательно моделей фазоэнергетических характеристик видеосигнала изображения объекта для случая равномерной яркости на равномерном фоне, позволяющих однозначно выполнить идентификацию объектов с помощью систем машинного зрения.
Выделение этих объектов, а также информации об их взаимном расположении может быть полезно также при решении задачи повышения качества изображения за счет устранения неоднородности объекта, вызванного динамическими шумами.
Применение фазоэнергетических характеристик для анализа многомерной информации кроме простоты имеет достоинства, связанные с универсальностью применения как к статическим изображениям, так и к видеопоследовательностям, так как в видеопоследовательностях движение объектов можно охарактеризовать их взаимным положением или удалением от края изображения.
Работа выполнена при поддержке гранта РФФИ № 15-01-08043.
Список литературы
[1] Гонсалес Р. Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2006. 1072 с. [Gonsales R., Vuds R. Digital image processing. Moscow, Texnosfera, 2006. 1072 p. (in Russian)].
[2] Яне Б. Цифровая обработка изображений. М.: Техносфера, 2007. 584 с. [Yane B. Digital image processing. Moscow, Texnosfera, 2007. 584 p. (in Russian)].
[3] Прэтт У Цифровая обработка изображений. М.: Мир, 1982. Т. 1, 2. 791 c. [Pratt Y. Digital image processing. Moscow, Mir, 1982. Vol. 1,2. 791 p. (in Russian)].
[4] Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов. М.: Радио и связь, 1987. 285 c. [Marr D. Vision. Informational approach to the study of representation and processing of visual images. Moscow, Radio i svaz. 1987. 285 p. (in Russian)].
[5] Малла С. Вэйвлеты в обработке сигналов: Пер. с англ. М.: Мир, 2005. 671 с. [Malla S. Wavelet in signal processing. Moscow, Mir, 2005. 671 p. (in Russian)].
[6] Визильтер Ю.В. Обработка и анализ цифровых изображений с примерами на LabVIEW и IMAQ Vision. М.: ДМК пресс, 2007. 464 с. [Vizil'ter Yu.V. Processing and analysis of digital images with examples on the LabVIEW and IMAQ Vision. Moscow, DMK press, 2007. 464 p. (in Russian)].
[7] Горьян И.С., Зеленцов В.Н., Фисенко В.Т. Выделение признаков для систем структурного анализа рисунков в реальном масштабе времени. Третья Всесоюзная конференция «Математические методы распознавания образов». Тезисы докладов. Львов, 1987. 147-148. [Goryan I.S., Zelenczov V.N, Fisenko V.T. Feature extraction systems for the structural analysis of images in real time. III Union Conference "Mathematical methods of recognition of images." Abstracts. l'vov. 1987. 147-148. (in Russian)].
[8] Богословский Е.А., Жигулина И.В., Яковлев В.А. Обработка многомерных сигналов. Линейная многомерная дискретная обработка сигналов. Методы анализа и синтеза. М.: Радиотехника, 2013. 168 с. [Bogoslovsky E.A., Zhigulina I.V., Yakovlev V.A. Processing of multidimensional signals. Linear discrete multidimensional signal processing. Methods of analysis and synthesis. Moscow, Radiotehnika. 2013. 168 p. (in Russian)].
[9] Zhigulina I.V., Maslov I.S., Mordovina T.V. Frequency Characteristics for Video Sequences Processing Smart Innovation, Systems and Technologies. Intelligent Interactive Multimedia Systems and Services. Vol. 40. Springer, 2015. 149-160.
[10] Zhigulina I.V. A Way of Energy Analysis for Image and Video Sequence Processing. Intelligent Systems Reference Library. Computer Vision in Control Systems-1. Mathematical Theory. Volume 73. Springer. 2015. 183-210.
[11] Жигулина И.В., Маслов И.С. Методы обработки видеопоследовательностей на основе анализа энергетических параметров видеосигнала изображения. Радиотехника. 2015, 4, 112119. [Zhigulina I.V., Maslov I.S. Methods of processing sequences on the basis of the analysis of the energy parameters of the video image. Radiotehnika. 2015, 4, 112-119. (in Russian)].
[12] Жигулина И.В. Маслов И.С. Модель межкадровых разностей частотных характеристик. Наукоемкие технологии. 2015, 16(4), 41-47. [Zhigulina I.V., Maslov I.S. Model frame difference of frequency characteristics. Naukoemkie texnologii. 2015, 16(4), 41-47. (in Russian)].
[13] Жигулина И.В. Рецептивные поля: обработка изображений и видеопоследовательностей. Радиотехника. 2016, 10, 104-109. [Zhigulina I.V. Receptive field: image processing and video sequences. Radiotehnika. 2016, 10, 104-109. (in Russian)].
[14] Богословский А.В., Пономарев А.В., Копылов О.Е., Быков Ю.А. Модели энергетических характеристик видеосигнала изображения. Радиотехника. 2016, 10, 110-114. [Bogoslovsky A.V., Ponomarev A.V., Kopylov О.Е., Bykov U.A. Models of the energy characteristics of the video image. Radiotehnika. 2016, 10, 110-114. (in Russian)].
[15] Жигулина И.В. Методология построения моделей межкадровых разностей частотных характеристик. Радиотехника. 2013, 9, 76-82. [Zhigulina I.V. Methodology of construction of models of the frame difference of frequency characteristics. Radiotehnika. 2013, 9, 76-82. (in Russian)].
