CC BY
19
УДК 004.021
ИССЛЕДОВАНИЕ ПРОЦЕССА КОНСТРУИРОВАНИЯ СИНТЕТИЧЕСКОГО ИЗОБРАЖЕНИЯ ЛУЧШЕГО КАЧЕСТВА НА ОСНОВЕ СЕРИИ СНИМКОВ
О.А. Пахомова, О.Я. Кравец, О.В. Авсеева
Определен алгоритм получения лучшего кадра из серии последовательно сделанных снимков динамического объекта, который заключается в следующем: формировании нового метода сегментации на основе имеющихся и применении его к каждому кадру, оценке качества по каждому сегменту, масштабировании и в итоге конструировании искусственного изображения на основе лучших сегментов. Рассмотрены некоторые популярные методы проведения сегментации, а именно методы водораздела, выделения краев и оригинальный метод квантилей. Выделены недостатки и достоинства в использовании того или иного метода. Приведены формулы, позволяющие рассчитать оценку качества изображения. Для обеспечения возможности провести процесс масштабирования с максимальной точностью в рассмотренную задачу было включено допущение о равномерной скорости движения наблюдаемого объекта. Таким образом, определена формула для масштабирования изображения, а также сделаны выводы о возможных трудностях построения нового изображения на основе выделенных сегментов. Основной проблемой в данном случае является необходимость выработать новый алгоритм сегментирования изображения, позволяющий сочетать достоинства других и решить поставленную задачу получения синтетического изображения
Ключевые слова: сегментация, обработка изображения, оценка качества, синтетическое изображение, распознавание
Введение
В настоящее время существует большое количество систем распознавания, позволяющих идентифицировать объект в условиях плохой освещенности, под большим углом или же при малом разрешении кадра. Однако практически любая из них не способна выдать хороший результат, если ни на одном из снимков нет четкого представления объекта. Представим серию снимков одного и того же объекта, где на каждом из них видна только его какая-то часть, все остальное засвечено. В подобной ситуации возникает проблема получения верного результата распознавания.
Постановка задачи
Целью исследования является рассмотрение процесса создания синтетического, нового изображения на основе серии последовательно сделанных кадров динамического объекта с целью создания препроцессора для системы распознавания.
В рамках данного исследования предполагается работа с монохромным изображением, поскольку большинство
современных видеокамер машинного зрения работают именно в таком режиме видеосъемки. Это связано, прежде всего, с тем, что при большой скорости передачи видеоинформации существует необходимость в повышении пропускной способности канала связи без потери качества изображения.
Предполагается следующий алгоритм работы:
Пахомова Олеся Анатольевна - ВГТУ, аспирант, e-mail: olesia555@list.ru
Кравец Олег Яковлевич - ВГТУ, д-р техн. наук, профессор, e-mail: csit@bk.ru
Авсеева Ольга Владимировна - ВГУИТ, канд. техн. наук, доцент, e-mail: olga-avseeva@mail.ru
1. Проведение сегментации по каждому кадру.
2. Оценка качества всех сегментов.
3. Масштабирование всех сегментов
4. Конструирование синтетического изображения на основе лучших сегментов.
Под сегментацией можно понимать процесс разбиения изображения на ряд частей со схожими характеристиками, такими как яркость, цвет, текстура, форма. Результатом является множество областей, которые полностью покрывают исходное изображение. Причем каждая область соответствует реальному объекту, или его частям, а границы соответствуют границам объектов. Существует большое количество методов для определения схожих характеристик пикселей, с помощью которых можно разделить изображение на части. Однако универсального решения для данной задачи не существует, поэтому необходимо использовать комбинированный подход.
Таким образом, на начальном этапе решения задачи построения синтетического изображения главной сложностью является создание нового алгоритма сегментирования, который сочетал бы в себе преимущества других методов.
Сегментирование по каждому кадру
Одним из наиболее популярных методов разбиения изображения по схожим признакам является сегментирование преобразованием водораздела (рис. 1). Его суть состоит в рассмотрении изображения как некоторой карты местности, где значения яркостей представляют собой значения высот относительно некоторого уровня[1]. Применение этого метода сегментации изображений эффективно преодолевает проблему чрезмерной сегментации и дает удовлетворительные результаты.
Рис. 1. Метод водораздела
Другой известный метод проведения сегментирования - метод выделения краев, основанный на вычислении двумерного пространственного градиента и выявлении областей соответствующим краям объекта. Данный подход играет важную роль в анализе изображений и распознавании образов и является основой для многих других методов сегментации [1].
Результатом выделения границ является набор связанных кривых, обозначающих границы объектов, граней и оттисков на поверхности, а также кривые, которые отображают изменения положения поверхностей. Объекты состоят из многочисленных частей различных цветных уровней.
Перепад яркости - это связное множество пикселей, лежащих на границе между двумя областями (рис. 2)
/
Рис. 2. Типы краев: а - край шага; б - край ската; в - край линии; г - край крыши
Выделение краев происходит за 3 этапа:
1. Фильтрация шума - операция, имеющая своим результатом изображение того же размера, полученное из исходного по некоторым правилам.
2. Улучшение - определение изменения в интенсивности в соседней точке (вычисление градиента для пикселей изображения).
3. Выделение - определение точек, являющихся краями.
Приведем пример реализации оригинального метода квантилей, который был впервые описан в работе [1]. Он предполагает, что яркость любого пикселя объекта на изображении выше, чем яркость любого пикселя фона. Алгоритм работы предполагает упорядочивание всех пикселей изображения по убыванию яркости. Причем пиксели, принадлежащие проекции объекта,
располагаются в начале упорядоченной последовательности.
Рассмотрим серию последовательно сделанных кадров, на которых движутся несколько транспортных средств (рис. 3).
Рис. 3. Серия кадров двигающихся транспортных средств
Затем пример сегментирования одного из
изображений методом квантилей (рис. 4).
¡ив
■ 1 ш
ч н— * шШШж
..........л,-;. ■
Рис. 4. Реализация сегментации методом квантилей
Оценка качества частей изображений
После завершения процесса сегментации необходимо провести оценку качества по каждому из сегментов. Существует два подхода, позволяющих решить данную проблему: количественная оценка с помощью использования математических методов и субъективная оценка на основе экспертных оценок [2]. В рамках данного исследования наиболее интересен первый способ, поскольку процесс создания лучшего кадра будет проведен без участия человека, в автоматическом режиме.
Количественные оценки абсолютные, вычисляемые изображению в отдельности, Причем сравнительная мера является числовым результатом сравнения двух или более изображений. Для сравнения также можно использовать абсолютные меры, вычисленные для каждого изображения по отдельности.
Рассмотрим некоторые из оценок.
1. Абсолютная оценка резкости изображения -это степень размытости границы между двумя соседними участками изображения с разной оптической плотностью.
Меру резкости изображения S можно определить нахождением угла наклона профиля яркости изображения на границе перепада с помощью следующей формулы:
подразделяют на по каждому и сравнительные.
« ♦ G S; = tga = — i W
где i - количество краевых пикселей на изображении, W - ширина перепада, G - разница между значениями яркости пикселей, обозначенных а и Ь (рис 5).
Рис. 5. Определение меры резкости изображения
2. Сравнительная оценка резкости изображения определяется как мера эксцесса двумерного спектра Фурье по следующему алгоритму:
2.1. Выделение прямоугольной области на изображении.
2.2. Преобразование полученной области в частотную.
2.3. Вычисление меры эксцесса по формуле:
^ (2)
1 = 1 2
ст
где ^4,- четвертый центральный момент, и-стандартное отклонение.
Абсолютная оценка контрастности -градационная характеристика изображения по различию в светлоте (насыщенности цвета) его наиболее ярких и наиболее темных участков.
Пиксели для сравнения можно выбирать различными способами. Причем наиболее простой способ - это сравнить соседние пиксели в горизонтальном и вертикальном направлении.
Все элементы считаются равнозначными, и контраст каждой пары определяется по формуле:
L - Lj C =- 1 J
Li + Lj
(3)
где L1, LJ - яркости элементов изображения.
Затем применяют правило суммирования контрастов. Вычисление суммарного контраста проводят с помощью усреднения матрицы локальных контрастов.
Масштабирование изображений
В рамках данной задачи предполагается, что объект движется с равномерной скоростью. Такое допущение позволит обеспечить возможность провести процесс масштабирования с максимальной точностью.
Под масштабированием понимают искусственное изменение разрешения изображения. В данном случае речь идет об увеличении или уменьшении конкретного сегмента с целью конструирования из различных частей единого объекта [3].
Как правило, для сравнения изображений X и Y используется формула, являющаяся суммой модулей или квадратов разностей интенсивности:
^х,У) = £ (Х[1,Л - У[1,Л)2 (4)
Однако, при таких больших объемах вычислений, которые планируются в решении рассматриваемой задачи, данных подход не подойдет из-за чрезмерных временных и ресурсных затрат. Поскольку помимо простого сравнения изображений существует проблема обнаружения одного фрагмента изображения на другом, обратим внимание на другой метод, использующий преобразования Фурье для расчёта меры совпадения двух изображений при различных смещениях их между собой.
Прямое преобразование:
N-1
Xk = Z Xn * e
n=0
k=0,...,N-1
Обратное преобразование:
24
kn
1
N-1
xn = TfZ Xk * e N k=0
24
kn
(5)
(6)
n=0,...,N-1.
Вывод
В данной статье была рассмотрена актуальная проблема большинства систем распознавания, связанная с невозможностью выдать успешный результат из-за отсутствия четкого представления об объекте наблюдения, и сформулировано возможное ее решение путем создания синтетического изображения на основе серии снимков.
Были рассмотрены некоторые методы проведения процесса разбиения изображения на части со схожими признаками и оценки качества по каждому конкретному сегменту, а также процесс масштабирования изображения.
Основная сложность проведения процесса получения лучшего кадра - правильно подобрать механизм сегментации изображения, поскольку универсальный метод отсутствует и необходимо использовать комбинированный подход.
Новизна данной исследовательской работы состоит в том, что роль лучшего кадра выполняет не один из серии кадров, как это реализовано во многих системах обработки видеоинформации, а новый, искусственно созданный из специально отобранных частей изображения.
Литература
1. Гонсалес, Р. Цифровая обработка изображений в среде MATLAB [Текст] / Р. Гонсалес, Р. Вудс, С. Эддинс. - М.: Техносфера, 2006. - 1072 с.
2. Blind Image Quality Assessment for Measuring Image Blur / X. Wang, B. Tian, C. Liang, D. Shi // Congress on Image and Signal Processing, 2008 - 470 c.
3. Дмитриев, А.Л. Оптические методы обработки информации [Текст]: учеб. пособие / А.Л. Дмитриев. -СПб.: СПбГУ ИТМО, 2005. - 46 с.
N
N
4
Воронежский государственный технический университет
Воронежский государственный университет инженерных технологий
RESEARCH OF DESIGN PROCESS SYNTHETIC IMAGE THE HIGHEST QUALITY ON THE BASIS OF SERIES OF SNAPSHOTS
O.A. Pakhomova, assistant, Voronezh State Technical University, Voronezh, Russian Federation, e-mail: olesja555@list.ru
O.Ja. Kravets, doctor of Technical Sciences, Professor, Voronezh State Technical University, Voronezh, Russian Federation, e-mail:csit@bk.ru
O.V. Avseeva, assistant professor of Technical Sciences, Voronezh State University of Engineering Technologies, Russian Federation, e-mail: olga-avseeva@mail.ru
The algorithm of obtaining the best frame from a series of consecutive shots of a dynamic object is defined which is the following is discusses some of the popular methods of segmentation, evaluation of image quality and zoom and, as a result, the construction of an artificial image based on the best segments.
Certain popular methods of segmentation, namely the methods of the watershed, edge detection and an original method of quantile. The advantages and disadvantages in the use of a particular method are identified. Some popular methods of segmentation, namely the methods of the watershed, edge detection and an original method of quantile are considered. Formulas allowing calculating the estimate of the image quality are detected. Advantages and disadvantages in the use of a particular method are identified. The assumption of a uniform velocity of the observed object was included in the consideration of the problem to allow holding the zoom process with maximum precision.
Thus, the formula for scaling images is detected. Conclusions about the possible difficulties of building a new image based on the selected segments are produced. The main problem in this case is the need to develop a new algorithm for image segmentation, which allows to combine the advantages of others, and to solve the problem of synthetic images
Key words: segmentation, image processing, quality assessment, synthetic image recognition
References
1. Gonzalez R., Woods R., Eddins S. Digital Image Processing in Mathcad. Technosphere, Moscow, 2006- 1072
p.
2. Wang X., Tian B., Liang C., Shi D. «Blind Image Quality Assessment for Measuring Image Blur //Congress on Image and Signal 2008 Congress on Image and Signal Processing, 2008- 470 p.
3. Dmitriev A. L. Optical information processing methods. Tutorial. SP. SPbSUITMO 2005 - 46 p.
