CC BY
162
Научный журнал КубГАУ, №109(05), 2015 года
1
УДК 621.64
05.00.00 Технические науки
МЕТОД И СПОСОБ СРАВНЕНИЯ ТЕКУЩЕГО ИЗОБРАЖЕНИЯ И ОБРАЗЦА НА ОСНОВЕ СЕГМЕНТНОЙ ОБРАБОТКИ ПОДСЧЁТА ПИКСЕЛЕЙ
Кушнир Надежда Владимировна
старший преподаватель кафедры информационных
систем и программирования
РИНЦ- БРГЫ-код=6951 -4012
ФГБОУВПО «Кубанский государственный технологический университет», Краснодар,
Россия
350020, улица Московская, 2, Краснодар, Россия
В статье проанализированы интеллектуальные методы сравнения изображений. Даётся краткая характеристика существующих методов: метрического, топологического и стохастического, предназначенных для решения подобной задачи, указываются их достоинства и недостатки. Предложен метод, основанный на сравнении изображений способом разбиения исходной области на сегменты и подсчёта количества единичных пикселей определённой оптической плотности. Приводится иллюстрированный пример. На основе этого способа создана программа, реализующая предложенный алгоритм. Величина сегмента задаётся оператором и должна находиться в пределах: более трёх единичных пикселей, но менее половины размера выбираемой площади изображения. Программой создаётся сегментная матрица изображения, которая затем сравнивается через интервал времени с текущей матрицей изображения. Этот метод разработан для интервального слежения за объектами из одной и той же точки наблюдения
Ключевые слова: КОРРЕЛЯЦИЯ, СРАВНЕНИЕ ИЗОБРАЖЕНИЙ, СЕГМЕНТЫ, ПИКСЕЛИ
UDC 621.64 Technical sciences
METHOD AND MODE OF COMPARISON OF THE PRIMARY IMAGE WITH THE MODEL BY MEANS OF SEGMENTATION AND PIXEL CALCULATION
Kushnir Nadezhda Vladimirovna
senior lecturer in the Department of information
systems and programming
RSCI-SCIENCE INDEX SPIN-code=6951-4012
FGBOU VPO «Kuban State Technological University» Krasnndar, Russia
350020, Moscow street, 2, Krasnodar, Russia
The article analyzes intellectual methods of image comparison. We give a brief description of existing methods: metric, topological and stochastic designed to solve this problem, indicating their advantages and disadvantages. This method is based on comparing of images by means of separation of the given domain into segments and calculation of pixels having certain optical density. The illustration example is presented.
A computer program was created to use this method. The value of the segment is given by the operator with following limits: more than 3 single pixels and less than half of chosen square of image. The program makes up a segmental matrix of the image, which is compared in some interval of time to the current matrix. This method is used for interval monitoring of objects from the same point of observation
Keywords: CORRELATION, COMPARISON OF IMAGES, SEGMENT, PIXEL
В работе анализируются типы пространственных фильтров: метрический, топологический и стохастический. Предложен и разработан новый тип, который основан на сегментной обработке подсчета пикселей, и назван сегментной пиксельной корреляцией.
В алгоритме метрической фильтрации вычисляются расстояния между всеми точками сравниваемых изображений. Расстояния между точками могут быть записаны в форме матрицы A размером N xN :
http://ej.kubagro.ru/2015/05/pdf/85.pdf
Научный журнал КубГАУ, №109(05), 2015 года
2
А1 А2 an
А1 0 r 12 r 1N-1 riN
А2 0 r2N-1 r2N f
0 riN
an 0
(1)
где rt] = ^(xi - x. )2 + (yt - y. )2 - евклидово расстояние между точками, уу—
координаты точки. Для определения соответствий между N точками необходимо сравнить матрицы, построенные для двух изображений.
A =A1
Существенным ограничением здесь выступает требование отсутствия больших геометрических искажений изображения, при котором расстояния между парами точек могут сильно меняться. Однако требование ограниченности параллаксов обычно выполняется для большинства стереопар космических и аэрофотоснимков. В тоже время, эти снимки часто отличаются большими размерами, и фактор времени автоматической обработки в этом случае становится критическим. Поэтому метрический фильтр успешно применяется при анализе изображений, полученных способом аэрокосмической съемки.
Топологические отношения между точками более устойчивы к трансформациям изображений. На идее сохранения циклического порядка точек основан метод топологической фильтрации. Для тройки произвольных точек изображения, не лежащих на одной прямой, и соответствующей ей тройке точек изображения функция
(
side( R}v, R2, R3) = sgn
det
3 2 1
xv - xv xv
3 2 1 2
yv - yv yv - yv
(2)
Jy
Принимает значение - 1, если лежит по правую сторону от вектора, направленного от первого вектора, или значение 1, если эта точка лежит по
2
x
v
http://ej.kubagro.ru/2015/05/pdf/85.pdf
Научный журнал КубГАУ, №109(05), 2015 года
3
левую сторону от него. Таким образом, соотношение
side(Rl, R2, R3) = side(r1, R2, R3) означает, что точка и её аналог лежат по ту же сторону от вектора на обоих изображениях. В случае его нарушения можно сделать вывод о неверной привязке одной из точек тройки. Рассмотрев все возможные тройки, можно найти точки, которые с большей вероятностью, чем остальные, привязаны неверно. Несмотря на большую универсальность топологического принципа по сравнению с метрическим, при широко базисной съемке объектов возможны ситуации, когда и он нарушается [8,9].
Метод стохастической фильтрации в задаче поиска соответствий на изображениях стереопары использует наиболее общую модель, задаваемую эпиполярной геометрией съемки в центральной проекции. Общую задачу определения параметров модели по имеющимся данным можно записать следующим образом. Требуется определить вектор параметров такой, что
0 = argminF(W0,
где Q- вектор наблюдений, Д={Д W2,.Д}
F- функция, которая определяет используемую математическую модель.
В данном случае модель задана эпиполярным преобразованием. Алгоритм решения задачи робастной оценки параметров RANSAC (RANdomSAmpleConsensus) определяет параметры модели за счет поиска наилучшей гипотезы 0 среди множества всех возможных гипотез, порожденных исходными данными, при этом выборки исходного множества генерируются случайным образом. После построения и оценки всех порожденных гипотез из них выбирается гипотеза
0=argmax/(Ц0 (3)
0
http://ej.kubagro.ru/2015/05/pdf/85.pdf
Научный журнал КубГАУ, №109(05), 2015 года
4
С наилучшей степенью согласия, которая принимается за результат робастной оценки. Сочетание топологических фильтров с фильтрами на основе RANSAC позволяет реализовать чрезвычайно эффективную схему отбора пар соответствующих точек в достаточно широком диапазоне базисов съемки при большом разнообразии вариантов снимаемых сцен. Высокая надежность такой схемы в сочетании с относительно высокими временными затратами на реализацию, определяют целесообразность ее использования для автоматизации задач [1,2] наземной фотограмметрии, в которой условия съемки сложны, но размер снимков как правило не велик. После формирования набора связующих точек производится уточнение их координат методом субпиксельной корреляции.
При оценке точности используемых алгоритмов производилось их сравнение с результатом ручных измерений [6,7]. Результаты убедительно продемонстрировали превосходство автоматического способа измерений, показав во всех случаях его более высокую точность и значительно более высокую производительность.
В настоящее время используются гибридные модели анализа изображений [3,4,5,10]: в неразрушаемом контроле (НК), медицине, дактилоскопии, где выполняются условия интервальной съемки, где диагностируется та же самая поверхность или объект с одного и того же расстояния одним и тем же прибором.
Для автоматической классификации диагностических изображений разработан метод, используемый для интервальной съемки сравнения изображений, основанный на фрактальном представлении цифровых изображений, позволяющий осуществлять выбор и измерение соответственных точек сегментов на основе выделения, описания и сопоставления количества бинаризированых пикселей в соответствующих сегментах, включающий следующие этапы:
http://ej.kubagro.ru/2015/05/pdf/85.pdf
Научный журнал КубГАУ, №109(05), 2015 года
5
1. Выделение сегментов. Для создания вычисления и формирования информативных признаков на исследуемом изображении, предложен подход, при котором эффект достигается за счет использования информации, полученной от разбиения исследуемого изображения на сегменты со стороной о. Для анализа изображений выделяется представительная область снимка.
2. Для сравнения изображений в двухмерном представлении используется x;j - минимальный элемент, характеризующий градацию оптической плотности (ОП) от 0 до 255, где 0- соответствует черному цвету, а 255 -белому цвету; i=1,..n, j=1,...m, где n,m- число строк и столбцов, по размеру изображения рис. 1.
3. Вводится мера набора данных хч по формуле:
У,,(х ,,,в) =
0, если х, <£ в
1, если х , е в ’
(4)
где в - мера оптической плотности, задаваемая оператором, которую можно менять с шагом 5%.
4. В результате разбиения исходного изображения на сегменты со стороной о получаем общее количество сегментов N(o) на изображении. Для каждого сегмента с номером k вычисляем количество единичных пикселей
n(k )+s-1m(k )+S-1
P = E E У,(Y),k = 1,..N(s), (5)
i=n(k ) j=m(k )
где n(k) и m(k) номер строки и столбца k-го сегмента, у- множество упорядоченных сегментов (квадратов) со стороной о и определенной оптической плотностью. Если о взять равной единице, то сегменты превращаются в единичные пиксели и сегментная обработка вырождается в обработку всего изображения без сегментации. Для практических целей и увеличения скорости обработки сравнения сегментов желательно брать значения о > 3 это условие выбрано из практического опыта и пока
http://ej.kubagro.ru/2015/05/pdf/85.pdf
Научный журнал КубГАУ, №109(05), 2015 года
6
остается без доказательства. Кроме этого ограничения о должна быть кратна в целом отношении какой либо стороне изображения. При различных вариациях в данной работе и программе используется квадратные сегменты, если величина сегментной ячейки не укладывается в размер L выделенной представительной площади изображения, то излишек отбрасывается.
5. Создается матрица сегментных содержаний количества единичных пикселей с указанием строк и столбцов (6).
6. Если это первое изображение в каком-то интервальном слежении, то его можно принять за эталонное и в дальнейшем использовать, сравнивая с текущим, сохраняя его в базе данных (БД). При этом должны быть выполнены условия интервального слежения, т.е. требования к цифровому фотоаппарату или камере или другим диагностирующим приборам.
7. Если это текущее изображение какого- либо объекта интервальной съемки, то находится из БД ее последняя или эталонная матрица и сравнивается с текущей между собой, при этом выполняются пункты 1-5 для текущего объекта.
Способ сравнения следующий:
1. Если это уже не первое изображение данного объекта, то в этом случае сначала выполняются пункты 2-5.
2. Сравниваются матрицы сегментного содержания пикселей: получаем новую матрицу путем деления целых чисел, стоящих в матрицах на одинаковых местах, если количество единичных пикселей не совпадает, то на этом месте записываем значение ноль. Получается матрица, состоящая или из одних единиц, или единиц и нулей.
3. Проводим анализ. Если полученная матрица состоит из одних единиц, то в результате сравнения изменений в изображениях нет.
4. Если в угловых сегментах количество пикселей совпадает, а внутри имеются нули, то это означает, что произошли текстурные
http://ej.kubagro.ru/2015/05/pdf/85.pdf
Научный журнал КубГАУ, №109(05), 2015 года
7
изменения интерфейса изображения. Требуется дальнейшее
исследование этих сегментов. Переходим к 6 пункту.
5. Если в первом угловом сегменте и обрамляющих его сегментах имеются единицы, а в каком либо угловом сегменте имеются нули, то возможны нарушения параллаксов[1] приборов. Требуется проверка и настройка прибора. После этого идем к 1 пункту.
6. Выделяются сегменты, в которых количество единичных пикселей
не совпадают, в результате проводится дополнительный анализ этих сегментов лицом принимающим решение (ЛИР). Принимается
решение: либо проводится дополнительное исследование, либо назначается профилактика.
На рисунке 1 приведен пример изображения с разбиением на ячейки со стороной о= 4, при этом сегменты, не имеющие пикселей, приравниваются к шестнадцати.
Рисунок 1. Пример разбиения исходного изображения
http://ej .kubagro.ru/2015/05/pdf/85.pdf
Научный журнал КубГАУ, №109(05), 2015 года
8
В матрице (6) подсчитано количество единичных пикселей, соответствующее исходному растровому отображению рис.1
1 2 3 4 5
1 6 6 16 6 3
А= 2 5 4 3 5 4
3 4 1 7 4 5
4 3 3 3 16 1
(6)
При сравнении изображений сравнивается матрица (6) с матрицей образца или с предыдущей матрицей этого изображения. Для примера пусть это будет такая матрица (7).
1 2 3 4 5
1 6 6 16 6 3
А1= 2 5 4 3 5 4
3 4 1 7 4 5
4 3 3 3 16 1
(7)
Разделим элементы матрицы А1 на элементы матрицы А, стоящие на одинаковых местах получим матрицу(8).
1 2 3 4 5
1 1 1 1 1 1
P = 2 1 1 1 1 1
3 1 1 1 1 1
4 1 1 1 1 1
(8)
Матрица состоит из одних единиц, а это значит, что изменений в изображении нет.
На основе этих алгоритмов разработана программа, которая существенно облегчает на первом этапе диагноза оценку сравнения изображений и оценку изменений относительно контрольного образца. Программа используется в технологическом процессе наблюдения за выпускающими техническими изделиями (ТИ) с помощью видеокамеры.
http://ej.kubagro.ru/2015/05/pdf/85.pdf
Научный журнал КубГАУ, №109(05), 2015 года
9
Контрольный образец ТИ находится в БД программы и сравнивается с текущим. Программа позволяет:
- вводить изображение контрольного образца;
- вводить изображение опытного образца;
- определять изменения текстуры опытного образца по сравнению с контрольным.
Из главного окна программы можно сделать выбор по контролю за изделием. Ввод данных для обработки изображений представлен в виде последовательного набора диалогов.
Начальный диалог
• Ввод контрольного образца
• Добавление в базу данных
Сравнение изображений контрольного и текущего образца
S Поиск контрольного образца
S Показатель сравнения изображений в % от контрольного S Выделение области отличия S Расчет прогноза
Ввод в базу данных
S Создание новой папки по имени изделия S Присвоение изделию контрольного или текущего имени S Просмотр БД или удаление S Возврат в первоначальное состояние
Базу данных можно вернуть в исходное состояние.
Выводы
1. Применение разрабатываемого математического аппарата позволяет использовать данную работу применительно к широкому кругу задач в технике, медицине и других областях знаний.
2. Одним из критериев диагностической системы данной работы - ранняя выявленная диагностика.
3. В результате интервальной съемки объектов сравнение изображений проводится с помощью программы, т.е. область выбирается на текущем снимке и эталонном - оператором, используя систему координат. Поэтому исключается ошибка сравнения сегментных областей.
http://ej.kubagro.ru/2015/05/pdf/85.pdf
Научный журнал КубГАУ, №109(05), 2015 года
10
Список литературы
1. Грузман И.С., Киричук В.С., Косых В.П., Перетягин Г.И., Спектор А.А. Цифровая обработка изображений в информационных системах: Учебное пособие.-Новосибисрк: Изд-во НГТУ, 2000. - 168.
2. Грузман И.С. Двухэтапная фильтрация бинарных изображений[текст]/И.С. Грузман// Автометрия. 1999, №3.
3. Киричук В.С., Перетягин Г.И. Об установлении сходства фрагментов с эталоном [текст]/Автометрия. 1986. №4. с .83.
4. Королюк И. П. Медицинская информатика[текст]/ И.П. Королюк// Самара, 2012, 61.002(075.8).
5. Орлов А. А. Методы, модели и алгоритмы автоматической обработки снимков для определения дефектов в промышленных изделиях/ Автореф. Соиск. Док. Тех. Наук. Владимир. 2010.-35с.
6. Поройков А.Ю. Анализ метода корреляции фоновых изображений для измерения изгиба металлической поверхности [текст]/ А.Ю. Поройков, Н.М. Скорнякова// Измерительная техника №10, 2010.- с.43-46
7. Поройков А.Ю. Использование преобразования Хафа в задачах 3D калибровки цифровых камер[текст]/ А.Ю. Поройков// Труды конференции ЛИТМБГЭ -2011. Новороссийск. с.88
8. Сысоев О.Е. Мониторинг изменения структуры материалов при циклических нагружениях по сигналам акустической эмиссии[текст]/ О.Е. Сысоев// Научно-техн. Вед. СПбГПУ,№ 1(74) 2009, с.83-89.
9. Шапиро З.Л. Компьютерное зрение [текст]/З.Л. Шапиро, Дж. Стокман//М., из-во: Бином. Лаборатория знаний, 2009 г. 790 с.
10. Gudkov V.U. A topologic approach to user -dependent key extaction from fingerprints/ V.U. Gudkov, O.S. Ushmaev//20th International conference of on patern recognition ICPR 2010: Conf proc.-2010. P.1281-1284.
References
1. Gruzman I.S., Kirichuk V.S., Kosyh V.P., Peretjagin G.I., Spektor A.A. Cifrovaja obrabotka izobrazhenij v informacionnyh sistemah: Uchebnoe posobie.-Novosibisrk: Izd-vo NGTU, 2000. - 168.
2. Gruzman I.S. Dvuhjetapnaja fil'tracija binarnyh izobrazhenij[tekst]/I.S. Gruzman// Avtometrija. 1999, №3.
3. Kirichuk V.S., Peretjagin G.I. Ob ustanovlenii shodstva fragmentov s j etal onom [tekst]/Avtometrij a. 1986. №4 .s.83.
4. Koroljuk I. P. Medicinskaja informatika[tekst]/ I.P. Koroljuk// Samara, 2012, 61.002(075.8).
5. Orlov A.A. Metody, modeli i algoritmy avtomaticheskoj obrabotki snimkov dlja opredelenija defektov v promyshlennyh izdelijah/ Avtoref. Soisk. Dok. Teh. Nauk. Vladimir. 2010.-35s.
6. Porojkov A.Ju. Analiz metoda korreljacii fonovyh izobrazhenij dlja izmerenija izgiba metallicheskoj poverhnosti [tekst]/ A.Ju. Porojkov, N.M. Skornjakova// Izmeritel'naja tehnika №10, 2010.- s.43-46
7. Porojkov A.Ju. Ispol'zovanie preobrazovanija Hafa v zadachah 3D kalibrovki cifrovyh kamer[tekst]/ A.Ju. Porojkov// Trudy konferencii LITMBGJe -2011. Novorossijsk. s.88
http://ej.kubagro.ru/2015/05/pdf/85.pdf
Научный журнал КубГАУ, №109(05), 2015 года
11
8. Sysoev O.E. Monitoring izmenenija struktury materialov pri ciklicheskih nagruzhenijah po signalam akusticheskoj jemissii[tekst]/ O.E. Sysoev// Nauchno-tehn. Ved. SPbGPU,№ 1(74) 2009, s.83-89.
9. Shapiro Z.L. Komp'juternoe zrenie [tekst]/Z.L. Shapiro, Dzh. Stokman//M., iz-vo: Binom. Laboratorija znanij, 2009 g. 790 s.
10. Gudkov V.U. A topologic approach to user -dependent key extaction from fingerprints/ V.U. Gudkov, O.S. Ushmaev//20th International conference of on patern recognition ICPR 2010: Conf. proc.-2010. P.1281-1284.
http://ej.kubagro.ru/2015/05/pdf/85.pdf
