CC BY
131
Метод предварительного кодирования изображений в корреляционно-экстремальных системах
Цветков О.В., Тананыкина Л.В.
ОБРАБОТКА ИЗОБРАЖЕНИЙ, РАСПОЗНАВАНИЕ ОБРАЗОВ
МЕТОД ПРЕДВАРИТЕЛЬНОГО КОДИРОВАНИЯ ИЗОБРАЖЕНИИ В КОРРЕЛЯЦИОННО-ЭКСТРЕМАЛЬНЫХ СИСТЕМАХ
О.В. Цветков1, Л.В. Тананыкина2
1 Федеральное государственное автономное образовательное учреждение высшего образования «Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина)»,
Санкт-Петербург, Россия,
2 Федеральное государственное унитарное предприятие «Государственный научно-исследовательский институт прикладных проблем», Санкт-Петербург, Россия
Аннотация
Цель исследования - отыскание метода предварительной обработки изображений для применения корреляционно-экстремального метода сопоставления разнородных изображений в системах технического зрения. Предложен теоретико-информационный метод предобработки изображений, основанный на энтропийном кодировании. Проведены исследования данного метода, которые показали, что изображения одной и той же сцены, полученные в различных условиях, после предварительного кодирования демонстрируют более высокий коэффициент корреляции, чем исходные.
Ключевые слова: техническое зрение, энтропия, корреляция, препроцессинг изображений.
Цитирование: Цветков, О.В. Метод предварительного кодирования изображений в корреляционно-экстремальных системах / О.В. Цветков, Л.В. Тананыкина // Компьютерная оптика. - 2015. - Т. 39, № 5. - С. 738-743. - DOI: 10.18287/0134-2452-2015-39-5-738-743.
Введение
Корреляционно-экстремальные системы находят применение в различных областях техники. Преимуществами корреляционного анализа является то, что данная технология уже отработана, имеются быстрые алгоритмы вычисления корреляции и существуют аппаратно реализованные решения. На сегодняшний день большой интерес представляют простые и дешёвые корреляционные зрительные системы, реализованные в виде спецпроцессоров.
В данной статье мы поставили задачу использовать корреляционный метод сравнения изображений, но в сложных условиях, а именно при сопоставлении разнородных изображений, зарегистрированных различными датчиками.
Для решения проблем сопоставления нескольких изображений сцены, полученных в разных условиях или даже различающихся по типу представления, в работе предложен теоретико-информационный метод предварительного кодирования изображений. На различных примерах продемонстрирована его эффективность при использовании совместно с корреляционно-экстремальным алгоритмом.
1. Корреляционный анализ изображений.
Постановка задачи
Одной из типовых задач технического зрения является поэлементное сравнение двух изображений одного и того же объекта, зарегистрированных различными датчиками, или двух изображений одного и того же объекта, полученных с помощью одного датчика, но в разное время. Чтобы осуществить такое сравнение, необходимо выполнить взаимную привязку этих изображений и таким образом скорректировать относительные пространственные сдвиги, различия в усилении, смещения, вызванные поворотом, а
также геометрические искажения и искажения яркости каждого изображения [1 - 3].
Методы сравнения изображений можно разбить на две группы: экстремальные методы и методы, в которых сравниваются характерные элементы изображений [4].
При сравнении однотипных изображений (чаще всего это серия снимков) применение методов выделения и анализа характерных элементов является предпочтительным из-за их меньшей вычислительной сложности. Для сравнения же разнородных изображений применение методов данной группы нецелесообразно, т. к. на изображениях одной и той же сцены выделяются различные характерные элементы.
Экстремальный способ взаимной привязки (совмещения) пары функций состоит в том, что формируется величина, измеряющая корреляцию между этими функциями, и находится положение максимума функции корреляции.
Нормированная взаимная корреляционная функция (НВКФ) Rxy двух случайных полей X и Y рассчитывается по формуле:
E[X, j - EX, j ] • \Ym n - EYmn ]
R(i, j; m, n) = -
• DY_
(1)
Здесь E - обозначение математического ожидания, D - обозначение дисперсии.
Рассмотрим случай, в котором два изображения, I и I’, сдвинуты относительно друг друга по вертикали и горизонтали (см. рис. 1).
Нормированная взаимная корреляционная функция R(I, I') приведена на рис. 2. Смещение максимума НВКФ относительно центра определяет смещение изображений относительно друг друга.
В данном случае I и I' являются частями одного изображения, на практике же возникают задачи, ко-
738
Компьютерная оптика, 2015, том 39, №5
Метод предварительного кодирования изображений в корреляционно-экстремальных системах
Цветков О.В., Тананыкина Л.В.
гда необходимо сравнивать либо различные изображения, полученные от одного источника, но в разное время, либо изображения от разных источников.
Рис. 1. Пример смещённых изображений
Рис. 2. НВКФ изображений, имеющих сдвиг
Приведём пример. Допустим, нам необходимо сопоставить аэрофотоснимок топографической карте той же местности (рис. 3, источник изображений -«Яндекс.Карты »).
Рис.3. Изображения: а) карта; б) снимок
На рис. 4 приведена взаимная корреляционная функция данных изображений.
Из рисунка видно, что функция не имеет максимума, указывающего на сдвиг изображений (в данном случае сдвиг нулевой). Данный пример показывает, что корреляционно-экстремальный метод имеет ограничения по типам сравниваемых изображений.
Поэтому представляет значительный практический интерес задача адаптации корреляционно-экстремального метода для использования при сравнении разнородных изображений. В своём исследовании мы предлагаем для решения данной задачи метод предобработки изображений, основанный на энтропийном кодировании, в частности, замене изображения картой его локальной энтропии, которая, как мы покажем ниже, значительно более устойчива к влиянию исследуемых нами факторов, чем карта яркостей.
Рис. 4. НВКФ изображений, приведённых на рис. 3
2. Метод предобработки изображений на основе энтропийного кодирования
Решение проблемы достигается применением метода предобработки изображений на основе учёта имеющихся в изображении внутренних статистических связей между его элементами. Данное решение основано на предположении, что статистически связанные между собой элементы в изменяющихся условиях получения изображения остаются статистически связанными. Изображение рассматривается как реализация случайного процесса [7, 8].
Для выявления внутренних статистических связей в данных любой природы используются теоретикоинформационные методы. В применении к решению поставленной задачи предлагается осуществить энтропийное кодирование изображений, а именно вычислить карту локальной энтропии для каждого из исходных изображений.
Локальная энтропия (Hn) характеризует степень неожиданности наступления n-го события: чем меньше его априорная вероятность, тем выше его локальная энтропия.
Определим, что будет пониматься в данном случае под «событием» и как вычислить локальную энтропию:
- для каждого отсчёта изображения рассматривается его окрестность - фрагмент размером m xn;
- вычисляется энтропия каждого фрагмента [9]:
m n
H (*) = -Z Z P (e ,,) log( f(e,,,)); (2)
i=1 J=1
- событием (ehJ) считается конкретное значение яркости пиксела, вероятность его {p(elJ)) оценивается подсчётом количества вхождений этого значения по всему фрагменту размером m*n и делением на количество пикселов во фрагменте.
Компьютерная оптика, 2015, том 39, №5
739
Метод предварительного кодирования изображений в корреляционно-экстремальных системах
Цветков О.В., Тананыкина Л.В.
Выходное изображение формируется путём замены каждого отсчёта величиной, вычисляемой по формуле локальной энтропии (то есть строится карта локальной энтропии).
На рис. 5 приведены карты локальной энтропии изображений, приведённых на рис. 3.
Рис. 5. Карты локальной энтропии: а) карты (изображение приведено в негативе по просьбе типографии); б) снимка
Вид корреляционной функции (КФ) карт локальной энтропии приведён на рис. 6. Из рисунка видно, что корреляционная функция имеет ярко выраженный максимум, соответствующий нулевому сдвигу.
Рис. 6. НВКФ карт локальной энтропии изображений
3. Тестирование метода
Аналогичные результаты были получены при использовании других тестовых изображений (карты и аэрофотоснимки, снимки в зимнее и летнее время, оптические и инфракрасные снимки).
Пример 1
В первом примере, так же как и в предыдущем, в качестве тестовых изображений использовались топографическая карта и аэрофотоснимок одной и той же местности (рис. 7а и 7б, источник изображений -«Яндекс .Карты»).
Была вычислена взаимная корреляция двух исходных изображений, вид НВКФ приведён на рис. 7 в. Из рисунка видно, что корреляционная функция имеет множество локальных максимумов.
Рис. 7. Пример 1: а) карта, б) снимок, в) НВКФ (а) и (б), г) карта локальной энтропии топографической карты (изображение приведено в негативе по просьбе типографии), д) карта локальной энтропии снимка, е) НВКФ (г) и (д)
Поиск максимума такой «негладкой» функции возможен методом прямого перебора либо методами итерационного приближения с малым шагом при-
ближения, что ведёт к большим вычислительным затратам. На рис. 7г, д приведены карты локальной энтропии изображений, а на рис. 7e - их КФ.
740
Компьютерная оптика, 2015, том 39, №5
Метод предварительного кодирования изображений в корреляционно-экстремальных системах
Цветков О.В., Тананыкина Л.В.
Пример 2
Пример 3
В данном примере рассмотрим изображения одной и той же местности, снятые в разное время года (рис. 8, источники - «Яндекс.Карты» и «Google Maps»). 4
В третьем примере мы сравнивали изображения одной и той же сцены, снятой с помощью обычной и тепловизионной камер (рис. 9).
Рис. 8. Пример 2: а) снимок летом, б) снимок зимой, в) НВКФ (а) и (б), г) карта локальной энтропии летнего снимка, д) карта локальной энтропии зимнего снимка, е) НВКФ (г) и (д)
-0,47
-0,49
-0,51
-0,53
-0,55
-0,57
24
24 12
0 -12
-24
-24
Рис. 9. Пример 3: а) кадр с видеокамеры, б) кадр с тепловизора, в) НВКФ (а) и (б), г) карта локальной энтропии кадра с видеокамеры, д) карта локальной энтропии кадра с тепловизора, е) НВКФ (г) и (д)
4. Обсуждение результатов
На данных примерах мы убедились, что изображения после предобработки демонстрируют более
высокий коэффициент корреляции (см. таблицу) и более гладкую НВКФ, чем исходные изображения. Также из примера 3 видно, что метод предобработки
Компьютерная оптика, 2015, том 39, №5
741
Метод предварительного кодирования изображений в корреляционно-экстремальных системах
Цветков О.В., Тананыкина Л.В.
на основе локальной энтропии инвариантен к инверсии яркости изображений (в данном примере - фрагментов изображений).
Табл. Значения максимумов НВКФ
Изображения без предобработки Карты локальной энтропии изображений
Пример 1 0,18 0,35
Пример 2 0,63 0,83
Пример 3 -0,51 0,67
Таким образом, энтропийная предобработка изображений может быть рекомендована для использования при сопоставлении изображений корреляционно-экстремальным методом по двум причинам:
- она приводит к повышению корреляции между разнородными изображениями;
- корреляционная функция карт локальной энтропии более гладкая, чем корреляционная функция исходных изображений, за счёт чего можно значительно уменьшить объём вычислений по поиску экстремума.
Можно предположить, что данные свойства связаны с тем, что карта локальной энтропии не содержит мелких деталей, имеющихся на изображении, и попробовать добиться того же эффекта, предварительно убрав мелкие детали на исходных изображениях при помощи фильтра верхних частот (как правило, данный вид предварительной обработки и применяется для сопоставления снимков корреляционным методом). Для сравнения приведём «разрез» КФ по оси ОХ и оси ОУ для трёх примеров, рассмотренных выше (рис. 10 - 12). Серой сплошной линией обозначена КФ исходных изображений, чёрным пунктиром - КФ сглаженных изображений, чёрной сплошной линией - КФ карт локальной энтропии изображений.
Как видно из рис. 9в, е (пример 3), на заданном интервале смещений по x и по у НВКФ исходных изображений отрицательна, а НВКФ карт локальных энтропий положительна. Поэтому для более наглядного отображения корреляционные функции на рис. 12 приведены на отдельных графиках.
Рис. 10. Пример 1: а) «разрез» по оси OX, б) «разрез» по оси OY (серый сплошной - исходные изображения, чёрный пунктир - сглаженные изображения, чёрный сплошной -карты локальной энтропии изображений)
Сгладив исходные изображения, удалось несколько увеличить модуль коэффициента корреляции, а также «сгладить» КФ, но не в такой степени, как этого позволяет добиваться энтропийная предобработка. Из вышеприведённых рисунков видно, что без предварительного кодирования решение задачи совмещения изображений было некорректным (пример 3,
рис. 12) либо точность решения не изменилась после кодирования, зато увеличился коэффициент корреляции (примеры 1 и 2, рис. 10 и 11).
Рис. 11. Пример 2: а) «разрез» по оси OX, б) «разрез» по оси OY (серый сплошной - исходные изображения, чёрный пунктир - сглаженные изображения, чёрный сплошной - энтропии изображений)
Рис. 12. Пример 3: а) «разрез» по оси OX (исходные
и сглаженные изображения), б) «разрез» по оси OХ (энтропии), в) «разрез» по оси OX (исходные и сглаженные изображения), г) «разрез» по оси OY (энтропии) (серый сплошной - исходные изображения, чёрный пунктир -сглаженные изображения, чёрный сплошной - энтропии изображений)
Заключение
В статье была поставлена задача использовать корреляционный метод сравнения изображений при сопоставлении разнородных изображений. Проведённые исследования метода предварительной обработки на основе локальной энтропии показали, что изображения одной и той же сцены, полученные в различных условиях, после предобработки демонстрируют более высокий и стабильный коэффициент корреляции, чем исходные. Разработанный метод препроцессинга позволил эффективно решать задачи автоматического совмещения изображений следующих типов:
- аэрофотоснимков, снятых в различное время;
- аэрофотоснимков и топографических карт;
- оптических и инфракрасных снимков.
Таким образом, применение разработанного метода позволит существенно расширить область приме-
742
Компьютерная оптика, 2015, том 39, №5
Метод предварительного кодирования изображений в корреляционно-экстремальных системах
Цветков О.В., Тананыкина Л.В.
нения корреляционно-экстремального метода сопоставления изображений.
Литература
1. Антюфеев, В.И. Сравнительный анализ алгоритмов совмещения изображений в корреляционно-экстремальных системах навигации летательных аппаратов / В.И. Антюфеев, В.Н. Быков // Авиационно-космическая техника и технология. - 2008. - № 1(48). - C. 70-74. -ISSN 1727-7337.
2. Визильтер, Ю.В. Морфологические коэффициенты корреляции форм изображений для задач комплексиро-вания многоспектральной видеоинформации / Ю.В. Визильтер, О.В. Выголов, А.Ю. Рубис // Техническое зрение в системах управления. Сборник трудов научнотехнической конференции, 2012. - С. 250-257.
3. Щербинин, В.В. Построение инвариантных корреляционно-экстремальных систем навигации и наведения летательных аппаратов / В.В. Щербинин. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. - 230 с.
4. Zitova, B. Image registration methods: a survey / B. Zitova,
J. Flusser // Image and Vision Computing. - 2003. -Vol. 21. - P. 977-1000. - ISSN 0262-8856.
5. Сырямкин, В.И. Корреляционно-экстремальные радионавигационные системы / В.И. Сырямкин, В.С. Шидловский. -Томск: Изд-во Томского университета, 2010. - 316 с.
6. Вероятность и математическая статистика: энциклопедия / под ред. Ю.В. Прохорова. - М.: Большая Российская энциклопедия, 1999. - 910 с.
7. Прэтт, Э. Цифровая обработка изображений / Э. Прэтт. - М.: Мир, 1982. - Т. 1. - 312 с.
8. Kullback, S. Information theory and statistics / S. Kullback. - Gloucester: PeterSmith, 1978. - 399 p.
9. Гонсалес, Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. - пер. с англ - М.: Техносфера, 2005. - 1072 с.
10. Цветков, О.В. Простая высокоинформативная метрика для оценки качества изображений в биомедицинских системах / О.В. Цветков, Л.В. Поливанайте, С.А. Куценко, М.В. Репина // Биотехносфера. - 2014. - № 1-2(31-32). - С. 55-57. - ISSN 2073-4824.
References
[1] Antjufeev VI, Bykov VN. Comparative analysis of image superposition algorithms at correlation-extremal aircraft navigation systems [In Russian]. Aerospace Engineering and Technology 2008; 1(48): 70-4.
[2] Vizilter YuV, Vigolov OV, Rubis AYu. Morphological shape correlation for multispectral image fusion [In Russian]. Computer Vision in Control Systems. Proceedings of the scientific-technical Conference 2012; 250-7.
[3] Scherbinin VV. Developing of invariant correlation-extremal systems for aircraft navigation and pointing [In Russian]. Moscow: MGTU Publisher; 2010.
[4] Zitova B, Flusser J. Image registration methods: a survey. Image and Vision Computing 2003; 21: 977-1000.
[5] Syrjamkin VI, Shidlovsky VI. Correlation-extremal radionavigation systems [In Russian]. Tomsk: Tomsky University Publisher; 2010.
[6] Prokhorov YV (ed.). Probability and mathematical statistics: encyclopaedia [In Russian]. Moscow: Bolshaya Ros-siyskaya encyclopaedia Publisher; 1999.
[7] Pratt WK. Digital image processing. New York: John Wiley & Sons, Inc; 1978.
[8] Kullback S. Information theory and statistics. Gloucester: PeterSmith; 1978.
[9] Gonzalez RC, Woods RE. Digital Image Processing. New Jersey: Prentice Hall; 2002.
[10] Tsvetkov OV, Polivanayte LV, Kutsenko SA, Repina MV. Simple highly informative image quality metrics in biomedical systems [In Russian]. Biotechnosphere 2014; 1-2(31-32): 55-7.
A PREPROCESSING METHOD FOR CORRELATION-EXTREMAL SYSTEMS
O.V. Tsvetkov 1, L.V. Tananykina 2
1 Saint Petersburg State Electrotechnical University «LETI», St. Petersburg, Russia,
2 Federal State Unitary Enterprise «State Research Institute of Applied Problems», St. Petersburg, Russia
Abstract
In this paper we discuss an image preprocessing method for different shooting conditions. The method can be applied in machine vision systems using a correlation-extremal mapping method.
An information-theoretic method for image preprocessing based on entropy analysis is offered. The investigation of the method has shown that, when preprocessed, same-scene images obtained under different conditions have a more stable correlation coefficient than the original images.
Keywords: machine vision, entropy analysis, correlation, image preprocessing.
Citation: Tsvetkov OV, Tananykina LV. A preprocessing method for correlation-extremal systems. Computer Optics 2015; 39(5): 738-43. DOI: 10.18287/0134-2452-2015-39-5-738-743.
Сведения об авторах
Цветков Олег Викторович, доктор технических наук, профессор кафедры БТС ФГБОУ ВО «Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина)». Область научных интересов: теория информации, инфокоммуникационные етстемы, оптимизация цифровых систем.
E-mail: ovts@bk.ru .
Oleg Viktorovich Tsvetkov, Ph.D., Dc.Sci.; professor of Biotechnical Systems department of Saint Petersburg State Electrotechnical University «LETI». Research interests: information theory, infocommunication systems, digital systems optimization.
Тананыкина Ларета Валерьевна, сотрудник ФГУП «ГосНИИПП». Область научных интересов: обработка изображений, цифровая обработка сигналов.
E-mail: lareta_p@mail.ru .
Lareta Valerjevna Tananykina, FGUP «GosNiiPP» research worker. Research interests: image processing, digital signal processing.
Поступила в редакцию 18 июня 2015 г. Окончательный вариант - 4 ноября 2015 г.
Компьютерная оптика, 2015, том 39, №5
743
