CC BY
27УДК 681.518.3
ОЦЕНКА КАЧЕСТВА АЛГОРИТМА СШИВКИ ИЗОБРАЖЕНИЙ, ОСНОВАННОГО НА МЕТОДЕ ФУНКЦИОНАЛИЗАЦИИ
Б. В. Мартемьянов
Самарский государственный технический университет 443100, Самара, ул. Молодогвардейская, 244
Рассматривается оценка качества алгоритма совмещения («сшивки») изображений подстилающей поверхности, выполненного с помощью программного обеспечения, реализующего совмещение изображений методом функционал изации. Оценка проводится путем тестирования алгоритма на реальных изображениях с искусственно синтезированным швом с заданными для каждой строки изображения параметрами вектора сшивки.
Кчючевые слова: обработка изображений, сшивка изображений, метод функционали-зации.
Введение
В статье рассматриваются некоторые научно-практические результаты решения задачи «сшив™» полос изображений, получаемых космическим аппаратом (КА) дистанционного зондирования Земли.
Рассматриваемая задача «сшивки» порождена особенностями бортовой аппаратуры, регистрирующей изображения подстилающей поверхности.
Оптическая система КА формирует цифровые растровые изображения с помощью матриц приборов с зарядовой связью (ПЗС-матриц), состоящих из нескольких секций, расположенных в фокальной плоскости объектива, как показано на рис. 1.
Рис, 1, Ступенчатое расположение секций ПЗС-матриц
С ПЗС-матриц считываются строки изображения. Стрелка на рис, 1, ориентированная строго перпендикулярно секциям матриц, указывает оптимальное направление вектора V скорости движения оптической системы в процессе фотографирования подстилающей поверхности.
Отдельные секции ПЗС-матрицы формируют полосы оцифрованных изображений, Смежные секции расположены с перекрытием в несколько пикселей (ячеек матриц) в области смежности их концов. В результате смежные полосы изображений содержат по своим краям изображения одних и тех же участков местности. Поэтому при формировании из отдельных полос одного кадра необходимо выполнить сшивку этих полос: удалить повторяющиеся фрагменты изображений.
При неизменном и оптимальном направлении вектора вскорости движения оптической системы задача сшивки решается отбрасыванием определенного количест-
Мартемьянов Борис Викторович - доцент кафедры «Вычислительная техника», к.т.н., доцент
ва пикселей, например, с левого края каждой строки каждой полосы изображения. Но в процессе съемки этот вектор нестабилен из-за неточности отработки программного движения и наличия случайных эволюции ориентации КА относительно собственного центра масс. В результате на каждом данном стыке смежных полос в разных соответствующих строках изображений ширина области перекрытия сшиваемых изображений различна. Кроме того, взаимный сдвиг изображений вдоль шва также не постоянен. Все это делает задачу склеивания, сшивки изображений нетривиальной.
1. Результаты обработки реальных швов
Автором совместно с П.К. Кузнецовым были разработаны программные средства (ПС), в которых реализован метод функционализации [1-4] применительно к задаче сшивки изображений. Ввиду того, что параметры сшивки изображений изменяются, как отмечено выше, от строки к строке, требуется вычислять параметры множества локальных сшивок. В разработанных ПС результат каждого локального совмещения (сшивки) изображений фиксируется в виде строки протокола сшивки изображений (ПСИ), ПСИ представляет собой таблицу значений двух компонент (координат) вектора сшивки, которые вычисляются с точностью до доли пикселя. Такую точность будем называть субткселъиой. При этом сшиваемые изображения рассматриваются как «правое» и «левое». Структура ПСИ принята такой, что его отдельный вектор задает смещение конкретной строки правого изображения относительно левого изображения.
Корректность вычисленных ПСИ для реальных швов контролировалась путем ручного сведения изображений в соответствии с данными ПСИ, Качество сведения контролировалось как чисто визуально на увеличенных в несколько раз изображениях фрагментов сшиваемых изображений, так и на основе сравнения функций взаимной корреляции этих фрагментов в окрестностях точек сведения, записанных в ПСИ, Поскольку ПСИ вычислялись с субпиксельной точностью, при их контроле фрагменты изображений при ручном сведении смещались с шагом 1/8 доли пикселя. Не всегда результаты сведения, лучшего с позиций визуального контроля, точно совпадали с локальным максимумом функции корреляции, но в подавляющем большинстве случаев оба результата расходились только на доли пикселя и попадали в окрестность данных ПСИ, полученного автоматически с точностью долей пикселя, Это говорит о достаточно высокой точности ПСИ, вычисляемых алгоритмом, реализующим метод функционализации, и, следовательно, о корректности метода и его программно-алгоритмической реализации. Следует отметить, что метод функционализации демонстрирует в десять и более раз лучшее быстродействие в сравнении с корреляционным методом совмещения изображений, и в отличие от корреляционных методов мало чувствителен к наличию регулярных структур в изображениях.
Примененный визуальный контроль точности вычисленных ПСИ весьма трудоемок. Поэтому для получения лучшего представления о точностных свойствах использованного алгоритма были поставлены эксперименты с искусственно созданными швами, для которых известны точные значения векторов сшивки каждой из строк изображения.
2. Эксперименты с искусственными швами
2.1. Схема получения и задача сшивки искусственных полос изображений
В реальных швах (зонах перекрытия изображений) пиксели сшиваемых изображений сформированы разными секциями ПЗС-матриц и поэтому не могут быть идеальными копиями друг друга. В описываемых экспериментах швы создавались искусственно вырезанием из одного изображения двух взаимно перекрывающихся полос изображений. В результате источником соответствующих пикселей сшиваемых полос служили одни и те же пиксели исходного изображения, что, конечно, значительно упрощало задачу сшивки, поскольку устраняло влияние на процесс сшивки различий в случайном шуме, присущих разным ПЗС-ячейкам.
Искусственные полосы изображений создавались по следующей технологии,
1, На исходном изображении задавались границы двух полос (рис. 2): левой (сплошные линии) и правой (пунктирные линии).
2. Содержимое исходного изображения в пределах заданных границ полос преобразовывалось в отдельное изображение двух полос с прямыми границами, в котором строка пикселей правой полосы являлась продолжением строки пикселей левой полосы.
На рис. 2 стрелки между двумя изображениями показывают переход заданных граничных линий полос с исходного изображения на изображения полос. При этом левая (L \ - left) искусственная полоса повторяла фрагмент исходного
изображения без искажений. Правая (R - right) искусственная полоса - результат выпрямления ее кривых границ, изображенных на рис. 2 пунктирной линией. В итоге содержимое полосы R построчно повторяло содержимое фрагментов соответствующих строк исходного изображения, но с взаимным смещением между строками. Поэтому правая граница полосы Z, являясь прямой на исходном изображении, в полосе R становилась криволинейной (сплошная линия в полосе Л), повторяя заданные границы правой полосы зеркально.
Для простоты подготовки изображений искусственных полос их взаимный вертикальный сдвиг брался равным нулю по всем строкам изображений.
Задача сшивки искусственных полос изображений решалась как задача автоматического вычисления с субпик-сельной точностью ПСИ: таких построчных сдвигов изоРис 2 Получение ис- бражения полосы R влево (на рис. 2 белые стрелки), при
куссгвенных полос которых левая граница полосы R оказывалась совмещенной
изображений с пунктирной кривой в полосе Z, задающей положение ле-
вой границы полосы R на исходном изображении. Таким
образом, в ПСИ фиксировался результат восстановления положения левой границы правой полосы на исходном изображении.
2.2. Вычисление яркостей пикселей искусственной полосы И
Форма искусственного шва задавалась аналитически в виде затухающих гармонических колебаний (1):
х(у) =-10+ сон(2хЮ6пу), (1)
гдеу- номер строки изображения: 0 <у < к; 90 ООО < к < 230 ООО; х(у) - координата положения левой границы правой полосы относительно правой границы левой полосы в пикселях.
Конкретные числовые параметры затухающих гармонических колебаний были выбраны из соображений получения большей амплитуды колебаний и большей скорости изменения шва, чем наблюдалось на реальных швах, что создавало заведомо более сложные условия для решения задачи сшивки.
Задача восстановления положения левой границы полосы Я относительно правой границы полосы Ь решалась как задача восстановления с субпиксельной точностью значений функции х(у) для заданных значений номеров строк.
Пиксели полосы Ь брались из исходного изображения без изменений. При построчном вычислении кодов яркостей пикселей полосы К для каждого целого значения у, номера строки изображений вычислялось точное значение координаты х(у). Затем на строку .у, исходного изображения начиная с точки (х(у0!>уд накладывалась строка пикселей формируемой полосы К (рис, 3): пиксели исходного изображения выделены жирными границами, а пиксели полосы К - пунктирными границами и заливкой. Координаты х(уд отсчитывались от правой границы самого правого пикселя полосы Ъ, которой соответствует значение ;с=0 (рис, 3),
Рис.З. Взаимное расположение строк полосы Я и пикселей полосы Я относительно пикселей исходного изображения
Видно, что строки пикселей полосы Я сдвинуты относительно друг друга, и каждый новый пиксель накрывает доли двух соседних в строке пикселей исходного изображения. Поэтому каждый пиксель полосы Я формировался из долей таких соседних пикселей в соответствии с соотношением (2), которое эквивалентно линейной интерполяции яркости между кодами яркости, соответствующими двум соседним пикселям исходного изображения:
ЩХК, ус/ = Е(хк +хд, у0х$](у0 + Е(х, +1 +х„ у(!х$&(),
(2)
91
где хх - координата х пикселя полосы R: 0 < xR < 49 (ширина полосы = 50 пикселей); RfXR> уд - яркость пикселя полосы /?; Е{Хк+хк> у) - яркость пикселя исходного изображения с координатой х, отсчитываемой от точки -0,5 оси абсцисс: от центра правого пикселя левой полосы (см. рис, 3); х/, = ) х(у,) [, где операция ]а[ означает отсечение дробной части числа a; S/(y,), S/yJ - площади левой и правой долей пикселя полосы R, на которые он разрезается границей между соседними в строке пикселями исходного изображения; Sj(yi) = frac(x(yj), где /гас - операция выделения дробной части аргумента;
Из рис. 3 видно, что площади ¿/т/ и 5/у,) меняются от строки к строке, но сохраняют постоянные значения в пределах данной строки,
2,3. Результаты экспериментов по восстановлению искусственных швов
На рис. 4 приведены:
а) два практически совпавших графика: искусственного шва (1), заданного на изображении вида рис, 2, и вычисленного ПСИ, представляющего собой таблицу восстановленных значений функции х(у), заданную выражением (1);
11 Пример искусственного шва и протокола его сшивки Номер строки
и 0.. .... . . . ,
1 о ооооооооооооооооо 1*20 0 0 о о о о о о о о о о о о о о
Д ‘¡5 00 М 03 О СО « СО Ю СО П 00 О О « » (•}
х{у) # -10 + ee4'pecray C0$(2rW*y)t где у - НОНТ строки
Искусственный шок
Ш !
X .14 ‘-
со
а
Абсолютная ошибка протокола сшивки по X составляющей (вдоль строки изображения) вектора сшивки
Рис,4, Пример графика ПСИ для искусственного шва и его ошибок
б) ошибка ПСИ в виде абсолютного различия двух графиков с рис, 4 а; линия тренда (светлая) высокочастотной составляющей ошибки ПСИ и график функции Ду) (3) (полужирная черная линия), полученной на основе дифференцирования уравнения искусственного шва (1), достаточно точно совпадающий с линией тренда.
Т(у) = -8.0х10-Л-“™Ш1>>5ш<2х10-*71(у+5000)). (3)
В приведенном примере ошибка ПСИ не превосходит по абсолютному значению 0,05 пикселя. Это типичный результат, полученный в экспериментах с искусственными швами. В худших случаях абсолютное значение ошибки ПСИ не превышало 0,12 пикселя.
На примере рис, 4 видно, что в ошибке ПСИ присутствуют низкочастотная и высокочастотная составляющие. Из сопоставления (см. рис. 4) графиков восстановленного шва и ошибок ПСИ видно, что низкочастотная составляющая ошибок ПСИ коррелирована с производной по координате у графика шва: наибольшие ошибки ПСИ соответствуют участкам графика шва с наибольшим значением производной; на участках прохождения графика шва через локальные экстремумы низкочастотная составляющая ошибки практически равна нулю. Это указывает на существование скоростной динамической ошибки в восстановленном шве. Скоростная ошибка вызвана осреднением видеоданных внутри окон анализа, использованных при совмещении изображений [4], и пропорциональна скорости изменения графика шва.
На график ошибок ПСИ наложена линия его тренда (светлая кривая на рис. 4 б), задающая низкочастотную составляющую графика ошибок ПСИ, а также линия Г(у), заданная выражением (3), полученным в результате подбора некоторых параметров производной от соотношения (1), Видно, что линия Т(у) достаточно точно приближает линию тренда. Это подтверждает замеченную из сравнения графиков коррели-рованность низкочастотной составляющей ошибки ПСИ с производной по координате V графика искусственного шва.
На рис. 5 приведена гистограмма распределения амплитуд высокочастотной составляющей ошибки ПСИ относительно линии тренда по интервалам ошибок. Более 80% ошибок имеют амплитуду менее 0,01 пикселя.
Высокочастотные колебания ошибки ПСИ вызваны несколькими факторами:
- принятыми условиями останова итерационного процесса вычисления параметров вектора сшивки;
- погрешностями вычисления интегралов, входящих в математическую формулировку метода функционализации изображений [1-4];
- методическими погрешностями вычисления кодов яркостей пикселей при пересчете по линейному закону изменения яркости (2) каждого пикселя изображения на новую, смещенную на доли пикселя, сетку дискретизации изображения.
Распределение высокочастотной составляющей ошибок по интервалам
амплитуд ошибок 1
60
| д т 30 О | 20-
и Ю-
и
ам
И0. .0,005 |
• 0,005-0,010
• 0,010-0,015
• 0,015-0,020 П 0,020-0,025
«ж
Рис.5. Гистограмма частот отклонения оши(5ки сшивки от линлитренда
Заключение
Высокая точность, демонстрируемая реализованным алгоритмом на примерах вычисления протоколов сшивки искусственных швов, говорит о корректности получаемых протоколов и достоверности результатов обработки реальных швов. При этом более тщательной проработки требует проблема останова итерационного процесса, используемого при совмещении изображений [4].
Высокочастотная составляющая ошибок протокола сшивки реальных швов является случайной и, как показывают проведенные эксперименты, имеет близкое к нулю математическое ожидание. Поэтому фильтрация высокочастотных составляющих ПСИ должна повысить достоверность восстановления параметров реальных швов. Вопрос о выборе параметров фильтра высоких частот здесь не обсуждается и является предметом дальнейших исследований.
Факт наличия скоростной ошибки в низкочастотной составляющей ошибки ПСИ, выявленный по результатам обработки искусственных швов, позволяет локализовать места наиболее вероятных ошибок восстановления реальных швов по критерию скорости изменения компонент вектора сшивки от строки к строке изображения, Этот факт может быть использован для оценки достоверности полученных ПСИ и их фильтрации.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Абакумов А.М.. Кузнецов П.К, Мишин Б.К)., Семавин В. И. (1980). Метод измерения параметров движения объекта // Оптические сканирующие устройства и измерительные приборы на их основе: Тез. докл. Веесоюз. еовеш. 4-5 июня. г. Барнаул. 4.1. - Барнаул, 1980. - С. 50-51.
2. Кузнецов П К. Семавин Б. И. Метод определения параметров движения яркоетного поля // Известия вузов. Приборостроение. - 1990. -№6. - С. 26-30.
3. Кузнецов ПК. Семавин Б.И., Мишин В.Ю., Владимиров М.В. Метод функциональных преобразований в задаче определения скорости движения яркостных полей // Вестник Самар, гос. техн. унта. - 1994. -№ 1.- С. 66-76.
4. Кузнецов Л.К. Мартемьянов Б.В., Семавин В.И., Чекоти/ю Е.Ю. Метод определения вектора скорости движения подстилающей поверхности // Вестник Самар, гос. техн. ун-та. - 2008. - №2. -С. 96-110.
Статья поступила в редакцию 9 сентября 2009 г.
UDC 681.518.3
ERROR ESTIMATION OF IMAGES STITCH PROCESSING BY FUNCTIONALIZATION METHOD
В. V. Martemyanov
Samara State Technical Univeisity,
244, Mokxbgvaidewkaya str. Samara, 443100
In the paper is handled a problem of Error Estimation of Image Stitch Processing performed with Functionalization Method. Error Estimation is obtained
In the report it is developed examined underlying surface images strips sewing together; application functionalization method for images strips sewing together.
Keywords: image processing, image stitch, functionalization method.
