CC BY
53
Модификация метода устранения искажений, обусловленных вибрацией фотокамеры
Беляева О. В., Филиппов М. В., кафедра ПОЭВМиИТ МГТУ им. Н.Э. Баумана yacypress94@yandex.ru, filippov.mike@mail.ru
Аннотация
Распространённой проблемой аэрофотосъёмки является получение размытых кадров. Искажение может быть вызвано турбулентностью, вибрацией и высокой скоростью на большой высоте во время экспозиции кадра. По этой причине, в статье представлен модифицированный метод слепой деконволюции для устранения искажений, вызванных высокочастотной вибрацией на борту летательного средства. Метод состоит из двух этапов, а именно выявление функции рассеяния точки (ФРТ), описывающее искажения от высокочастотной вибрации, и восстановление аэрофотоснимков по классическому алгоритму деконволю-ции. В работе, для нахождения ФРТ от высокочастотной вибрации выявляются характеристики равномерного искажения на аэрофотоснимках во время полёта: направление и величину амплитуды размытия кадра. Для поиска характеристик равномерного искажения используется быстрый метод слепой деконволюции на основе автокорреляции.
1 Введение
Искажение в результате смаза, возникающего из-за вибрации летательного аппарата - типичная ситуация для аэрофотосъемки. Для устранения этой проблемы во многих специально сконструированных летательных аппаратах, требующих получения качественных снимков в процессе полета, используют крупногабаритные устройства в кабине самолёта, которые позволяют стабилизировать камеру. Подобным высокобюджетным решением является также использование специальных объективов с функцией гашения вибрации. Но на практике, такая мера приводит к разрядке батареи и сомнительным результатам фотографий.
В беспилотных летательных аппаратах, таких как квадрокоптеры и конвертопланы, нет возможности использовать такие аппаратные способы защиты от вибрации вследствие ограниченной грузоподъемности. Поэтому единственным выходом устранения искаже-
ний, вызванных вибрацией, является применение алгоритмической обработки аэрофотоснимков
В работе [1] рассматривается метод слепой деконволюции, основанный на автокорреляции, для идентификации характеристик искажения, вызванного прямолинейным движением (смазом), и описан способ его модификация для восстановления аэрофотоснимков, искаженных в результате возникновения высокочастотной вибрации на борту летательного средства. Таким образом, выявляются направление и амплитуда размытия, на основе полученных данных составляется ФРТ (функция размытия точки), учитывающая высокочастотное колебание, и подаётся в качестве входного параметра для любого метода не слепой деконволюции.
В данной работе для определения параметров размытия изображения вследствие вибрации предложен метод автокорреляции, что дало выигрыш как по времени вычислений, так и по используемой памяти.
Представленный метод позволил определить функцию ФРТ от высокочастотной вибрации, которая описывает закон распределения интенсивности пикселей вдоль смаза изображения, что является необходимым для распознавания мелких деталей.
2 Принцип восстановления изображений
Модель процесса искажения предполагает действие искажающего оператора Н на чёткое изображение у) и аддитивного шума
;■: ¡Л', ■. ;. Причём знания об искажающем операторе Н и функции шума ¡1{х,у} не являются полными и в большинстве случаев находятся в результате подборов или предположений.
Таким образом, модель процесса искажения выглядит следующим образом [2]:
+
(1)
где ¡г(х,у) - функция, воздействующая на
исходное изображение через операцию свёртки в пространственной области, д (х, у) -
функция чёткого изображения, ¡1{%,у) -функция аддитивного шума, /(х, у) - искажённое изображение, «*» - операция свёртки. (Рис.1).
Рис.1 Модель искажения изображения
Восстановление изображения состоит из двух этапов:
1. Построение функции искажения кадра
2. Восстановление изображения с использованием найденной искажающей функцией классическим методом реконструкции.
3 Определение искажающей ФРТ
Для определения параметров ФРТ использовался метод на основе автокорреляции, описанный в работе [3], и произведена его модификация для устранения равноускоренного гармонического искажения, обусловленного высокочастотной вибрацией. Изображения восстанавливаются с использованием найденной ФРТ итеративным методом регуляризации Тихонова или методом минимизации среднеквадратичного отклонения Винера.
Поиск ФРТ был выполнен при наличии следующих ограничений:
1. Шум на аэрофотоснимках должен не превышать допустимого уровня.
2. Вибрация на борту летательного аппарата при аэрофотосъёмке должна быть высокочастотной. Исходя из этого, принимаем, что время экспозиции кадра много меньше периода вибрации на борту.
3. Движение камеры во время экспозиции является прямолинейным.
В основе предлагаемого метода определения параметров ФРТ лежит факт их отличия вдоль направления вибраций. Соседние пиксели в этом направлении коррелируют между собой, т.е. являются схожими по интенсивности, так как образуют размытость [1]. В работе выявляется такая закономерность за счёт корреляции по направлению размытия. Это
возможно, так как смаз должен быть прямолинейным согласно ограничениям метода.
Ниже представлены основные этапы вычисление параметров смаза согласно рассматриваемому методу:
1. Определяется направление k смаза изображения путем перебора всех направлений и выбора одного, у которого суммарная интенсивность /(Д/7)
производной изображения самая низкая по следующей формуле:
М-1М-1
I (А/) = ££ | А/ (/, ] и (2)
г=1 ]=1
2. В случаях работы с сильно зашумлён-ными изображениями, производная от размытого изображения вычисляется в двух направлениях вдоль и перпендикулярно направлению смаза в соответствии с формулами (3) и (4), представленными ниже. Для относительно за-шумленных изображений, производная вычисляется только в направлении размытия.
А/ (/, ]) к = / (/, ]), (3)
Я(/, ]) =
(-11 - 1ап(к) ^ 0 ^п(к)
(4)
3.
4.
Для выбора линии I пикселей вдоль найденного направления смаза изображения стоит поворачивать изображения на к градусов относительно горизонтального положительного направления с осью вращения - центр изображения.
Далее вычисляется длина смаза как смещению локального минимума автокорреляционной функции от нуля по оси абсцисс. Автокорреляционную функцию производной цифрового изображения вычисляют по строке пикселей I в направлении смаза. Таким образом, значение автокорреляционной функции Дг 0") вдоль прямой /, состоящей из М пикселей, можно определить следующим образом:
М
^ (]) = 11 а+])1 а)-
г=-М
где ] е [-М,М], при условии I(/) = 0, "I £ [0, М].
Таким образом, определяется направление и величина смаза.
На основании определенных характеристик смаза далее выполнено построение ФРТ вибрации. В общем случае такое движение можно разделить на два типа: с низкими и высокими частотами. Если вибрация определяется как высокочастотное колебание, то по отношению к фотосъёмке, время экспозиции кадра будет больше периода вибрации, соответственно в случае низкочастотных вибраций, отношение будет обратным. В работе исключаются из рассмотрения низкочастотное колебание, по причине его губительного воздействия при полёте на борт летательного аппарата.
Предположим, что каждая точка объекта совершает гармонические колебания с амплитудой В относительно некоторого положения равновесия. В этом случае на основе гармонического размытия можно построить гистограмму импульсов, соответствующую искажённому изображению (См. Рис.2)
Рис. 2. Схема получения гистограммы импульсного распределения аэрофотоснимка в результате высокочастотной синусоидального движения
Таким образом, задача сводится к выявлению функции искажения от высокочастотного равноускоренного гармонического движения (вибрации) на основе выявленных параметров смаза по методу, основанного на автокорреляции. Полученная гистограмма будет иметь минимум в центре размытия и максимум на позициях, соответствующих краям размытого изображения [3]. Потому что объект вероятнее всего расположен вблизи пика синусоиды, где эффект размытия приостанав-
ливается и повторяется заново по следующему периоду вибрации. Процесс останова и возврата в пике синусоиды занимает больше времени для точки объекта на изображении, отсюда получается высокая вероятность истинного положения точки близ пика синусоидального движения.
Таким образом, если мы рассматриваем вибрацию с амплитудой В, то общая длина смаза к(х) равна 2Б Соответствующее графическое представление высокочастотной вибрации показано на Рис. 3.
Рис.3 Функция смещения камеры в зависимости от времени экспозиции 1е.
Функция импульсного отклика П(х) является функцией плотности вероятности, причём функция плотности или гистограмма задаётся как функция Примем время
как время начала экспозиции, а ts как время
экспозиции кадра. Период рассматриваемой вибрации зададим величиной Тд.
Вид передаточной функции (преобразование Фурье от ФРТ) задаётся следующей формулой:
к(ю) = | Н (х)е "тс1х,
(6)
где & = 2РП - циклическая частота гармонической вибрации, протекающей по следующему закону х(£) = В 8т(&>0£) .
Выражение для функции импульсного отклика гармонической вибрации имеет следующий вид [4]:
Н (х) = -1 , } „ . (7)
Р
4Ъ
2 2 2 х
Итоговое уравнение (7) задаёт закон гармонического высокочастотного колебания на длине И. Соответствующая передаточная функция к(№) описывается функцией Бесселя 0-го порядка в частотной области (Рис.4)
[5].
Рис.4 Функция Бесселя нулевого порядка
В пространственной области изображения уравнение (7) будет соответствовать гистограмме распределения интенсивности согласно графику, представленному на Рис.5
Рис 5. Функция искажения, обусловленная высокочастотной гармонической вибрацией.
4 Пример восстановления искаженных изображений
Разработанный метод был протестирован на реальных фотоснимках. Результаты тестирования представлены ниже на Рис. 6 и Рис.7.
Рис.6 демонстрирует исходное искаженное вибрацией изображение.
Рис.6 Исходное искаженное изображение
На первом этапе, используя алгоритм, описанный выше в разделе 3, определяется направление и величина смаза О, что является необходимым для определения ФРТ, описывающей высокочастотное движение во время экспозиции кадра.
На втором этапе выполняется восстановление изображения с помощью алгоритма минимизации среднеквадратичного отклонения Винера, на вход которого подавалась ФРТ от высокочастотной вибрации согласно формуле (7). Результат восстановления изображения приведен на Рис.7
Рис.7 Восстановленное изображение
Одной из важных проблем алгоритмов восстановления с известной функцией искажения является наличие на кадре артефактов - краевых эффектов, проявляющихся в виде осциллографических помех, расположенных ближе к краям восстановленных кадров. Та-
кие помехи можно увидеть на результатах восстановления, представленных на Рис.7
5 Зависимость качества
восстановления от точности определения параметров смаза
Как видно из Рис.7 неточное определение направления и величины размытия кадра на начальном этапе приводит к наличию артефактов в восстановленном кадре В данном разделе представлены результаты эксперимента по выявлению зависимости качества восстановленного кадра от ошибочного отклонения в градусах от истинного направления размытия. Качество изображения оценивалось по критерию «пиковое отношение сигнал/шум» (ПОСШ, дБ).
В эксперименте, результаты которого представлены на Рис. 8 , направление размытия кадра равно 0 градусам, а длина размытия равна 10 пикселям. Восстановление осуществлялось по фильтрации среднеквадратичного отклонения Винера. Из Рис.8 следует, что при увеличении ошибки в определении направления вибраций более 10 градусов, качество восстановленного кадра не существенно падает.
■50 -40 -30 -20 -10 0 10 20 30 40 50 Отклонение в градусах
Рис.8 Зависимость качества восстановления от отклонение направления смаза от истинного
На Рис. 9 представлена зависимость качества восстановления (ПОСШ, дБ) от погрешности определения длины размытия кадра.. Как видно из представленного графика, что ошибка в определении амплитуды размытия на кадре даже в 1 пиксель приводит к потери качества восстановления в 2 дБ.
\ \
\
0 2 4 6 а 10 12 14 16 18 20 Ошибка в длине смаза (пиксели)
Рис.9 Зависимость качество обработки от ошибки определения длины смаза.
Помимо качества восстановления важным параметром методов решения данной задачи является быстродействие На Рис.10 представлена зависимость времени обработки кадра от величины от его величины. Основные временные затраты связаны с необходимостью перебора что методом перебора по всем углам к С ^ для выявления направление размытия. Поэтому одним из путей повышения быстродействия является оптимизация такого перебора.
120
Время ППрябпТк'И
Q-1-1-1-1-1-1-1-
0 2 4 6 8 10 12 14 16 Величин!) кадра (и пикселях) х ^
Рис. 10 Зависимость времени обработки от величины восстанавливаемого кадра.
В тоже время следует отметить, что представленный метод работает в несколько раз быстрее других методов слепой деконво-люции ARMA, таких как метод максимального правдоподобия [4], перекрёстной проверки [5,6,7] и других. Это обусловлено тем, что
этот метод использует априорную информацию - известную характеристику ФРТ, что существенно облегчает восстановления аэрофотоснимков, искаженных гармонической вибрацией.
Заключение
В данной статье представлен метод восстановления изображений, искаженных вибрацией фотокамеры. Рассмотрен алгоритм определения направления и величины смаза. Показано, что ошибки в определении параметров смаза существенно влияют на качество восстановления изображения. Отмечено, что быстродействие представленного метода в насколько раз выше, чем у других методов слепой деконволюции.
Список литературы
1. Y.Yitzhaky and N.S.Kopeika, "Identification of blur parameters from motion blurred images," CVGIP: Graph Models and Image Processing, Vol.59, 1997, pp.310-320,.
2. Гонсалес Р., Р. Вудс. Цифровая обработка изображений. - М.: Техносфера, 2005,. - 1072 с.
3. Xing Yu Qi, Li Zhang, Chew Lim Tan "Motion Deblurring for Optical Character Recognition", ICDAR, 2005, pp. 389-393.
4. Lagendijk, R. L., A. M. Tekalp and J. Biemond, Maximum likelihood image and blur identification: a unifying approach, Optical Engineering, vol.29, no.5, 1990, pp.422-435.
5. Reeves, S. J. and R. M. Mersereau, Blur identification by the method of generalized cross-validation, IEEE Trans. Image Processing, vol. 1, no.3, 1992, pp.301-311.
6. G. H. Golub, M. Heath and G. Wahba, \Generalized cross-validation as a method for choosing a good ridge parameter," Technomet-rics , vol. 21, no. 2, pp. 215-223, May 1979.
7. S. J. Reeves and R. M. Mersereau, "Blur identification by the method of generalized cross-validation', IEEE Trans. Image Processing, vol. 1(3), pp. 301-311, July 1992
