CC BY
70
Повышение качества цифровых изображений, искаженных в процессе фотосъемки
Слесарев Н.С., ФГКВОУ ВО Академия ФСО России
[email protected] Скурнович А.В., ФГКВОУ ВО Академия ФСО России [email protected]
Аннотация
В статье рассматривается существующие на данный момент подходы и методы повышения качества изображений, искаженных в результате движения фотооборудования, а также типы этих искажений -«расфокусировка» и «смаз». Разработаны алгоритм и на его основе программное обеспечение, позволяющие восстанавливать искаженные изображения. Представлены результаты обработки изображений с линейными параметрами искажения.
1 Причины искажений изображений
Одной из основных трудностей, с которой приходится сталкиваться при решении задач восстановления изображений, является проблема размывания и смазывания изображений [Коробейников, Федосовский, Алексанин, 2016], которые возникают при взаимном относительном движении оптического сенсора и объекта во время экспозиции. Размывание (аналог расфокусировки изображения), возникающее, когда сцена и регистрирующее устройство находятся в покое по отношению друг к другу, можно смоделировать низкочастотными фильтрами в пространственной или частотной областях. Другая важная модель искажения изображений смазыванием соответствует равномерному прямолинейному перемещению сцены относительно регистрирующих устройств и датчиков в процессе фиксирующей съемки.
У некоторых исследователей присутствует мнение, что искажения являются необратимой операцией. Но информация перераспределяется по определенному закону и поэтому ее можно восстановить с некоторыми ограничениями. Другими словами, можно сказать так - в ходе процесса искажения любой пиксель исходного изображения отображается в случае расфокусировки в пятно, и в случае простого «смаза» - в отрезок. Но можно сформулировать эту задачу и для искаженно-
го изображения. В этом варианте любой пиксель искаженного изображения есть образ пикселей какого-то множества в исходном изображении. Именно соответствие какому-то закону, по которому собирается один пиксель, и называют функцией искажения. Другие названия - синонимы: PSF (Point spread function, т. е. функция распределения точки) [Fergus, Singh, Hertzmann, Roweis, 2006], ядро искажающего оператора [Гонсалес, Вудс, 2006]. Размерность этой функции, обычно меньше размерности самого изображения.
Модель процесса искажения цифрового изображения может быть представлена в пространственной области в виде выражения (1).
g(х,y) = h(x,y) * f (x,y) + n(x,y), (1) где g(x,y) - значение яркости пикселя искаженного изображения, h(xy) - функция, представляющая искажающий оператор в пространственной области (функция искажения или PSF), f(x,y) - функция, представляющая неискажённое изображение, n(xy) -функция шума, «*» - оператор свертки.
Операцию применения функции искажения к другой функции (в данном случае к изображению) называют сверткой (convolution) [Гонсалес, Вудс, 2006] и обозначают как «*». То есть в результате операции «*» некоторое множество в исходном изображении сворачивается в один пиксель искаженного изображения. Операцию свертки к изображению можно представить в виде выражения (2). g(x,y) = h(x,y) * f (x,y) =
= ZZh(i, j) f (x - — + i,y -- + j) + n(x,y)v
i=0 j=0 2 2
2)
Теорема о свертке, которая гласит, что операция свертки в пространственной области эквивалентна обычному умножению в частотной области. Процесс искажения в частотной области можно представить в виде
(3):
G(v,u) = H(u,v) • F(u,v) + N(u,v), (3)
где 0(и,у), И(и,у) и - образы двумерно-
го преобразования Фурье искаженного изображения, функции искажения и исходного изображения.
Таким образом, можно сделать вывод, что процесс искажения можно представить с помощью двух моделей: пространственной и частотной, каждая из которых обладает своими особенностями.
2 Подходы и методы для повышения качества цифровых изображений
Операцию, являющеюся обратной по отношению к свертке, называют деконволюци-ей (от англ. йвсопуоШюп). Модель восстановления изображения при искажении представлена на рисунке 1.
п(х,у)
Рис. 1. Модель искажения и восстановления изображения Существующие подходы повышения качества изображений можно классифицировать по нескольким признакам:
1) по области обработки;
2) по наличию информации об искажающей функции:
- при известной функции;
- при неизвестной функции.
На рисунке 2 представлена классификация подходов к повышению качества изображений.
Рис. 2. Классификация подходов повышения качества изображений
Подходы по улучшению качества изображений по области обработки распадается на две большие категории: обработка в пространственной области и обработка в частотной области. Термин пространственная область относится к плоскости растрового изображения, состоящего из отдельных пикселей,
и объединяет методы, основанные на прямом манипулировании пикселями изображения [Соловьёв, Сергеев, 2010]. Подходы, предназначенные для обработки в частотной области, основываются на модификации сигнала, формируемого путем применения к изображению преобразования Фурье или других аналогичных преобразований [Гонсалес, Вудс, 2006].
При применении методов повышения качества производится попытка реконструировать или воссоздать изображение, которое было до этого искажено, используя априорную информацию о явлении, которое вызвало ухудшение изображения.
Теория восстановления размытых изображений сперва рассматривала лишь размытие изображений при известной искажающей функции. Такую задачу достаточно успешно решают применением фильтра Винера, алгоритмами Ричардсона-Люси и регулязации Тихонова.
Фильтр Виннера рассматривает изображение и шум как случайные процессы и находит такую оценку / для неискаженного изображения /, чтобы среднеквадратическое отклонение этих величин было минимальным. Минимум этого отклонения достигается на функции в частотной области [Гонсалес, Вудс, 2012] в виде выражения (4).
\Н (и, у)|2
Р (и, V) = (-
Н (и, v)(| Н (и, V)
2 + Бч(и, V)) (и, v))
)в(и, V) , (4)
где Н(и,у) - образ двумерного преобразования Фурье функции искажения, Н*(и^) -комплексно сопряженное с Н(и,у), |Н(и^)|2= Н*(и^) Н(и^), 8п(и,у) - энергетический спектр шума, S/(u,v) - энергетический спектр неискаженного изображения.
Идея регулязации по Тихонову заключается в формулировке задачи в матричном виде с дальнейшим решением соответствующей задачи оптимизации [Гонсалес, Вудс, 2012]. Это решение записывается в виде выражения (5). Н* (и, V)
Р(и, V) = (-
г)в (и, V), (5)
|Н (и, V) + ур(и, V)
где у - параметр регуляризации, Р(и,у) -Фурье-преобразование оператора Лапласа (6). 0 -10
Р (X У) =
- 1 4 - 1 0 -10
(6)
Метод, основанный на алгоритме «Люси-Ричардсона» является нелинейным, в отличие от предыдущих - что потенциально может дать лучший результат, а также алгоритм является итерационным, соответственно возникают трудности с критерием останова итераций. Вычисление по «Люси-Ричардсону» производится на основе формулы (7) без использования преобразования Фурье - все операции осуществляются в пространственной области [Гонсалес, Вудс, 2006].
g(x, у)
f'k+l(x, y) = f, k (x, y)
h-x-y)*
>(7)
h(x, y)* f,k (x, y)_ где k - номер итерации, на котором осуществляется применение алгоритма.
Вышерассмотренные методы получили широкое применение для решения специализированных задач (например, для космической и медицинской области), но их применение требует знание функции искажения.
На практике параметры размытия (функция искажения) неизвестны или известны лишь приблизительно по характеру видимых искажений. Поэтому в настоящее время в направлении повышения качества изображений развивается метод слепой деконволюции [Cho, Lee, 2009; Shan, Jia, Agarwala, 2008].
Наиболее целесообразно использовать метод слепой деконволюции тогда, когда исследователь не располагает информацией об имеющихся искажениях (размытие и шум). Алгоритм восстанавливает одновременно изображение и функцию протяженности точки (PSF). Дополнительные характеристики оптической системы (например, камеры) могут быть использованы в качестве исходных параметров, которые приведут к улучшению восстановления изображений [Журавель, 1999]. Поэтому исходное изображение должно быть восстановлено непосредственно из смазанного с использованием неполной информации о процессе смаза.
Как правило метод слепой деконволюции содержит два этапа [Fergus, Singh, Hertzmann, Roweis, 2006]. Во-первых, ядро размытия оценивается по входному изображению. Процесс оценки выполняется математическим способом. Во-вторых, используя оценочное ядро, мы применяем стандартный алгоритм деконволюции для оценки скрытого (неровного) изображения, рассмотренные выше.
Методы слепого восстановления содержат много проблем, не имеющих однозначного решения, поэтому в этой области возможно
проведение многочисленных исследований. Слепое восстановление изображений применяется в различных технических областях, таких как астрономические изображения, дистанционное зондирование, рентгенография, оптика, фотография, приложения высоких разрешений, приложений отслеживания движений и многих других [Седова, 2009].
Таким образом, рассмотренные подходы принято разделять на подходы по областям обработки и наличию информации о функции искажения, которые коррелируют между собой в методах восстановления качества изображений. Также можно отметить, что метод слепой де-конволюции является наиболее применимым при отсутствии большинства априорных сведений об искаженном изображении, но требует больших вычислительных ресурсов.
3 Алгоритм повышения качества искаженных изображений
В основе алгоритма восстановления лежит линейная фильтрация Виннера (см. пункт 2).
Обобщенная блок-схема разработанного алгоритма повышения качества искаженных цифровых изображений, представлена на рисунке А.1 в приложении А.
В алгоритме восстановления искаженных цифровых изображений предусмотрены следующие основные процедуры обработки:
1) считывание изображения из файла;
2) вычисление функции искажения на основе введенных параметров искажений;
3) вычисление отношения «сигнал/шум» изображения;
4) размытие контуров исходного изображения с целью предотвращения появления эффекта звона на краях изображения (искривления элементов изображения на границах), появляющегося при использовании двумерного дискретного преобразования в блоке деконволюции;
5) получение монохромного изображения путем преобразования массивов значений интенсивности пикселей цветовых составляющих R, G, В полноцветного изображения в соответствующие им значение яркости, с целью уменьшения времени, необходимого для обработки в блоке деконво-люции;
6) деконволюция монохромного изображения, используя метод восстановления с помощью фильтра Виннера на основе вы-
численной функции искажения и отношения «сигнал/шум»;
7) вывод преобразованного изображения.
8) При удовлетворительном визуальном качестве изображения в соответствии с алгоритмом пользователю предоставляется возможность сохранить результаты восстановления обрабатываемого изображения.
4 Программная реализация
алгоритма и результаты обработки изображений
Предложенный алгоритм реализован программно. Программное обеспечение (ПО) позволяет при изменении параметров настройки специальных функций обработки восстанавливать цифровые изображения, искаженные в результате таких видов воздействий как «смаз» и «расфокусировка».
Входными данными для работы ПО являются цифровые изображения любых форматов хранения и тип искажения. ПО реализовано на базе функций библиотеки Image Processing Toolbox пакета прикладных программ для решения технических задач MATLAB.
Разработанное ПО предназначено для коррекции и улучшения четкости изображений. В результате применения программы появляется возможность повышения визуального качества деталей объектов на изображении, которые на исходном снимке явно видны не были.
Программное средство позволяет восстанавливать качество всего изображения в целом, в случае если искажению подверглось равномерно вся площадь фотоснимка. Для улучшения качества изображений подразумевается подбор параметров обработки в ручном режиме при постоянном визуальном контроле результатов обработки на каждой итерации. В качестве тестовых изображений выбраны те, у которых параметры искажения линейны, т.е. функция искажения при смазывании - отрезок, а при размывании (расфокусировки) - пятно с некоторым радиусом.
Исходное изображение автомобиля (см. рис. 3). На изображении наблюдается искажение типа «смаз». Номер автомобиля читается с трудом. При этом, если анализировать направление смаза, то относительно вертикальной оси изображения, он составляет приблизительно 45 градусов. Установить длину смаза, в данном случае, затруднитель-
но в силу того, что не известен истинный размер отображаемого в окне программы изображения. Поэтому длина смаза подбиралась вручную и в итоге составила порядка 2122 точек.
Результат обработки и сохранения полноцветного варианта восстановленного изображения представлены на рисунках 4, 5.
■'—___ _ __ 1--- ■ — " ЬипМ!»
Рис. 3. Окно программы с искаженным изображением автомобиля
Рис. 4. Результат восстановления изображения автомобиля
Рис. 5. Результат сохранения полноцветного варианта восстановленного изображения
Исходное изображение лица при портретной съемке (см. рис. 6). На изображении также наблюдается искажение типа «смаз». В данном случае направление смаза относительно вертикальной оси изображения составило приблизительно 175-180 градусов. Путем визуального анализа изображения при изменении длины смаза было установлено,
что она равна порядка 60 точек. Результаты обработки и сохранения восстанавливаемого изображения представлены соответственно на рисунках 7, 8.
Рис. 6. Окно программы с искаженным изображением лица
Рис. 7. Результат обработки изображения лица с заданными параметрами смаза
Рис. 8. Результат сохранения полноцветного варианта восстановленного изображения лица
Еще один вариант изображения лица (см. рис. 9). На изображении также наблюдается искажение типа «смаз». В данном случае направление смаза относительно вертикальной оси изображения составило приблизительно 175-180 градусов. Путем визуального анализа изображения при изменении длины смаза было установлено, что она также как и в предыдущем случае равна порядка 60 точкам. Результаты обработки и сохранения восстанавливаемого изображения представлены соответственно на рисунках 10, 11.
Рис. 9. Окно программы с искаженным изображением лица
Рис. 10. Результат обработки изображения лица с заданными параметрами смаза
Рис. 11. Результат сохранения полноцветного варианта восстановленного изображения лица
На рисунке 12 представлен вариант изображения с наблюдаемым на нем искажением типа «расфокусировка», т. е. не четкое изображение. При этом номер автомобиля не читаем даже при увеличении масштаба. Путем визуального анализа изображения при изменении радиуса расфокусировки было установлено, что она составляет порядка 26 точек. Результаты обработки и сохранения восстанавливаемого изображения представлены соответственно на рисунках 13, 14.
Рис. 12. Окно программы с искаженным изображением автомобиля на стоянке
Рис. 13. Результат обработки изображения автомобиля (тип искажения - «расфокусировка»)
Рис. 14. Результат сохранения монохромного варианта изображения автомобиля
На рисунке 15 также представлено изображение с искажением типа «расфокусировка». Путем визуального анализа изображения при изменении радиуса расфокусировки было установлено, что она составляет порядка 22 точек. Результаты обработки и сохранения восстанавливаемого изображения представлены соответственно на рисунках 16, 17.
Рис. 15. Окно программы с загруженным искаженным изображением таблички
Рис. 16. Результаты обработки изображения сообщения на английском языке на рисунке 15 (тип искажения - «расфокусировка»)
Рис. 17. Результаты сохранения изображения сообщения на английском языке на рисунке 15
Список литературы
Коробейников А. Г., Федосовский М. Е., Алекса-нин С. А. 2016. Разработка автоматизированной процедуры для решения задачи восстановления смазанных цифровых изображений // Кибернетика и программирование. - № 1. C. 115-119.
Fergus R., Singh B., Hertzmann A., Roweis S. T., Freeman W. T. 2006. Removing camera shake from a single photograph // ACM Trans., 25. Pp. 787-794.
Гонсалес Р., Вудс Р. 2006. Цифровая обработка изображений в среде MATLAB // Москва : Техносфера. - 616 с.
Соловьёв Н.В., Сергеев А.М. 2010. Улучшение качества растровых изображений // Учебное пособие. - Санкт-Петербург : СПбГУ ИТ-МО. - 158 с.
Гонсалес Р., Вудс Р. 2012. Цифровая обработка изображений. Издание 3-е, исправленное и дополненное // Москва : Техносфера. - 1104 с.
Cho S., Lee S. 2009. Fast motion deblurring // ACM Trans., 28 p.
Shan Q., Jia J., Agarwala A. 2008. High-quality motion deblurring from a single image // ACM Trans. Pp. 35-42.
Журавель И. М. 1999. Краткий курс теории обработки изображений // Москва. C. 43.
Седова Н. В. 2009. Проблема шумоподавления при редактировании изображений // Вестник тамбовского университета. Серия: естественные и технические науки. Издательство: Тамбовский государственный университет имени Г. Р. Державина (Тамбов), Т.14, вып. 5-1. 906-909 с.
ПРИЛОЖЕНИЕ А
Рис. А.1. Блок-схема алгоритма повышения качества цифровых изображений
