CC BY
151
Доклады БГУИР
Doklady BGUIR
2018, № 2 (112)
2018, No. 2 (112)
УДК 623.618
АНАЛИЗ МЕТОДОВ ВОССТАНОВЛЕНИЯ ОПТИКО-ЭЛЕКТРОННЫХ ИЗОБРАЖЕНИЙ, СМАЗАННЫХ ПРИ ДВИЖЕНИИ
А.Ю. ЛИПЛЯНИН, А.В. ХИЖНЯК, Е.И. МИХНЕНОК, А С. МАМЧЕНКО
Военная академия Республики Беларусь, Республика Беларусь
Поступила в редакцию 11 декабря 2017
Аннотация. Проведен анализ общих методов решения задачи восстановления изображений. На основе его результатов выделены основные недостатки методов восстановления, выбраны методы для дальнейшего исследования.
Ключевые слова: восстановление изображения, подавление шума в изображении, расфокусировка.
Abstract. General methods for solving the problem of image reconstruction are analyzed. Based on it results, the main drawbacks of the recovery methods are highlighted, the methods for further investigation are chosen.
Keywords: image restoration, image denoising, defocusing. Doklady BGUIR. 2018, Vol. 112, ]Чо. 2, pp. 40-46
Analysis of restoration methods for optical-electronic images lubricated at motion A.Yu. Liplianin, А/V. Khizhniak, E.I. Mikhnionok, A.S. Mamchenko
В настоящее время системы видеонаблюдения используются в различных сферах человеческой деятельности: в сельском хозяйстве, геологических и гидрологических исследованиях, лесоводстве, охране окружающей среды, исследованиях космоса, планировке территорий, в образовательных, военных и других целях. При этом одни виды съемки часто дополняются другими, позволяющими получить качественно новые изображения, имеющие свои особенности. На спутниках, летательных аппаратах или наземных наблюдательных станциях устанавливаются различные по принципу действия видеодатчики, осуществляющие наблюдение в различных областях спектра: видимого, инфракрасного и др.
Математическое представление исходного изображения представляет собой двумерную дискретную последовательность вида [1]:
где Sij - полезная двумерная составляющая (исходное неискаженное изображение); -
аддитивная шумовая составляющая; N - количество строк; М - количество столбцов двумерного массива изображения.
Однако при снятии данных с датчиков, вследствие воздействия различных факторов, имеют место искажения снимков, кадров в исходном видеоизображении. По этим причинам цифровые изображения непосредственно после съемки требую обработки. В частности, для изображений с бортовой тепловизионной видеокамеры характерными искажениями являются шумы, появляющееся в результате работы других радиоэлектронных средств, а для датчиков видимого спектра - это смазы и дефокусировка. Дефекты изображений приводят к потере информации и, соответственно, ухудшению работы всего устройства в целом. Причинами смазанности могут выступать различные факторы: движение камеры в процессе съемки изображения;
Введение
Y = S. . ., i = 1,N, j = 1,M ,
i, j ., j h, j' ' 'J ' '
(1)
съемка на длинной выдержке, когда сцена сама претерпевает изменения; расфокусированность оптики; использование широкоугольных объективов; атмосферная турбулентность; съемка на короткой выщержке, что не позволяет захватить достаточно фотонов света и др.
В настоящее время не существует универсальных способов решения задачи восстановления изображений. Все методы требуют огромных затрат выгаислительны1х ресурсов или сложной предварительной обработки. При этом актуальным становится вопрос об оценке качества восстановленных изображений, так как не существует универсального подхода к определению эффективности работы алгоритмов восстановления. Некоторые из них полагаются на экспертные знания пользователя или нуждаются в существенных взаимодействиях с ним для алгоритмической калибровки. Частой проблемой алгоритмов являются нехватка стабильности, надежности и сходимости. Целью данной статьи является анализ методов восстановления изображений для последующей их адаптации к системам обнаружения маловысотных малоразмерных объектов в условиях влияния различных внешних и внутренних факторов.
Основная часть
Большинство вышеперечисленных причин, вносящих искажения в изображение, сводятся к двум типовым функциям, при помощи которых и будет производиться моделирование ядра искажения (другими синонимами являются: PSF - point spread function, kernel - в зарубежной литературе, ФРТ - функция размытия точки, ядро искажающего оператора - в русскоязычной литературе), а именно: ФРТ в случае размытия по Гауссу (рис. 1, а), ФРТ в случае смаза функцией, моделирующей искажения при движении (рис. 1, б) [2, 3].
20 25 30
б
Рис. 1. PSF в случае размытия по Гауссу (а) и ФРТ в случае смаза функцией, моделирующей искажения при движении (б)
В общем виде процесс искажения изображения описывается с помощью свертки в пространственной области и имеет вид [2-4]
g(х, y) = h(x, y) * * f (x, y) + л(x, y), (2)
где g (x, y) - искаженное изображение; f (x, y) - импульсная характеристика; л(x, y) - шум. Операция ** является операцией двумерной свертки.
В частотной области операция свертки соответствует умножению, таким образом, выражение (2) приобретает вид (3):
G (u, v) = H (u, v) • F (u, v) + N (u, v), (3)
где G(u, v), H(u, v), F(u, v), N(u, v) - фурье-образы функций g(x,y), f (x,y), ^(x, y) соответственно.
Кроме того, цифровое изображение имеет шумовую составляющую различного рода, причины которой могут быть самые разнообразные, однако, отметим наиболее характерные: тепловые колебания, плохие условия съемки, помехи, возникающие при передаче по аналоговым каналам (шумы активных элементов усилителей, наводки от источников электромагнитных полей), искажение данных при передаче через цифровые каналы
а
или повреждение данных на цифровом носителе, неточности при выделении яркостного и цветоразностных сигналов из аналогового композитного сигнала, темновые токи и др. [4]. При этом на величину шума оказывает влияние размеры пикселя, плотность пикселов, температура и многое другое. Для дальнейшего моделирования искажения и шума в изображении принято считать, что шум является Гауссовым, аддитивным и не коррелирует с изображением [2-5].
Одним из самых простых методов решения задачи восстановления изображений является инверсная фильтрация (4).
#(и, V) = ^ (и, V) + ^^, (4)
V ' ' Н (и, V)
где ^(и, V) - фурье-образы полезной двумерной составляющей (исходное неискаженное изображение).
При отсутствии шума достигается точное восстановление исходного изображения. Однако при наличии шумовой составляющей, к исходному изображению добавляется прошедший через инверсный фильтр шум. Обычно передаточная функция формирующей системы стремится к нулю на высоких частотах, кроме того, нули могут быть и в рабочей полосе частот. При этом инверсный фильтр становится сингулярным, т. е. на соответствующих частотах передаточная функция инверсного фильтра стремится к бесконечности. Наличие даже слабого шума приводит к интенсивным шумовым составляющим, разрушающим изображение (рис. 2). При восстановлении инверсным фильтром возникают краевые эффекты в виде осциллирующей помехи большой мощности, маскирующей восстановленное изображение. Краевые эффекты возникают и при отсутствии шумов. Таким образом, инверсный фильтр может использоваться только для восстановления изображений с постоянным уровнем фона на краях.
а б
Рис. 2. Пример смазанного изображения (а) и восстановленное изображение при помощи инверсной фильтрации (б)
Усовершенствованием инверсной фильтрации можно считать фильтр Винера [1, 4-6].
При этом учитывается информация о спектральной плотности мощности изображения и шума.
Поэтому он менее подвержен влиянию помех и нулей передаточной функции, искажающей
системы. Фильтр Винера рассматривает изображение и шум как случайные процессы
и находит такую оценку для неискаженного изображения, чтобы среднеквадратическое
отклонение этих величин было минимальным [2-4]:
( * Л
Н (и, V)
--¡2- °(и, V), (5)
^ IН (и, V)2 + ^ (и, V) / Sf (и, V) у
где $п (и, V)/ Sf (и, V) - энергетическое соотношение сигнал/шум; 0(и, V) - спектр
искаженного изображения; Н (и, V) - искажающая функция; Н (и, V) - комплексно-сопряженная функция Н (и,V) .
Винеровская фильтрация имеет ряд особенностей.
1. При отсутствии шума фильтр Винера переходит в инверсный фильтр. Следовательно, в области низких частот, где, как правило, отношение сигнал/шум велико, передаточные функции этих фильтров практически совпадают.
2. При уменьшении спектральной плотности мощности исходного изображения передаточная
^ =
функция фильтра Винера стремится к 0. Для изображения это характерно на высоких частотах.
3. На частотах, соответствующих нулям передаточной функции, формирующей системы, передаточная функция фильтра Винера также равна 0.
ви
ТА
■Я
шш
а б
Рис. 3. Пример смазанного изображения (а) и восстановленное изображение методом Винера (б)
Основным недостатком фильтра Винера остается наличие краевых эффектов, проявляющихся в виде осциллирующей помехи (ряби или полос) (рис. 3). Винеровская фильтрация позволяет учитывать шумовую составляющую, но для ее корректной работы необходима оценка энергетического спектра шума и изображения. Первую оценку можно получить с помощью формулы (6), а вторая нам недоступна из-за неизвестной природы его возникновения [7].
ты Е Gu 4
Q
(6)
(i, j )eü
где Q -рассматриваемая высокочастотная область; G(u, v) - спектр искаженного изображения.
Тем не менее необходимо отметить, что использование константы в качестве оценки для отношения энергетических спектров (происходит в результате отсутствия энергетического спектра шумовой составляющей) не всегда приводит к хорошим результатом. Так, в следующем методе необходимы знания только среднего значения и дисперсии шума. Идея фильтрации методом минимизации сглаживающего функционала со связью заключается в формулировке задачи в матричном виде с дальнейшим решением соответствующих задач оптимизации. Решение имеет вид [1-4, 5, 8].
f H\u, v) Л
F =
v!H(u, v)|2 + у |P(u, v)|2 y
G (u, v),
(7)
где у - параметр регуляризации, Р(и, V) - результат Фурье-преобразования, G(u, V) - спектр искаженного изображения, Н(и, V) - искажающая функция, Н (и, V) - комплексно-сопряженная функция Н(и, V) .
Важно отметить, что при обращении параметра у в ноль, метод сводится к инверсной фильтрации. Одним из отличий метода минимизации сглаживающего функционала со связью является то, что он позволяет получить оптимальный результат для каждого изображения, к которому он применяется. При этом важно понимать, что критерий, по отношению к которому результат является оптимальным с теоретической точки зрения, не связан со зрительным восприятием человеческого глаза.
а б
Рис. 4. Пример смазанного изображения (а) и восстановленное изображение методом регуляризации Тихонова (б)
Основным недостатком существующих методов восстановления изображений с регуляризацией (метода минимизации сглаживающего функционала со связью) является ухудшение получаемых результатов при увеличении значений параметров регуляризации и потере устойчивости решений при снижении значений этих параметров. Существенным недостатком существующих методов, в том числе широко известного метода регуляризации Тихонова, является подавление высокочастотных компонент восстановленных изображений, связанное с достаточно быстрым спадом в данной области спектра функции рассеяния точки. Это, в частности, не позволяет достичь достаточной резкости, которая является одной из важнейших характеристик изображений [2, 4]. Все рассмотренные выше методы являются линейными и не итерационными, они обладают одним общим недостатком, а именно, чувствительностью к определению параметров искажения, т. е. в случае небольшого расхождения оценки искажающей функции качество восстановленного изображения резко ухудшается (рис. 5).
Этому недостатку менее подвержены итерационные методы. Например, метод Люси-Ричардсона. Он основан на методе максимального правдоподобия, а также на предположении, что яркость изображения подчиняется закону Пуассона. Математическое выражение для метода Люси-Ричардсона имеет вид (8) [7]. Результат восстановления представлен на рис. 6.
Л+1( х у) = Л(х у)
х, - у )
£ (x у)
нх у Г*Л(х у)
(8)
где +1( х, у)- (к+1)-е приближение исходного изображения, остальные переменные определены выше.
Ч ■ »
в г
Рис. 5. Пример ухудшения восстановленного изображения при изменении оценивающей функции, изображения: а - разница 1 пиксель; б - разница 2 пикселя; в - разница 3 пикселя; г - разница 4 пикселя
Также из (8) видно, что все преобразования осуществляются без преобразования Фурье, т. е. обработка происходит в пространственной области, что позволяет снизить вычислительную сложность алгоритма [5].
И
а б
Рис. 6. Пример смазанного изображения (а) и восстановленное изображение методом Люси-Ричардсона (б)
Тем не менее метод не лишен недостатков, а именно, для него характерно возникновение краевых артефактов в виде горизонтальных и вертикальных полос на изображении. Вследствие того, что метод является итерационным, возникает вопрос об оптимальном количестве итераций, выборе критерия остановки [7].
Все вышеперечисленные методы относят к группе методов, для которых необходимо знать оптическую передаточную функцию. Важно отметить, что во многих практических задачах функция смаза неизвестна, а количество информации о реальном изображении очень мало. Поэтому исходное изображение должно быть восстановлено непосредственно из смазанного с использованием неполной информации о процессе смаза. Решить данную задачу позволяет метод слепой деконволюции [9], который основан на методе максимального правдоподобия, где целевой функцией является модель оригинального изображения. Однако слепая деконволюция является некорректной задачей, т. е. количество неизвестных превышает количество известных составляющих. Для того, чтобы уменьшить ее некорректность, накладываются ограничения, а именно: смаз получен линейным параметризированным движением, а также смаз предполагается однородным по всему изображению [5, 8-10].
Основными недостатками существующих методов восстановления изображений являются [11]:
- отсутствие учета влияния априорной информации при обработке изображений;
- неустойчивость к нелинейным искажениям и шумам;
- необходимо иметь несколько искаженных изображений или априорную информацию о функции искажения, что невозможно обеспечить при решении практических задач;
- появление эффекта обрамления («звона») приводит к существенным ошибкам при проведении координатной привязки и дешифровке оптико-электронных изображений;
- отсутствие единого критерия выбора параметров алгоритмов обработки оптико-электронных изображений;
- отсутствует единый критерий оценки качества обработки изображения;
- значительная вычислительная сложность и большое время обработки.
Заключение
Проведенный анализ показал, что при использовании известных методов выделения полезной составляющей на фоне аддитивного некоррелированного шума необходимо владеть априорными знаниями об исходном изображении либо статистических свойствах аддитивной шумовой составляющей совместно с функциями искажения [1, 4-12]. При недостаточном уровне априорной информации процесс восстановления изображений существенно усложняется, а недостаточные изыскания в области оценки качества изображений делают обязательным факт визуального контроля обработки человеком, что, в свою очередь, отражается на точностных и скоростных параметрах обработки изображений.
Обращая внимание на общие недостатки методов восстановления изображения, необходимо выделить методы Люси-Ричардсона и слепой деконволюции как наиболее подходящие для решения задачи обнаружения маловысотных малоразмерных объектов при искажении изображений. Однако следует учесть, что при работе с данными методами необходимо решить задачу оценки качества фильтрации цифрового изображения для разработки критерия останова алгоритма восстановления изображения.
Список литературы
1. Воронин В.В., Марчук В.И. Методы и алгоритмы восстановления изображений в условиях неполной априорной информации. Шахты: ГОУ ВПО «ЮРГУЭС», 2010. 89 с.
2. Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде MatLab. М.: ТЕХНОСФЕРА, 2006. 616 с.
3. Половко А.М., Бутусов П.Н. MatLab для студентов. СПб.: БХВ-Петербург, 2005. 320 с.
4. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М. : Техносфера, 2005. 1072 с.
5. Бьемон Ж., Лагендейк Л., Мерсеро Р.М. Итерационные методы улучшения изображений // ТИИЭР, 1990. № 5. С. 58-84.
6. Оппенгейм А.В., Шафер Р.В. Цифровая обработка сигналов / Под ред. С.Я. Шаца. М.: Связь, 1979. 416 с.
7. Панфилова К.В. Компенсация линейного смаза цифровых изображений с помощью метода Люси-Ричардсона // Юбилейная 25-я Междунар. конф. (GraphiCon2015) [Электронный ресурс]. -URL: http://www.graphicon.ru/html/2015/papers/33.pdf (дата обращения: 20.11.2017).
8. Приоров А.Л., Ганин А.Н., Хрящев В.В. Цифровая обработка изображений. М.: Мир, 2001. 312 с.
9. Wipf D.P., Zhang H. Analysis of bayesian blind deconvolution // EMMCVPR. 2013. P. 40-53.
10. Цифровая обработка изображений в информационных системах / И.С. Грузман [и др.] Новосибирск: Изд-во НГТУ, 2000. 168 с.
11. Павлий В.А. Методы слепой деконволюции оптико-электронных изображений в условиях расфокусирования и смазывания // Наука i техшка Повиряних Сил Збройних Сил Украши. 2015. № 3 (20). С. 108-111.
12. Ярославский Л.П. Введение в цифровую обработку изображений. М. : Сов. радио, 1979. 272 с.
References
1. Voronin V.V., Marchuk V.I. Metody i algoritmy vosstanovlenija izobrazhenij v uslovijah nepolnoj apriornoj informacii. Shahty: GOU VPO «JuRGUJeS», 2010. 89 s. (in Russ.)
2. Gonsales R., Vuds R. Cifrovaja obrabotka izobrazhenij. M. : Tehnosfera, 2005. 1072 s. (in Russ.)
3. Polovko A.M., Butusov P.N. MatLab dlja studentov. SPb.: BHV-Peterburg, 2005. 320 s. (in Russ.)
4. Gonsales R., Vuds R., Jeddins S. Cifrovaja obrabotka izobrazhenij v srede MatLab. M.: TEHNOSFERA, 2006. 616 s. (in Russ.)
5. B'emon Zh., Lagendejk L., Mersero R.M. Iteracionnye metody uluchshenija izobrazhenij // TIIJeR, 1990. № 5. S. 58-84. (in Russ.)
6. Oppengejm A.V., Shafer R.V. Cifrovaja obrabotka signalov / Pod red. S.Ja. Shaca. M.: Svjaz', 1979. 416 s. (in Russ.)
7. Panfilova K.V. Kompensacija linejnogo smaza cifrovyh izobrazhenij s pomoshh'ju metoda Ljusi-Richardsona // Jubilejnaja 25-ja Mezhdunar. konf. (GraphiCon2015) [Electronic resource]. - URL: http://www.graphicon.ru/html/2015/papers/33.pdf (access date: 20.11.2017). (in Russ.)
8. Priorov A.L., Ganin A.N., Hrjashhev V.V. Cifrovaja obrabotka izobrazhenij. M.: Mir, 2001. 312 s. (in Russ.)
9. Wipf D.P., Zhang H. Analysis of bayesian blind deconvolution // EMMCVPR. 2013. P. 40-53. (in Russ.)
10. Cifrovaja obrabotka izobrazhenij v informacionnyh sistemah / I.S. Gruzman [i dr.] Novosibirsk: Izd-vo NGTU, 2000. 168 s. (in Russ.)
11. Pavlij V.A. Metody slepoj dekonvoljucii optiko-jelektronnyh izobrazhenij v uslovijah rasfokusirovanija i smazyvanija // Nauka i tehnika Povitrjanih Sil Zbrojnih Sil Ukraini. 2015. № 3 (20). S. 108-111. (in Ukr.)
12. Jaroslavskij L.P. Vvedenie v cifrovuju obrabotku izobrazhenij. M. : Sov. radio, 1979. 272 s. (in Russ.)
Сведения об авторах
Хижняк А.В., к.т.н., доцент, начальник кафедры автоматизированных систем управления войсками Военной академии Республики Беларусь.
Липлянин А.Ю., адъюнкт кафедры автоматизированных систем управления войсками Военной академии Республики Беларусь.
Михнёнок Е.И., адъюнкт кафедры автоматизированных систем управления войсками Военной академии Республики Беларусь.
Мамченко А.С., адъюнкт кафедры автоматизированных систем управления войсками Военной академии Республики Беларусь.
Адрес для корреспонденции
220057, Республика Беларусь, г. Минск, пр. Независимости, 220, Военная академия Республики Беларусь тел. +375-29-504-68-59; e-mail: liplianin.anton@yandex.ru Липлянин Антон Юрьевич
Information about the authors
Khizhniak A.V., PhD, assistent of professor, the chief of chair automated control system of troops of Military academy of the Republic of Belarus.
Liplianin A.Yu., PG student of department automated control system of troops of Military academy of the Republic of Belarus.
Mikhnionok E.I., PG student of department automated control system of troops of Military academy of the Republic of Belarus.
Mamchenko A.S., PG student of department automated control system of troops of Military academy of the Republic of Belarus.
Address for correspondence
220057, Republic of Belarus,
Minsk, Nezavisimosti ave., 220,
Military academy of the Republic of Belarus
tel. +375-29-504-68-59;
e-mail: liplianin.anton@yandex.ru
Liplianin Anton Yurievich
