CC BY
47
Технология повышения детализации изображений с нелинейной коррекцией высокоградиентных фрагментов
В.А. Фурсов1-2, Е.В. Гошин1-2, К.С. Медведева1 1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, Самарская область, г. Самара, Московское шоссе, д. 34;
2 ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, Самарская область, г. Самара, ул. Молодогвардейская, д. 151
Аннотация
Статья посвящена проблеме улучшения качества изображений, регистрируемых с помощью оптических приборов низкого разрешения, в том числе дифракционных регистрирующих приборов. Предлагается двухэтапная технология коррекции изображений. На первом этапе осуществляется коррекция с использованием линейного КИХ-фильтра с центрально-симметричным частотным откликом в виде отрезков квадратичной и экспоненциальной функций. Полученное изображение затем подвергается обработке нелинейным фильтром, который осуществляет компьютерное ретуширование участков изображений, характеризующихся заметным перепадом яркости. Преобразованию подвергаются лишь отсчёты, в которых модуль среднего значения градиентов в различных направлениях достаточно высокий, то есть находятся на границах областей с различным уровнем яркости. Это позволяет избежать усиления шумов в области фона, что характерно для традиционных фильтров. Приводятся примеры реализации, показывающие возможность достижения высокой резкости и иллюстрирующие простоту настройки фильтра по визуальному восприятию.
Ключевые слова: цифровая обработка изображений, КИХ-фильтр, нелинейный фильтр, центрально-симметричный частотный отклик, слепая идентификация.
Цитирование: Фурсов, В.А. Технология повышения детализации изображений с нелинейной коррекцией высокоградиентных фрагментов / В.А. Фурсов, Е.В. Гошин, К.С. Медведева // Компьютерная оптика. - 2019. - Т. 43, № 3. - С. 484-491. - DOI: 10.18287/2412-61792019-43-3-484-491.
1. Постановка задачи
Задача коррекции и восстановления изображений была одной из первых, которая увлекла исследователей [1]. Несмотря на большое число уже опубликованных в этой области исследований, в том числе фундаментальных [2, 3], в последнее время интерес к ней вновь возрос. Связано это с появлением множества мобильных приборов и систем, одной из наиболее популярных функций которых является регистрация изображений. Вследствие стремления к миниатюризации мобильных приборов качество изображений зачастую оказывается недостаточно высоким.
В частности, искажения в виде размытия могут быть связаны либо с малой глубиной резкости объектива, либо с колебаниями прибора при съёмке «с рук», т.е. без использования штатива. Очевидно, что характер и модель искажений для различных эпизодов съёмки могут отличаться, иногда значительно. Однако для пользователя различные искажения визуально воспринимаются примерно одинаково - как потеря резкости.
В последние годы появились также работы, способствующие развитию и внедрению сверхминиатюрных объективов на основе дифракционных оптических элементов (ДОЭ) [4]. Качество первых изображений, полученных с использованием ДОЭ, было крайне низким. По мере совершенствования технологии изготовления ДОЭ и объективов на основе изображающей линзы Френеля [5] качество дифракционных изображений существенно возросло. Тем не ме-
нее, достигнутый уровень разрешения пока ещё заметно ниже получаемого с помощью традиционных оптических систем. Поэтому понятен интерес к проблеме цифровой обработки с целью коррекции изображений, регистрируемых мобильными приборами, в том числе на основе ДОЭ.
Задача восстановления и коррекции изображений часто решается с использованием КИХ-фильтров в силу простоты реализации и отсутствия проблем с устойчивостью [6, 7]. Известны методы построения КИХ-фильтров путём их настройки по эталонам. В частности, в работе [8], посвящённой реконструкции изображений, регистрируемых с помощью элементов дифракционной оптики, решается задача настройки параметров фильтров по эталону (non-blind deblurring) с использованием методов идентификации по прецедентам. Эти подходы рассматривались в работах [9-14]. В последние годы одним из наиболее популярных подходов к идентификации параметров КИХ-фильтров по прецедентам являются методы, основанные на глубоком обучении нейронной сети [15]. Эти методы обычно обеспечивают высокое качество восстановления изображений, однако их реализация требует больших вычислительных ресурсов и большого числа обучающих примеров. Кроме того, возможности существенного повышения качества изображений с использованием линейных КИХ-фильтров ограничены. Это связано с тем, что попытки повысить резкость за счёт усиления средних частот сопровождаются повышением уровня шумов на участках фона.
Поэтому при построении алгоритмов обработки изображений, регистрируемых мобильными приборами, широко используются нелинейные и адаптивные [3] фильтры, в т.ч. в комбинации с линейными фильтрами. В частности, в работе [16] предлагается нелинейный фильтр для устранения малых искажений, связанных с несовершенством оптики мобильных приборов. Авторы не ограничиваются конкретным классом моделей размытия. Однако предположение о малых искажениях существенно ограничивает область применения.
В работе [17] предлагается трёхшаговая технология устранения размытия, связанного с колебаниями (вибрациями) прибора при съёмке с рук. На первом этапе технологии оцениваются параметры функции рассеяния точки и использование фильтра Винера. Затем осуществляется нелинейная обработка и коррекция изображения. Недостатком обеих упомянутых работ является сложность реализации. Предполагается, что обработка изображений выполняется на специальном устройстве.
В ряде работ, посвящённых построению нелинейных фильтров, предполагается использование некоторой априорной или дополнительной информации в ходе обработки. Например, в работе [18] используются данные с инерциальных датчиков. В работе [19] предполагается использование набора изображений, полученных в короткий промежуток времени.
Приведённые ссылки на публикации последних лет показывают, что интерес к разработке эффективных методов и алгоритмов нелинейной коррекции изображений, регистрируемых мобильными приборами, возрастает. Несмотря на большое число известных теоретически обоснованных методов и алгоритмов фильтрации, задача коррекции мобильных изображений всё-таки остаётся актуальной, как нам представляется, по двум причинам.
Во-первых, условия функционирования мобильных приборов обычно не допускают использования для настройки параметров фильтра эталонных изображений. Поэтому в последние годы наибольшие усилия исследователей направлены на построение фильтров при отсутствии априорных моделей: слепое восстановление (blind deblurring) [15]. Например, в [20] предложен метод слепой коррекции искажений, в котором простая модель коррекции строится непосредственно по участкам исходного искажённого изображения, содержащим контурную информацию.
Во-вторых, должны выполняться ограничения по вычислительной сложности программной реализации и требования по быстродействию алгоритмов коррекции изображений. Другими словами, сами фильтры и алгоритмы настройки их параметров должны быть максимально простыми в вычислительном отношении, но обеспечивать высокое качество.
В одной из предшествующих работ [21] рассматривалась технология формирования адаптивных фильтров для устранения искажений типа дефокусировки на изображениях, регистрируемых с помощью мобильных устройств. Для настройки параметров
фильтра использовалась слепая параметрическая идентификация линейной модели фильтра с радиаль-но-симметричным квадратично-экспоненциальным частотным откликом [22]. В рамках этой модели была показана возможность достижения достаточно высокого качества коррекции искажений при минимальных вычислительных затратах.
В настоящей работе, как результат развития этих исследований, рассматривается двухэтапная технология повышения детализации изображений. На первом этапе осуществляется коррекция с использованием линейного Ж-фильтра [23] с центрально-симметричным частотным откликом в виде отрезков квадратичной и экспоненциальной функций. Полученное изображение затем подвергается обработке нелинейным фильтром, который осуществляет компьютерное ретуширование только высокоградиентных фрагментов изображений, что позволяет избежать «подчёркивания» шумов в области фона.
Подчеркнём, что мы ставим задачу слепой коррекции мобильных изображений при отсутствии эталонных изображений и априорной информации о моделях искажений. При этом мы также стремимся обеспечить малую вычислительную сложность и простоту настройки параметров алгоритма, имея в виду последующую реализацию алгоритма в виде мобильного приложения.
В работе приводятся примеры реализации, показывающие возможность достижения высокой детализации изображений и иллюстрирующие простоту настройки фильтра по визуальному восприятию.
Работа структурирована следующим образом. В параграфе 2 приводится подробное описание нелинейного фильтра. Поскольку методы и алгоритмы обработки с помощью линейного Ж-фильтра рассматривались в работах [23, 24], эта часть технологии кратко описана в параграфе 3. В параграфе 4 приведены результаты экспериментов.
2. Нелинейный фильтр
Полагаем, что в точке (п1, п2) изображения находится центральный отсчёт (х0, у0) опорного окна Б с центром в точке к1 = 0, к2 = 0 и числом отсчётов т. Будем рассматривать нелинейный фильтр, предназначенный для повышения резкости изображений, который представляется в следующей общей форме.
У П2 ) = Х ( П2 ) + Р (Т (ХД )) (1)
где хБ - множество отсчётов (т) в опорной области Б, Т(хБ) - некоторое преобразование множества отсчётов в скаляр: / = Т(хБ), Е(Г) - нелинейная функция, формирующая вклад в текущий отсчёт.
Алгоритм является весьма удобным с точки зрения реализации и даёт широкие возможности для «изобретения» различных оригинальных процедур нелинейной коррекции. Различные свойства алгоритма могут достигаться как за счёт построения различных процедур преобразования / = Т(хд), так и путём задания различных нелинейных функций _Р(/). Мы
рассмотрим алгоритм, основанный на использовании разностей с центральным отсчётом.
Пусть х (п1 + &ь п2 + к2) - значения отсчётов функции распределения яркости в опорной области, центральная точка которой к1 = к2 = 0 находится в точке (п1, п2). Определим первые разности по направлениям между отсчётом в точке (п1, п2) и отсчётами в точках (п1 + к1, п2 + к2):
Ах ( + к1, п2 + к2) = х (, п2) -
-х ( + к1, п2 + к2), к1, к2 е Б.
Определим также преобразование Т(хБ) множества разностей (2) в скаляр. Это преобразование задаётся с учётом размеров и формы опорной области и желаемых свойств фильтра. В настоящей работе мы используем преобразование в виде свёртки значений разностей (2) в опорной области Б:
t = Т (хВ )= X И (к1,к2 )Ах(п1 + к1, п2 + к2), (3)
к1,к2 еВ
где х (к1, к2) - заданная весовая матрица свёртки. Элементы весовой матрицы свёртки формируются в виде
И,,к2 = И0/4к' + к2 ,
где Ио - нормирующий коэффициент:
Ио = (-1)/ X (к12 + к22),
(4)
(5)
¥к, ,к2 еВ, кх,кг *0
а т - число точек в опорной области Б. Нетрудно заметить, что в данном случае вклад отсчётов уменьшается по мере их удаления от центрального.
Таким образом, при таком задании преобразования Т(хБ) отсчёт у(п1, п2) на выходе фильтра является результатом сложения отсчёта х(п1, п2) с результатом применения заданной нелинейной функции к свёртке значений разностей центрального отсчёта и отсчётов в его окрестности.
В рамках рассматриваемой структуры фильтра (1) возможно построение других, возможно, более информативных дескрипторов, которые точнее обнаруживают наличие в данной точке изображения перепада яркости, который следует усилить или ослабить. Поскольку одна из важнейших целей настоящей работы - построение максимально простой процедуры коррекции, ориентированной на использование в мобильных приложениях, далее мы ограничимся рассмотрением описанного преобразования.
Идея фильтра состоит в том, чтобы «подчеркнуть» значение центрального отсчёта, если он на границе различающихся уровней яркости. Признаком этого может служить увеличение модуля взвешенного среднего разностей этого отсчёта с отсчётами из его окрестности. Это может иметь место в случаях, когда либо сам центральный отсчёт превышает (по модулю) окружающие, либо значения отсчётов в опорной области принадлежат разным уровням яркости и поэтому различны.
Указанные ситуации с большой вероятностью могут быть обнаружены, например, применением нелинейной функции, приведённой на рис. 1, которая составлена из отрезка ¥(() = 0 в центре и двух симметричных линейных участков при I 11 > 5Г. Нетрудно заметить, что при
М - 5»-
центральный отсчёт опорной области на входном изображении не изменяется, то есть
У(пх, п2) = х ( п2).
Если же угловой коэффициент нелинейной функции ¥(() на интервалах линейности удовлетворяет условию
к * > 0 при >5^, (6)
центральный отсчёт в соответствии с (1) будет «усиливаться».
Показанный вид нелинейной функции позволяет избежать подчеркивания шумов на фоновых участках изображений, характерного для линейных фильтров из-за неизбежного усиления средних частот. В данном случае разности отсчётов в опорной области на фоновых участках всегда невелики.
Необходимо заметить, что при выборе параметра к* для всех отсчётов входного изображения, строго говоря, должны сохраняться обычные требования:
0 - х (п1, п2) + Е ()- 1. (7)
Если это не так, на выходном изображении появятся новые яркие и чёрные точки. Если это недопустимо, избежать появления артефактов можно, уменьшая параметр к* или используя вместо отрезков линейных функций кривые более высокого порядка. При этом, возможно, придется смириться с фактом меньшей детализации на большей части изображения.
т .
0 5* т
Рис. 1. Пример нелинейной функции Еф Подчеркнём, что указанная нелинейная функция, с одной стороны, обеспечивает усиление выделяющихся точек, которые обычно появляются при переходе границ между областями с существенно различными уровнями средней яркости. С другой стороны, такая обработка не изменяет значения пикселов, в которых центральный отсчёт не выделяется на фоне окрестности, что обычно имеет место на фоновых участках изображения, где СКО отсчётов изменяется в узких пределах.
3. Двухэтапная технология коррекции
На первом этапе технологии реализуется метод обработки линейным КИХ-фильтром с центрально-
симметричным частотным откликом, основанный на слепой идентификации параметризованного SE-фильтра [23, 24]. В указанных работах рассматривались два варианта частотных откликов в виде отрезков параболы и экспоненты [23] и в виде трёх последовательных отрезков: параболы, константы и экспоненты [24]. Второй вариант даёт некоторое улучшение качества обработки, однако более сложен в реализации. Учитывая тот факт, что технология разрабатывается для использования в мобильных устройствах, в настоящей работе будет рассмотрен более простой в вычислительном отношении вариант частотного отклика, который для всех значений 0 < ю < ж задаётся в виде отрезков параболы и экспоненты:
|аю2, 0 <ю<ю1,
S (ю) = ■
(8)
, ю>ю1,
£(ю1) = аю? = е-СЮ1 . (9)
Соответствующий этой спектральной характеристике импульсный отклик, в силу свойства радиальной симметрии, является функцией одного (пространственного) параметра г и, с учётом равенства (9), представляется в виде:
h() e Саю jsin(ю/) + 2cos(ю/) 2sin(ю/) +
sin (аю/)-sin (ю/) c cos (аю1г)-r sin (аю1г)
+ + 2 2 r c + r
h(0) = limh(r) = Ю1С(3а-2) + 3e-са^ .
r^0 3cn
(10)
(11)
На данном этапе будем использовать ту же систему координат, которая введена выше при рассмотрении нелинейного фильтра. В частности, полагаем, что центральный отсчёт (точка к1 = к2 = 0) опорного окна Б размером N * N находится в точке (щ, п2) изображения. Тогда отсчёты у(п1, п2) выходного изображения можно представить в виде:
N-1 N-1 2 2
У(п1,П2) = X X к[г(к1,к2)\с(П1 -к1,П2-к2),(12)
к =-^ 1 к =-N-1
1 = 2 2 = 2
отсчеты им-
где r(к1,к2) = ^к12 + к22 , а h[r(к1,к2)] -
пульсной характеристики (10), (11) при значениях параметра r = r(k, кг)'.
Xh(к2) = 1, Ук1,к2 е D. (13)
В работе [22] в рамках описанной модели фильтра была реализована слепая коррекция при отсутствии образцовых изображений (blind deblurring). Настройка фильтра осуществляется итерационно. На каждом (к-м) шаге вычислялся показатель качества коррекции PSNR (Ю^, Ск, ак)) ,и в зависимости от его изменения принималось решение о соответствующем изменении параметров Юк, Ск, ак фильтра.
В настоящей работе модель частотного отклика с расширенной областью средних частот [20] не ис-
пользуется, поэтому в рамках модели (8), (9) параметр а = 1. Еще одно упрощение связано с установленным ранее свойством слабой зависимости критической точки параметра ю в широком диапазоне значений параметра с. Поэтому далее мы принимаем фиксированное значение этого параметра. c = 5.
С учетом сделанных упрощений алгоритм слепой идентификации параметров SE-фильтра сводится к следующей итерационной схеме. Для некоторой заданной на текущем шаге оценки юк параметра ю осуществляется обработка искаженного изображения и вычисляется показатель качества PSNR(юк) (реак signal-to-noise ratio) и SD (юк) (standard deviation). Далее проверяются условия.
PSNR (юк )< PSNR (юк-я ), (14)
SD (юк )> SD (юк-т ).
(15)
Если на данном шаге эти условия выполняются, оценка юк принимается, иначе остаётся оценка, полученная на одном из предшествующих шагов. Процесс останавливается, если
PSNR (ю к )> PSNRdt
(16)
где Р8Ждоп - допустимое значение
Заметим, что поощрение шагов, направленных на увеличение показателя Ж (ю к) в соответствии с условием (15), может приводить к появлению шумов на фоновых участках изображений. Это характерно для изображений, на которых площадь фоновых участков значительна. Этот эффект может быть устранён путем уменьшения допустимого значения PSNRдоп. При этом достигаемое качество (резкость) на этапе обработки линейным фильтром будет ниже. Однако мы сознательно идём на это, поскольку резкость будет улучшена на втором этапе нелинейной коррекции, притом без искажения шумом фоновых участков.
На втором этапе осуществляется нелинейная фильтрация изображения в соответствии с общим подходом, описанным в параграфе 2. При этом для всех выбранных направлений, связанных с отсчётами в опорной области, в соответствии с (2) вычисляются первые разности Ах(к1, к2). Затем осуществляется свёртка этих значений разностей с использованием весовой матрицы, элементы которой формируются в соответствии с соотношениями (4) или (5).
Алгоритм нелинейной коррекции одного отсчёта, представленный формулами (1) - (5), далее повторяется для всех отсчётов изображения. Затем осуществляется нормировка полученного изображения О=g (к1, к2) таким образом, чтобы выполнялось равенство
X У*^ п2) = X ^ п2).
Уп1, п2 Уп1 ,п2
Настройка нелинейного фильтра состоит в выборе двух параметров: порогового значения 5^, характеризующего размеры зоны «нечувствительности», и углового коэффициента к* линейной части нелинейной функции в соответствии с неравенством (6).
Оба параметра легко подбираются по визуальному восприятию обработанного изображения. В частности, чем больше значение параметра 8tr, тем меньше шумов будет на фоновых участках изображения. Однако при этом возможно снижение качества (резкости). Увеличение коэффициента k* усиливает резкость изображения, однако его чрезмерное увеличение может приводить к появлению артефактов вследствие нарушения неравенств (7). Оба отрицательных эффекта хорошо заметны визуально, и их устранение не требует специальной подготовки пользователя.
4. Результаты экспериментов
Первый эксперимент состоял в проверке работоспособности метода. Мы проверяли возможность улучшения объективных критериев качества после этапа нелинейной коррекции. Для этого мы использовали изображение «Lena», полученное из исходного (рис. 2а) моделированием размытия с использованием фильтра Гаусса нижних частот со степенью размытия а = 3 (рис. 26).
Рис. 2. Исходное (а) и искажённое (б) изображения Изображения, полученные в результате применения двухэтапной технологии коррекции искажений, приведены на рис. 3. На первом этапе применялся описанный в параграфе 3 линейный SE-фильтр с параметрами c = 4,9, со = 0,855. Эти параметры соответствуют наибольшему значению показателя PSNR = 30,948, которое может быть достигнуто при использовании SE-фильтра. Полученное на этом этапе изображение приведено на рис. 3а.
Затем была выполнена нелинейная коррекция полученного изображения с использованием фильтра, описанного в параграфе 2. Использовалось опорное окно в виде квадрата 3x3. Для указанного опорного окна имеется 8 радиальных направлений. Для всех восьми направлений в соответствии с (2) вычислялись первые разности Ах(k1, k2). Затем вычислялась свёртка разностей с использованием весовой матрицы с элементами, вычисляемыми по соотношению (5).
Изображение «Lena», полученное в результате коррекции нелинейным фильтром с параметрами нелинейной функции dtr=0,02, k* = 0,25, приведено на рис. 2б. При этом был достигнут показатель PSNR = 31,495, т.е. на 0,547 больше по сравнению с этапом линейной фильтрации. Заметим, что при заданном пороговом значении 8tr = 0,02 число точек на изображении, подвергшихся нелинейной коррекции, составило 35,5 %.
Следующая серия экспериментов состояла в визуальной настройке резкости изображений, полученных
с использованием дифракционных приборов. Эксперименты проводились на изображениях «Синица», полученных съёмкой традиционной оптикой с хорошими характеристиками (рис. 4а) и дифракционным однолинзовым объективом (рис. 4б).
Рис. 3. Обработанные изображения: SE-фильтром (а), после нелинейной коррекции (б)
Рис. 4. Изображения, полученные: оптикой высокого разрешения (а), дифракционным объективом (б)
Для настройки фильтра и обработки дифракционного изображения, показанного на рис. 4б, использовалась та же двухэтапная технология, основанная на слепой идентификации параметров. На первом этапе были реализованы алгоритмы, представленные соотношениями (10) - (16). Окно обработки линейного фильтра задавалось в виде квадрата 7x7, а параметр c = 5. Настройка параметра ю осуществлялась в соответствии с соотношениями (14) - (16) при заданном пороговом значении PSNRдои = 30. В результате была получена оценка ю = 0,58. Дифракционное изображение «Синица», обработанное линейным Ж-филь-тром при указанных значениях параметров c и ю, приведено на рис. 5а.
Рис. 5. Обработанные изображения: SE-фильтром (а), после нелинейной коррекции (б)
На рис. 5б приведено то же изображение после этапа нелинейной коррекции с параметрами Ьг = 0,1, = 0,5. При этом доля точек, подвергшихся нелинейной коррекции, составила 11,5 %. Резкость полученного изображения визуально мало чем отличается от
исходного изображения (рис. 3а), полученного оптикой с высокими характеристиками разрешения. Это было достигнуто выбором более высоких, насколько возможно, значений параметров 5tr, к*. К сожалению, мы не можем привести объективные показатели качества коррекции, т.к. в данном случае, хотя мы и располагаем изображением высокого разрешения, точные характеристики близости по показателю PSNR определить трудно вследствие неизбежных неконтролируемых ошибок совмещения изображений, полученных с разных камер.
Заключение
Приведенные результаты экспериментов показывают, что нелинейная коррекция изображений после этапа линейной фильтрации позволяет существенно улучшить детализацию на изображениях. Важным достоинством предложенной технологии является небольшое число параметров, требующих настройки. Привлекательной стороной является также простота и возможность независимой настройки параметров.
Конечно, за простоту реализации приходится платить. В частности, пользователю придется находить разумный компромисс между появлением некоторого числа артефактов в виде ярких и темных точек и детальностью большей части изображения.
Предложенные метод и алгоритмы существенно отличаются от известных нелинейных фильтров для реконструкции мобильных изображений. Во-первых, предлагаемый фильтр обеспечивает слепую коррекцию при отсутствии прецедентов и априорной информации о моделях искажений. Во-вторых, реализация фильтра предельно проста с точки зрения как вычислительных затрат, так и настройки параметров фильтра.
Как показывают результаты эксперимента на изображении «Лена», предложенная технология в принципе позволяет решать задачу восстановления изображений. Однако основная цель настоящей работы состояла в построении технологии коррекции мобильных изображений. Поэтому мы допускаем возможность настройки параметров фильтра в ручном режиме на основе визуальных оценок. Такая возможность может быть полезной в ситуации, когда результат автоматической настройки не отвечает предпочтениям визуального восприятия пользователя.
Подчеркнем, что возможность достижения хорошей детализации даже на изображениях низкого разрешения при сравнительно малых вычислительных затратах открывает новые перспективы использования предложенной технологии в мобильных устройствах, использующих для съемки объективы на основе элементов дифракционной оптики.
Благодарности
Работа выполнена при поддержке Министерства образования и науки (проект № 2.891.2017), РФФИ (проект № 17-29-03112), а также Министерства науки и высшего образования РФ в рамках выполнения работ по Государственному заданию ФНИЦ «Кристаллография и фотоника» РАН (соглашение № 007-ГЗ/Ч3363/26).
Литература
1. Прэтт, У. Цифровая обработка изображений. Кн. 2 / У. Прэтт. - Пер. с англ. - М.: Мир, 1982. - 480 с.
2. Lagendijk, R. Basic methods for image restoration and identification / R. Lagendijk, J. Biemond. - London: Academic Press, 2000.
3. Computer image processing. Part II: Methods and algorithms / A.V. Chernov, V.M. Chernov, M.A. Chicheva, V.A. Fursov, M.V. Gashnikov, N.I. Glumov, N.Yu. Ilya-sova, A.G. Khramov, A.O. Korepanov, A.V. Kupriyanov, E.V. Myasnikov, V.V. Myasnikov, S.B. Popov, V.V. Ser-geyev, V.A. Soifer; ed. by V.A. Soifer. - VDM Verlag Dr. Müller. - 2010. - 584 p. - ISBN: 978-3-6391-7545-5.
4. Nikonorov, A. Comparative evaluation of deblurring techniques for Fresnel lens computational imaging / A. Nikonorov, M. Petrov, S. Bibikov, Y. Yuzifovich, P. Yakimov, N. Kazanskiy, R. Skidanov, V. Fursov // 2016 23rd International Conference on Pattern Recognition (ICPR).
- 2016. - P. 775-780. - DOI: 10.1109/ICPR.2016.7899729.
5. Никоноров, А.В. Реконструкция изображений в дифракционно-оптических системах на основе свёрточных нейронных сетей и обратной свёртки / А.В. Никоноров, М.В. Петров, С.А. Бибиков, В.В. Кутикова, А.А. Морозов, Н.Л. Казанский // Компьютерная оптика. - 2017. -Т. 41, № 6. - С. 875-887. - DOI: 10.18287/2412-61792017-41-6-875-887.
6. Steve, A. FIR filter design by windowing: Concepts and the rectangular window [Electronical Resource] / A. Steve. -2016. - URL: https://www.allaboutcircuits.com/technical-articles/finite-impulse-response-filter-design-by-window-ing-part-i-concepts-and-rect/ (request date 29.05.2016).
7. Petrou, M. Image processing: the fundamentals / M. Petrou,
C. Petrou. - 2nd ed. - Chichester, West Sussex: John Wiley& Sons Ltd, 2010. - 818 p. - ISBN: 978-0-470-74586-1.
8. Nikonorov, A. Correcting color and hyperspectral images with identification of distortion model / A. Nikonorov, S. Bibikov, V. Myasnikov, Y. Yuzifovich, V. Fursov // Pattern Recognition Letters. - 2016. - Vol. 83, Issue 2. -P. 178-187. - DOI: 1016/j.patrec.2016.06.027.
9. Баврина, А.Ю. Метод параметрического оценивания оптико-электронного тракта системы дистанционного формирования оптического изображения / А.Ю. Баврина, В.В. Мясников, А.В. Сергеев // Компьютерная оптика. - 2011. - Т. 35, № 4. - С. 500-507.
10. Lagendijk, R. Basic methods for image restoration and identification / R. Lagendijk, J. Biemond. - London: Academic Press, 2000.
11. Saad, E. Defocus blur-invariant scale-space feature extractions / E. Saad, K. Hirakawa // IEEE Transactions on Image Processing. - 2016. - Vol. 25, Issue 7. - P. 3141-3156.
12. Tian, D. Coupled learning for facial deblur / D. Tian,
D. Tao // IEEE Transactions on Image Processing. - 2016. -Vol. 25, Issue 2. - P. 961-972.
13. Peng, Y.-T. Underwater image restoration based on image blurriness and light absorption / Y.-T. Peng, P.C. Cosman // IEEE Transactions on Image Processing. - 2017. - Vol. 26, Issue 4. - P. 1579-1594.
14. Zhu, X. Estimating spatially varying defocus blur from a single image / X. Zhu, S. Cohen, S. Schiller, P. Milanfar // IEEE Transactions on Image Processing. - 2013. - Vol. 22, Issue 12. - P. 4879-4891.
15. Yan, R. Blind image blur estimation via deep learning / R. Yan, L. Shao // IEEE Transactions on Image Processing.
- 2013. - Vol. 25, Issue 4. - P. 1910-1921.
16. Huang, J. A robust deblurring algorithm for noisy images with just noticeable blur / J. Huang, H. Feng, Z. Xu, Q. Li, Y. Chen // Optik. - 2018. - Vol. 168. - P. 577-589.
17. Tan, J. Mobile-deblur: A clear image will on the smart device / J. Tan, K. Yang, S. Song, T. Xing, D. Fang // 2017 3rd International Conference on Big Data Computing and Communications (BIGCOM). - 2017. - P. 97-105.
18. Mustaniemi, J. Fast motion deblurring for feature detection and matching using inertial measurements / J. Mustaniemi, J. Kannala, S. Sarkka, J. Matas, J. Heikkila // 2018 24th International Conference on Pattern Recognition (ICPR). -2018. - P. 3068-3073.
19. Aittala, M. Burst image deblurring using permutation invariant convolutional neural networks / M. Aittala, F. Durand // Proceedings of the European Conference on Computer Vision (ECCV). - 2018. - P. 731-747.
20. Almeida, M. Blind and semi-blind deblurring of natural images / M. Almeida, L. Almeida // IEEE Transactions on Image Processing. - 2010. - Vol. 19, Issue 1. - P. 36-52.
21. Фурсов, В.А. Разработка мобильного приложения для коррекции динамических искажений на изображениях /
В.А. Фурсов, Э.Ф. Фатхутдинова // Научный сервис в сети Интернет. труды XX Всероссийской научной конференции. - 2018. - С. 468-479. - DOI: 10.20948/abrau-2018-23.
22. Fursov, V.A. Identification of square-exponential FIR-filter parameters in the absence of a test image / V.A. Fursov // Procedia Engineering. - 2017. - Vol. 201. - P. 206-212. -DOI: 10.1016/j.proeng.2017.09.611.
23. Фурсов, В.А. Построение КИХ-фильтров в заданном параметрическом классе частотных характеристик для коррекции дефокусировки / В.А. Фурсов // Компьютерная оптика. - 2016. - Т. 40, № 6. - С. 878-886. - DOI: 10.18287/2412-6179-2016-40-6-878-886.
24. Фурсов, В.А. Построение квадратично-экспоненциальных КИХ-фильтров с расширенной средней областью частотного отклика / В.А. Фурсов // Компьютерная оптика. - 2018. - Т. 42, № 2. - С. 297-305. - DOI: 10.18287/2412-6179-2018-42-2-297-305.
Сведения об авторах
Фурсов Владимир Алексеевич, д.т.н., профессор, заведующий кафедрой суперкомпьютеров и общей информатики в Самарском университете. Область научных интересов. теория и методы оценивания по малому числу измерений, методы обработки и распознавания изображений, построение алгоритмов обработки и распознавания изображений, в т.ч. с использованием многопроцессорных вычислительных систем. E-mail. _ [email protected] .
Гошин Егор Вячеславович, к.т.н., доцент кафедры суперкомпьютеров и общей информатики Самарского национального исследовательского университета. Область научных интересов. методы обработки и распознавания изображений, параллельные вычисления, стереозрение. E-mail. [email protected] .
Медведева Ксения Сергеевна, в 2017 году получила степень магистра по направлению «Прикладная математика и информатика» в ФГБОУ Высшего профессионального образования «Саратовский государственный университет имени Н.Г. Чернышевского». В настоящее время является аспирантом кафедры суперкомпьютеров и общей информатики в Самарском университете. Область научных интересов. цифровая обработка и распознавание изображений. E-mail. [email protected] .
ГРНТИ: 28.00.00
Поступила в редакцию 29 апреля 2019 г. Окончательный вариант - 3 июня 2019 г.
Technology of enhancing image detalization with nonlinear correction of highly gradient fragments
V.A. Fursov1-2, Ye.V. Goshin1-2, K.S. Medvedeva 2 1 Samara National Research University, Mos^vs^ye Shosse 34, 443086, Samara, Russia;
2IPSIRAS - Branch of the FSRC "Crystallography and Photonics" RAS, Molodogvardeys^aya 151, 443001, Samara, Russia
Abstract
The article is devoted to the problem of improving the quality of images recorded using low-resolution optical instruments, including diffraction-based cameras. A two-stage image correction technology is proposed. At the first stage, the correction is carried out using a linear FIR filter with a centrally symmetric frequency response in the form of quadratic and exponential functions. The resulting image is then processed with a non-linear filter that performs computer retouching of image areas characterized by a noticeable brightness difference. This procedure is only performed on those pixels in which the absolute value of gradients in different directions is sufficiently high, that is, they are located on the borders of areas with different intensity levels. This allows us to avoid noise amplification in the background, which is typical of traditional filters. The examples of the implementation are provided, showing the possibility of achieving high sharpness and illustrating how the filter can be adjusted by visual perception.
Keywords. image processing, FIR filter, nonlinear filter, centrally symmetric frequency response, blind identification.
Citation. Fursov VA, Goshin YeV, Medvedeva KS. Technology of enhancing image detalization with nonlinear correction of highly gradient fragments. Computer Optics 2019; 43(3). 484491. DOI. 10.18287/2412-6179-2019-43-3-484-491.
Acknowledgements-. This work was supported by the Ministry of Education, Science (project No. 2.891.2017) and the Russian Foundation for Basic Research (project No. 17-29-03112) and the RF Ministry of Science and Higher Education within a state contract with the "Crystallography and Photonics" Research Center of the RAS under agreement 007-0/^3363/26.
References
[1] Pratt W. Digital image processing. New York, NY: John Wiley and Sons Inc; 1978.
[2] Lagendijk R, Biemond J. Basic methods for image restoration and identification. London: Academic Press, 2000.
[3] Soifer VA, ed. Computer image processing, Part II: Methods and algorithms. VDM Verlag Dr. Müller; 2010. ISBN: 978-3-6391-7545-5.
[4] Nikonorov A, Petrov M, Bibikov S, Yuzifovich Y, Yakimov P, Kazanskiy N, Skidanov R, Fursov V. Comparative evaluation of deblurring techniques for Fresnel lens computational imaging. 23rd International Conference on Pattern Recognition (ICPR) 2016: 775-780. DOI: 10.1109/ICPR.2016.7899729.
[5] Nikonorov AV, Petrov MV, Bibikov SA, Kutikova VV, Morozov AA, Kazanskiy NL. Image restoration in diffrac-tive optical systems using deep learning and deconvolu-tion. Computer Optics 2017; 41(6): 875-887. DOI: 10.18287/2412-6179-2017-41-6-875-887.
[6] Steve A. FIR filter design by windowing: Concepts and the rectangular window. Source: (https://www.allabout-circuits.com/technical-articles/finite-impulse-response-filter-design-by-windowing-part-i-concepts-and-rect/).
[7] Petrou M, Petrou C. Image processing: fundamentals. 2nd ed. Chichester, West Sussex: John Wiley and Sons Ltd; 2010. ISBN: 978-0-470-74586-1.
[8] Nikonorov A, Bibikov S, Myasnikov V, Yuzifovich Y, Fursov V. Correcting color and hyperspectral images with identification of distortion model. Patt Recogn Lett 2016; 83(2): 178-187. DOI: 1016/j.patrec.2016.06.027.
[9] Bavrina AYu, Myasnikov VV, Sergeev AV. Method of parametric estimation of optoelectronics tract of remote sensed optical image formation [In Russian]. Computer Optics 2011; 35(4): 500-507.
[10] Lagendijk R, Biemond J. Basic methods for image restoration and identification. London: Academic Press; 2000.
[11] Saad E, Hirakawa K. Defocus blur-invariant scale-space feature extractions. IEEE Trans Image Proces 2016; 25(7): 3141-3156.
[12] Tian D, Tao D. Coupled learning for facial deblur. IEEE Trans Image Process 2016; 25(2): 961-972.
[13] Peng Y-T, Cosman PC. Underwater image restoration based on image blurriness and light absorption. IEEE Trans Image Process 2017; 26(4): 1579-1594.
[14] Zhu X, Cohen S, Schiller S, Milanfar P. Estimating spatially varying defocus blur from a single image. IEEE Trans Image Process 2013; 22(12): 4879-4891.
[15] Yan R, Shao L. Blind image blur estimation via deep learning. IEEE Trans Image Process 2016; 25(4): 1910-1921.
[16] Huang J, Feng H, Xu Z, Li Q, Chen Y. A robust deblurring algorithm for noisy images with just noticeable blur. Optik 2018; 168: 577-589.
[17] Tan J, Yang K, Song S, Xing T, Fang D. Mobile-deblur: A clear image will on the smart device. 3rd International Conference on Big Data Computing and Communications (BIGCOM) 2017: 97-105.
[18] Mustaniemi J, Kannala J, Särkkä S, Matas J, Heikkilä J. Fast motion deblurring for feature detection and matching using inertial measurements. 24th International Conference on Pattern Recognition (ICPR) 2018: 3068-3073.
[19] Aittala M, Durand F. Burst image deblurring using permutation invariant convolutional neural networks. Proceedings of the European Conference on Computer Vision (ECCV) 2018: 731-747.
[20] Almeida M, Almeida L. Blind and semi-blind deblurring of natural images. IEEE Trans Image Process 2010; 19(1): 36-52.
[21] Fursov VA, Fatkhutdinova EF. The technology of correction of dynamic distortions on mobile devices [In Russian]. CEUR Workshop Proceedings 2018; 2260: 468-479.
[22] Fursov VA. Identification of square-exponential FIR-filter parameters in the absence of a test image. Procedia Engineering 2017; 201: 206-212. DOI: 10.1016/j.proeng.2017.09.611.
[23] Fursov VA. Constructing FIR-filters for a given paramet-rical class of frequency response for defocus correction [In Russian]. Computer Optics 2016; 40(6): 878-886. DOI: 10.18287/2412-6179-2016-40-6-878-886.
[24] Fursov, VA. Constructing a quadratic-exponential FIR-filter with an extended frequency response midrange [In Russian]. Computer Optics 2018; 42(2): 297-305. DOI: 10.18287/2412-6179-2018-42-2-297-305.
Author's information
Vladimir Alekseevich Fursov, is Doctor of Engineering Science, Professor, head of Computer Science subdepartment of Samara University, leading researcher. Research interests are development of the theory of estimation on small number of observations, development of methods of image processing and training to pattern recognition, development of hight-performance parallel methods both algorithms of image processing and pattern recognition oriented on application of multiprocessor computing systems. E-mail. _ [email protected] .
Yegor Vyacheslavovich Goshin, Candidate of Engineering Sciences, assistant professor in Samara National Research University. Research interests are image processing, recognition algorithms, parallel computations and stereovision. E-mail. [email protected] .
Ksenia Sergeevna Medvedeva, in 2017 received a master's degree in Applied Mathematics and Computer Science in Saratov State University named after N.G. Chernyshevsky. Currently a graduate student of Supercomputers and Computer Science department at Samara University. Research interests are image processing and pattern recognition. E-mail. [email protected] .
Received April 29, 2019. The final version - June 3, 2019.
