CC BY
52
Ретуширование и восстановление отсутствующих частей изображений с помощью итерационного вычисления их спектров
А.В. Кокошкин1, В.А. Коротков1, К.В. Коротков1, Е.П. Новичихин1 'Институт радиотехники и электроники им. В.А. Котельникова РАН, 141120, Россия, Московская область, г. Фрязино, пл. Введенского, д. 1
Аннотация
В представленной работе проводится сравнительный анализ нескольких методов, используемых в задачах заполнения лакун на изображениях: интерполяция кубическим сплайном, нейронная сеть и метод интерполяции последовательно вычисляемого спектра Фурье. Методы тестируются на глобальной карте поля интегрального паросодержания атмосферы. Показано, что предлагаемый нами метод интерполяции последовательно вычисляемого спектра Фурье является вполне конкурентоспособным по сравнению с альтернативными методами, особенно в случаях отсутствия априорной информации о характере потерянных данных. Предлагаемый нами метод цифровой виртуальной реконструкции изображений использует в качестве исходных все данные, которые есть в наличии. Представленные результаты свидетельствуют о существенном повышении качества цифровых изображений при использовании метода интерполяции последовательно вычисляемого спектра Фурье.
Ключевые слова: интерполяция, ретуширование, восстановление изображений.
Цитирование: Кокошкин, А.В. Ретуширование и восстановление отсутствующих частей изображений с помощью итерационного вычисления их спектров / А.В. Кокошкин, В.А. Коротков, К.В. Коротков, Е.П. Новичихин // Компьютерная оптика. - 2019. - Т. 43, № 6. - С. 1030-1040. - DOI: 10.18287/2412-6179-2019-43-6-1030-1040.
Введение
Практически любая область деятельности современного человека немыслима без применения компьютерных технологий. Особое развитие получили методы цифровой обработки изображений, которые широко применяются в медицине, аэрокосмическом мониторинге, при реставрации предметов изобразительного искусства, в обеспечении безопасности и других областях человеческой деятельности.
Одной из задач цифровой обработки является заполнение или восстановление отсутствующих частей изображения (лакун). Появление лакун может быть обусловлено сознательным изъятием части изображения. В этом случае целью заполнения лакуны является скрытие факта изъятия. Для этой цели привлекают соответствующие средства - методы image inpainting, в том числе нейронные сети [1, 2]. Image inpainting заполняет (буквально зарисовывает) лакуны вероятностным способом так, чтобы это казалось естественным человеческому глазу. Методы image inpainting, кроме удаления нежелательных объектов с изображения, часто используются при виртуальной реставрации старых фотоснимков и предметов изобразительного искусства (ретуширование недостающих пикселей и повреждённых областей так, чтобы это выглядело правдоподобным). Все манипуляции при таком подходе происходят в пространственной области. Для заполнения лакун выбираются наиболее похожие блоки (фрагменты). В качестве баз данных (библиотек) используется либо само исходное изображение (его неповреждённые области), либо набор подобных по структуре эталонных изображений (обучающая выборка). Основная проблема image inpainting связана с тем, что при значительных размерах лакун большинство алгоритмов не могут поддер-
живать непрерывность структуры и согласованность текстур для получения визуально правдоподобных результатов после реконструкции.
Лакуны на изображении могут образоваться при затенении расфокусированных или смазанных интересующих нас объектов [3, 4]. Восстановление информации о затенённых объектах возможно при некоторых условиях. В эти условия входит не только информация о виде искажения (расфокус или смаз), но и условие соотношения размера лакуны по отношению к величине расфокуса или смаза [3, 4]. Если известно, какой объект должен быть на месте лакуны, то целью заполнения лакуны может быть выяснение ориентации, размера и количества этих объектов. При такой постановке задачи после реконструкции содержимого лакун ко всему изображению применяют известные методы деконволюции. В этом и некоторых других случаях при заполнении лакун эффективна интерполяция - линейная, весовая или сплайновая. Как правило, интерполяцию изображения целесообразно применять при малом поперечном размере лакун (в том числе разреженные изображения).
В аэрокосмических изображениях из-за технических особенностей аппаратуры и методик измерений (специфики траекторий) в пространственно-временной структуре спутниковых данных зачастую возникают лакуны (незаполненные данными области). Кроме этого, при регистрации изображений в оптическом диапазоне есть вероятность того, что изображение может быть частично закрыто облаками. Поэтому восстановление данных для подобных лакун является важным и актуальным. Для построения по спутниковым данным карт рельефа местности, по массиву ра-диояркостных температур карт восстанавливаемых атмосферных параметров обычно применяют различ-
ные интерполяционные модели. Например, в [5, 6] подобные задачи решают на основе вариационного алгоритма фильтрации линейных систем уравнений.
В случае медленно меняющейся яркости на изображениях, автокорреляционная функция которых шире, чем размер лакун, заполнение отсутствующих областей изображения возможно, как уже было сказано выше, каким-либо из методов интерполяции. Но в случае достаточно контрастных изображений проблема достоверности реконструкции содержимого лакун очень актуальна. Поэтому, если есть такая возможность, лакуны одной базы данных обычно дополняются из другой базы данных, как, например, при геоинформационном картографировании Фобоса по результатам обработки данных дистанционного зондирования космического аппарата Mars Express [7]. В [8] представлены методики пространственно-временной интерполяции лакун, которые предусматривают взаимное дополнение всех доступных данных с функционирующих космических аппаратов. В результате получаются два глобальных радиотепловых поля в сутки, пригодных для изучения процессов системы «океан - атмосфера» и их пространственно-временных неоднородностей в широком диапазоне масштабов. Развитием этого направления является разработка мультисенсорного алгоритма спутникового радиотепловидения, позволяющего объединить данные спутникового радиотеплового мониторинга Земли из разных источников в рамках единой схемы пространственно-временной интерполяции, учитывающей различия во времени и пространственном разрешении съёмки разными приборами [9]. Авторы этого алгоритма констатируют: «Построение опорных полей наталкивается на ряд трудностей, связанных с ограниченным объёмом доступной спутниковой информации. В частности, применяемый алгоритм «сшивки лакун» не гарантирует восстановление значений геофизического параметра во всех узлах пропуска данных с какой-либо наперёд заданной точностью, а направлен на минимизацию возмущений конечного интерполяционного решения вследствие краевых эффектов на границах полос сканирования» [9].
В данной работе мы рассматриваем тот случай, когда нет другой информации о содержимом утраченной части изображения, кроме оставшейся части изображения. Одним из вариантов решения такой задачи может быть использование спектра изображения. Следует учесть, что интерполяцию Котельникова [10], которая справедлива для сигналов с ограниченным спектром, использовать нельзя из-за большого цифрового шума. Поэтому нами предлагается применить метод интерполяции последовательно вычисляемого спектра Фурье (МИПВС) [11, 12], позволяющий ретушировать и восстанавливать отсутствующие (затенённые) части изображения. В отличие от некоторых традиционных методов интерполяций МИПВС можно использовать при любой форме отсутствующей части изображения. Ретуширование и восстановление МИПВС изображения может дать хорошие ре-
зультаты даже при значительной доле отсутствующего изображения. Предложенная нами методика не требует никакой априорной информации о том, каким было реконструируемое изображение до повреждения. Информация берётся непосредственно из исходного спектра повреждённого объекта. Заполнение отсутствующей части изображения делается итерационно (от нулевой пространственной частоты до наивысшей пространственной частоты) на основе спектра присутствующей части изображения.
В этой работе для сравнения с предлагаемым нами методом лакуны заполняются с помощью сплайн-интерполяции, описанной в [13, 14]. Физический смысл этого метода заключается в том, что для произвольного набора опорных точек (узлов) решается система линейных уравнений, моделирующая поведение изогнутой упругой пластинки. В результате получается соотношение, описывающее двумерную сплайн-поверхность. Причём есть возможность учитывать при вычислении сплайна кайму вокруг лакуны шириной от одного до нескольких ближайших пикселов. Такой подход обладает определённой универсальностью и может быть применим для сравнительного анализа с методом интерполяции последовательно вычисляемого спектра Фурье. Сравнение МИПВС с более простыми способами интерполяции, например, линейной, будет не вполне корректным. Потому что при произвольных формах лакун, их расположении и ориентации необходимы априорные знания о местах и направлениях линий интерполяции. Кроме того, для сравнения с предложенным нами методом МИПВС выбрана реализация подхода image inpainting, созданная известной российской компанией Movavi, использующая для своей работы нейросеть [20].
Существуют ещё и другие методы обработки изображений, в том числе с помощью фракталов, но в нашем исследовании они не обсуждаются.
Целью данной работы является сравнение результатов заполнения разными методами лакун на изображении. В качестве базовых изображений рассматриваются поле интегрального паросодержания атмосферы и тестовые изображения.
Описание алгоритма метода интерполяции последовательно вычисляемого спектра Фурье
Идеология МИПВС кратко может быть представлена следующим образом. Полное изображение Yp можно записать как сумму изображений вне лакуны Y-l и внутри неё YL:
Yp = Y_ l + Yl . (1)
Пусть маска, с помощью которой можно из полного изображения получить изображение с лакуной, обозначена как L, и эта маска внутри лакуны равна 1, а вне лакуны равна нулю.
Тогда выражение (1) можно записать так:
Yp = Y_l + LYp . (2)
Под спектром изображения понимается Фурье-образ этого изображения, полученный в результате выполнения дискретного преобразования Фурье. Найдём спектр (2) и получим
(5-/Ь)*/Ур = /Ь-ь, (3)
где 5 - дельта-функция, /Ь - спектр маски Ь для получения лакуны; /Ур - спектр полного изображения; /У-Ь -спектр изображения с лакуной, знак (*) обозначает операцию свёртки.
Решение (3) можно производить итерационно. Таким образом, работа МИПВС происходит следующим образом:
1. Локализуем лакуну, т.е. определяем координаты всех пикселей изображения, которые необходимо заполнить с помощью МИПВС.
2. Устанавливаем частоту ограничения спектра Г = 0. В этом случае значение амплитуды спектра соответствует средней яркости изображения (без пикселей из лакуны).
3. Заполняем лакуну значениями яркости, вычисленными в предыдущем пункте, то есть получаем первое приближение заполнения лакуны. При этом неискажённая часть изображения (изначально достоверно известная) не подвергается никаким изменениям.
4. Вычисляем полный пространственный спектр изображения, полученного при выполнении предыдущего пункта (с заполненной лакуной).
5. Увеличиваем Г на единицу. Ограничив спектр из предыдущего пункта частотой Г, обнуляя отсчёты спектра с индексами, большими Г, с последующим выполнением обратного преобразования Фурье, вычисляем следующее приближение значений яркостей для заполнения лакуны.
6. Заполняем лакуну значениями яркости, вычисленными в предыдущем пункте. При этом неискажённая часть изображения (изначально достоверно известная) не подвергается никаким изменениям.
7. Далее циклично выполняем пункты 4, 5, 6. При этом каждый цикл (итерацию) Г увеличивается на единицу, вплоть до наивысшей возможной. Таким образом, лакуна последовательно заполняется, причём неискажённая часть изображения (изначально достоверно известная) не подвергается никаким изменениям.
В результате выполнения предложенного алгоритма ретушируемая лакуна постепенно заполняется изображением, всё более соответствующим спектру окружающего изображения (изначально достоверно известному).
Сравнение результатов работы МИПВС, интерполяции сплайном и нейронной сетью на тестовом изображении
Поскольку результаты реконструкции утраченного фрагмента изображения зависят в значительной мере от свойств изображения, то выбор тестового изображения является важным моментом. Известно, что интерполяция сплайном в первую очередь опирается на пиксели,
непосредственно прилегающие к лакуне. Полученное с помощью сплайна изображение страдает отсутствием мелких деталей и имеет «сглаженный» вид.
Заполнение лакун с помощью интерполяции сплайном по определению не может восстановить никакой структуры отсутствующих частей изображения (тем более если их нет вне лакуны), поскольку использует информацию только о краях лакун и плавно заполняет реконструируемое пространство содержанием, подобным своим точкам опоры.
При использовании Моуау1, опирающегося на нейросети [20], для реконструкции изображения в лакуне возникнут определённые трудности, если часть изображения, которая должна быть на месте лакуны, не имеет фрагментов, аналогичных остальной части изображения.
МИПВС при заполнении лакуны использует спектральные преобразования. Поэтому при реконструкции анализируется целиком всё изображение, как и в методе, основанном на нейронных сетях. Однако ценой за это будет значительное снижение скорости работы по сравнению с упомянутыми выше методами. Кроме этого, при увеличении размера лакуны будут увеличиваться ошибки заполнения.
Исходя из вышесказанного, выберем заполнение тестового изображения согласно следующим выражениям:
У [х, у] = А[у](0,5 - аЪз(0,5Ж - х))/(0,5ЛО + Аа,
А[у] = Аш{(Яа - аЬз(0,5Ж-у))/Ла}2,
если -Яа <у - 0.5Ж < Яа, А[у] = 0, для остальных у,
где N = 256 - размер изображения, Ао - «основная» яркость изображения, Ат +Ао - максимальная яркость изображения, Яа = 80 - половина размера части изображения, где изменяется яркость, аЬБ(х) - модуль х. На рис. 1 представлены исходное тестовое неискажённое изображение и изображение с лакуной.
Выбор формы лакуны (эллипс) на изображении обусловлен увеличением проблем с заполнением лакуны.
На рис. 1е графики зависимости дисперсии ошибки реконструкции от ширины лакуны показывают, что для выбранного тестового изображения, которое является «неприятным» для этих методов, неплохо показали себя сплайн и МИПВС. У нейронной сети дисперсия ошибки значительно больше, поскольку отсутствуют необходимые фрагменты для заполнения лакуны на оставшейся части изображения.
Примеры реконструкции изображений в лакуне, показанной на рис. 16, представлены на рис. 2 и 3.
Рис. 3 демонстрирует разрезы (через центр по горизонтали) реконструированного разными методами изображения рис. 16. На рис. 36 хорошо видно, что в самой проблемной области, т. е. в центре лакуны, работа МИПВС (прерывистая линия) гораздо ближе к исходному неискажённому изображению (сплошная линия), чем заполнение лакуны с помощью сплайна (пунктир) или нейронная сеть (полужирный пунктир). Таким образом, в полном соответствии с объективными показателями (с графиками зависимости дис-
персии ошибки реконструкции рис. 1в) и с экспертной оценкой (внимательным рассмотрением рис. 2а-в),
можно констатировать, что МИПВС даёт меньшие ошибки по сравнению с конкурирующими методами. 150[
100
50
1 Г--sigF^]
< I — sigS
1 » l—- sigM) / / / / /
« / • / 1 / - • t - : / ''' / '
i " X
О
10
20
30 40
а) б) в)
Рис. 1. Исходное тестовое неискажённое изображение (а) и изображение с лакуной (б). Графики зависимости дисперсии ошибки реконструкции sigF (МИПВС - прерывистая линия), sigS (сплайн - пунктир), sigM (нейронная сеть - полужирный пунктир) в зависимости от х (горизонтального размера лакуны) (в)
Рис. 2. Примеры реконструкции изображений в лакуне рис. 1б с помощью МИПВС (а), сплайн-интерполяции (б), нейронной сети (в)
200-
260
- 240 -
220
200
180-
а) 0 100 200 б) 120 130 140
Рис. 3. Разрезы изображений (через центр по горизонтали). По полной ширине изображения (i от нуля до 255 пикселей) (а); увеличенный масштаб (б). Исходное неискажённое изображение (см. рис. 1а) - сплошная линия (Mgo); исходное изображение с лакуной (см. рис. 1б) - штрихпунктирная линия (zuL); работа МИПВС (см. рис. 2а) - прерывистая линия (Mg); работа сплайна (см. рис. 2б) - пунктир (Mgs); работа нейронной сети (см. рис. 2в) - полужирный пунктир (Mgm)
Сравнение результатов виртуальной реконструкции утерянной части изображения МИПВС с альтернативными методами
Рис. 4а иллюстрирует поле интегрального паросо-держания атмосферы над Индийским океаном с широкими лакунами, обозначенными чёрным цветом (восстановленного по измерениям спутника ЛМ8Я_2 за 01 ноября 2013 года). Перевод иллюстраций в чёрно-белое изображение в данном примере сделан оригинальной процедурой, любезно предоставленной авторами [9], как и оригиналы этих изображений вместе с глобальными цветными картами. Таким образом, градации яркостей непосредственно отображают относительную величину значений поля интегрального паросодержания атмосферы от минимальной (чёрный цвет) до максимальной величины (белый цвет). Для большей наглядности на все восстановленные изображения рис. 4 нами нанесены контуры лакун вместе с географическими контурами. В [9] констатируется, что поскольку лакуны имеют значительную ширину, то дополнение их данными с других спутников, например измерениями с 88М18 Б16, Б17, отстоящими от измерений ЛМ8Я_2 на 3,5 - 4,5 часа, вызовет существенные погрешности при формировании глобальной карты. Не вдаваясь в подробности методики итерационной схемы построения и пространственно-временной интерполяции полей геофизических параметров глобального покрытия по данным спутнико-
вых радиометрических наблюдений [9], скажем только, что этот алгоритм предусматривает проводимую в несколько этапов сшивку и интерполяцию данных, полученных с нескольких спутников, пролетавших над интересующей исследователей областью в разное время. Причём эти данные имеют разное пространственное разрешение. В результате используемых в [9] процедур на основании обработки рис. 4а получен рис. 46. В дальнейшем результаты работы всех остальных методов сравниваются с рис. 46, который будем считать «идеальным».
Рис. 4е показывает результаты обработки исходного изображения рис. 4а методом интерполяции последовательно вычисляемого спектра Фурье. Причём здесь не применяется никаких дополнительных данных с других спутников и никаких априорных знаний (например, данных о градиентах тепловых потоков в известных областях изображения). Результат реконструкции с помощью МИПВС выявляет восстановление основной структуры изображения даже в широких лакунах. Таким образом, с точки зрения реконструкции в реальном времени восстановление содержимого лакун с помощью МИПВС (рис. 4е) выглядит вполне приемлемо. Поскольку при заполнении пропусков данных дистанционного зондирования в [9] делается не только пространственная, но и временная интерполяция, то прямое сравнение рис. 46 и 4е возможно только в некотором приближении.
Рис. 4. Исходное изображение поля интегрального паросодержания атмосферы над Индийским океаном с лакунами, обозначенными чёрным цветом (а); результаты пространственно-временной интерполяции исходного изображения по многоэтапной процедуре из [9] (б); результаты обработки исходного изображения с помощью МИПВС (в); результаты обработки исходного изображения интерполяцией сплайном (г). Результат заполнения лакуны изображения (а) с помощью: нейронной сети (д), с помощью image inpainting (е)
Различия результатов [9] с МИПВС, помимо погрешностей реконструкции, могут быть объяснены тем обстоятельством, что между пролётами первого и следующего спутника проходит определённое время и общая картина меняется.
На рис. 4г лакуны заполняются с помощью сплайн-интерполяции [13, 14]. Рис. 4д демонстрирует применение технологии нейронной сети. Рис. 4е показывает результаты работы image inpainting [15].
Сплайн, опираясь на данные, расположенные по краям лакун, лишь плавно ретуширует утерянные данные. Нейронные сети демонстрируют в данном случае все свои характерные недостатки: проблемы с непрерывностью структуры и согласованностью текстур с явно видимой сшивкой посередине лакун. Такие же проявления характерных недостатков, как у нейронной сети, видны на рис. 4е, полученном image inpainting [15]. В то время как МИПВС не просто ретуширует лакуны, а частично восстанавливает их содержимое.
Для объективного сравнения работы методов по заполнению (восстановлению) лакун необходимо иметь эталонные неискажённые объекты, на которые вносятся контролируемые изменения (изъятия заданных областей изображений). В этом качестве используем десять фрагментов, вырезанных в разных местах из полностью заполненной (интерполированной по многоэтапной процедуре) карты поля интегрального паросодержания атмосферы, предоставленной нам авторами [9] рис. 5.
Рис. 5. Исходное изображение поля интегрального паросодержания атмосферы, интерполированное по многоэтапной процедуре [9]
Удалим на выбранных фрагментах часть изображений, то есть создадим лакуны. Форма лакун соответствует случаям аэрокосмических изображений. При этом варьируем ширину нижней части моделируемой лакуны от 8 до 96 пикселей. Примеры двух фрагментов с шириной лакуны в нижней части изображений, равной 64 пикселям, приведены на рис. 6. Произведём заполнение лакун разными методами. И в заключение вычислим объективные показатели качества восстановленных разными методами изображений в смоделированных лакунах - среднеквадратичное отклонение (СКО) и меру структурного подобия (МСП). МСП (или в английском варианте 881М) рассчитывается по формуле [16]:
SSIM =
2 XY X2 + Y2
2а X aY
а X2 +ау-
где X, У - средние значения яркостей пикселей изображений X и У, где
1 N-1 ы2 -1
а X =-
N N2 £? j=0 1
Xj - X )2
а y =-
N1 N2 i=0 j=0
XX (Y - Y )2
1
X X(Xj- X)(Yj- Y),
N N2j~0
где N1, N2 - ширина и высота изображения.
Кроме того, полезным может быть вычисление меры резкости цифрового изображения (МРЦИ) в реконструированной лакуне [19] и её сравнение с эталонным образцом (оценка того, какой из методов по этому критерию оказался ближе к оригиналу).
МРЦИ вычисляется согласно алгоритму [19]:
1) ввести на вход анализируемое полутоновое изображение I;
2) задать размеры двух масок для усредняющего фильтра k1 и k2;
3) получить изображение B1, выполнив свертку исходного изображения I с усредняющим фильтром размером k1;
4) получить изображение B2, выполнив свертку исходного изображения I с усредняющим фильтром размером k2 (k2>k1);
5) получить оценку степени размытости С:
C = У1 у-1 B1ij - B2ij уу N1 N2 ' где N1, N2 - ширина и высота изображения.
г)\
Рис. 6. Примеры исходных изображений поля интегрального паросодержания атмосферы (а, в) (слева) и те же изображения, но с модельными лакунами (б, г) (справа)
Сопоставление и анализ графиков на рис. 7, 8 позволяет высказать утверждение, что предлагаемый нами МИПВС с точки зрения объективных критериев (СКО и МСП) вполне конкурентоспособен по сравнению с альтернативными методами. В основном СКО МИПВС от эталона рис. 7 (особенно в широких лакунах) оказывается меньше, чем для сплайна и нейронной сети. В то же самое время мера структурного подобия для МИПВС (сплошная линия рис. 8) имеет лучшие показатели, чем для других методов. При этом МСП достигает максимума (единицы) на полностью совпадающих изображениях.
Рис. 9 иллюстрирует зависимость меры резкости цифрового изображения (МРЦИ) от ширины нижней 12
I
т
т
т
10 8 б 4 2 О
--ЖО^
.....БКОБ
•••• ЖОМ
части моделируемой лакуны для соответствующих фрагментов изображений рис. 6а, б. 12
I
Т"
т~
т
10 8 6 4 2 О
--$КОР
.....ЖОЗ1
•••• ЖОМ
" ..........
• /
/
/
У /
а) 0 20 40 60 80 N1 б) 0 20 40 60 80 N1
Рис. 7. СКО, вычисленные для фрагментов рис. 6а, б соответственно: 8КОГ (МИПВС - прерывистая линия), (сплайн - пунктир), 8К0Ы (нейронная сеть - полужирный) в зависимости от N1 (ширина нижней части моделируемой
лакуны)
Т.Г^:
0,995
0,990
0,995
0,990- г
0985 а) 0 20
--ШР
ш
80 N1
0,985-1-
б) 0 20
_1_ 40
_1_ 60
_1_
80 N1
Рис. 8. МСП, вычисленные для фрагментов рис. 6а, б соответственно: SSSF (МИПВС - прерывистая линия), SSSS (сплайн - пунктир), SSSM (нейронная сеть - полужирный пунктир) в зависимости от N1 (ширина нижней части
моделируемой лакуны)
2,5
2,0
1,5
1,0
а)
0,5
1 1 1 1
--СМ8Р
-----СМББ
_ % • •••• С№М -
• • • - СМ500
••• - .
ь ч X N Ч Ч Ч Ч
2,5
2,0
1,5
1,0
О 20
40
60
80
N1 б)
0,5
--СМ5Г
-----СМББ
•••• СМ5М - СМ800,
_1_
О 20
40
60
80
N1
Рис. 9. МРЦИ, вычисленные для фрагментов рис. 6а, б соответственно: CMSF (МИПВС - прерывистая линия), CMSS (сплайн - пунктир), CMSM (нейронная сеть - полужирный пунктир), CMS00 (исходные неискажённые данные - сплошная линия) в зависимости от N1 (ширина нижней части моделируемой лакуны)
Из рис. 9 следует, что сплайн (пунктир) с точки зрения МРЦИ значительно проигрывает как нейронным сетям, так и МИПВС, так как он заполняет лакуну плавно меняющейся яркостью, в то время как МИПВС и нейронная сеть имеют значения, близкие к собственным значениям исходного эталонного изображения.
Необходимо заметить, что показатели, вычисленные по объективным критериям, сильно зависят от вида изображения. То есть если лакуна находится на низкоконтрастном изображении, то приведённые выше критерии могут выдать противоречивые результаты. Это вполне объяснимо тем обстоятельством, что в предельном случае равномерный фон хорошо интерполируется простым сплайном, в то время как другие методы вполне могут дать большее отклонение от оригинала.
Таким образом, проведя сравнительный анализ по объективным критериям и приняв во внимание, в том числе и экспертную оценку, можно утверждать, что МИПВС является конкурентоспособным. Следовательно, его, наряду с другими методами, можно применять в задачах заполнения лакун в аэрокосмических изображениях.
Заключение
В данной работе проводился сравнительный анализ методов, применяемых при заполнении лакун на изображениях. Это интерполяция кубическим сплайном, нейронная сеть и метод интерполяции последовательно вычисляемого спектра Фурье. Сравнение сделано как на модельных примерах, так и на реальных изображениях. Интерполяция кубическим сплайном, как и методы image inpainting, реализованные с помощью нейронных сетей, не позволяют восстанавливать изображения в сплошных лакунах.
В ряде случаев содержимое пикселей изображения может быть взаимозависимо, несмотря на то, что эти пиксели находятся на значительном расстоянии. Это может быть связано с условиями регистрации изображения [3, 4]. Другой причиной взаимозависимости яркости пикселей могут быть физические процессы, влияющие на изображение. Случай с глобальной картой поля интегрального паросодержания атмосферы ярко иллюстрирует этот вариант. Эта взаимозависимость яркостей пикселей даёт возможность МИПВС реконструировать изображение в лакуне.
Был проведён сравнительный анализ по объективным критериям (СКО, мера структурного подобия, мера резкости цифрового изображения). Из него следует, что МИПВС является конкурентоспособным, и его, наряду с другими методами, можно применять в задачах заполнения лакун в аэрокосмических изображениях.
Литература
1. Ali Qureshi, M. A critical survey of state-of-the-art image inpainting quality assessment metrics / M. Ali Qureshi, M. Deriche, A. Beghdadi, A. Amin // Journal of Visual
Communication and Image Représentation. - 2017. -Vol. 49. - P. 177-191. - DOI: 10.1016/j.jvcir.2017.09.006.
2. Chen, Z. Structure-aware image inpainting using patch scale optimization / Z. Chen, C. Dai, L. Jiang, B. Sheng, J. Zhang, W. Lin, Y. Yuan // Journal of Visual Communication and Image Representation. - 2016. - Vol. 40. - P. 312323. - DOI: 10.1016/j.jvcir.2016.06.029.
3. Зражевский, А.Ю. Эффекты полузатенения при восстановлении изображений, искажённых смазом [Электронный ресурс] / А.Ю. Зражевский, В.А. Коротков, К.В. Коротков // Журнал радиоэлектроники. - 2014. -№ 9. - URL: http://jre.cplire.ru/jre/sep14/3/text.html (дата обращения 7.08.2019 г.).
4. Зражевский, А.Ю. Восстановление дефокусированного частично затененного изображения [Электронный ресурс] / А.Ю. Зражевский, А.В. Кокошкин, В.А. Коротков, К.В. Коротков // Журнал радиоэлектроники. - 2014.
- № 10. - URL: http://jre.cplire.ru/jre/oct14/9/text.html (дата обращения 7.08.2019 г.).
5. Страхов, В.Н. Метод фильтрации систем линейных алгебраических уравнений - основа для решения линейных задач гравиметрии и магнитометрии / В.Н. Страхов // Доклады АН СССР. - 1991. - № 3. - С. 595-599.
6. Кочергин, В. С. Использование вариационного алгоритма фильтрации при восстановлении данных поверхностной температуры / В.С. Кочергин, С.В. Кочергин, С. В. Станичный // Современные проблемы дистанционного зондирования Земли из космоса. - 2018. - Т. 15, № 7. - С. 9-14.
7. Карачевцева, И.П. Геоинформационное картографирование Фобоса по результатам обработки данных дистанционного зондирования космического аппарата Mars Express / И.П. Карачевцева, К.Б. Шингарёва, А.А. Конопихин, Б.В. Мукабенова, И.Е. Надеждина, А. Э. Зубарев // Современные проблемы дистанционного зондирования Земли из космоса. - 2012. - Т. 9, № 4. -С. 304-311.
8. Астафьева, Н.М Глобальное радиотепловое поле системы океан-атмосфера по данным микроволновых космических комплексов / Н.М. Астафьева, М.Д. Раев, Е.А. Шарков // Исследование Земли из космоса. - 2006.
- № 4. - С. 64-70.
9. Ермаков, Д.М. Мультисенсорный алгоритм спутникового радиотепловидения / Д.М. Ермаков, Е.А. Шарков,
A.П. Чернушич // Исследование Земли из космоса. -2016. - № 3. - С. 37-46.
10. Финитные функции в физике и технике / Я.И. Хургин,
B.П. Яковлев. - Наука, Главная редакция физико-математической литературы, 1971. - 408 с.
11. Кокошкин, А.В. Использование спектра Фурье изображения для ретуширования и восстановления отсутствующих частей искажённого аппаратной функцией изображения / А.В. Кокошкин, В.А. Коротков, К.В. Коротков, Е.П. Новичихин [Электронный ресурс] // Журнал радиоэлектроники. - 2016. - № 7. - URL: http://jre.cplire.ru/jre/jul16/4/text.html (дата обращения 7.08.2019 г.).
12. Кокошкин, А.В. Применение методов цифровой обработки изображений для целей реставрации объектов изобразительного искусства [Электронный ресурс] / А.В. Кокошкин, В.А. Коротков, К.В. Коротков, Е.П. Но-вичихин // Журнал радиоэлектроники. - 2018. - № 9. -URL: http://jre.cplire.ru/jre/sep18/16/text.pdf (дата обращения 7.08.2019 г.). - DOI: 10.30898/16841719.2018.9.16.
13. Ашкеназы, А.В. Сплайн-поверхности. Основы теории и вычислительные алгоритмы: Учеб. пособие /
A.В. Ашкеназы. - Тверь: Изд-во Тверского гос. ун-та, 2003. - 82 с.
14. Нестеренко, Е.А. Возможность использования сплайн-поверхности для построения поверхностей по результатам съемок / Е.А. Нестеренко // Записки Горного института. - 2013. - Т. 204. - С. 127-133.
15. Lokhande, D. Image inpainting / D. Lokhande, R.G. Zope, V. Bendre // IJCSN International Journal of Computer Science and Network. - 2014. - Vol. 3, Issue 1. - P. 110-115.
16. Кокошкин, А.В. Сравнение объективных методов оценки качества цифровых изображений / А.В. Кокошкин,
B.А. Коротков, К.В. Коротков, Е.П. Новичихин [Электронный ресурс] // Журнал радиоэлектроники. - 2015. -№ 6. - URL: http://jre.cplire.ru/jre/jun15/15/text.html (дата обращения 7.08.2019 г.).
17. Кокошкин, А.В. Метод прогнозирования возможного улучшения качества искажённых изображений [Элек-
тронный ресурс] / А.В. Кокошкин, В.А. Коротков, К.В. Коротков, Е.П. Новичихин // Журнал радиоэлектроники. - 2015. - № 6. - URL: http://jre.cplire.ru/jre/jun15/5/text.html (дата обращения 7.08.2019 г.).
18. Гуляев, Ю.В. Коррекция пространственного спектра, искаженного оптической системой, с помощью метода опорного изображения. Часть 3. Универсальный опорный спектр [Электронный ресурс] / Ю.В. Гуляев,
A.Ю. Зражевский, А.В. Кокошкин, В. А. Коротков,
B.А. Черепенин // Журнал радиоэлектроники. - 2013. -№ 12. - URL: http://jre.cplire.ru/jre/dec13/3/text.html (дата обращения 7.08.2019 г.).
19. Монич, Ю.И. Мера резкости цифрового изображения / Ю.И. Монич, В.В. Старовойтов // Доклады БГУИР. -2011. - № 1(55). - С. 80-84.
20. Movavi фоторедактор 5 [Электронный ресурс]. - URL: https://www.movavi.ru/photo-editor/ (дата обращения 24.06.2019).
Сведения об авторах
Кокошкин Александр Владимирович, 1965 года рождения, в 1989 году окончил Московский энергетический институт (МЭИ, ныне - Национальный исследовательский университет «МЭИ») по специальности 0707 «Радиоэлектронные устройства», работает старшим научным сотрудником во Фрязинском филиале Федерального бюджетного учреждения науки Институт радиотехники и электроники им. В.А. Котельникова РАН. Область научных интересов: цифровая обработка изображений, методы по улучшению пространственного разрешения радиоизображений, реконструкция и восстановление изображений, исследования рассеивающих характеристик земных покровов в миллиметровом диапазоне радиоволн (поляризационные особенности, статистические характеристики рассеяния, идентификация покровов), распознавание объектов на изображениях. E-mail: shvarts65@mail.ru .
Коротков Вадим Андреевич, 1958 года рождения, старший научный сотрудник, Фрязинский филиал Федерального бюджетного учреждения науки Институт радиотехники и электроники им. В.А. Котельникова РАН. Область научных интересов: цифровая обработка изображений, методы по улучшению пространственного разрешения радиоизображений, реконструкция и восстановление изображений, исследование рассеивающих характеристик земных покровов в миллиметровом диапазоне радиоволн (поляризационные особенности, статистические характеристики рассеяния, идентификация покровов), распознавание объектов на изображениях. E-mail: 138kirill@mail.ru .
Коротков Кирилл Вадимович, 1991 года рождения, инженер, Фрязинский филиал Федерального бюджетного учреждения науки Институт радиотехники и электроники им. В.А. Котельникова РАН. Область научных интересов: цифровая обработка изображений, методы по улучшению пространственного разрешения радиоизображений, реконструкция и восстановление изображений, исследование рассеивающих характеристик земных покровов в миллиметровом диапазоне радиоволн (поляризационные особенности, статистические характеристики рассеяния, идентификация покровов), распознавание объектов на изображениях. E-mail: i.am.korotkov@gmail.com .
Новичихин Евгений Павлович, 1948 года рождения, к.ф.-м.н., старший научный сотрудник, Фрязинский филиал Федерального бюджетного учреждения науки Институт радиотехники и электроники им. В.А. Котельникова РАН. Область научных интересов: дистанционное зондирование, обработка данных, обработка изображений. E-mail: epnov@mail.ru .
ГРНТИ: 27.41.17
Поступила в редакцию 1 ноября 2018 г. Окончательный вариант - 15 августа 2019 г.
Retouching and restoration of missing image fragments by means of the iterative calculation of their spectra
A.V. Kokoshkin1, V.A. Korotkov1, K. V. Korotkov1, E.P. Novichikhin1 1The Kotel'nikov Institute ofRadio-engineering and Electronics (IRE) ofRussian Academy of Sciences,
141120, Russia, Fryazino, Vvedensky Sq. 1
Abstract
This paper discusses the use of the interpolation method for the sequential calculation of the Fourier spectrum (IMSCS) for retouching and restoration of missing (shaded) image fragments. The proposed approach can be used with any form of a missing image fragment. Such image processing can give good results even at a significantly high percentage of missing image fragments. The method of digital virtual image reconstruction proposed here is strictly based on a scientific approach; as the source data, it uses all the data available (the image itself is the object to be recovered). Therefore, it is free from the human factor, because of which subjective changes can be introduced in the image under processing. The results presented indicate a significant increase in the quality of digital images (increasing the information content), which can offer helpful auxiliary tools for professionals using these images for their practical purposes.
Keywords: image processing. interpolation, retouching, image restoration.
Citation: Kokoshkin AV, Korotkov VA, Korotkov KV, Novichikhin EP. Retouching and restoration of missing image fragments by means of the iterative calculation of their spectra. Computer Optics 2019; 43(6): 1030-1040. DOI: 10.18287/2412-6179-2019-43-6-1030-1040.
References
[1] Ali Qureshi M, Deriche M, Beghdadi A, Amin A. A critical survey of state-of-the-art image inpainting quality assessment metrics. J Vis Commun Image Repres 2017; 49: 177-191. DOI: 10.1016/j.jvcir.2017.09.006.
[2] Chen Z, Dai C, Jiang L, Sheng B, Zhang J, Lin W, Yuan Y. Structure-aware image inpainting using patch scale optimization. J Vis Commun Image Represent 2016; 40: 312-323. DOI: 10.1016/j.jvcir.2016.06.029.
[3] Zrazhevsky АYu, Korotkov VA, Korotkov KV. Semidarkness effects on an image formed by lens with a large aperture [In Russian]. J Radioelectr 2014; 9. Source: (http://jre.cplire.ru/jre/sep14/7/text.html).
[4] Zrazhevsky АYu, Kokoshkin AV, Korotkov VA, Korotkov KV. Recovery of defocusing partially shaded image [In Russian]. J Radioelectr 2014; 10. Source: (http://jre.cplire.ru/jre/oct14/9/text.html).
[5] Strakhov VN. The method of filtering systems of linear algebraic equations is the basis for solving linear problems of gravimetry and magnetometry [In Russian] Doklady Academy of Sciences of the USSR 1991; 3: 595-599.
[6] Kochergin VS, Kochergin SV, Stanichny SV. Using a var-iational filtering algorithm to fill in surface temperature data gaps [In Russian]. Sovremennye Problemy Distantsion-nogo Zondirovaniya Zemli iz Kosmosa 2018; 15(7): 9-14.
[7] Karachevtseva IP, Shingareva KB, Konopikhin AA, Mukabenova BV, Nadezhdina IE, Zubarev AE. GIS mapping of Phobos on the results of data processing of remote sensing satellite Mars Express [In Russian]. Sov-remennye Problemy Distantsionnogo Zondirovaniya Zemli iz Kosmosa 2012; 9(4): 304-311.
[8] Astafieva NM, Raev MD, Sharkov EA. Global radiother-mal fields for the atmosphere-ocean system using microwave-satellite instruments [In Russian]. Issledovanie Zemli iz Kosmosa 2006; 4: 64-70.
[9] Ermakov DM, Sharkov EA, Chernushich AP. Multisensor algorithm for satellite radio thermal imaging [In Russian]. Issledovanie Zemli iz Kosmosa 2016; 3: 37-46.
[10] Khurgin JI, Yakovlev VP. Finite functions in physics and technology [In Russian]. "Nauka" Publisher; 1971.
[11] Kokoshkin AV, Korotkov VA, Korotkov KV, Novichihin EP. Using Fourier spectrum for retouching and restoration missing parts of the image which were deformed by instrumental function [In Russian]. J Radioelectr 2016; 7. Source: (http://jre.cplire.ru/jre/jul16/4/text.html).
[12] Kokoshkin AV, Korotkov VA, Korotkov KV, Novichihin EP. Application of digital image processing methods for the goal of restoration of fine art objects [In Russian]. Journal of Radioelectronics 2018; 9. Source: (http://jre.cplire.ru/jre/sep18/16/text.pdf). DOI: 10.30898/1684-1719.2018.9.16.
[13] Ashkenazy AV. Spline surfaces. Fundamentals of the theory and computational algorithms [In Russian]. Tver: Publishing House of Tver State University; 2003.
[14] Nesterenko EA. The ability to use spline surfaces for constructing surfaces based on the results of shooting [In Russian]. Journal of Mining Institute 2013; 204: 127-133.
[15] Lokhande D, Zope RG, Bendre V. Image Inpainting. IJCSN International Journal of Computer Science and Network 2014; 3(1): 110-115.
[16] Kokoshkin AV, Korotkov VA, Korotkov KV, Novichihin EP. Comparison of objective methods of assessing quality of digital images [In Russian]. Journal of Radioelectronics 2015; 6. Source: (http://jre.cplire.ru/jre/jun15/15/text.html).
[17] Kokoshkin AV, Korotkov VA, Korotkov KV, Novichihin EP. The method of predicting possible improvements in the quality of distorted images [In Russian]. Journal of Radioelectronics 2015; 6. Source: (http://jre.cplire.ru/jre/jun15/5/text.html).
[18] Gulyaev YuV, Zrazhevsky AYu, Kokoshkin AV, Korotkov VA, Cherepenin VA. Correction of the spacial spectrum distorted by the optical system using the reference image method. Part 3. General-purpose reference spectrum [In Russian]. Journal of Radioelectronics 2013; 12. Source: (http://jre.cplire.ru/jre/dec13/3/text.html).
[19] Monich YuI, Starovoitov VV. Measure of digital image blur evaluation [In Russian]. Reports of BSUIR 2011; 1(55): 80-84.
[20] Movavi Photo Editor. Source: (https://www.movavi.com/photo-editor/).
Author's information
Alexander Vladimirovich Kokoshkin, (b. 1965), graduated from Moscow Power Engineering Institute (MPEI; presently - National Research University "MPEI") in 1989 majoring in Radio-electronic devices. Currently he works as the senior research associate in Fryazinsky Branch of Federal Budgetary Institution of Science Institute of Radio Engineering and Electronics of V.A. Kotel'nikov of the Russian Academy of Sciences. Area of scientific interests: digital processing of images, methods on improvement of spatial resolution of radio images, reconstruction and recovery of
PeTymupoBaHue H BOcCTaHOB^eHHe OTcyTCTByro^HX HacTeH.
KoKomKHH A.B., KOPOTKOB B.A., KOPOTKOB K.B., HOBHHHXHH E.n.
images, researches of the disseminating characteristics of terrestrial covers in the millimetric range of radio waves (polarizing features, statistical characteristics of dispersion, identification of covers), recognition of objects on images. E-mail: shvarts65@mail.ru .
Vadim Anreevich Korotkov, (b. 1958), senior research associate, Fryazinsky Branch of Federal Budgetary Institution of Science Institute of Radio Engineering and Electronics of V.A. Kotelnikov of the Russian Academy of Sciences. Area of scientific interests: digital processing of images, methods on improvement of spatial resolution of radio images, reconstruction and recovery of images, research of the disseminating characteristics of terrestrial covers in the millimetric range of radio waves (polarizing features, statistical characteristics of dispersion, identification of covers), recognition of objects on images. E-mail: 138kirill@mail.ru .
Kirill Vadimovich Korotkov, (b. 1991), engineer, Fryazinsky Branch of Federal Budgetary Institution of Science Institute of Radio Engineering and Electronics of V.A. Kotelnikov of the Russian Academy of Sciences. Area of scientific interests: digital processing of images, methods on improvement of spatial resolution of radio images, reconstruction and recovery of images, research of the disseminating characteristics of terrestrial covers in the millimetric range of radio waves (polarizing features, statistical characteristics of dispersion, identification of covers), recognition of objects on images. E-mail: i.am.korotkov@gmail.com .
Evgeny Pavlovich Novichikhin, (b. 1948), senior research associate, Fryazinsky Branch of Federal Budgetary Institution of Science Institute of Radio Engineering and Electronics of V.A. Kotelnikov of the Russian Academy of Sciences. Area of scientific interests: remote sensing, data processing, digital processing of images. E-mail: epnov@mail.ru .
Received November 1, 2018. The final version - August 15, 2019.
