Ретуширование данных дистанционного зондирования с использованием алгоритмов доопределения изображений в задаче генерирования подделок Текст научной статьи по специальности «Компьютерные и информационные науки»

Ретуширование данных дистанционного зондирования с использованием алгоритмов доопределения изображений в задаче генерирования подделок

А.В. Кузнецов1-2, М.В. Гашников1,2 1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, Самарская область, Самара, Московское шоссе, д. 34;

2ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, Самарская область, Самара, ул. Молодогвардейская, д. 151

Аннотация

Исследуются алгоритмы ретуширования изображений при генерировании поддельных данных дистанционного зондирования Земли. Приводится обзор существующих нейросете-вых решений в области генерирования и доопределения изображений дистанционного зондирования. Для ретуширования данных дистанционного зондирования Земли применяются алгоритмы доопределения изображений на основе свёрточных нейронных сетей и генеративно-состязательных нейронных сетей. Особое внимание уделяется генеративной нейросе-ти с обособленным блоком предсказания контуров, включающей две последовательно соединённые генеративно-состязательные подсети. Первая подсеть доопределяет контуры изображения внутри ретушируемой области. Вторая подсеть использует доопределённые контуры для генерирования результирующей ретуширующей области. В качестве базы для сравнения используется прецедентный алгоритм доопределения изображений. Проводятся вычислительные эксперименты по исследованию эффективности указанных алгоритмов при ретушировании реальных данных дистанционного зондирования различных видов. Выполняется сравнительный анализ качества работы рассматриваемых алгоритмов в зависимости от типа, формы и размеров ретушируемых объектов и областей. Приводятся качественные и количественные характеристики эффективности работы исследуемых алгоритмов доопределения изображений при ретушировании данных дистанционного зондирования Земли. Экспериментально обосновывается преимущество генеративно-состязательных нейронных сетей при создании поддельных данных дистанционного зондирования.

Ключевые слова: генерирование подделок, ретуширование, доопределение изображений, нейронные сети, данные дистанционного зондирования.

Цитирование: Кузнецов, А.В. Ретуширование данных дистанционного зондирования с использованием алгоритмов доопределения изображений в задаче генерирования подделок / А.В. Кузнецов, М.В. Гашников // Компьютерная оптика. - 2020. - Т. 44, № 5. - С. 763771. - DOI: 10.18287/2412-6179-CO-721.

Citation: Kuznetsov AV, Gashnikov MV. Remote sensing data retouching based on the image inpainting algorithms in the forgery generation problem. Computer Optics 2020; 44(5): 763-771. DOI: 10.18287/2412-6179-CO-721.

Введение

Под ретушированием данных дистанционного зондирования (ДДЗ) в данной работе понимается подмена некоторых областей на изображении искусственно сгенерированными подделками. Актуальность рассматриваемой задачи определяется как необходимостью разработки алгоритмических и программных средств малозаметного сокрытия части информации ДДЗ, так и необходимостью генерирования наборов данных для исследования и настройки алгоритмов обнаружения такого сокрытия.

Для надёжного сокрытия некоторых участков ДДЗ информация из этих участков перед собственно ретушированием обычно удаляется с образованием незаполненных областей (лакун). В такой ситуации ретуширование ДЗЗ сводится к задаче доопределения

незаданных областей на одиночном изображении (image inpainting), для которой уже разработаны различные подходы [1 - 2]. Из решений, не использующих нейросети, следует упомянуть подходы на основе разреженных представлений [3], а также диффузный [4] и прецедентный [5] подходы. Все они заметно проигрывают нейросетям [6 - 8] в большинстве практических задач, связанных с доопределением и генерированием изображений. Отдельный интерес представляет только прецедентный подход, наиболее известным представителем которого является алгоритм Patch-Match [5], который часто используется в качестве базы для сравнения при исследовании других методов [1, 2, 7].

Наилучшие результаты в задаче доопределения изображений показывают искусственные нейронные сети [6], среди которых следует особо выделить вы-

дающиеся результаты [7] генеративных сетей [8], отличить которые от настоящих изображений в ряде случаев затруднительно даже для человека. Однако нейросетевой подход при ретушировании ДЗЗ в настоящее время практически не проработан: публикации на подобные темы [9 - 16], как правило, посвящены другим задачам (устранение облачности, подавление шума, устранение искажений и т.п.) или демонстрируют откровенно слабые результаты.

В частности, в работе [9] генеративные сети используются для генерирования изменений в ДДЗ, но эти изменения производятся на снимке в целом, а не на выбранных частях, и приводят не к подмене информации, а к изменению её сезонности. В [10] генеративные сети производят доопределение изображения, но доопределённые части слишком заметны. В [11 - 12] доопределение ДЗЗ производится для устранения облачности, причем в первой из них рассматриваются только температурные поля низкого пространственного разрешения. В [13] результаты приводятся только для гладких слабо детализированных полей паросодержания атмосферы. В [14] доопределение ДЗЗ производится для устранения искажений, а не для генерирования подделок, причём результирующие изображения оказываются очень нечеткими. В [15] для доопределения используются ДДЗ той же территории за другую дату, а не сгенерированные данные. В [16] генеративная сеть создает полностью новые ДЗЗ, а не доопределяет существующие. Таким образом, новые исследования в области ретуширования ДДЗ при генерировании подделок являются актуальными.

В контексте таких исследований особо следует выделить работу [17] (обобщающую алгоритм [18]), в которой демонстрируются именно результаты по «сокрытию структур» в ДДЗ с использованием модифицированной свёрточной нейронной сети на базе Ц№1 [19], однако эти результаты недостаточно представительны (один тип ретушируемых областей на одном виде ДДЗ), а сравнение с конкурирующими алгоритмами не произведено. Указанный алгоритм был выбран для исследования в данной работе, так как он специализирован именно для рассматриваемой предметной области.

Также отдельного упоминания заслуживает работа [20], демонстрирующая хорошие результаты по доопределению изображений на основе генеративной нейросети с выделенным блоком анализа контуров. В работе не рассматривается обработка ДДЗ, но указанный алгоритм был выбран для исследования в настоящей работе, так как генеративные сети в настоящее время показывают наилучшие результаты при доопределении изображений, а использование отдельного блока анализа контуров позволяет надеяться на получение хорошего результата при обработке ДДЗ.

Таким образом, в данной работе производится сравнение трёх алгоритмов доопределения областей различного вида при ретушировании реальных ДДЗ различных типов в контексте задачи генерирования подделок:

1) прецедентный алгоритм Patch-Match [5], который используется в качестве базы для сравнения;

2) алгоритм [17 - 18] на основе модифицированной свёрточной нейронной сети UNet;

3) алгоритм [20] на основе генеративной нейронной сети с анализом контуров.

1. Прецедентные алгоритмы ретуширования

Прецедентные алгоритмы вида Patch-match [5] доопределяют незаполненные области фрагментами обрабатываемого изображения. Заполнение происходит итерационно, на каждой итерации алгоритм находит новые фрагменты для заполнения областей, расположенных вблизи границы постепенно уменьшающейся лакуны.

Для поиска подходящих фрагментов используется алгоритм, основанный на построении поля смещений /(х,y) = (Ax,Дy)eR2 фрагментов, содержащего смещения (Дх,Ду) между искомым фрагментом в точке (х, y) изображения и найденным похожим на него фрагментом в точке (х +Дх, y +Ay). Изначально поле смещений /(x, y) инициализируется случайными числами или априорной информацией, а затем итерационно улучшается чередующимися этапами «распространения» и «случайного поиска».

На этапе «распространения» расстояние до наиболее похожего фрагмента распространяется на соседние точки поля смещений /(х, y):

f (х, y) = arg. mn ÎDy (/oo ), Dy f ), Dy f )}, (1)

|лхъ Л0, f01}

где соседние точки располагаются с различных сторон от текущей точки при чётном и нечётном номере итерации n, что описывается смещением соседних точек:

/■= f (х + (-1)ni,y + (-1)nj) . (2)

Здесь D,yy (/) = D,yy (Дх,Ду) - это погрешность между искомым фрагментом в точке и смещённым фрагментом в точке

(х, y ) + f =(х, y )+(Дх, Ду). (3)

На каждой итерации после этапа «распространения» выполняется этап «случайного поиска», выводящий алгоритм из локальных экстремумов. На этом этапе ищется наилучший фрагмент среди кандидатов, характеризующийся экспоненциально уменьшающимся смещением от текущего фрагмента:

/= f (х, y ) + wa kRk, (4)

где Rk е [-1,1] * [-1,1] - это случайное смещение, ^ -радиус случайного поиска, а задаёт шаг случайного поиска.

После этапа «случайного поиска» прецедентный алгоритм приступает к следующей итерации. В практических ситуациях обычно достаточно 3 - 5 итераций.

Так как наличие повторяющихся или похожих фрагментов характерно для ДДЗ (участки зданий, дорог, растительности, гидрографии и т. п.), то следует ожидать от прецедентного алгоритма хороших результатов при доопределении ДДЗ, поэтому в данной работе этот алгоритм используется в качестве базы для сравнения при исследовании более сложных нейросетевых алгоритмов, характеристики которых сравниваются с характеристиками прецедентного алгоритма (см. экспериментальный параграф).

2. Нейросетевые алгоритмы ретуширования 2.1. Алгоритмы ретуширования на основе свёрточных нейронных сетей

В данной работе исследовался также алгоритм [17] ретуширования ДДЗ, обобщающий алгоритм [18], основанный на свёрточной [6] нейронной сети. Архитектура свёрточных нейронных сетей основана на чередовании свёрточных и субдискретизи-рующих слоёв. Такая структура позволяет сети анализировать структурные особенности и графические примитивы изображений, проявляющиеся на различных масштабных уровнях.

Изображение __ Доопределённое

с незаполненной областью изображение

Свёрточные слои Свёрточные слои

с прореживанием с повышающей

дискретизацией

Рис. 1. Структура используемой свёрточной нейронной сети на базе модифицированной UNet

Исследуемая свёрточная сеть представляет собой модификацию известной сети UNet [19], в которой свёрточные слои заменены на слои частичной свёртки (работоспособной на изображении с лакунами) с частичной пакетной нормализацией (см. рис. 1).

Рассматриваемая сеть включает восемь блоков частичной свертки с понижающей дискретизацией изображения, а также восемь соответствующих блоков «обратной» свертки с повышающей дискретизацией, восстанавливающих разрешение изображения.

Каждый такой блок реализован на основе библиотеки глубокого обучения Torch [21] и включает следующие шаги:

1) функция MaxUnpool2d, обратная к MaxPool в блоке зеркальной частичной свертки;

2) двумерная пакетная нормализация BatchNorm2d;

3) функция ConvTransposed2d, обратная к PartialConv2d;

4) функция активации ReLU;

5) конкатенирование карты характеристик зер-калирования PConvBlock на выход слоя ReLU;

6) сжатие конкатенированных карт объектов с помощью свертки Conv2d.

При такой конфигурации сети размер лакуны кратно уменьшается при каждом ресемплировании, которое следует за свёрточным слоем. Таким образом, многократное применение свёрточных слоёв с прореживанием позволяет использовать информацию с различных масштабных уровней изображения для заполнения лакун.

2.2. Алгоритмы ретуширования на основе генеративных нейронных сетей

Генеративные (генеративно-состязательные) нейронные сети [8] основаны на использовании состязательной (антагонистической) игры между двумя нейронными подсетями: генератором и дискриминатором. Генератор создаёт подделки, а дискриминатор получает на вход как созданные генератором подделки, так и подлинные образцы из некоторого обучающего набора данных. Задача дискриминатора заключается в том, чтобы как можно лучше обнаруживать подделки, у генератора обратная задача - «обмануть» генератор. Исходя из этих целей и производится коррекция весов генератора и дискриминатора при их совместном обучении. Таким образом, генератор и дискриминатор учатся совместно и при этом обучают друг друга.

Исследуемая нейронная сеть [20] использует двухэтапную модель (см. рис. 2), включающую две последовательно соединённые генеративные подсети, которые, во избежание путаницы с другими терминами настоящей работы, далее будем называть «предсказатель контуров» и «заполнитель лакун». И предсказатель контуров, и заполнитель лакун являются генеративно-состязательными сетями, каждая из которых содержит свой генератор и свой дискриминатор. Каждый из двух указанных генераторов включает два свёрточных слоя с прореживанием, за которыми следуют восемь residual-блоков [6] с дилатационной свёрткой, а также соответствующие свёрточным слоям слои «обратной» свёртки с повышением разрешения. В качестве дискриминаторов используются нейросети типа Patch-GAN [22] с размером области 70*70 отсчётов.

Первая генеративная подсеть (предсказатель контуров) получает на вход однокомпонентный (полутоновой) вариант входного изображения с незаполненными областями, маску лакун и изображение, содержащее только контуры, построенное детектором кон-

туров Canny [23]. Контуры внутри лакун на этом изображении не заданы.

Предсказатель контуров создаёт участок изображения с фиктивными контурами внутри лакуны, доопределяя таким образом поданное ему на вход контурное изображение. Это дополненное контурное изображение

Контурное изображение __

затем подаётся на вход второй генеративной подсети (заполнителю лакун) совместно с полноцветным обрабатываемым изображением и маской, определяющей лакуны. На основе перечисленных данных указанная вторая генеративная нейросеть генерирует результирующее полноцветное изображение внутри лакуны.

Маска

незаполненной области

Полноцветное изображение с незаполненной областью

с незаполненной

областью

! Выделение

I контуров

I Преобразование "1 в полутоновое \ изображение

Подсеть №1: предсказатель контуров

Генератор контуров

HxW H/2xW/2

H/4xW/4

HxW

H/2xW/2

Дшатационная свёртка с residual-блоком

Свёрточные слои с прореживанием

Ответ: подделка или нет

Дискриминатор изображении

Доопределённое контурное изображение

Подсеть №2: заполнитель лакун

Генератор

изображения в лакуне

HxW

H/2xW/2

H/4xW/4

HxW H/2xW/2

Дшатационная свёртка с residual-блоком

Свёрточные слои с прореживанием

Ответ: подделка или нет

Дискриминатор изображении

Доопределённое полноцветное изображение

Рис. 2. Структура используемой генеративной нейронной сети с выделенным блоком анализа контуров

Резонно предположить, что используемый в рассматриваемой генеративной сети специализированный механизм учёта контурных линий способен повысить качество ретуширования ДДЗ, так как контурная информация оказывает определяющее воздействие как на биологические системы зрения, так и на многие алгоритмы машинного распознавания и обнаружения, однако это предположение можно проверить только экспериментально.

3. Экспериментальное исследование

3.1. Оценка качества по визуальному критерию

Произведены экспериментальные исследования описанных алгоритмов доопределения изображений при ретушировании (камуфлировании) ДДЗ в целях генерирования подделок. Обрабатывались реальные ДДЗ нескольких типов из открытых источников [24 - 25].

Сначала были произведены эксперименты, целью которых было не сокрытие отдельных объектов в ДДЗ, а исследование эффективности алгоритмов при ретушировании областей различных размеров и форм, пересекающих множество объектов на каждом изображении. Типичные результаты показаны на рис. 3. Для каждого изображения показаны также контуры камуфлированных областей. Невысокое раз-

решение изображений объясняется их небольшим размером (256*256 пикселов), обусловленным техническими особенностями используемых нейросетей.

Качественные выводы по результатам работы генеративной нейронной сети:

1) генеративная нейросеть во всех случаях показывает высокое качество камуфлирования; камуфлированные области, как правило, сложно обнаружить;

качество доопределения протяжённых областей слабо уменьшается при увеличении толщины этих областей;

обеспечивается высокое качество прослеживания контуров в камуфлированных областях; доопределение текстур и частично камуфлированных объектов выглядит естественным образом; резкость при камуфлировании не уменьшается; почти во всех ситуациях генеративная нейросеть показала лучшие результаты из всех исследованных алгоритмов. Выводы по результатам работы прецедентного алгоритма, который использовался как база для сравнения: 1) качество камуфлирования прецедентного алгоритма в различных ситуациях меняется от среднего до хорошего;

2) 3)

4)

5)

6) 7)

2) камуфлированные области прецедентного алгоритма во многих случаях заметны из-за размытости (недостаточной резкости) сгенерированной информации;

Прецедентный алгоритм Свёрточная нейросеть

3) качество работы прецедентного алгоритма на протяжённых областях заметно ухудшается при увеличении толщины этих областей;

Генеративная нейросеть Исходные ДДЗ

¡Л«*"-**" л" "у

- п.1

Ы- ,

, V -

5 I ЦЙ&Ш ~ Г\

, 'Л

чММ

Ш

Рис. 3. Камуфлирование протяжённых областей различной толщины

4) качество камуфлирования прецедентного алгоритма неустойчиво (алгоритму часто не удаётся подобрать достаточно хороший прецедент). Выводы по результатам работы описанной реализации свёрточной нейронной сети:

1) исследованная реализация свёрточной нейросети показала достаточно слабые результаты (камуфлированные области легко обнаружить по неестественным легко заметным артефактам), поэтому указанная нейросеть была исключена из дальнейшего рассмотрения.

Прецедентный алгоритм

Свёрточная нейросеть Генеративная нейросеть

Исходные ДДЗ

«

Рис. 4. Камуфлирование площадных объектов (здания, кварталы, овраги, застроенные площадки, растительность)

Кроме экспериментов с размерами и формой дополняемых областей, были также проведены эксперименты по камуфлированию объектов различного типа. Некоторые результаты для площадных структур, таких как здания, кварталы, овраги, специализированные площадки, участки растительности и т.п., показаны на рис. 4, а также на рис. 3 (строки 2 и 5) и на рис. 5 (строки 3 и 5). Выводы:

1) при камуфлировании площадных текстур генеративная сеть в большинстве случаев работает лучше прецедентного алгоритма, так как генерирует более чёткие и естественные фрагменты (в редких случаях показывает сопоставимое качество);

2) генеративная сеть показывает стабильно высокие результаты почти во всех ситуациях, в отличие от неустойчивого прецедентного алгоритма, который в некоторых случаях демонстрирует хороший результат за счёт удачно подобранного шаблона, но во многих ситуациях использует для доопределения областей легко различимые размытые текстуры.

Некоторые результаты по камуфлированию протяжённых структур (дороги, узкие здания, лесополосы и т.п.) показаны на рис. 5, а также на рис. 4 (строка 1). Выводы:

1) при камуфлировании протяжённых структур большой длины генеративная сеть работает гораздо лучше прецедентного алгоритма: результат генеративного камуфлирования дорог выглядит естественно, в то время как прецедентное камуфлирование выдаёт себя хорошо заметными размытыми протяжёнными артефактами;

2) при камуфлировании более коротких протяжённых структур (узкие здания, короткие лесополосы) генеративное камуфлирование выглядит лучше или на уровне (обычно не хуже) прецедентного, причём преимущество генеративного

алгоритма увеличивается с ростом протяженности или толщины генерируемых областей. Таким образом, исходя из визуального критерия качества, генеративная сеть показывает наилучшие из рассмотренных алгоритмов результаты. Однако такая оценка может быть субъективна и нуждается в количественном подтверждении, основанном на каком-либо измеримом показателе качества.

3.2. Численная оценка качества

Выбор численного показателя качества при решении задачи камуфлирования данных дистанционного зондирования является нетривиальной задачей, особенно для случая высокодетальных данных. Все показатели качества, основанные на мерах близости между камуфлируемыми и сгенерированными областями, в данном случае неприменимы, так как при решении поставленной задачи поддельное изображение вовсе не должно быть похоже на исходное.

Результирующее изображение должно выглядеть в каком-то смысле «естественно», что подразумевает сохранение некоторых характеристик камуфлируемых областей при полной подмене их содержимого сгенерированными данными.

Одной из таких характеристик является резкость (чёткость) изображения, ухудшение которой при камуфлировании обычно хорошо заметно (см. результаты доопределения ДДЗ в работах [10, 14]). В качестве численной меры локальной резкости в точке с координатами (х, у) в данной работе использовалась оценка \УЬ (х,у)| длины локального вектора градиента УЬ (х,у) поля яркости Ь (х,у):

У (х, у )| =

= ^(Ь (х, у)-Ь (х -1, у ))2 +(Ь (х, у)-Ь (х, у -1)):

.(5)

Прецедентный алгоритм Свёрточная нейросеть Генеративная нейросеть Исходные ДДЗ

Рис. 5. Камуфлирование протяжённых объектов (дороги, узкие здания)

Обозначим усреднённые по исходной камуфлируемой области и по результирующей сгенерированной области значения этой характеристики \УЬ„-с\ и \УЬгеи\ соответственно. Эти характеристики (усреднённые модули градиента) можно считать численной мерой резкости рассматриваемой области до и после камуфлирования. Тогда уменьшение Д резкости \УЬгеи\ ка-

муфлированной области относительно резкости \УЬ„-с\ исходной области (в процентах) можно записать в виде:

Д =

_Кгс|-|У/у

|УЬ„

Ц00%.

(6)

Этот показатель может служить численной мерой ухудшения качества изображения в камуфлированной области.

Уменьшение резкости Д при камуфлировании генеративной нейросетью для серии тестовых изображений ДДЗ показано на рис. 6. В качестве базы для сравнения на этом же рисунке приведены результаты прецедентного алгоритма. Нетрудно видеть, что генеративная нейросеть ухудшает резкость в гораздо меньшей степени.

Д,% [ □ прецедентный алгоритм □ генеративная нейросеть ]

60--

40 - Ьп-

2о[

О

1

1 2 4 6 8 10 12 14 16 18 N

Рис. 6. Уменьшение Дрезкости при ретушировании для серии изображений ДДЗ (Ы - номер изображения)

[ □ прецедентный алгоритм □ генеративная нейросеть )

20 15 10W 5 О

12 4 б 8 10 12 14 16 18 N Рис. 7. Усреднённое уменьшение Aq квантилей градиента в зависимости от номера изображения N

Кроме относительного уменьшения усреднённого градиента (6), для каждого тестового изображения аналогичным образом вычислялись также относительные уменьшения {Aq,1 < i < 10J квантилей градиента, взятых с шагом 0,1. Усреднённое значение относительного уменьшения {Aq ,1 < i < 10J квантилей градиента для одного изображения обозначим Aq. Значения этой величины показаны на рис. 7 для той же самой серии тестовых изображений. Нетрудно видеть, что для квантилей градиента сохраняется та же тенденция, что и для усреднённого градиента, что позволяет сделать вывод о том, что генеративная сеть при камуфлировании лучше сохраняет не только среднее значение градиента, но и вид его распределения.

Таким образом, полученные численные результаты подтверждают приведённые выше качественные выводы.

Производилось также исследование производительности рассмотренных алгоритмов. Среднее время обработки RGB-изображения размера 256*256 в секундах на ПК AMD Ryzen 7 2700 3,20 ГГц 32ГБ без GPU приведено в табл. 1. По скорости алгоритмы упорядочились в той же последовательности, что и по качеству результатов.

Табл. 1. Время работы алгоритмов, секунды

Прецедентный алгоритм Свёрточная нейросеть Генеративная нейросеть

0,75 0,16 7,91

В целом, проведённое исследование позволяет сделать вывод о работоспособности и перспективности рассмотренных генеративных нейронных сетей при камуфлировании ДДЗ в задаче генерирования подделок.

Заключение

Исследованы алгоритмы ретуширования изображений в задаче создания поддельных данных дистанционного зондирования Земли. Рассмотрены алгоритмы на основе свёрточных нейронных сетей (на базе модифицированной UNet) и генеративно-состязательных нейронных сетей (генеративная сеть с выделенным блоком анализа контуров). В качестве базы для сравнения использовался прецедентный алгоритм на основе Patch-Match. Произведены вычислительные эксперименты по исследованию эффективности рассмотренных алгоритмов при ретушировании реальных данных дистанционного зондирования различных видов. Выполнен сравнительный анализ качества работы указанных алгоритмов в зависимости от типа, формы и размеров ретушируемых объектов и областей. Показано преимущество генеративной сети над остальными рассмотренными алгоритмами. Экспериментально обоснован вывод о работоспособности и перспективности рассмотренных генеративных нейронных сетей при камуфлировании ДДЗ в задаче генерирования подделок.

Благодарности

Исследование выполнено при финансовой поддержке РФФИ в рамках научных проектов № 20-37-70053 (параграфы 2.2, 3.1), № 19-07-00138 (параграфы 3.2 и Введение), 18-01-00667 (параграф 2.1), а также Министерства науки и высшего образования РФ в рамках Госзадания ФНИЦ «Кристаллография и фотоника» РАН (параграф 1).

Литература

1. Elharrouss, O. Image inpainting: A review / O. Elharrouss, N. Almaadeed, S. Al-Maadeed, Y. Akbari // Neural Processing Letters. - 2020. - Vol. 51. - P. 2007-2028.

2. Lu, Q. Review of image inpainting / Q. Lu, G. Zhang // Proceedings of 8th International Conference on Manufacturing Science and Engineering (ICMSE). - 2018. - P. 655658.

3. Li, Q. Image inpainting based on sparse representation with histogram dictionary / Q. Li, G. Chen, X. Zhang, K. Saruta, Y. Terata // Journal of Computers. - 2018. - Vol. 13, Issue 10. - P. 1145-1155.

4. Amrani, N. Diffusion-based inpainting for coding remote-sensing data / N. Amrani, J. Serra-Sagrista, P. Peter, J. Weickert // IEEE Geoscience and Remote Sensing Letters. - 2017. - Vol. 14, Issue 8. - P. 1203-1207.

5. Barnes, C. PatchMatch: A randomized correspondence algorithm for structural image editing / C. Barnes, E. Shechtman, A. Finkelstein, D.B. Goldman // ACM Transactions on Graphics. - 2009. - Vol. 28, Issue 3. - 24.

6. Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль. - 2-е изд. - М.: ДМК Пресс, 2018. - 652 с. - ISBN: 978-5-97060-618-6.

7. Zhang, C. A brief review of image restoration techniques based on generative adversarial models / С. Zhang, F. Du, Y. Zhang. - In: Advanced multimedia and ubiquitous engineering / ed. by J.J. Park, L.T. Yang, Y.-S. Jeong, F. Hao. -Singapore: Springer Nature Singapore Pte Ltd., 2020. -P. 169-175.

8. Goodfellow, 1 Generative adversarial nets / I. Goodfellow, [et al.] // Proceedings of the 27th International Conference on Neural Information Processing Systems. - 2014. -Vol. 2. - P. 2672-2680.

9. Ren, C.X. Cycle-consistent adversarial networks for realistic pervasive change generation in remote sensing imagery [Electronical Resource] / C.X. Ren, A. Ziemann,

A. Durieux, J. Theiler // arXiv preprint. - 2019. - URL: https://arxiv.org/abs/1911.12546 (request date 17.07.2020).

10. Lou, S. Preliminary investigation on single remote sensing image inpainting through a modified GAN / S. Lou, Q. Fan,

F. Chen, C. Wang, J. Li // IEEE Proceedings of 10th IAPR Workshop on Pattern Recognition in Remote Sensing (PRRS). - 2018. - P. 1-6.

11. Dong, J. Inpainting of remote sensing SST images with deep convolutional generative adversarial network / J. Dong, R. Yin, X. Sun, Q. Li, Y. Yang, X. Qin, // IEEE Geoscience and Remote Sensing Letters. - 2018. - Vol. 16, Issue 2. - P. 173-177.

12. Singh, P. Cloud-GAN: Cloud removal for Sentinel-2 imagery using a cyclic consistent generative adversarial networks / P. Singh, N. Komodakis // IGARSS IEEE International Geoscience and Remote Sensing Symposium. - 2018.

- P. 1772-1775.

13. Кокошкин, А.В. Ретуширование и восстановление отсутствующих частей изображений с помощью итерационного вычисления их спектров / А.В. Кокошкин,

B.А. Коротков, К.В. Коротков, Е.П. Новичихин // Компьютерная оптика. - 2019. - Т. 43, № 6. - С. 1030-1040.

- DOI: 10.18287/2412-6179-2019-43-6-1030-1040.

14. Lin, D. Dense-Add Net: An novel convolutional neural network for remote sensing image inpainting / D. Lin,

G. Xu, Y. Wang, X. Sun, K. Fu // IGARSS IEEE International Geoscience and Remote Sensing Symposium. - 2018.

- P. 4985-4988.

15. Zhang, Q. Missing data reconstruction in remote sensing image with a unified spatial-temporal-spectral deep convo-

lutional neural network / Q. Zhang, Q. Yuan, C. Zeng, X. Li, Y. Wei // IEEE Transactions on Geoscience and Remote Sensing. - 2018. - Vol. 56, Issue 8. - P. 4274-4288.

16. Ashishrai, A. Generation remote sensing images using generative adversarial networks (GAN) [Electronical Resource] / A. Ashishrai. - 2019. - URL: https://github.com/aashishrai3799/Remote-Sensing-Image-Generation (request date 20.03.2020)

17. Zhao, C. Inpainting to hide structures in satellite images [Electronical Resource] / C. Zhao. - 2018. - URL: https://github.com/ChenchaoZhao/NeuralCamouflage (request date 20.03.2020).

18. Zhao, C. Fingerprints of the invisible hand [Electronical Resource] / C. Zhao. - 2018. - URL: https://github.com/ChenchaoZhao/FingerprintsOfTheInvisib leHand (request date 08.06.2020).

19. Ronneberger, O. U-net: Convolutional networks for biomedical image segmentation / O. Ronneberger, P. Fischer, T. Brox // International Conference on Medical Image Computing and Computer-Assisted Intervention. - 2015. -P. 234-241.

20. Nazeri, K. EdgeConnect: Generative image inpainting with adversarial edge learning [Electronical Resource] / K. Nazeri, E. Ng, T. Joseph, F.Z. Qureshi, M. Ebrahimi // arXiv preprint. - 2019. - URL: https://arxiv.org/abs/1901.00212 (request date 08.06.2020).

21. Collobert, R. Torch7: A matlab-like environment for machine learning / R. Collobert, K. Kavukcuoglu, C. Farabet // BigLearn NIPS workshop. - 2011.

22. Isola, P. Image-to-image translation with conditional adversarial networks / P. Isola, J.Y. Zhu, T. Zhou, A.A. Efros // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2017. - P. 1125-1134.

23. Rong, W. An improved CANNY edge detection algorithm / W. Rong, Z. Li, W. Zhang, L. Sun // IEEE International Conference on Mechatronics and Automation. - 2014. -P. 577-582.

24. Роскосмос. Информационные ресурсы [Electronical Resource]. - URL: https://www.roscosmos.ru/117/, (дата обращения 20.03.2020 г.).

25. Google Earth [Electronical Resource]. - 2020. - URL: https://www.google.com/earth/ (request date 20.03.2020).

Сведения об авторах

Кузнецов Андрей Владимирович, родился в 1987 году. В 2010 году окончил СГАУ с отличием по специальности «Прикладная математика и информатика». В 2010 поступил в аспирантуру СГАУ, в 2013 г. защитил диссертацию на соискание степени кандидата технических наук. В настоящее время работает старшим научным сотрудником НИЛ-97 СГАУ и научным сотрудником в ИСОИ РАН. Круг научных интересов включает обработку и анализ изображений, распознавание образов, обнаружение искажений изображений, геоинформатику. Имеет 37 публикаций, в том числе 18 научных статей и 1 монографию. E-mail: kuznetsoff.andrey@gmail.com . Страница в интернете: http://nil97.ssau.ru/employee/detail.php?ID=35

Гашников Михаил Валерьевич, 1975 года рождения, в 1998 году окончил Самарский государственный аэрокосмический университет имени академика С.П. Королёва (СГАУ), кандидат наук, доцент. В настоящее время работает доцентом кафедры геоинформатики и информационной безопасности Самарского национального исследовательского университета имени академика С.П. Королёва, а также по совместительству в Институте систем обработки изображений - филиале ФНИЦ «Кристаллография и фотоника» РАН.

Область научных интересов: обработка многомерных сигналов, компрессия сигналов, обработка космических снимков, геоинформационные технологии. Имеет более 90 публикаций, в том числе более 30 статей и две монографии (в соавторстве). E-mail: mgash@smr.ru .

ГРНТИ: 28.23.15

Поступила в редакцию 23 марта 2020 г. Окончательный вариант - 22 июля 2020 г.

Remote sensing data retouching based on image inpainting algorithms in the forgery generation problem

A. V. Kuznetsov1,2, M. V. Gashnikov1,2 1Samara National Research University, Moskovskoye Shosse 34, 443086, Samara, Russia;

2IPSIRAS - Branch of the FSRC "Crystallography and Photonics" RAS, Molodogvardeyskaya 151, 443001, Samara, Russia

Abstract

We investigate image retouching algorithms for generating forgery Earth remote sensing data. We provide an overview of existing neural network solutions in the field of generation and inpainting of remote sensing images. To retouch Earth remote sensing data, we use image-inpainting algorithms based on convolutional neural networks and generative-adversarial neural networks. We pay special attention to a generative neural network with a separate contour prediction block that includes two series-connected generative-adversarial subnets. The first subnet inpaints contours of the image within the retouched area. The second subnet uses the inpainted contours to generate the resulting retouch area. As a basis for comparison, we use exemplar-based algorithms of image inpainting. We carry out computational experiments to study the effectiveness of these algorithms when retouching natural data of remote sensing of various types. We perform a comparative analysis of the quality of the algorithms considered, depending on the type, shape and size of the retouched objects and areas. We give qualitative and quantitative characteristics of the efficiency of the studied image inpainting algorithms when retouching Earth remote sensing data. We experimentally prove the advantage of generative-competitive neural networks in the construction of forgery remote sensing data.

Keywords: forgery generation, retouching, image inpainting, neural networks, remote sensing data.

Citation: Kuznetsov AV, Gashnikov MV. Remote sensing data retouching based on the image inpainting algorithms in the forgery generation problem. Computer Optics 2020; 44(5): 763-771. DOI: 10.18287/2412-6179-CO-721.

Acknowledgements: The work was funded by the Russian Foundation for Basic Research under RFBR grants ## 20-37-70053, 19-07-00138, 18-01-00667 and the RF Ministry of Science and Higher Education within the state project of FSRC "Crystallography and Photonics" RAS.

References

[1] Elharrouss O, Almaadeed N, Al-Maadeed S, Akbari Y. Image inpainting: A review. Neural Processing Letters 2020; 51: 2007-2028.

[2] Lu Q, Zhang G. Review of Image Inpainting. 2018 8th Int Conf on Manufacturing Science and Engineering (ICMSE) 2018: 655-658.

[3] Li Q, Chen G, Zhang X, Saruta K, Terata Y. Image Inpainting based on sparse representation with histogram dictionary. J Comput 2018; 13(10): 1145-1155.

[4] Amrani N, Serra-Sagristà J, Peter P, Weickert J. Diffusion-based inpainting for coding remote-sensing data. IEEE Ge-osci Remote Sens Lett 2017; 14(8): 1203-1207.

[5] Barnes C, Shechtman E, Finkelstein A, Goldman DB. PatchMatch: A randomized correspondence algorithm for structural image editing. ACM Trans Graph 2009; 28(3): 24.

[6] Goodfellow I, Bengio Y, Courville A. Deep learning. Cambridge, MA: MIT Press; 2016. ISBN: 978-0-26233737-3.

[7] Zhang C, Du F, Zhang Y. A brief review of image restoration techniques based on generative adversarial models. In Book: Park JJ, Yang LT, Jeong Y-S, Hao F, eds. Advanced multimedia and ubiquitous engineering. Singapore: Springer Nature Singapore Pte Ltd; 2020: 169-175.

[8] Goodfellow I, et al. Generative adversarial nets. Proc 27th Int Conf on Neural Information Processing Systems 2014; 2: 2672-2680.

[9] Ren CX, Ziemann A, Durieux A, Theiler J. Cycle-consistent adversarial networks for realistic pervasive change generation in remote sensing imagery. arXiv preprint. Source: <https://arxiv.org/abs/1911.12546>.

[10] Lou S, Fan Q, Chen F, Wang C, Li J. Preliminary investigation on single remote sensing image inpainting through a modified gan. IEEE 10th IAPR Workshop on Pattern Recognition in Remote Sensing (PRRS) 2018; 1-6.

[11] Dong J, Yin R, Sun X, Li Q, Yang Y, Qin X. Inpainting of remote sensing SST images with deep convolutional generative adversarial network. IEEE Geosci Remote Sens Lett 2018; 16(2): 173-177.

[12] Singh P, Komodakis N. Cloud-GAN: Cloud removal for Sentinel-2 imagery using a cyclic consistent generative adversarial networks. IGARSS IEEE International Geosci-ence and Remote Sensing Symposium 2018; 1772-1775.

[13] Kokoshkin AV, Korotkov VA, Korotkov KV, Novichikhin EP. Retouching and restoration of missing image fragments by means of the iterative calculation of their spectra. Computer Optics 2019; 43(6): 1030-1040. DOI: 10.18287/2412-6179-2019-43-6-1030-1040.

[14] Lin D, Xu G, Wang Y, Sun X, Fu K. Dense-Add Net: An novel convolutional neural network for remote sensing image inpainting. IGARSS IEEE International Geoscience and Remote Sensing Symposium 2018; 4985-4988.

[15] Zhang Q, Yuan Q, Zeng C, Li X, Wei Y. Missing data reconstruction in remote sensing image with a unified spatial-temporal-spectral deep convolutional neural network. IEEE Trans Geosci Remote Sens 2018; 56(8): 4274-4288.

[16] Ashishrai A. Generation remote sensing images using generative adversarial networks (GAN). 2019. Source: (https://github.com/aashishrai3799/Remote-Sensing-Image-Generation).

[17] Zhao C. Inpainting to hide structures in satellite images. 2018. Source: (https://github.com/ChenchaoZhao/NeuralC amouflage).

[18] Zhao C. Fingerprints of the invisible hand. 2018. Source: (https://github. com/ ChenchaoZhao/F ingerprintsOfThelnvis ibleHand).

[19] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and ComputerAssisted Intervention 2015; 234-241.

[20] Nazeri K, Ng E, Joseph T, Qureshi FZ, Ebrahimi M. EdgeConnect: Generative image inpainting with adversari-

al edge learning. arXiv preprint 2019. Source: (https://arxiv. org/abs/1901.00212).

[21] Collobert R, Kavukcuoglu K, Farabet C. Torch7: A matlab-like environment for machine learning. BigLearn NIPS Workshop 2011.

[22] Isola P, Zhu JY, Zhou T, Efros AA. Image-to-image translation with conditional adversarial networks. Proc IEEE Conf on Comput Vis Pattern Recogn 2017; 1125-1134.

[23] Rong W, Li Z, Zhang W, Sun L. An improved CANNY edge detection algorithm. IEEE Int Conf on Mechatronics and Automation 2014; 577-582.

[24] Roscosmos. Informational resources. Source: (https://www.roscosmos.ru).

Google Earth. Source: (https://www.google.com/earth).

Authors' information

Andrey Vladimirovich Kuznetsov (b. 1987) graduated with honors (2010) from SSAU, majoring in Applied Mathematics and Informatics. He studied as a post-graduate student at SSAU from 2010 and received his PhD in Technical Sciences in 2013. Nowadays he is a senior researcher at the Remote Sensing Data Analysis laboratory at SSAU and a researcher at IPSI RAS. His research interests are currently focused on image processing and analysis, pattern recogni-tion, digital image forgery detection, geoinformatics. He has 37 publications, including 18 scientific papers and 1 monograph. E-mail: kuznetsoff.andrey@gmail.com . Web-page: http://nil97.ssau.ru/employee/detail.php?ID=35

Mikhael Valeryevich Gashnikov (b. 1975) graduated from S.P. Korolyov Samara State Aerospace University (SSAU), PhD and associate professor. He is the associate professor at the Geoinformatics and Information Security department at Samara National Research University, as well as part-time at the IPSI RAS - Branch of the FSRC «Crystallography and Photonics» RAS. He has 90 publications, including 30 scientific papers and 2 monograph (with coauthors). His research interests are currently focused on image compression, space images processing, geoinformation technologies. E-mail: mgash@smr.ru .

Received March 23, 2020. The final version - July 22, 2020.