Научная статья на тему 'ОБНАРУЖЕНИЕ ИСКУССТВЕННЫХ ФРАГМЕНТОВ, ВСТРОЕННЫХ В ИЗОБРАЖЕНИЯ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ СОСТЯЗАТЕЛЬНЫМИ НЕЙРОСЕТЯМИ'

ОБНАРУЖЕНИЕ ИСКУССТВЕННЫХ ФРАГМЕНТОВ, ВСТРОЕННЫХ В ИЗОБРАЖЕНИЯ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ СОСТЯЗАТЕЛЬНЫМИ НЕЙРОСЕТЯМИ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
108
31
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ОБНАРУЖЕНИЕ ИСКУССТВЕННЫХ ФРАГМЕНТОВ ИЗОБРАЖЕНИЙ / НЕЙРОННЫЕ СЕТИ / ГЕНЕРАТИВНО-СОСТЯЗАТЕЛЬНЫЕ НЕЙРОСЕТИ / ЦИКЛИЧНЫЕ НЕЙРОСЕТИ / ДООПРЕДЕЛЕНИЕ ИЗОБРАЖЕНИЙ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Гашников Михаил Валерьевич, Кузнецов Андрей Владимирович

Исследуются алгоритмы обнаружения искусственных фрагментов изображений дистанционного зондирования Земли, сгенерированных состязательными нейронными сетями. Рассматривается детектор искусственных изображений, основанный на обнаружении характерного для генеративно-состязательных нейросетей спектрального артефакта, причиной возникновения которого является слой сети, повышающий разрешение. Рассматриваемый детектор применяется для обнаружения искусственных фрагментов, встроенных в настоящие изображения дистанционного зондирования Земли с помощью состязательной нейросети, включающей генератор протяженных элементов. При этом используются изображения дистанционного зондирования различного типа и разрешения, а подменяемые области, некоторые из которых не являются односвязными, имеют различные размеры и формы. Экспериментально показано, что исследуемый спектральный нейросетевой детектор имеет высокую эффективность при обнаружении искусственных фрагментов изображений дистанционного зондирования Земли.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Гашников Михаил Валерьевич, Кузнецов Андрей Владимирович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

DETECTION OF ARTIFICIAL FRAGMENTS EMBEDDED IN REMOTE SENSING IMAGES BY ADVERSARIAL NEURAL NETWORKS

We investigate algorithms for detecting artificial fragments of remote sensing images generated by adversarial neural networks. We consider a detector of artificial images based on the detection of a spectral artifact of generative-adversarial neural networks that is caused by a layer for enhancing the resolution. We use the detecting algorithm to detect artificial fragments embedded in natural remote sensing images using an adversarial neural network that includes a contour generator. We use remote sensing images of various types and resolutions, whereas the substituted areas, some being not simply connected, have different sizes and shapes. We experimentally prove that the investigated spectral neural network detector has high efficiency in detecting artificial fragments of remote sensing images.

Текст научной работы на тему «ОБНАРУЖЕНИЕ ИСКУССТВЕННЫХ ФРАГМЕНТОВ, ВСТРОЕННЫХ В ИЗОБРАЖЕНИЯ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ СОСТЯЗАТЕЛЬНЫМИ НЕЙРОСЕТЯМИ»

Обнаружение искусственных фрагментов, встроенных в изображения дистанционного зондирования состязательными нейросетями

М.В. Гашников1, А.В. Кузнецов1 1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, г. Самара, Московское шоссе, д. 34

Аннотация

Исследуются алгоритмы обнаружения искусственных фрагментов изображений дистанционного зондирования Земли, сгенерированных состязательными нейронными сетями. Рассматривается детектор искусственных изображений, основанный на обнаружении характерного для генеративно-состязательных нейросетей спектрального артефакта, причиной возникновения которого является слой сети, повышающий разрешение. Рассматриваемый детектор применяется для обнаружения искусственных фрагментов, встроенных в настоящие изображения дистанционного зондирования Земли с помощью состязательной нейросети, включающей генератор протяженных элементов. При этом используются изображения дистанционного зондирования различного типа и разрешения, а подменяемые области, некоторые из которых не являются односвязными, имеют различные размеры и формы. Экспериментально показано, что исследуемый спектральный нейросетевой детектор имеет высокую эффективность при обнаружении искусственных фрагментов изображений дистанционного зондирования Земли.

Ключевые слова: обнаружение искусственных фрагментов изображений, нейронные сети, генеративно-состязательные нейросети, цикличные нейросети, доопределение изображений.

Цитирование: Гашников, М.В. Обнаружение искусственных фрагментов, встроенных в изображения дистанционного зондирования состязательными нейросетями / М.В. Гашников, А.В. Кузнецов // Компьютерная оптика. - 2022. - Т. 46, № 4. - С. 643-649. - DOI: 10.18287/2412-6179-CO-1064.

Citation: Gashnikov MV, Kuznetsov AV. Detection of artificial fragments embedded in remote sensing images by adversarial neural networks. Computer Optics 2022; 46(4): 643-649. DOI: 10.18287/2412-6179-CO-1064.

Введение

Продолжающееся развитие методов генерации искусственных изображений дистанционного зондирования Земли (ДЗЗ) сделало актуальной задачу разработки алгоритмов обнаружения таких подделок. В данной работе исследуются алгоритмы обнаружения искусственных изображений ДЗЗ в особенно сложной ситуации, когда реальное изображение подменяется на искусственное только частично.

В настоящее время разработано уже довольно много алгоритмов создания и дополнения изображений [1 - 3]. Алгоритмы [4 - 9] генерации искусственных изображений, позволяющие создавать реалистичные искусственные изображения ДЗЗ, также развиваются в настоящее время. Большинство таких алгоритмов так или иначе основано на применении генеративно-состязательных нейронных сетей [10].

Одним из наиболее перспективных генераторов искусственных изображений является состязательная нейронная сеть с обособленным генератором протяженных элементов [7], основанная на использовании специализированного алгоритма дополнения протяженных элементов изображения. Исследования [9] показали, что этот генератор показывает стабильные и высокие результаты при генерации искусственных

изображений ДЗЗ. В настоящей статье проблема обнаружения искусственных изображений ДЗЗ решается на примере изображений, дополненных с помощью этого генератора.

Детекторы искусственных изображений [11 - 13] также развиваются активно в настоящее время. В данной работе исследуется спектральный нейросете-вой детектор [14], основанный на обнаружении специфичного спектрального артефакта, причиной возникновения которого является характерный для генеративных нейросетей блок, повышающий разрешение искусственного изображения. Этот детектор выбран для исследования в настоящей статье, так как разработчики детектора декларируют высокую эффективность на различных классах изображений, в том числе при обнаружении искусственных изображений ДЗЗ.

Однако авторы исследовали свой детектор только в ситуации, когда искусственное изображение является сгенерированным полностью. Открытым остаётся вопрос о работоспособности этого детектора в более важной ситуации доопределения изображений ДЗЗ, при котором подменяется только часть изображения. Кроме того, авторы исследовали свой детектор только на одном классе космических снимков, а набор генераторов не включал состязательных сетей с обособленным генератором протяженных элементов.

В настоящей статье указанный спектральный нейросетевой детектор исследуется при обнаружении искусственных изображений, полученных с помощью состязательной нейросети с обособленным генератором протяженных элементов. Специфичной особенностью исследуемой ситуации является также и то, что исследуемые искусственные изображения не являются полностью сгенерированными, а вместо этого содержат доопределённые фрагменты различных форм и размеров, подменяющие заданные части реальных изображений ДЗЗ. Кроме того, используются изображения ДЗЗ из нескольких источников, имеющие различное разрешение.

1. Алгоритмы создания искусственных изображений ДЗЗ

Генеративно-состязательные нейросети при создании искусственных изображений ДЗЗ

Наилучшие результаты при генерации искусственных изображений в последние годы обеспечивают генеративно-состязательные нейросети (GAN) [10]. Состязательная нейросеть состоит из двух нейронных подсетей: генератора и дискриминатора. Генератор создаёт искусственные изображения, которые передаются на вход дискриминатору вперемешку с реальными данными. Дискриминатор имеет целью распознать искусственные данные, то есть отнести входное изображение к одному из двух классов: настоящее или искусственное.

Успешность или неудача этого распознавания позволяет подправить весовые коэффициенты и генеративной, и дискриминативной подсетей. Таким образом, генератор обучается создавать всё более качественные искусственные изображения, а дискриминатор всё увереннее обнаруживает эти искусственные данные. В результате, генератор и дискриминатор совершенствуют друг друга в рамках решения задачи обучения без учителя, не требующей размеченной обучающей выборки.

В данной работе состязательные нейросети используются как составные части более сложных алгоритмов, применяемых для генерации и обнаружения искусственных изображений ДЗЗ.

Цикличные состязательные нейросети при генерации искусственных изображений ДЗЗ

Цикличные состязательные нейросети [15 - 18] предназначены для переноса «стиля» изображения. Наиболее популярные примеры применения таких нейросетей - это смена сезона на фото (лето на зиму и т. п.), перекрашивание лошади в зебру, превращение фотографии в имитацию картины определённого художника и т. п.

Отдельно следует отметить потенциал цикличных состязательных нейросетей в области компрессии изображений, так как эти сети позволяют генерировать высокодетальные полноцветные цифровые изображения, характеризующиеся большим объёмом дан-

ных, на основе компактных низкодетальных и низкоразрядных скетчей и карт.

В данной работе цикличная состязательная сеть [18] используется для оформления фрагмента цифровой карты в стиле фрагмента изображения ДЗЗ, то есть фактически для генерации искусственных изображений ДЗЗ на основе цифровой карты.

Обучающая выборка при этом включает фрагменты цифровой карты и соответствующие им фрагменты изображений ДЗЗ. Собственно, циклическая состязательная нейросеть состоит из двух состязательных подсетей. Первая состязательная подсеть обучается генерировать фрагменты изображений ДЗЗ по фрагментам цифровой карты. Одновременно с этим вторая состязательная подсеть решает обратную задачу: учится создавать цифровую карту по изображениям ДЗЗ. Результатом работы являются искусственные изображения ДЗЗ, соответствующие заданной цифровой карте (см. экспериментальный параграф).

Состязательная сеть с генератором протяженных элементов

при генерации искусственных изображений ДЗЗ

В данной работе для доопределения изображений в целях создания искусственных изображений ДЗЗ использовалась также состязательная нейросеть [7] с обособленным генератором протяженных элементов.

Указанный генератор состоит из двух состязательных подсетей: генератора протяженных элементов и доопределителя областей. Входными данными генератора протяженных элементов являются: полутоновый вариант дополняемого изображения ДЗЗ, двоичная маска незаполненных областей, а также двоичное изображение, содержащее только протяженные элементы изображения. Целью генератора протяженных элементов является создание искусственных протяженных элементов внутри незаполненной области изображения ДЗЗ, а результатом работы этого генератора является доопределенное изображение, содержащее только протяженные элементы. Это изображение вместе с цветным доопределяемым изображением ДЗЗ передаётся на вход второй состязательной подсети, которая выполняет доопределение изображения ДЗЗ.

Описанная состязательная нейросеть с обособленным генератором протяженных элементов очень эффективна [9] при создании искусственных изображений ДЗЗ, так как при решении этой задачи обеспечение высокого качества протяженных элементов особенно важно.

2. Артефакты выходных изображений состязательных нейросетей

Несмотря на существенные различия в строении различных состязательных нейросетей, в большинстве таких сетей присутствует блок повышения разрешения. Наличие этого блока приводит к появлению

на сгенерированном изображении артефактов специфического вида [14].

Поясним подробнее механизм возникновения этих артефактов. Любой блок двукратного повышения разрешения можно в Ш случае представить как две последовательные операции (обобщение на 2Б тривиально).

Операция № 1. Помещение нулей между отсчётами исходного изображения /(к) размера N для получения изображения g (к) вдвое большего размера 2^

g (к ) =

f |2 j, k = 2m. 0, к = 2m +1

(1)

Операция №2. Интерполяция нулевых отчётов изображения, имеющих нечётные координаты к = 2т +1, посредством некоторого фильтра, обычно фильтра низких частот, для получения результирующего изображения повышенного разрешения.

Нетрудно показать, что первая половина спектра {О(} ), ] < Щ изображения улучшенного разрешения g(k) совпадает со спектром Е(] ) изображения низкого разрешения /(/ ):

-2inkj 2N

С -2in(2m ) j ^

2N

(2)

G (j )= S g (k )exp

= S g (2m )exp

m=0

= S f (m )exp (-2Nmj|= F (j) j < N.

При этом вторая половина спектра О (] ) совпадает со сдвинутым спектром изображения / (/ ):

G (j )=S f (m )exp

m=0

С-2inm (j - N)

-2inm (j - N + N)

= S f (m )exP

= F (j - N), j > N.

N

-2inmN . exp| —|= (3)

Таким образом, спектр изображения улучшенного разрешения содержит две копии спектра изображения низкого разрешения. Практика показывает, что для распространённых состязательных нейросетей операция № 2 не является полноценным фильтром низких частот и, следовательно, не устраняет описанный артефакт полностью. Более того, описанный артефакт довольно хорошо обнаруживается нейросетями в спектральной области (см. далее).

3. Обнаружение искусственных изображений ДЗЗ

Нейросетевой спектральный детектор искусственных изображений, основанный на обнаружении описанного выше артефакта, был предложен в [14]. Для

каждого из трёх каналов исходного цветного изображения вычислялся амплитудный спектр Оа (фазовая часть спектра не использовалась). Затем спектр логарифмировался для выравнивания амплитуды и нормировался на диапазон [-1, 1] для вычисления спектрального признака О*:

G* = 2

ln Ga - min {in Ga} max {in Ga} - min {in Ga}

-1.

(4)

Этот спектральный признак подавался на вход детектору искусственных изображений, основанному на нейросети ResNet-34 [19], которая эффективно решает проблему снижения точности нейросети при увеличении количества слоев. Нейросети такого вида имеют в своём составе так называемые «соединения быстрого доступа», которые позволяют «пропускать» один или несколько слоев глубокой нейронной сети. Благодаря этому нейросети вида ResNet обычно проще масштабировать и оптимизировать, чем другие глубокие нейросети.

В настоящей работе была использована ResNet-34, предварительно обученная на наборе изображений ImageNet [20]. Последний слой этой нейросети был заменён на слой с бинарным выходом (реальное либо искусственное изображение), после чего было произведено дополнительное обучение полученного детектора на изображениях ДЗЗ, более подробно описанное далее, в экспериментальном параграфе настоящей статьи.

4. Экспериментальное исследование алгоритмов обнаружения искусственных фрагментов изображений ДЗЗ

В данной работе описанный выше спектральный нейросетевой детектор использовался для обнаружения искусственных изображений ДЗЗ, полученных посредством дополнения реальных изображений ДЗЗ, то есть посредством замены заданных частей этих изображений.

В данной работе выполнена следующая последовательность экспериментов.

1. Генератор искусственных изображений на основе цикличной состязательной нейросети был применен к изображениям поднабора Maps датасета Cy-cleGAN [21]. Этот датасет содержит фрагменты цифровой карты и соответствующие им фрагменты изображений ДЗЗ. Результатом работы генератора стал набор искусственных фрагментов изображений ДЗЗ, предназначенный для обучения детектора. Пример показан на рис. 1. Реальные изображения ДЗЗ и результаты работы генератора составили датасет № 1, включающий 2194 реальных изображения ДЗЗ и столько же искусственных (полностью сгенерированных).

2. Состязательная нейросеть с генератором протяженных элементов была применена к фрагментам

k=0

N-1

m=0

изображений ДЗЗ [22, 23] различных типов и разрешений для подмены на них областей различного размера и формы, в том числе несвязных областей. Реальные изображения ДЗЗ и результаты работы генератора составили датасет № 2, включающий 928 реальных изображений ДЗЗ и столько же изображений, содержащих искусственные фрагменты. Примеры показаны на рис. 2, 3.

3. Спектральный нейросетевой детектор был обучен на датасете № 1 и протестирован на датасете № 2. Меры эффективности детектора (точность, ТРЯ, ТЫЯ) приведены в табл. 1 и на рис. 3 с меткой «Эксперимент № 1».

Датасет № 2 был разбит на обучающую и контрольную выборки, чтобы исключить возможность получения высоких результатов за счёт переобучения. Обучающая выборка включала 742 реальных изображения ДЗЗ и столько же изображений ДЗЗ со встроенными искусственными фрагментами. Контрольная выборка включала 186 реальных изображений и столько же изображений с подменёнными областями. Разделённый таким образом датасет № 2 был использован для отдельного эксперимента по обучению и тестированию спектрального нейросете-

вого детектора. Меры эффективности детектора приведены в таблице с меткой «Эксперимент № 2»:

Точность = -

TP + TN

TP + TN + FP + FN

TPR = TNR =

TP

TP + FN

TN TN + FP '

(5)

(6) (7)

где TP - количество правильно обнаруженных реальных изображений ДЗЗ,

TN - количество правильно обнаруженных искусственных изображений ДЗЗ,

FP - количество искусственных изображений ДЗЗ, ошибочно принятых за реальные, FN - количество реальных изображений ДЗЗ, ошибочно принятых за искусственные. Выводы по экспериментам

Рассмотренный спектральный нейросетевой детектор способен c высоким качеством обнаруживать искусственные изображения ДЗЗ, созданные посредством замены частей реальных изображений ДЗЗ с помощью состязательной нейросети с генератором протяженных элементов.

Рис. 1. Генерация искусственных изображений ДЗЗ цикличной состязательной нейросетью: а) фрагмент цифровой карты; б) фрагмент реального изображения ДЗЗ; в) фрагмент искусственного изображения ДЗЗ

При этом детектор обучился не только работе с изображениями ДЗЗ различного типа и разрешения, но и обнаружению изображений, на которых только часть изображения заменена искусственным фрагментом.

Обучение детектора на изображениях ДЗЗ, созданных посредством замены частей реальных изображений ДЗЗ с помощью состязательной нейросети с обособленным генератором протяженных элементов,

имеет смысл, так как позволяет существенно повысить эффективность обнаружения.

Рассмотренный спектральный нейросетевой детектор является перспективным алгоритмом обнаружения искусственных изображений ДЗЗ, так как показывает высокие результаты при противодействии весьма эффективному генератору подделок, причём в особенно сложной ситуации частичной подмены информации на изображениях ДЗЗ.

Рис. 3. Изображения ДЗЗ (реальное и «подправленное») и соответствующие матрицы спектрального признака

Табл. 1. Эффективность детектора подделок на искусственных изображениях ДЗЗ, созданных состязательной нейросетью с генератором протяженных элементов

Обучен на датасете № 1 (Эксперимент №1) Обучен на датасете № 2 (Эксперимент №2)

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Точность 0,5803 0,9973

ТРЯ 0,3190 1,0000

тт 0,8416 0,9946

Заключение

Исследовалась проблема обнаружения искусственных изображений ДЗЗ. Рассмотрен спектральный артефакт, характерный для состязательных генераторов искусственных изображений. Исследован детектор искусственных изображений ДЗЗ, основанный на нейросете-вом обнаружении этого артефакта. Рассматриваемый детектор применён для обнаружения искусственных изображений ДЗЗ, полученных с помощью состязатель-

ной нейросети, включающей генератор протяженных элементов. Детектор исследован в ситуации обнаружения не полностью сгенерированных изображений, а в ситуации замены заданной области изображения на сгенерированную информацию. При этом использованы реальные изображения ДЗЗ различного типа и разрешения, на которых области различных размеров и форм заменялись искусственной информацией. Среди прочих использовались и несвязные области. Экспериментально определены показатели эффективности исследуемого спектрального нейросетевого детектора: точность 0,9973, ТРЯ 1,0000, ГЖ 0,9946. Полученные экспериментальные результаты доказывают, что исследуемый детектор имеет высокую эффективность при обнаружении искусственных изображений ДЗЗ, в том числе в ситуации частичной подмены информации.

Благодарности

Исследование выполнено за счет гранта Российского научного фонда (проект № 22-21-00662).

References

[1] Jam J, Kendrick C, Walker K, Drouard V, Hsu JG, Yap MH. A comprehensive review of past and present image inpainting methods. Comput Vis Image Underst 2021; 203: 103147.

[2] Patil BH, Patil PM. A comprehensive review on state-of-the-art image inpainting techniques. Scalable Computing: Practice and Experience 2020; 21(2): 265-276.

[3] Qin Z, Zeng Q, Zong Y, Xu F. Image inpainting based on deep learning: A review. Displays 2021; 69: 102028.

[4] Thanh DNH, Prasath VBS, Son NV, Son NV, Hieu LM. An adaptive image inpainting method based on the modified Mumford-Shah model and multiscale parameter estimation. Computer Optics 2019; 43(2): 251-257. DOI: 10.18287/2412-6179-2019-43-2-251-257.

[5] Dash A, Ye J, Wang G. A review of Generative Adversarial Networks (GANs) and its applications in a wide variety of disciplines. arXiv preprint 2021. Source: ahttps://arxiv.org/abs/2110.01442n.

[6] Gao J, Yuan Q, Li J, Su X. Unsupervised missing information reconstruction for single remote sensing image with Deep Code Regression. Int J Appl Earth Obs Geoinf 2021; 105: 102599.

[7] Nazeri K, Ng E, Joseph T, Qureshi F, Ebrahimi M. EdgeConnect: Generative image inpainting with adversarial edge learning. arXiv preprint 2019. Source: ahttps://arxiv.org/abs/1901.00212n.

[8] Voronin V, Gapon N, Semenishchev E, Zelensky A, Agaian S. A block-based method for the remote sensing images cloud detection and removal. Proc SPIE 2021; 11734: 117340K.

[9] Kuznetsov AV, Gashnikov MV. Remote sensing data retouching based on image inpainting algorithms in the forgery generation problem. Computer optics 2020; 44(5): 763-771. DOI: 10.18287/2412-6179-C0-721.

[10] Songyuan L, Fan M, Chen R. Overview of generative adversarial networks. J Phys Conf Ser 2021; 1873(1): 012071.

[11] Basso D, Colnago M, Azevedo S, Silva E, Pina P, Casaca W. Combining morphological filtering, anisotropic diffusion and block-based data replication for automatically detecting

and recovering unscanned gaps in remote sensing images. Earth Sci Inform 2021; 14: 1145-1158.

[12] Horvath J, Baireddy S, Hao H, Montserrat DM, Delp EJ. Manipulation detection in satellite images using vision transformer. Proc IEEE/CVF Conf on Computer Vision and Pattern Recognition 2021: 1032-1041.

[13] Ali L, Kasetkasem T, Khan FG, Chanwimaluang T, Nakahara H. Identification of inpainted satellite images using evalutionary artificial neural network (EANN) and k-nearest neighbor (KNN) algorithm. 8th IEEE Int Conf of Information and Communication Technology for Embedded Systems (IC-ICTES) 2017: 1-6.

[14] Zhang X, Karaman S, Chang SF. Detecting and simulating artifacts in gan fake images. IEEE Int Workshop on Information Forensics and Security (WIFS) 2019: 1-6.

[15] Qin M-Y, Fan Y-C, Liu B-L, Ma X. A survey of style transfer based on generative adversarial network. Proc SPIE 2021; 12069: 120691E.

[16] Wang P, Zhang H, Zhou F, Jiang Z. Unsupervised remote sensing image super-resolution using cycle CNN. IEEE Int Geoscience and Remote Sensing Symposium (IGARSS) 2019: 3117-3120.

[17] Zhao K, Zhou L, Gao S, Wang X, Wang Y, Zhao X, Ye H. Study of low-dose PET image recovery using supervised learning with CycleGAN. Plos one 2020; 15(9): e0238455.

[18] Barth R, Hemming J, Van Henten EJ. Optimising realism of synthetic images using cycle generative adversarial networks for improved part segmentation. Comput Electron Agric 2020; 173: 105378.

[19] He F, Liu T, Tao D. Why resnet works? residuals generalize. IEEE Trans Neural Netw Learn Syst 2020; 31(12): 5349-5362.

[20] Deng J, Dong W, Socher R, Li LJ, Li K, Fei-Fei L. Imagenet: A large-scale hierarchical image database. IEEE Conf on Computer Vision and Pattern Recognition 2009: 248-255.

[21] Index of /~taesung_park/CycleGAN/datasets.

Source: (https://people.eecs.berkeley.edu/~taesung_park7C ycleGAN/datasets/).

[22] Roscosmos. Source: (www.roscosmos.ru).

[23] Google Earth. Source: (www.google.com/earth).

Сведения об авторах

Гашников Михаил Валерьевич, 1975 года рождения, в 1998 году окончил СГАУ, кандидат наук, доцент. В настоящее время работает доцентом кафедры геоинформатики и информационной безопасности Самарского национального исследовательского университета имени академика С.П. Королёва. Область научных интересов: компьютерное зрение, машинное обучение, искусственные нейронные сети, обработка изображений ДЗЗ, геоинформатика. Имеет более 100 публикаций, в том числе около 40 статей и две монографии (в соавторстве). E-mail: mgash@smr.ru . Страница в интернете: https://ssau.ru/staff/60125001-gashnikov-mikhail-valerevich

Кузнецов Андрей Владимирович, родился в 1987 году. В 2010 году окончил СГАУ. В 2010 поступил в аспирантуру СГАУ, в 2013 г. защитил диссертацию на соискание степени кандидата технических наук. В настоящее время работает старшим научным сотрудником НИЛ-97 Самарского университета. Область научных интересов включает компьютерное зрение, машинное обучение, искусственные нейронные сети, обнаружение искажений и подделок изображений и т. п. Имеет более 40 публикаций, в том числе более 20 научных статей и 1 монографию.

E-mail: kuznetsoff.andrey@gmail.com . Страница в интернете: http://nil97.ssau.ru/employee/detail.php?ID=35

ГРНТИ: 28.23.15

Поступила в редакцию 15 декабря 2022 г. Окончательный вариант - 16 марта 2022 г.

Detection of artificial fragments embedded in remote sensing images

by adversarial neural networks

M.V. Gashnikov1, A.V. Kuznetsov1 1 Samara National Research University, 443086, Samara, Russia, Moskovskoye Shosse 34

Abstract

We investigate algorithms for detecting artificial fragments of remote sensing images generated by adversarial neural networks. We consider a detector of artificial images based on the detection of a spectral artifact of generative-adversarial neural networks that is caused by a layer for enhancing the resolution. We use the detecting algorithm to detect artificial fragments embedded in natural remote sensing images using an adversarial neural network that includes a contour generator. We use remote sensing images of various types and resolutions, whereas the substituted areas, some being not simply connected, have different sizes and shapes. We experimentally prove that the investigated spectral neural network detector has high efficiency in detecting artificial fragments of remote sensing images.

Keywords: detection of artificial fragments of images, neural networks, generative adversarial neural networks, cycle neural networks, image redefinition.

Citation: Gashnikov MV, Kuznetsov AV. Detection of artificial fragments embedded in remote sensing images by adversarial neural networks. Computer Optics 2022; 46(4): 643-649. DOI: 10.18287/2412-6179-CO-1064.

Acknowledgements: This work was supported by the Russian Science Foundation under project 22-21-00662.

Authors' information

Mikhael Valeryevich Gashnikov (b. 1975) graduated from S.P. Korolyov Samara State Aerospace University (SSAU), PhD and associate professor. He is the associate professor at the Geoinformatics and Information Security department at Samara National Research University. He has more 100 publications, including about 40 scientific papers and 2 monograph (with coauthors). His research interests are currently focused on computer vision, machine learning, artificial neural networks, remote sensing data processing, geoinformatics. E-mail: mgash@smr.ru . Web-page: https://ssau.ru/staff/60125001-gashnikov-mikhail-valerevich.

Andrey Vladimirovich Kuznetsov (b. 1987) graduated (2010) from SSAU. He studied as a post-graduate student at SSAU from 2010 and received his PhD in Technical Sciences in 2013. Nowadays he is a senior researcher at the Remote Sensing Data Analysis laboratory at Samara National Research. His research interests are currently focused on computer vision, machine learning, artificial neural networks, detection of distortions and sub-images of images, etc. He has 40 publications, including 20 scientific papers and 1 monograph.

E-mail: kuznetsoff.andrey@gmail.com . Web-page: http://nil97.ssau.ru/employee/detail.php?ID=35

Received December 15, 2022. The final version - March 16, 2022.

i Надоели баннеры? Вы всегда можете отключить рекламу.