CC BY
34
УДК 004.89
Doi: 10.31772/2712-8970-2021-22-3-468-477
Для цитирования: Строй О. А., Буряченко В. В. Методы удаления нежелательных объектов с изображений аэрофотосъемки с использованием итерационного подхода // Сибирский аэрокосмический журнал. 2021. Т. 22, № 3. С. 468-477. Doi: 10.31772/2712-8970-2021-22-3-468-477.
For citation: Stray O. A., Buryachenko V. V. Methods of removing unwanted objects from aerial photography images using iterative approach. Siberian Aerospace Journal. 2021, Vol. 22, No. 3, P. 468-477. Doi: 10.31772/27128970-2021-22-3-468-477.
Методы удаления нежелательных объектов с изображений аэрофотосъемки
с использованием итерационного подхода
*
О. А. Строй , В. В. Буряченко
Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
*E-mail: [email protected]
Удаление объектов с изображений относится как к задачам, позволяющим улучшить качество изображения, например, в области восстановления поврежденных фотографий, так и к задачам повышения безопасности при удалении людей или автомобилей при обработке изображений аэрофотосъемки. При этом методы удаления нежелательных объектов обычно включают в себя два этапа: выделение объектов для удаления и восстановление текстуры на участках изображения. Первый этап может выполняться вручную пользователями, если необходимо выделить конкретные объекты, либо автоматически путем обучения модели на различных классах объектов. Задача восстановления изображения в процессе исследований решалась различными методами, основной из которых включает использование значений соседних пикселов для отрисовки в удаленных областях. В последние годы хорошие результаты показывают методы с применением глубокого обучения на основе сверточных и генеративных нейронных сетей. Целью работы является разработка метода удаления объектов с изображений аэрофотосъемки с выделением объектов вручную и от-рисовкой текстуры в обрабатываемой области. В работе выполнен обзор современных методов восстановления изображений, среди которых наиболее перспективным является использование сетей глубокого обучения, а также анализ текстуры в восстанавливаемой области. Предложенный алгоритм основан на итерационном подходе при анализе соседних областей и постепенном закрашивании восстанавливаемой области текстурой с соседних пикселов с учетом веса и контуров границ. В статье выполнена оценка эффективности предложенного метода с использованием базы видеопоследовательностей, полученных с квадрокоптеров и содержащих людей и природные объекты. При этом проводилась как экспертная оценка, которая показала хорошие визуальные результаты, так и сравнение качества работы алгоритма с известными подходами по метрике PSNR, которая показала лучшие результаты при наличии сложной текстуры в сцене.
Ключевые слова: Image inpainting, восстановление изображений, дистанционное зондирование земли, генеративные нейронные сети, текстурный анализ.
Methods of removing unwanted objects from aerial photography images using iterative approach
O. A. Stroy*, V. V. Buryachenko
Reshetnev Siberian State University of Science and Technology 31, Krasnoyarskii rabochii prospekt, Krasnoyarsk, 660037, Russian Federation E-mail: [email protected]
Removing objects from images refers both to the tasks of improving the quality of the image, for example, in the field of recovering damaged photographs, and the tasks of increasing safety when removing people or cars from aerial photography images with remote sensing of the earth. At the same time, methods for removing unwanted objects usually include two stages: selecting objects for removal and restoring texture in areas of the image. The first stage can be performed manually by users, if it is necessary to select specific objects, or automatically by training the model on different classes of objects. The problem of image restoration in the course of research was solved by various methods, the main one of which involves using of the values of neighboring pixels for rendering in distant areas. In recent years, methods using deep learning based on convolutional and generative neural networks have shown good results. The aim of the work is to develop a method for removing objects from aerial photography images with manually selecting objects and drawing textures in the processed area. The paper reviews modern methods of image restoration, among which the most promising are the use of deep learning networks, as well as texture analysis in the restored area. The proposed algorithm is based on an iterative approach when analyzing neighboring areas and gradually painting the restored area with a texture from neighboring pixels, taking into account the weight and contours of the boundaries. The article evaluates the effectiveness of the proposed method using the base of video sequences obtained from quadcopters and containing people and natural objects. At the same time, both an expert assessment was carried out, which showed good visual results, and a comparison of the quality of the algorithm with known approaches according to the PSNR metric, which showed the best results in the presence of a complex texture in the scene.
Keywords: Image inpainting, image restoration, earth remote sensing, generative neural networks, texture analysis.
Введение
Дистанционное зондирование Земли (ДЗЗ) и обработка изображений аэрофотосъемки с беспилотных летательных аппаратов является незаменимым инструментом изучения и мониторинга планеты, помогающим эффективно управлять её ресурсами [1]. Использование данных ДЗЗ позволяет обеспечить безопасность и эффективность добычи природных ресурсов, предупредить чрезвычайные ситуации и устранять их последствия, а также помочь с обеспечением охраны окружающей среды и контроля над изменением климата.
Изображения, получаемые при аэрофотосъемке, находят применение во многих отраслях -сельском хозяйстве, геологических и гидрологических исследованиях, лесоводстве, охране окружающей среды, планировке территорий, образовательных, разведывательных и в военных целях. Системы ДЗЗ позволяют за короткое время получить необходимые данные с больших площадей (в том числе труднодоступных и опасных участков). Однако чаще всего эти снимки нуждаются в предварительной обработке для более точной интерпретации данных. В частности, существует необходимость удаления с них нежелательных объектов, таких как облака.
В данной работе рассматриваются особенности удаления объектов с изображений при аэрофотосъемке, что может быть необходимо для задач обеспечения безопасности, повышения
качества анализа данных и в художественных целях. В работе предложен алгоритм, основанный на выделении объектов и использовании итерационного подхода для удаления выделенного объекта и восстановления участков изображения путем закрашивания части областей взвешенным значением с соседних пикселов.
Обзор литературы
Задачу удаления объектов со снимков аэрофотосъемки можно решать несколькими методами, в том числе и с использованием нейронных сетей. Например, простейший метод сегментации, метод порогового значения, часто используется для сегментирования изображений, состоящих из ярких объектов на тёмном фоне или наоборот. Таким образом можно обнаружить, например, облака на входном изображении. Чтобы изображение сегментировалось правильно, следует выбирать адаптивный порог, рассчитывающийся отдельно для разных областей изображения, тогда будет возможно обрабатывать изображения с сильным градиентом освещения и неравномерным из-за плохих условий освещения фоном. Кроме того, необходимо учесть, что в случае неравномерного освещения эффективность метода уменьшается и требуется разделить изображение на подобласти, каждая со своим пороговым значением, чтобы избежать снижения эффективности метода [2].
Другой подход использует современные архитектуры сверточных нейронных сетей. В декабре 2015 г. была представлена новая архитектура нейронных сетей - ResNet, которую легче оптимизировать и точность классификации которой повышается за счёт значительного увеличения глубины; при этом обучать её легче [3]. В ней заложены достаточно простые идеи: подаются выходные данные двух успешных свёрточных слоёв и обходятся входные данные для следующего слоя [4]. Схема архитектуры представлена на рис. 1.
Рис. 1. Архитектура ResNet Fig. 1. ResNet architecture
ResNets используют соединения по кратчайшему пути: операции, которые пропускают некоторые уровни для передачи информации в нижние части сети, что действует как прямой путь для информационного потока. В исходном случае ResNet-соединение быстрого доступа выполняет аддитивное отображение сигнала, то есть входное состояние остаточного блока добавляется к выходным данным обойденных слоев.
Методы обнаружения более сложных объектов на изображениях могут охватывать несколько различных подходов, таких как ручное выделение границ объекта, после чего алгоритм уточняет контуры объекта автоматически, либо автоматическое выделение различных типов объектов с использованием интеллектуальных подходов, таких как нейронные сети для выделения регионов (R-CNN). Например, авторы R. Girshick, J. Donahue, T. Darrell и Jitendra Malik
описывают систему обнаружения объектов, состоящую из трёх модулей. Первый модуль генерирует независящие от категорий предложения регионов. Эти предложения определяют набор возможных обнаружений, доступных детектору. Второй модуль - это большая сверточная нейронная сеть, которая извлекает вектор признаков фиксированной длины из каждой области. Третий модуль представляет собой набор линейных SVM определенного класса [6]. Алгоритм выборочного поиска, предложенный авторами J. Uijlings, K. van de Sande, T. Gevers и A. Smeulders [7], работает, генерируя подсегменты изображения, которые могут принадлежать одному объекту - на основе цвета, текстуры, размера и формы - и итеративно комбинируя похожие области для формирования объектов. Это дает «объектные предложения» разного масштаба. Конвейер R-CNN не зависит от алгоритма предложения региона. Авторы используют алгоритм выборочного поиска для создания 2000 предложений по категориям независимых регионов (обычно обозначенных прямоугольными областями или «ограничивающими рамками») для каждого отдельного изображения.
После удаления определенного объекта на изображении остается пустая область, которую необходимо заполнить информацией таким образом, чтобы качество изображения не ухудшилось. Задача восстановления изображения (Motion Inpainting) является одной из самых известных в области цифровой обработки изображений. Первоначально использовались подходы, связанные с дополнением содержимого на основе значений соседних пикселов, для чего использовались методы билинейной и бикубической интерполяции [8]. К наиболее современным подходам относится использование сверточных и генеративных нейронных сетей.
В 2017 г. авторами C. Burlin, Le Callonec и L. Duperier был предложен подход восстановления небольших изображений из набора данных CIFAR10, основанный на применении автоэнко-деров и генеративных адаптивных нейронных сетей. Они предложили новую модель Flattened Row LSTM, которая продемонстрировала высокую эффективность и устойчивость, а также соответствие восстановленных изображений исходным данным с точки зрения пользователя [9].
V. Chandak, P. Saxena, M. Pattanaik и G. Kaushal использовали архитектуру генеративных адаптивных нейронных сетей Вассерштейна для создания своей модели. Расстояние Вассер-штейна - мера расстояния между двумя распределениями вероятностей - было использовано в качестве функции потерь для обучения генератора. Предложенную методологию можно разделить на три этапа. Сначала происходит предварительная обработка данных из набора CelebA, затем модель на основе генеративных адаптивных нейронных сетей Вассерштейна заполняет недостающие пикселы на изображении. При генерации неизбежно появление шумов, поэтому третий этап заключается в пропускании получившегося изображения через нейросеть для его дальнейшего улучшения. Данный подход позволяет повысить отношение пикового сигнала к шуму и индекс структурного сходства на 2,45 и 4 % соответственно по сравнению с применяемыми в последнее время подходами, однако в данной методологии обучение сильно зависит от данных, используемых для тренировки [10].
В 2018 г. G. Liu, F. A. Reda, K. J. Shih, T. Wang, A. Tao и B. Catanzaro разработали модель, которая использует операции частичной свертки с накоплением и пошаговым обновлением маски для наилучшей отрисовки изображения. Данная модель может достаточно качественно работать с отверстиями любой формы, размера, расположения или расстояния от границ изображения. При увеличении размера отверстия не происходит критического ухудшения производительности, что также является достоинством модели [11].
В январе 2020 г. авторы Yi Jiang, Jiajie Xu, Baoqing Yang, Jing Xu и Junwu Zhu также использовали автоэнкодеры и генеративные адаптивные нейронные сети, добавив пропускное соединение для решения проблемы исчезновения градиента. Предложенная ими модель состоит
из генератора и двух дискриминаторов. При тестировании на наборах данных CelebA и LWF модель продемонстрировала более высокие результаты по метрикам PSNR и SSIM в сравнении с такими моделями как FMM, GLCIC и DIP [12].
Ключевой особенностью методов восстановления изображений, основанных на глубоком обучении, является способность к восстановлению отсутствующих данных, которые алгоритм получает на основе обучения на ряде примеров, в результате чего качество и реалистичность таких подходов оказывается гораздо выше в сравнении с классическими методами.
Метод восстановления изображений аэрофотосъемки
Предлагается использовать модифицированный метод восстановления изображений, известный как метод Telea, а также метод Навье - Стокса. Рассмотрим этапы работы данных алгоритмов более подробно.
Метод Telea основан на методе быстрого перехода (Fast Marsh Method). Зарисовка области начинается с её границы и постепенно идёт внутрь, закрашивая пиксель нормализованной взвешенной суммой всех пикселей в окрестности. Важен правильный выбор веса: наибольший вес придаётся пикселям, лежащим рядом с точкой рядом с нормалью границы, и пикселям, лежащим на контурах границы. Как только пиксель окрашен, происходит перемещение к следующему методом быстрого перехода, который контролирует, чтобы сначала окрашивались пиксели рядом с уже окрашенными.
На рис. 2 представлена схема метода Telea. Нужно зарисовать точку p, расположенную на границе д Q области окраски Q. Для этого необходимо взять небольшую окрестность точки p, равную в, множество пикселей которой обозначено как Bs (p). Окрашивание p должно определяться значениями известных точек-соседей, которые принадлежат BB (p).
Швестные Шиитам
Рис. 2. Принцип зарисовки изображения Fig. 2. Image inpainting principle
Для достаточно малых значений в рассматривается первый порядок аппроксимации изображения I (p) в точке p, учитывая изображение I(д) и градиент VI(д) значений в точке д:
1Ч (р) = I (д^1 (д)(р - д). (1)
Затем точка р определяется как функция всех точек д во множестве Вв (р), суммируя оценки всех точек д, взвешенные с помощью нормировочной функции w(p, д):
г() IдвлгГ(^д(д)^(д)(р-д)) I (р)=—^-(—)-. (2)
1 д.Вв(р Г (р,д )
Далее необходимо итеративно применять формулу (2) ко всем дискретным пикселям д О по мере увеличения расстояния от начального положения и продвигать границу внутри области О до тех пор, пока она вся не будет закрашена [13].
Алгоритм Навье - Стокса основан на гидродинамике и использует уравнения в частных производных. Основной принцип - эвристический. Сначала алгоритм перемещается по краям из известных областей в неизвестные (поэтому края должны быть непрерывными). Он продолжает изофоты (линии, соединяющие точки с одинаковой интенсивностью, точно так же, как контуры соединяют точки с одинаковой высотой), при этом сопоставляя векторы градиента на границе области рисования. Для этого используются некоторые методы из гидродинамики. После их получения происходит заполнение цветом, чтобы уменьшить минимальную дисперсию в этой области.
Пусть О - область, которую нужно восстановить из окружающих данных, а - интенсивность изображения, предположительно являющаяся гладкой функцией (возможно, с большими градиентами), вне области О. Известны 10 и АI0 на границе дО. Далее метод Навье - Стокса адаптирован из области гидродинамики для отрисовки изображений, сопоставления представлены в табл. 1.
Таблица 1
Метод Навье - Стокса для зарисовки изображений
Метод Навье - Стокса Отрисовка изображений
Функция потока ¥ Интенсивность изображения I
Скорость жидкости V = V1 ¥ Направление изофоты V11
Завихренность w = А ¥ (А - оператор Лапласа) Гладкость w = АI
Вязкость жидкости V Анизотропная диффузия V
Уравнение переноса завихренности относительно w решается по формуле (3)
^ + V V = (^ (3)
где функция g учитывает анизотропную диффузию гладкости w. Интенсивность изображения I, определяющая поле скорости V = V1 I в формуле (3), восстанавливается одновременным решением задачи Пуассона
V/ = w, I |до = 1о. (4)
Работа алгоритма начинается с вычисления завихренности w по изображению I, используя данные об окружении для определения граничной завихренности. Затем развертывается форма потока завихренности (3) с использованием простого шага Эйлера, с центрированными разностями в пространстве для диффузии и методом тттос1 для конвекционного срока.
После первого шага (3) вычисляется интенсивность изображения I путём решения уравнения Пуассона (4) с использованием итерационного метода Якоби. Для этого обновлённого значения пересчитывается w и алгоритм повторяется. Каждые несколько шагов выполняется анизотропная диффузия на I, что помогает точнее определить границы. Устойчивое состояние достигается после N итераций этого цикла, обычно N = 300 [14].
Экспериментальные исследования
Эффективность работы алгоритма восстановления изображений исследовалась с использованием базы данных, полученной с беспилотных летательных аппаратов при различных условиях съемки [15]. База включает в себя 12 видеопоследовательностей длительностью более
3000 кадров различных объектов в Швейцарии, полученных с использованием дрона DJI Mavic Pro, и позволяет оценить качество различных алгоритмов повышения качества видеопоследовательностей, отслеживания движения и обнаружения объектов (табл. 2).
Таблица 2
Описание базы видеопоследовательностей
Название
Разрешение
Количество кадров
Скриншот
Характеристика
Berghouse Leop-ard.mp4
1280x720
1073
Сложное движение камеры, нелинейная текстура, наличие объектов переднего плана
Bluemlisal Fly-over.mp4
1280x720
957
Сложное движение камеры, простая текстура, нет движущихся объектов
Creux du Van Flight.mp4
1280x720
1196
Сложное движение камеры, многоплановая сцена, нелинейная текстура
DJI 0501.mov
3840x2160
232
Круговое движение камеры, наличие статичного объекта переднего плана, переменное освещение
DJI 0574.mov
3840x2160
928
Линейное движение камеры, нелинейная текстура, наличие движущихся объектов переднего плана, масштабирование
DJI 0596.mov
3840x2160
1015
Линейное движение камеры, простая текстура, наличие движущихся объектов переднего плана
Оценка эффективности алгоритма восстановления изображения выполнялась в сравнении с известными подходами на основе текстурных методов и глубокого обучения в задаче удаления объектов с изображений аэрофотоснимков. На рис. 3 представлены результаты восстановления изображений при помощи различных методов, а также сравнение качества по метрике PSNR (5), где оценивалась разница между исходным изображением (рис. 3, а) и изображением, с которого удалены выбранные пользователем объекты (рис. 3, б).
PSNR = 10log
10
( max(I(i, j))2 ^
MSE
(5)
Значение MSE между оригинальным и восстановленным изображением рассчитывается по выражению (6)
1
MSE =-XI (I (i, j) - Iw (i, j))),
m x n
(6)
i=1 j=1
где m, п - ширина и высота изображения; I - исходный кадр; ^ - восстановленный кадр.
Большинство известных методов при попытке удалить объект переднего плана порождает заметные артефакты в соответствующей области, особенно при наличии сложной текстуры.
Оценка качества показывает хорошие результаты метода Amle [16] при условии простой текстуры в области восстановления. Лучшие результаты при наличии сложной текстуры показывает предлагаемый метод с использованием генеративных нейронных сетей (рис. 3, д).
Berghouse Leopard Jog.avi PSNR 29.304 27.9778 30.6132
Surenen Pass Trail Running.avi PSNR 26.7054 27.1282 27.6052
а б в г д
Рис. 3. Примеры восстановления изображений с применением различных методов: а - оригинальное изображение; б - маска выделения объектов для удаления; в - метод восстановления изображений Absolute Minimizing Lipschitz Extension Inpainting [16]; г - метод восстановления изображений Transport [17]; д - предложенный метод восстановления изображений
Fig. 3. Examples of image restoration using various methods: a - original image; b - mask for selecting
objects for deletion; c - method of image restoration Absolute Minimizing Lipschitz Extension Inpainting [16]; d - Transport image recovery method [17]; e - proposed method
Предлагаемый метод показывает хорошие визуальные результаты, при этом качество сильно зависит от сложности текстур и количества связанных пикселов в области восстановления.
Заключение
В работе предложен модифицированный метод восстановления изображений с использованием итерационного подхода, позволяющий удалять нежелательные маскированные объекты, такие как люди, облака или автомобили, с изображений аэрофотосъемки и получать визуально качественные результаты. Выполнена оценка качества работы системы на основе анализа значений PSNR и визуального сравнения качества результатов с исходными данными. Предложенный метод может надежно обрабатывать искажения любой формы, размера, расположения или расстояния от границ изображения. Кроме того, производительность незначительно ухудшается по мере увеличения размера отсутствующих областей.
Проведенные эксперименты показывают, что для дальнейшего повышения качества восстановления изображения необходимо учитывать текстурированность области и использовать материалы для обучения с учетом содержащегося контента. В современных исследованиях для решения задач восстановления поврежденных изображений в областях со сложной текстурой предлагается использовать сверточные генеративные нейронные сети. Таким образом, высокую эффективность в решении проблемы удаления нежелательных объектов с изображений, в частности, людей со снимков ДЗЗ, демонстрируют методы с применением нейронных сетей. Сравнительно недавно представленная архитектура нейронных сетей ResNet с остаточным обучением имеет широкий потенциал к использованию в данной области.
Библиографические ссылки
1. Дистанционное зондирование Земли - Госкорпорация «Роскосмос» [Электронный ресурс]. URL: https://www.roscosmos.ru/24707/ (дата обращения: 10.09.2020).
2. Исследование метода синтеза текстур изображений поверхности земли на основе нейронной сети / Ибадов Р. Р., Федосов В. П., Воронин В. В. и др. // Известия ЮФУ. Технические науки. 2019. № 5 (207). [Электронный ресурс]. URL: https://cyberleninka.ru/article/n/issledovanie-metoda-sinteza-tekstur-izobrazheniy-poverhnosti-zemli-na-osnove-neyronnoy-seti (дата обращения: 11.09.2020).
3. Cornell University [Электронный ресурс]. URL: https://arxiv.org/abs/1512.03385 (дата обращения: 16.09.2020).
4. Архитектуры нейросетей / Блог компании NIX / Хабр [Электронный ресурс]. URL: https://habr.com/ru/company/nix/blog/430524 (дата обращения: 12.09.2020).
5. Cloudremoval in Sentinel-2 imagery using a deep residual neural network and SAR-optical data fusion / Meraner A., Ebel P., Xiang Zhu X. et al. // ISPRS Journal of Photogrammetry and Remote Sensing. 2020. Vol. 166. P. 333-346 [Электронный ресурс]. URL: https://www.sciencedirect.com/ science/article/pii/S0924271620301398 (дата обращения: 10.09.2020).
6. Girshick R. et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation. 2014 IEEE Conference on Computer Vision and Pattern Recognition, 2014. Р. 580-587.
7. Selective Search for Object Recognition / Uijlings J. R. R. et al. // International Journal of Computer Vision. 2013. No. 104.2. P. 154-171.
8. Getreuer P. Linear methods for image interpolation // Image Process Line. 2011. Vol. 1. P. 238-259.
9. Charles Burlin, Yoann Le Calonnec and Louis Duperier. Deep Image Inpainting [Электронный ресурс]. URL: http://cs231n.stanford.edu/reports/2017/pdfs/328.pdf (Дата обращения 05.03.2021).
10. Semantic image inpainting with perceptual and contextual losses. Computer Vision and Pattern Recognition arXiv: 1607.07539 / Yeh R., Chen C., Lim T. Y. et al. 2016.
11. Image Inpainting for Irregular Holes Using Partial Convolutions. Computer Vision and Pattern Recognition arXiv preprint arXiv: 1804.07723 / Liu G., Reda F. A., Shih K. J. et. al. 2018.
12. Image Inpainting Based on Generative Adversarial Networks / Y. Jiang, J. Xu, B. Yang, Junwu Zhu // IEEE Access. 2020. Vol. 8. P. 22884-22892.
13. Telea A. An Image Inpainting Technique Based on the Fast Marching Method // Journal of Graphics Tools. 2004. Vol. 9. P. 23-34.
14. Bertalmio M., Bertozzi A., Sapiro G. Navier-Stokes, fluid dynamics, and image and video inpainting // Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2001. Vol. 1. P. 355-362.
15. Drone Videos DJI Mavic Pro Footage in Switzerland [Электронный ресурс]. URL: https://www.kaggle.com/kmader/drone-videos (дата обращения 05.05.2021).
16. Almansa A. Echantillonnage, interpolation et detection: applications en imagerie satellitaire (Doctoral dissertation, Cachan, Ecole normale superieure). 2002.
17. Bertalmio M. Processing of flat and non-flat image information on arbitrary manifolds using partial differential equations. PhD Thesis, 2001.
References
1. Remote sensing of the Earth - Roscosmos State Corporation. Available at: https://www. roscosmos.ru/24707/ (accessed: 10.09.2020).
2. Ibadov R. R., Fedosov V. P., Voronin V. V. et al. [Investigation of a method for synthesizing textures of images of the earth's surface based on a neural network]. Izvestiya YUFU. Tekhnicheskie
nauki. 2019, No. 5 (207) (In Russ.). Available at: https://cyberleninka.ru/article/n/issledovanie-metoda-sinteza-tekstur-izobrazheniy-poverhnosti-zemli-na-osnove-neyronnoy-seti (accessed: 11.09.2020).
3. Cornell University. Available at: https://arxiv.org/abs/1512.03385 (accessed: 16.09.2020).
4. Arhitektury neirosetei / Blog companiy NIX / Habr. Available at: https://habr.com/ru/company/ nix/blog/430524 (accessed: 12.09.2020).
5. Meraner A., Ebel P., Xiang Zhu X. et al. Cloudremoval in Sentinel-2 imagery using a deep residual neural network and SAR-optical data fusion. ISPRS Journal of Photogrammetry and Remote Sensing. 2020, Vol. 166. P. 333-346.
6. Girshick Ross et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation. 2014 IEEE Conference on Computer Vision and Pattern Recognition, 2014, P. 580-587.
7. Uijlings J. R. R. et al. Selective Search for Object Recognition. International Journal of Computer Vision 104.2. 2013, P. 154-171.
8. Getreuer P. Linear methods for image interpolation. Image Process Line. 2011, Vol. 1, P. 238-259.
9. Charles Burlin, Yoann Le Calonnec and Louis Duperier. Deep Image Inpainting. Available at: http://cs231n.stanford.edu/reports/2017/pdfs/328.pdf (accessed: 05.03.2021).
10. Yeh R., Chen C., Lim, T. Y., Hasegawa-Johnson M., Do M. N. Semantic image inpainting with perceptual and contextual losses. Computer Vision and Pattern Recognition arXiv: 1607.07539. 2016.
11. Liu G., Reda F. A., Shih K. J., Wang T.-C., Tao A., Catanzaro B. Image Inpainting for Irregular Holes Using Partial Convolutions. Computer Vision and Pattern Recognition arXiv preprint arXiv: 1804.07723. 2018.
12. Jiang Y., Xu J., Yang B. and Junwu Zhu. Image Inpainting Based on Generative Adversarial Networks. IEEE Access. 2020, Vol. 8, P. 22884-22892.
13. Telea A. An Image Inpainting Technique Based on the Fast Marching Method. Journal of Graphics Tools. 2004, Vol. 9, P. 23-34.
14. Bertalmio M., Bertozzi A., Sapiro G. Navier-Stokes, fluid dynamics, and image and video inpainting. Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2001, Vol. 1, P. 355-362.
15. Drone Videos DJI Mavic Pro Footage in Switzerland. Available at: https://www.kaggle.com/kmader/drone-videos (accessed: 05.05.2021).
16. Almansa A. Echantillonnage, interpolation et detection: applications en imagerie satellitaire (Doctoral dissertation, Cachan, Ecole normale superieure), 2002.
17. Bertalmio M. Processing of flat and non-flat image information on arbitrary manifolds using partial differential equations.PhD Thesis, 2001.
© Строй О. А., Буряченко В. В., 2021
Строй Ольга Анатольевна - студент группы МПИ20-01; Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева. E-mail: [email protected].
Буряченко Владимир Викторович - кандидат технических наук, доцент; Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева. E-mail: [email protected].
Stroy Olga Anatol'evna - student of the group MPI20-01; Reshetnev Siberian State University of Science and Technology. E-mail: [email protected].
Buryachenko Vladimir Viktorovich - Cand. Sc., Associate Professor; Reshetnev Siberian State University of Science and Technology. E-mail: [email protected].
