CC BY
0
Актуальные проблемы авиации и космонавтики - 2021. Том 2
УДК 004.932.2
КОНТЕКСТНЫЙ ПОДХОД К ЗАДАЧЕ ВОССТАНОВЛЕНИЯ ПОВРЕЖДЕННЫХ
ИЗОБРАЖЕНИЙ
О. А. Строй Научный руководитель - В.В. Буряченко
Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
E-mail: story_oa@sibsau.ru
Необходимость восстанавливать повреждённые изображения возникает в самых разных областях деятельности человека, от любительских фото до снимков дистанционного зондирования Земли. В работе приводится краткий обзор некоторых путей решения данной проблемы с использованием контекстного подхода, с обучением и без обучения, и более подробно описаны два из них.
Ключевые слова: восстановление изображений, зарисовка изображений, контекстный подход, глубокое обучение
CONTEXT APPROACH TO THE PROBLEM OF IMAGE RESTORATION
O.A. Stroy Scientific supervisor - V.V. Buryachenko
Reshetnev Siberian State University of Science and Technology 31, Krasnoyarskii rabochii prospekt, Krasnoyarsk, 660037, Russian Federation
E-mail: story_oa@sibsau.ru
The need to restore damaged images arises in a variety of areas of human activity, from amateur photos to images of remote sensing of the Earth. The paper provides a brief overview of some of the ways to solve this problem using the context approach, with and without training, and two of them are described in more detail.
Key words: image restoration, image inpainting, context-based approach, deep learning
Восстановление поврежденных изображений подразумевает заполнение текстурой отсутствующих или поврежденных пикселей. Эта проблема может возникать по разным причинам: фотографии могут быть испорчены временем или механическим воздействием, после удаления ненужных объектов с изображений необходимо чем-то заполнить образовавшиеся отверстия. Например, при работе со снимками Земли из космоса (данными ДЗЗ) для получения достоверной информации перед анализом данных должна проводиться предварительная обработка изображений, в частности, удаление облаков со снимков.
Существует две группы контекстных подходов к восстановлению изображений. В первую входят методы без обучения, которые основаны на получении информации о регионах, такой как цвет или текстура, от соседних с целевой областью пикселов [1]. Однако, такие алгоритмы подходят только для небольших областей с цветом и текстурой, близким к однородным, например, для удаления водяных знаков.
Ко второй группе относятся методы, основанные на глубоком обучении. Они инициализируют недостающие пиксели некоторыми постоянными значениями, например,
Секция «сПрограммные средства и информационные технологии»с
средним значением пикселя из базы данных ImageNet [2], которые затем подаются в сверточную сеть. Чаще всего такая инициализация требует постобработки для улучшения качества восстановления изображения, и разные авторы предлагают разные пути решения этой проблемы. Так, C. Yang, X. Lu, Z. Lin и др. в своей работе передали результат кодировщиков в качестве входных данных, а затем использовали информацию о текстуре и цвете из неповреждённых областей для восстановления повреждённых [3]. Song и др. в своей работе используют нейронную сеть для уточнения, в которой в качестве входных данных используется размытый результат заполнения пустот, который затем итеративно заменяется патчами из ближайших неповреждённых областей в пространстве признаков [4]. Li и др. и Iizuka и др. используют расширенное содержимое кодировщиков, определяющее как глобальные, так и локальные дескрипторы; затем Iizuka и др. применяют пуассоновское смешение в качестве постпроцесса [5, 6].
Среди подходов к глубокому обучению некоторые также игнорируют стандартные значения ядра маски. Ульянов и др. обнаружили, что сеть не нуждается в обучении на внешнем наборе данных и может полагаться на структуру самой генеративной сети для завершения искаженного изображения. Однако этот подход может потребовать своего набора гиперпараметров для каждого изображения и применения нескольких итераций для достижения хороших результатов. Более того, конструкция сети не позволяет использовать пропускные ссылки, которые, как известно, обеспечивают детализированные выходные данные. При использовании стандартных сверточных слоев, в случае наличия необработанных шумов или неправильных значений инициализации неизвестных пикселов на этапе кодера, эти шумы и неверные значения перейдут и на этап декодера [7].
G. Liu, F.A. Reda и др., основываясь на вышеизложенном, предложили свой способ решения задачи восстановления изображения. Ими было предложено использовать операции частичной свертки с накоплением и пошаговое обновление маски для выполнения перерисовки изображения.
Сначала определяется частичный сверточный слой, который состоит из операции частичной свертки с накоплением и функции обновления маски. Затем создаётся архитектура, подобная UNet, с заменой всех сверточных слоев частичными сверточными слоями и повышающей дискретизацией ближайшего соседа на этапе декодирования. Таким образом, они используют частичную свертку с соответствующей маскировкой на границах изображения вместо простого заполнения отверстий. Функции потерь нацелены как на точность восстановления недостающего пикселя, так и на композицию, то есть, на повышение плавности перехода прогнозируемых значений в окружающих их неповреждённых областей. Для получения лучших результатов авторы сначала проводят автокорреляцию (вычисляя матрицу Грама) на каждой карте признаков [8].
C. Burlin, L. Duperier and Y.L. Calonnec предложили использовать состязательные сети. Идея состоит в том, чтобы воспроизвести суждение человеческого глаза: если недостающей частью является окно автомобиля, прогнозируем окно автомобиля, даже если оно не идеально подходит. Авторы решили использовать генеративные состязательные сети, основная идея которых заключается в параллельном обучении дискриминаторной сети (D), которая научится оценивать, насколько реальным выглядит изображение. Цель дискриминатора - отличать настоящие патчи от сгенерированных. Он обучается на наборе данных, состоящем из реальных и сгенерированных разделов с соответствующими метками (l - реальное изображение, О - искусственное) [l].
Дискриминатор будет работать лучше, если обучать его на более сложных наборах данных. Нет гарантии, что улучшится ситуация с потерями, потому что описанный авторами генератор может совершать более серьезные ошибки чем раньше. Однако изображения будут выглядеть более реалистичными, и это главное в конечном итоге.
Новую функцию потерь можно описать формулой:
3G7
Актуальные проблемы авиации и космонавтики - 2021. Тома 2
1 = (1)
где - потери, а сигмоидная перекрестная энтропия вероятностей, выдаваемых
дискриминатором относительно сгенерированных изображений. Её значение можно рассчитать по формуле:
L^r = = j^gaWgfy- (2)
где Р: - функция массы вероятности пикселя /. Заключение
Таким образом, контекстный подход может быть очень эффективным способом решения задачи восстановления изображений. Методы без обучения лучше подходят для небольших отверстий и водяных знаков. Глубокое обучение подходит для восстановления фотографий, и ученые со всего мира разрабатывают различные подходы для максимально эффективного восстановления поврежденных изображений.
Библиографические ссылки
1. Burlin C., Calonnec, Y.L., Duperier, L. Deep Image Inpainting. http://cs231n.stanford.edu/reports/2017/pdfs/328.pdf, Accessed: 2021-03-03.
2. ImageNet Large Scale Visual Recognition Challenge / Russakovsky, O., Deng, J., Su, H. et al. // International Journal of Computer Vision (IJCV) 115(3), 211-252 (2015). https://doi.org/10.1007/s11263-015-0816-y. Accessed: 2021-03-03.
3. High-resolution image inpainting using multi-scale neural patch synthesis / Yang, C., Lu, X., Lin, Z. et al. // The IEEE Conference on Computer Vision and Pattern Recognition (CVPR). vol. 1, p. 3 (2017)
4. Image inpainting using multi-scale feature image translation / Song, Y., Yang, C., Lin, Z. et al. // arXiv preprint arXiv:1711.08590 (2017)
5. Iizuka, S., Simo-Serra, E., Ishikawa, H. Globally and locally consistent image completion. ACM Transactions on Graphics (tOG) 36(4), 107 (2017)
6. Li, Y., Liu, S., Yang, J., Yang, M.H. Generative face completion. In: The IEEE Conference on Computer Vision and Pattern Recognition (CVPR). vol. 1, p. 3 (2017)
7. Ulyanov, D., Vedaldi, A., Lempitsky, V. Deep image prior. arXiv preprint arXiv:1711.10925 (2017)
8. Image Inpainting for Irregular Holes Using Partial Convolutions / Liu, G., Reda, F.A., Shih, K.J. et al. // Computer Vision and Pattern Recognition. arXiv preprint arXiv: 1804.07723 (15.12.2018).
© Строй О. А., 2021
