CC BY
3
МЕТОД ДОПОЛНЕНИЯ ДВУХМЕРНЫХ КАРТ МЕСТНОСТИ
Э.М. Любченко, аспирант
Ульяновский государственный университет
(Россия, г. Ульяновск)
DOI:10.24412/2500-1000-2024-9-2-134-138
Аннотация. Географическая информация, представленная на двухмерных картах, не всегда является полной. В таких случаях необходимо обращаться к сторонним источникам для дополнения недостающих данных о местности. В статье представлен подход, позволяющий достраивать и расширять двухмерные карты местности на основе генеративно-состязательной сети и сети кодировщике контекста. Для корректного дополнения информации о местности необходимо получить недостающие данные, то есть найти способ или средство их получения.
Ключевые слова: географическая карта, генеративно-состязательные сети, кодировщик контекста.
Задача по дополнению карт местности является подзадачей по дополнению изображений с неполной информацией. В случаях, когда сегмент изображения отсутствует - человек может попытаться найти недостающий фрагмент, который наиболее близок к остальному изображению.
При работе с неполной информацией, представленной на изображении, часто возникает задача по заполнению недостающих мест и созданию наиболее подходящего сегмента изображения. В данной работе рассматривается два способа по дополнению недостающих данных изображений - заполнение недостающих сегментов внутри изображения и расширение изображения с целью достроить внешние, недостающие сегменты изображения.
В качестве объекта были выбраны двухмерные карты местности. Инструментами дополнения изображений выбран метод, который совмещает сеть кодировщика контекста (Context Encoders) [1] и генеративно-состязательные сети [2]. Задачей данного метода является дополнение недостающей информации, которая отсутствует на карте.
Дополнение недостающей информации изображения
Заполнение недостающих мест имеет несколько разновидностей - это заполнение отсутствующих мест внутри изображения и расширение существующего изображения вне текущих существующих контуров.
В данной работе будут рассмотрены два метода по дополнению изображений. В качестве метода по дополнению внутренних сегментов изображения выбрана сеть кодировщика контекста (Context Encoders) [1], а для дополнения внешних регионов изображения используется генеративно-состязательная сеть [2].
Данные методы возможно объединить с целью получения большего количества недостающих сегментов изображения. Однако прежде стоит рассмотреть каждый из них.
Дополнение недостающей информации изображения при помощи кодировщика контекста (Context Encoders)
Данный метод построен по аналогии с сверточными нейронными сетями (CNN) [3]. Таким образом можно достраивать внутренние сегменты изображения основываясь на регионах, которые окружают отсутствующую область.
Задача, которую решает данный метод представлена на рисунке 1.
Рис. 1. Дополнение отсутствующих сегментов внутри изображения
Архитектура данной сети построена на основе энкодера и декодера [4]. Энкодер получает изображение с отсутствующими сегментами и создает модель свойств [5] данного изображения. Декодер на основе
результата работы энкодера создает отсутствующее содержимое изображения.
Общая схема данной сети представлена на рисунке 2. Представленная схема основана на модели описанной в [1].
Рис. 2. Схема энкодера и декодера декодера
Энкодер получает на вход изображение размером 227 х 227 пикселей. На основе архитектуры Л1ех№1 [6] вычисляется абстрактная модель свойств с параметрами 6x6x256.
Дополнение недостающей информации изображения на основе генеративно-состязательной сети
Один из распространенных способов генерации изображений это генеративно-
состязательные сети. Данный вид сети построен из генератора G, который генерирует экземпляры изображений на основе параметров распределения, и дискриминатора D, который пытается отличить является ли сгенерированный экземпляр корректным.
Пример задачи по дополнению внешних сегментов изображения показан на рисунке 3.
Рис. 3. Дополнение изображения на основе генеративно-состязательной сети
Изображения, полученные на вход сети, меняются под размер 192 x 192 пикселей. Задача генератора - расширить недостающие регионы изображения. Дискриминатор - другая сеть, задача которой вычислить вероятность того, что изображение, полученное от генератора, является эталоном (реальным).
Для настроек корректной работы генеративно-состязательной сети были выбраны следующие значения весов для каждого из нейронов. Значения весов, а также схема работы представлены на рисунке 4. В основе данной модели используется модель, представленная в [2].
Рис. 4. Схема генеративно-состязательной сети
Общий метод восстановления и дополнения недостающей информации двухмерных карт местности
Описанные выше методы можно совместить, чтобы обеспечить полное восстановление недостающих сегментов изображения.
Для обеспечения полного восстановления карты предлагается первым выполнить метод, основанный на кодировщике контекста, чтобы восстановить внутреннюю информацию. Данный метод стоит выполнять первым, чтобы снизить количество
недостающих сегментов перед тем, как генерировать внешние сегменты изображения. Затем необходимо использовать метод дополнения изображения, основанный на генеративно-состязательных сетях.
Ниже представлена общая схема (рис. 5) данного метода, сначала неполное изображение поступает на вход энкодеру сети с кодировщика контекста, а затем обработанное изображение отправляется на вход генератору генеративно-
состязательной сети.
Рис. 5. Общая схема восстановления недостающей информации изображения
Заключение. В данной работе были рассмотрены два метода по дополнению недостающих сегментов изображения -метод на основе сети кодировщика контекста и метод, основанный на генеративно-состязательной сети.
Совместное использование данных методов позволяет добиться восстановления большего количества недостающей ин-
формации изображения. Как частный случай в данной работе рассматривалась проблема дополнения двухмерных карт местности.
Для достижения большей точности необходимо провести обучение двух представленных сетей на большем количестве карт местности, а также на основе снимков со спутника.
Библиографический список
1. Deepak Pathak, Philipp Krahenbuhl, Jeff Donahue, Trevor Darrell and Alexei A. Efros. Context Encoders: Feature Learning by Inpainting. In CVPR 2016.
2. Goodfellow I-J, Pouget-Abadie J. and Mirza M. e.c. Generative Adversarial Networks, 2014. URL: https://arxiv.org/abs/1406.2661
3. Yamashita, R., Nishio, M., Do, R.K.G. et al. Convolutional neural networks: an overview and application in radiology. Insights Imaging 9, 611-629 (2018). https://doi.org/10.1007/s13244-018-0639-9
4. Aitken, Kyle & Ramasesh, Vinay & Cao, Yuan & Maheswaranathan, Niru. (2021). Understanding How Encoder-Decoder Architectures Attend. 10.48550/arXiv.2110.15253.
5. Lampinen, Andrew Kyle et al. "Learned feature representations are biased by complexity, learning order, position, and more." ArXiv abs/2405.05847 (2024).
6. Krizhevsky, I. Sutskever, and G. E. Hinton. ImageNet classification with deep convolutional neural networks. In NIPS, 2012.
TWO-DINESIONAL MAPS COMPLETION
E.M. Liubchenko, Postgraduate Student Ulyanovsk State University (Russia, Ulyanovsk)
Abstract. Sometimes topological data that is managed as a two-dimensional map might be missing some crucial data. To complete the missing data, it is necessary to use external data-sources. This paper provides a solution for expanding two-dimensional topological maps with the help of generative adversarial network. For correct data completion it is necessary to find possible ways of accessing the missing data.
Keywords: topological maps, generative adversarial network (GAN), context encoders.
