CC BY
35
ИНФОРМАЦИОННЫЕ СИСТЕМЫ И ТЕХНОЛОГИИ
УДК 004.032.26
DOI: 10.18101/2304-5728-2018-4-16-21
ПРЕДОБРАБОТКА КОСМОСНИМКОВ В ЗАДАЧЕ ПОИСКА ОБЬЕКТОВ1
© Авраменко Юрий Владимирович
кандидат технических наук, программист,
Институт динамики систем и теории управления им. В. М. Матросова Сибирского отделения Российской академии наук Россия, 664033, г . Иркутск, ул. Лермонтова, 134 E-mail: [email protected]
© Федоров Роман Константинович
кандидат технических наук, ведущий научный сотрудник, Институт динамики систем и теории управления им. В. М. Матросова Сибирского отделения Российской академии наук Россия, 664033, г. Иркутск, ул. Лермонтова, 134 E-mail: [email protected]
© Ружников Геннадий Михайлович
доктор технических наук, заведующий отделением,
Институт динамики систем и теории управления им. В. М. Матросова
Сибирского отделения Российской академии наук
Россия, 664033, г . Иркутск, ул. Лермонтова, 134
E-mail: [email protected]
В статье рассматривается совместное использование структурных методов и нейронных сетей для обнаружения антропогенных объектов, т.е. в методе поиска объектов по запросу пользователя на языке SOQL применяется классификатор на основе нейронной сети для оценки спектральных и текстурных признаков. В отличие от предыдущего метода опорных векторов (SVM) предложенный метод позволяет применять один классификатор для разных изображений.
Ключевые слова: нейронные сети; классификация; Tensorflow; логические методы распознавания.
Введение
В настоящее время методы дистанционного зондирования Земли (ДЗЗ) из космоса являются одними из важнейших инструментов исследования природных и антропогенных объектов и явлений в задачах экологического мониторинга и рационального природопользования. Особое значение эти методы приобретают при комплексном изучении обширных и малонаселенных территорий, поскольку спутниковые данные зачастую являются для них единственным источником оперативной и объективной ин-
1 Работа выполнена при частичной финансовой поддержке РФФИ (грант № 16-07-00554 а, 16-07-00411 а) и интеграционного проекта СО РАН № 77.
16
формации. Одной из актуальных задач является обнаружение антропогенных объектов для оценки динамики антропогенного влияния, которая требует учета многих факторов: изменение освещенности, нечеткость признаков, сдвиг изображений относительно угла съемки сенсора, время года и т. д. Анализ должен базироваться на использовании знаний о совокупности спектральных, текстурных и структурных признаков. Большинство существующих подходов [1] направлено на обработку текстурно-спектральных признаков. В рамках данных подходов затруднено решение задач, связанных с подсчетом количества исследуемых объектов, определением их формы, взаимного расположения и т. д. Это привело к созданию методов, учитывающих как текстурно-спектральные признаки, так и структурную информацию [2]. Данные методы ориентированы на определенный набор данных, а их перенастройка требует времени, вследствие чего появились методы поиска объектов на основе описаний пользователя
[3].
Метод поиска объектов
В ИДСТУ СО РАН разработан метод поиска объектов на растровых изображениях [4]. Метод производит поиск объектов, заданных пользователем в виде правил на языке пространственных запросов SOQL. Пример правила для поиска здания прямоугольной формы:
building(A, В, С, D) :-1те(А, В), Ипе(В, С), Ппе(С, ГУ), line(D, А), dist(A, В) > 30, dist(B, С) > 30, dist(C, D) > 30, dist(D, А) > 30, dist(A, В) < 120, dist(B, С) < 120, dist(C, D) < 120, dist(D, A) < 120, angle (A, В, C) = 90, angle(B, C, D) = 90, angle(C, D, A) = 90.
Метод учитывает спектральные и текстурные признаки, выделяя участки поиска объектов, производит оценку соответствия найденного объекта его спектральным и текстурных характеристикам. Пример работы метода показан на рис. 1.
Рис. 1. Поиск зданий прямоугольной формы на изображении, г. Иркутск
Ранее для оценки спектральных и текстурных признаков применялся метод опорных векторов (БУМ). На рис. 2 показан результат выделения растительного покрова с учетом особенностей территории г. Иркутска, что позволяет путем сокращения пространства поиска уменьшить время работы метода.
Рис. 2. Исходное изображение слева, результат классификации методом SVM
справа
Метод SVM, с одной стороны, позволяет на малой обучающей выборке построить модель классификации, а с другой — обучение необходимо проводить для каждого изображения. С точки зрения пользователя это работа, требующая времени и высокой квалификации, поэтому является актуальным применение классификатора на основе нейронной сети.
2. Классификатор
Практическое применение нейронных сетей началось с конца 50-х гг. XX в., когда Розенблатт изобрел однослойный персептрон и продемонстрировал его способность решать задачи классификации, об устройстве нейронной сети изложено в работе [5]. После победы нейронной сети AlcxNct, разработанной Крижевским [6], в конкурсе ILSVRC 2012 (ImageNet Large Scale Visual Recognition Challenge) они стали набирать популярность среди исследователей. Одно из практических применений нейронных сетей — это решение задачи классификации образов, представленных в виде изображений, сигналов, текстов, табличных данных и т. д. В контексте настоящей статьи под классификацией будем понимать задачу, в которой каждому пикселю исходного изображения (космосним-ка) необходимо поставить в соответствие метку, указывающую на его принадлежность к одному из предопределенных классов.
При построении классификатора на основе нейронной сетей необходимо:
1) составить обучающую выборку,
2) определить топологию сети,
3) провести ее обучение и апробацию.
Для каждого класса объектов (вода, грунт, дороги, здания, лес), было отобрано по 2000 представителей, из них 1800 составили тренировочную выборку, а 200 — тестовую. Классификация космоснимков осуществлялась методом скользящего окна, размер окна определялся относительно объектов интереса и составил 15x15 пикселей.
Для разработки нейронной сети существуют фреймворки: Caffe, Keras, TensorFlow и другие. Помимо этого в интернете доступно множество готовых моделей нейронных сетей (VGG16, VGG19, ResNet50, Inception V4), а также предобученных моделей. В текущей работе для разработки нейронной сети использовался TensorFlow. За основу была взята сеть1. Топология сети представлена на рис. 3.
Рис. 3. Топология нейронной сети После обучения нейронной сети проведена ее апробация на изображениях размером 2048x2048 пикселей. Пример изображения показан на рис. 4. _
Рис. 4. Исходное изображение
Результатом работы классификатора является сегментированное на 5 классов изображение. Для каждого положения скользящего окна запускался классификатор, выход которого — это вектор (х1,х?,х3,х4,х5), где х — оценка принадлежности изображения под скользящим окном соответствующему классу объектов хе[0,1], / —класс объекта. Пример работы классификатора показан на рис. 5.
1 URL: https://githiib.com7sankitl/cv-tricks.com/tree/master/Tensorflow-tutorials/tiitorial-2-image-classifier (дата обращения: 12.11.2018).
Рис. 5. Результат классификации: слева — человеком, справа — классификатором
Заключение
В результате применения классификатора на основе нейронной сети для тематической обработки космоснимков методом поиска объектов удалось существенно сократить пространство перебора. В отличие от предыдущего способа (SVM) предложенный метод позволяет применять один классификатор для разных изображений.
Результаты получены при использовании сетевой инфраструктуры Телекоммуникационного центра коллективного пользования «Интегрированная информационно-вычислительная сеть Иркутского научно-образовательного комплекса» (ЦКП ИИВС ИРНОК).
Литература
1. Методы и технологии обработки мульти- и гиперспектральных данных дистанционного зондирования Земли высокого разрешения / О. И. Потатуркин [и др.] // Вычислительные технологии. 2013. Т. 18. С. 60-67.
2. Automatic reconstruction of regular buildings using a shapebased balloon snake model / D. Yari, M. Mokhtarzade, H. Ebadi, S. Ahmadi // Photogrammetric Record. 2014. Vol. 29, № 146. P. 187-205.
3. Kolbe Т. H., Plumer L., Cremers A. B. Using Constraints for the Identification of Buildings in Aerial Images // Procedings of the 2nd International Conference on the Practical Application of Constraint Technology. 1996. P. 1-12.
4. Интерпретатор языка SOQL для обработки растровых изображений / И. В. Бычков [и др.] // Вычислительные технологии. 2016. Т. 21, № 1. С. 49-59.
5. Rashid Т. Make your own neural network. CreateSpace Independent Publishing Platform. 2016. 222 p.
6. Krizhevsky A., Sutskever I., Hinton G. E. Imagenet classification with deep convolutional neural networks // Advances in neural information processing systems. 2012. P. 1097-1105.
PRE-PROCESSING OF SPACE IMAGES IN THE OBJECT SEARCH TASK
Yuriy V. Avrcimenko Cand. Sci. (Engineering),
Matrosov Institute for System Dynamics and Control Theory SB RAS 134 Lermontova St., Irkutsk 664033, Russia E-mail: avramenko@,icc.ru
Roman K. Fedorov
Cand. Sci. (Engineering), Senior Researcher
Matrosov Institute for System Dynamics and Control Theory SB RAS 134 Lermontova St., Irkutsk 664033, Russia E-mail: fedorov@,icc.ru
Genncidy M. Ruzhnikov Dr. Sci. (Engineering),
Matrosov Institute for System Dynamics and Control Theory SB RAS 134 Lermontova St., Irkutsk 664033, Russia E-mail: rugnikov@,icc.ru
The article discusses the joint usage of structural methods and neural networks for the detection of man-made objects. It means that in the method of searching objects on user request in the SOQL language a neural network classifier is used to evaluate the spectral and texture features. It is possible to apply one classifier to different images. Keywords: neural networks; classification; TensorFlow; logical recognition meth-
References
1. Potaturkin O. I., Borzov S. M., Potaturkin A. O., Uzilov S. B. Metody i tekhnologii obrabotki multi- i giperspektralnykh dannykh distantsionnogo zondiro-vaniya Zemli vysokogo razresheniya [Methods and Technologies for Processing Multi-and Hyperspectral Data of High-Resolution Remote Sensing of the Earth], Vychislitel-nye tekhnologii — Computational Technologies. 2013. V. 18. Pp. 60-67.
2. Yari D., Mokhtarzade M., Ebadi H., Ahmadi S. Automatic Reconstruction of Regular Buildings Using a Shape-Based Balloon Snake Model. Photogrammetric Record. 2014. V. 29, No. 146. Pp. 187-205.
3. Kolbe T. H., Plumer L., Cremers A. B. Using Constraints for the Identification of Buildings in Aerial Images. Procedings of the 2nd International Conference on the Practical Application of Constraint Technology. 1996. Pp. 1-12.
4. Bychkov I. V., Ruzhnikov G. M., Fedorov R. K., Avramenko Yu. V. Interpreta-tor yazyka SOQL dlya obrabotki rastrovykh izobrazhenii SOQL [Interpreter for Bitmap Processing], Vychislitelnye tekhnologii — Computational Technologies. 2016. V. 21, No. 1. Pp. 49-59.
5. Rashid T. Make Your Own Neural Network. CreateSpace Independent Publishing Platform, 2016. 222 p.
6. Krizhevsky A., Sutskever I., and Hinton G. E. Imagenet Classification with Deep Convolutional Neural Networks. Advances in Neural Information Processing Systems. 2012. Pp. 1097—1105.
