CC BY
32ISSN 0868-5886
НАУЧНОЕ ПРИБОРОСТРОЕНИЕ, 2020, том 30, № 2, c. 67-75
- ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ —
ТЕХНИКА И УПРАВЛЕНИЕ
УДК 004.21, 004.932.2 © Д. А. Гаврилов, Н. Н. Щелкунов, 2020
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ РАЗМЕТКИ КРУПНОФОРМАТНЫХ АЭРОКОСМИЧЕСКИХ ИЗОБРАЖЕНИЙ И ПОДГОТОВКИ ОБУЧАЮЩИХ ВЫБОРОК
В настоящей работе представлено программное обеспечение, предназначенное для разметки объектов на аэрокосмических изображениях видимого и инфракрасного спектров, создания базы образцов и подготовки обучающих выборок для решения задачи обнаружения и локализации объектов. Программа разметки работает в автоматическом, полуавтоматическом и ручном режимах. Работа в полуавтоматическом режиме позволяет оператору уточнить локализацию и маркировку объектов и значительно облегчает и повышает качество подготовки обучающих выборок для последующего обучения алгоритмов обнаружения и классификации.
Кл. сл.: разметка обучающих выборок, обучение нейросетей, активное обучение
ВВЕДЕНИЕ
Для решения задач обнаружения и локализации в последнее время широкое распространение получили нейронные сети. Качество обнаружения и локализации объектов с помощью сверточных нейронных сетей в некоторых случаях значительно превышает качество, обеспечиваемое классическими алгоритмами машинного зрения, например такими, как корреляционные фильтры [1].
К недостаткам ряда популярных алгоритмов машинного обучения можно отнести необходимость подготовки базы образцов изображений или обучающей выборки для их обучения и работы с обозначенными объектами интереса [2]. Создание таких баз образцов обычно осуществляется вручную человеком-оператором и представляет собой трудоемкую задачу, требующую наличия достаточно большой выборки изображений, содержащих объекты интереса, отснятых в различных видах и ракурсах [3]. В задачах распознавания подготовка обучающей базы изображений является достаточно трудоемким процессом, для выполнения которого предъявляются достаточно высокие требования к квалификации исполнителя. Как правило, разметка данных включает работу оператора с каждым отдельным изображением и заключается в выделении на нем области или точек интереса [4].
В последние годы сообществами исследователей создаются открытые базы образцов, содержащие миллионы разнообразных изображений. Примером такой базы может служить ImageNet [5]. Тем не менее изображения, имеющиеся в свободном доступе, не содержат достаточного количест-
ва классов и ракурсов объектов интереса, требуемых для решения поставленной задачи.
Отдельно стоит отметить методы обучения без учителя. Например, обучение с подкреплением. Указанный метод не требует создания обучающей выборки из изображений-примеров объектов интереса. Однако его применение возможно лишь в специальных задачах, из-за того что реализация метода несет в себе ряд сложностей. Данному методу будут посвящены последующие исследования авторов.
Предлагаемое программное обеспечение представляет собой программу разметки изображений аэрофотосъемки и аэрокосмической съемки с ней-росетевой подпрограммой помощи оператору и предназначено для разметки объектов на аэрокосмических изображениях видимого и инфракрасного спектров, создания базы образцов и подготовки обучающих выборок для решения задачи обнаружения и локализации объектов. Прецедентная информация для обучения представляет собой аэрокосмические снимки с отмеченными на них изображениями объектов, выделенными с максимально возможной точностью.
ОПИСАНИЕ РАБОТЫ ПРОГРАММЫ
Общие характеристики оборудования и программы
В качестве входных данных программа использует аэрокосмические изображения видимого и инфракрасного диапазонов спектра, в том числе крупноформатные. Программа позволяет осуществлять разметку следующих основных видов объектов.
- Объекты техники:
o авиационная техника;
o сухопутная техника;
o морская техника;
o автомобильная техника.
- Наземные объекты:
o населенный пункт — группа строений более 3 шт., не считая мелких построек;
o строения вне населенных пунктов — строения, находящиеся вне площадных объектов и удаленные от их границ на расстояние более 70 м;
o жилое строение — строение, на изображении которого видна кровля или не видны внутренние стены;
o развалины — строение, на изображении которого видны внутренние стены, фундамент.
Объекты техники вида "авиационная" и "сухопутная" разбиваются на типы. При этом каждый объект распознавания принадлежит одному типу. Программное обеспечение позволяет размечать до типа 50 наименований авиационной техники, в том числе самолеты, вертолеты, беспилотные летательные аппараты (БПЛА) и 10 наименований сухопутной техники.
Для функционирования программы необходимо следующее системно-аппаратное обеспечение:
- операционная система: Linux Ubuntu;
- два монитора 21", со входом HDMI;
- процессор Intel Core i7 5930K, не хуже;
- не менее 4 видеокарт NVIDIA GeForce 1080Ti;
- не менее 64 ГБ оперативной памяти;
- не менее 200 ГБ доступного места на жестких дисках.
Основной функционал программы составляют следующие операции: просмотр изображения видимого или инфракрасного диапазонов, поиск объектов интереса, разметка объектов интереса на изображениях с помощью специальных инструментов разметки, измерение размеров объектов, редактирование ранее выполненной разметки объектов, обозначение и маркировка объектов.
О разметке объектов интереса на изображениях
Программа обеспечивает работу в ручном, полностью автоматическом или полуавтоматическом режимах. Оператор может использовать любой требуемый режим работы. Как правило, основным режимом работы программы является полуавтоматический, когда оператор на первом этапе использует инструмент предварительной "грубой" разметки, в ходе которой программа осуществляет первичное обнаружение и классификацию объектов. В результате предварительной разметки на исходном изображении могут быть отмечены объекты, не относящиеся к объектам интереса, —
такие объекты называются ложноположительны-ми. Некоторые объекты интереса могут быть пропущены программой — такие объекты называются ложноотрицательными. На следующем этапе локализация и маркировка объектов могут быть исправлены оператором вручную с помощью инструментов редактирования. Порог отсечения настраивается в зависимости от требований оператора.
Работа в полуавтоматическом режиме, при котором оператор исправляет ошибки и ложные отклики программы, обеспечивает накопление обучающих данных для последующего дообучения и повышения качества работы. При этом может учитываться опыт нескольких экспертов, что позволяет получить более качественную обучающую выборку.
Для обозначения объектов интереса предназначены инструменты ручной разметки: обозначение центра, обозначение ограничивающего прямоугольника, обозначение выпуклой оболочки. Редактирование разметки осуществляет смещение центра, смещение границ ограничивающего прямоугольника, смещение выпуклой оболочки. Пример разметки наземных объектов представлен на рис. 1.
Представление формы объектов
Разметка объектов авиационной техники, имеющих сложную форму, включает процессы подготовки эталонных изображений и подгонки эталонов к тестовым изображениям [6]. Подготовка эталонных изображений состоит в построении контурного описания для всех типов объектов. Исходными данными для построения описания являются образцы объектов в виде растровых бинарных изображений хорошего качества. В результате обработки этих изображений система формирует контурные описания объектов в формате многоугольных фигур. Векторные описания контуров объектов являются эталонными (шаблонами) и используются в дальнейшем для разметки аэрокосмических снимков.
Подготовка эталонных изображений включает следующую последовательность действий. Во-первых, получение высококачественных растровых изображений образцов объектов интереса, взятых либо из фотографий с высоким разрешением, либо из описаний технической документации (чертежей или схем объекта). При этом необходимо отметить, что изображение объекта интереса должно представлять собой ортогональную проекцию (вид сверху). Во-вторых, формирование эталонного описания формы объекта интереса в виде бинарного (черно-белого) изображения высокого разрешения. В-третьих, создание контурной модели формы (шаблона) объекта интереса в векторном формате и сохранение ее в базе данных.
Рис. 1. Образцы разметки наземных объектов.
а — разметка строений с помощью инструмента "косой прямоугольник", б — разметка строений с помощью инструмента "полигон", в — разметка границ населенных пунктов
в
Сравнение объектов
Контурная модель имеет вид многоугольника, аппроксимирующего границу фигуры в бинарном изображении с заданной оператором точностью. Подгонка эталонов к тестовым изображениям
осуществляется оператором путем наложения векторного описания эталона на аэрокосмический снимок и преобразования контура с целью совмещения его с объектом на снимке. Преобразования контура выполняются оператором с использованием
инструментальных операций: сдвиг, поворот, масштабирование и растяжение—сжатие контура вдоль или поперек оси симметрии объекта.
Для подгонки эталонов к тестовым изображениям выполняется визуальный анализ исходного аэрокосмического снимка оператором с целью нахождения на нем объектов интереса и дальнейшей разметки этих объектов с использованием предлагаемых инструментальных средств. Затем осуществляется выбор подходящего эталонного образца (шаблона), соответствующего объекту на исходном изображении. Шаблон выбирается оператором на основе собственного опыта или методом подбора. Выполняется подгонка шаблона к исходному изображению с помощью операций сдвига, вращения и масштабирования контура эталонного образца, при этом векторная форма представления контуров обеспечивает высокую эффективность и точность процесса подгонки. Процесс подгонки представлен на рис. 2.
Выбранное положение эталона фиксируется, формируется выходное бинарное изображение путем растрирования контурной модели. На последнем этапе производятся маркировка и сохранение размеченного аэрокосмического снимка в библиотеке тестовых изображений.
Кроме того, программа обеспечивает возможность группового редактирования объектов интереса, принадлежащих к одной группе или классу.
Об обучающих выборках
Инструменты группового редактирования позволяют выбирать тип каждого объекта в отдельности, одновременно относить выделенную группу объектов к определенному классу. Выбор класса, в том числе для группы объектов, осуществляется с помощью классификатора.
Обучающая выборка для обучения нейронной сети должна содержать как можно более "чистые" обучающие данные. Подготовка "чистых"
Рис. 2. Подгонка эталонов.
а — сдвиг, б — вращение, в — пропорциональное масштабирование контура, г — масштабирование контура по горизонтали, д — масштабировани е контура по вертикали
обучающих данных заключается в исключении из обучающей выборки изображений объектов, в отношении которых у оператора-эксперта нет полной уверенности, являются ли они объектами интереса или нет.
Инструмент разметки обучающих данных, позволяющий оператору-эксперту отмечать на изображениях области, в наличии на которых объектов интереса он не уверен, называется "область нулевого штрафа". Данный инструмент может быть использован, если разметка объектов какого-либо типа затруднена, либо изображение имеет дефект съемки. Эксперт может игнорировать данные объекты, и это предотвращает ухудшение базы образцов и обучающей выборки. Образцы объектов, точная разметка которых затруднена, представлены на рис. 3.
Результаты работы программы сохраняются оператором-разметчиком в том же каталоге, что и обрабатываемый (исходный) файл. В каталоге
создается файл с именем исходного и расширением ".хт1".
Выходными данными программы разметки являются сформированные векторные описания объектов в формате многоугольных фигур в виде бинарного изображения (эталонные образцы), размеченные и промаркированные аэрокосмические снимки. Образцы выходного изображения представлены в Приложении.
Результаты экспериментов с системой
Исследования разработанного программного обеспечения проведены при создании экспертной разметки валидационной выборки для алгоритмов дешифрирования видовой аэрокосмической информации [7]. Сравнивалось суммарное количество объектов, обнаруженных программой и операторами-экспертами. В разметке изображений принимали участие три эксперта. Результаты по обнаружению объектов представлены в таблице.
Рис. 3. Образцы объектов неизвестного типа, выделенных с помощью инструмента "область нулевого штрафа". а — необычный объект, б — дефекты съемки
а
Сравнение количества обнаруженных объектов
Исполнитель Количество обнаруженных объектов, шт.
Операторы Программное обеспечение разметки 2 412 12 370
Как видно из данных, представленных в таблице, программное обеспечение позволяет обнаружить более чем в 5 раз больше объектов интереса на крупноформатных аэрокосмических изображениях. Проведенные испытания показали, что доля ошибки установки центра объекта не превышает 10 % общего числа объектов, доля ошибки, при которой центры объектов отмечены несколько раз, не превышает 5 % общего числа объектов. Дальнейшая работа в полуавтоматическом режиме позволяет оператору уточнить локализацию и маркировку объектов и значительно облегчает и улучшает качество подготовки обучающих выборок для обучения алгоритмов обнаружения и классификации.
ЗАКЛЮЧЕНИЕ
Представлено программное обеспечение, предназначенное для разметки объектов на аэрокосми-
ческих изображениях видимого и инфракрасного спектров, создания базы образцов и подготовки обучающих выборок для решения задачи обнаружения и локализации объектов. Основной функционал программы составляют операции поиска объектов интереса, просмотр изображения, измерение размеров объектов, разметка объектов интереса на изображениях с помощью специальных инструментов разметки, редактирование ранее выполненной разметки объектов, обозначение и маркировка объектов. Программа разметки позволяет осуществлять работу в автоматическом, полуавтоматическом и ручном режимах. Работа в полуавтоматическом режиме позволяет оператору уточнить локализацию и маркировку объектов и значительно облегчает и улучшает качество подготовки обучающих выборок для обучения алгоритмов обнаружения и классификации.
ПРИЛОЖЕНИЕ (образцы выходных изображений)
Рис. П1. Образец разметки авиационной техники
Рис. П2. Образец разметки сухопутной техники
Рис. П3. Образец разметки морской техники
СПИСОК ЛИТЕРАТУРЫ и прогнозирование точности ее функционирования //
Научное приборостроение. 2005. Т. 15, № 1. С. 29-44. 1. Малыхина Г.Ф., Меркушева А.В. Элементы URL: http://iairas.ra/mag/2005/abst1.php#abst3
статистической концепции обучения нейронной сети
ISSN 0868-5886
NAUCHNOE PRIBOROSTROENIE, 2020, Vol. 30, No. 2, pp. 67-75
2. Dvornik N., Mairal J., Schmid C. On the importance of visual context for data augmentation in scene understanding // IEEE Trans. Pattern Anal. Mach. Intell. 2019. P. 1-1. DOI: 10.1109/TPAMI.2019.2961896
3. Шахуро В.И., Конушин А.С. Синтез обучающих выборок для классификации дорожных знаков с помощью нейросетей // Компьютерная оптика. 2018. Т. 42, № 1. С. 105-112. DOI: 10.18287/2412-6179-201842-1-105-112
4. Гилязев Р.А., Турдаков Д.Ю. Активное обучение и краудсорсинг: обзор методов оптимизации разметки данных // Труды Института системного программирования РАН. 2018. Т. 30, № 2. С. 215-250. DOI: 10.15514/ISPRAS-2018-30(2)-11
5. ImageNet Large Scale Visual Recognition Competition (ILSVRC) [Electronic resource].
URL: http: //www. image -net. org/challenges/L SVRC/ (accessed: 13.07.2018).
6. Гаврилов Д.А., Местецкий Л.М., Семенов А.Б. Метод разметки изображений самолетов на аэрокосмических снимках на основе непрерывных морфологических моделей // Программирование. 2019. № 6. С. 3-12.
7. Гаврилов Д.А. Программно-аппаратный комплекс тестирования алгоритмов детектирования и локализации объектов в видеопоследовательностях // Научное приборостроение. 2019. Т 29, № 1. С. 149156. URL: http://iairas.ru/mag/2019/abst1 .php#abst22
Московский физико-технический институт (национальный исследовательский университет, г. Долгопрудный (Гаврилов Д.А., Щелкунов Н.Н.)
Институт точной механики и вычислительной техники им. С.А. Лебедева РАН, Москва (Гаврилов Д.А.)
Контакты: Гаврилов Дмитрий Александрович gavrilov.da@mipt.ru
Материал поступил в редакцию 13.02.2020
SOFTWARE FOR LARGE FORMAT AEROSPACE IMAGE MARKING AND TRAINING SAMPLES PREPARATION
D. A. Gavrilov1'2, N. N. Schelkunov1
1 Moscow Institute of Physics and Technology (National Research University),
Dolgoprudny, Russia 2Lebedev Institute of Precise Mechanics and Computer Engineering,
Russian Academy of Sciences, Moscow, Russia
This paper presents software designed for marking objects on aerospace images in visible and infrared spectra, creating a base of samples, and preparing training samples to solve the problem of detecting and localizing objects. The main functionality of the program consists of searching objects of interest, viewing an image, measuring the size of objects, marking up objects of interest on images using special marking tools, editing previously made marking of objects, designation and marking objects. Precedent information for training is aerospace images with images of objects marked on them, highlighted with the greatest possible accuracy. The markup program works in automatic, semi-automatic and manual modes. Work in semi-automatic mode allows the operator to clarify the localization and marking of objects and greatly facilitates and improves the quality of preparation of training samples for the subsequent training of detection and classification algorithms.
Keywords: markup of training samples, neural network training, active training
REFERE^ES
1. Malychina G. F., Merkusheva A. V. [Elements of the statistical learning concept for a neural network and accurate prediction of its operation]. Nauchnoe priborostroenie [Scientific instrumentation], 2005, vol. 15, no. 1, pp. 29-
44. URL: http://iairas.ru/en/mag/2005/abst1.php#abst3 (In Russ.).
2. Dvornik N., Mairal J., Schmid C. On the importance of visual context for data augmentation in scene understanding. IEEE Trans. Pattern Anal. Mach. Intell., 2019. pp. 1-1. DOI: 10.1109/TPAMI.2019.2961896
3. Shakhuro V.I., Konushin A.S. [Image synthesis with neural networks for traffic sign classification]. Komp'yuternaya optika [Computer optics], 2018, vol. 42, no. 1, pp. 105— 112. DOI: 10.18287/2412-6179-2018-42-1-105-112 (In Russ.).
4. Gilyazev R.A., Turdakov D.Yu. [Active learning and crowdsourcing: a survey of annotation optimization methods]. Trudy Instituta sistemnogo programmirovaniya RAN [Proceedings of ISP RAS], 2018, vol. 30, no. 2, pp. 215-250. DOI: 10.15514/ISPRAS-2018-30(2)-11 (In Russ.).
Contacts: Gavrilov Dmitriy Aleksandrovitch, gavrilov.da@mipt.ru
5. ImageNet Large Scale Visual Recognition Competition (ILSVRC) [Electronic resource]. URL: http://www.image-net.org/challenges/LSVRC/ (accessed: 13.07.2018).
6. Gavrilov D.A., Mesteckij L.M., Semenov A.B. [A method for marking images of aircraft in aerospace images based on continuous morphological models] // Programmirova-nie [Programming], 2019, no. 6. pp. 3-12. (In Russ.).
7. Gavrilov D. A. [The computer system testing of algorithms for detection and localization of objects in video sequences]. Nauchnoe priborostroenie [Scientific instrumentation], 2019, vol. 29, no. 1, pp. 149-156. (In Russ.). DOI: 10.18358/np-29-1-i149156
Article received by the editorial office on 13.02.2020
