CC BY
43
Доклады БГУИР
2015 № 7 (93)
УДК 004.9
БОРТОВОЙ МИКРОМОДУЛЬ РАСПОЗНАВАНИЯ ЦЕЛЕВЫХ КЛАССОВ ИЗОБРАЖЕНИЙ В СИСТЕМАХ МОНИТОРИНГА: МЕТОДЫ И АЛГОРИТМЫ
В.А. КОВАЛЕВ, А.А. КАЛИНОВСКИЙ, А.А. ДМИТРУК
Объединенный институт проблем информатики НАН Беларуси Сурганова, 6, Минск, 220012, Беларусь
Поступила в редакцию 26 октября 2015
Рассматриваются методы и алгоритмы функционирования бортового микромодуля для оперативного распознавания целевых классов изображений земной поверхности в системах мониторинга природных и техногенных объектов. Основной задачей микромодуля является существенное сокращение объема накапливаемых и/или передаваемых на землю видеоданных за счет оперативного решения задачи распознавания изображений подстилающей поверхности, поступающих с фото- и видеокамер. Разрабатываемый микромодуль может быть использован в системах мониторинга, построенных на основе беспилотных летательных аппаратов и малых космических аппаратов.
Ключевые слова: распознавание изображений, мониторинг, автоматическая классификация.
Введение
Известно, что основной целью мониторинга природных и техногенных объектов является обеспечение экологически безопасного и рационального использования природных ресурсов, своевременное оповещение населения о состоянии окружающей среды и создание информационной базы для оценки, прогнозов и управления природно-техническими комплексами [1-3]. Мониторинг организуется как комплекс мероприятий, реализуемых с помощью специализированных информационно-измерительных систем наблюдения, регистрации данных и детектирования изменений, которые функционируют на глобальном, национальном, региональном и локальном уровнях с использованием технических средств различных видов. В настоящее время широкое распространение получают системы мониторинга, основанные на использовании беспилотных летательных аппаратов (БПЛА) и малых спутников [4-6]. Типичным примером применения БПЛА для решения задач мониторинга могут служить широкий спектр работ данного направления, выполняемых группой Российских компаний ZALA AERO GROUP [7, 8]. Задачами мониторинга, решаемыми с помощью БПЛА и малых спутников, обычно являются задачи контроля состояния АЭС и ГЭС, электросетей, земельных, водных и лесных ресурсов, нефтепроводов, газопроводов, дорог, крупных инфраструктурных объектов, горных выработок, а также чрезвычайных ситуаций различных видов.
В большинстве систем мониторинга важную роль играют видеоданные, получаемые с помощью бортовых видеокамер и фотограмметрических систем. В зависимости от типа носителя и вида решаемой задачи, собранные видеоданные могут либо записываться на подходящий носитель, который впоследствии возвращается на землю для детального анализа, либо непосредственно передаваться на землю по радиоканалу. Очевидно, что оба способа имеют свои организационные, технические и технологические недостатки, которые могут существенно затруднять решение поставленной задачи по мере роста объема видеоданных, обусловленного как увеличением времени наблюдения, так и повышением пространственного разрешения используемой аппаратуры. Одним из способов преодоления указанных недостатков
является разработка компактных систем распознавания изображений, позволяющих отбирать потенциально полезную информацию непосредственно на борту.
В настоящее время оперативная обработка и последующий анализ видеоданных на борту космических аппаратов являются одним из важных направлений исследований и разработок во всем мире. Успешное решение указанных проблем позволит:
1) значительно сократить затраты энергии на передачу данных на землю за счет анализа, отбора и передачи только тех видеоданных, которые необходимы для решения поставленной задачи;
2) разработать принципиально новые, энергоэффективные аппаратно-программные комплексы на основе следующей многоступенчатой технологии съемки: (а) предварительная съемка с помощью миниатюрного сенсора, (б) автоматический анализ изображений предварительной съемки и принятие решений только при необходимости, (в) включение основного устройства сбора данных;
3) минимизировать участие оператора, снизить влияние субъективных факторов и др.;
4) повысить степень защищенности передаваемых данных за счет применения гибких, динамически изменяемых технологий отбора, шифрования и сжатия на борту.
Анализ доступных источников позволяет сделать вывод о том, что несмотря на активные исследования и разработки, проводимые как в нашей стране, так и в ведущих зарубежных центрах, проблема эффективной обработки, анализа и распознавания видеоданных на борту космических аппаратов находится лишь на начальной стадии ее решения.
Целью настоящей работы является рассмотрение основных требований, предъявляемых к бортовому микромодулю, технологии его функционирования, а также методов и алгоритмов решения задачи распознавания изображений с целью предварительного отбора видеоданных, релевантных решаемой задаче мониторинга природных и техногенных объектов.
Исходные требования и технология функционирования
Для обеспечения конкурентоспособности разрабатываемого микромодуля он должен удовлетворять достаточно жестким входным требованиям. В таблице приведены основные технико-экономические показатели, достижение которых должно быть обеспечено при разработке микромодуля.
Основные технико-экономические показатели микромодуля
№ п/п Наименование показателя Значение
1 Коэффициент сокращения объема передаваемых данных за счет отбора видеоданных, соответствующих решаемой задаче (в зависимости от частоты встречаемости целевого класса) 5-15
2 Максимальное количество типов изображений подстилающей поверхности (классов), распознаваемых микромодулем на борту: в том числе распознаваемых одновременно: до 10 до 3
3 Способ задания целевых классов изображений перед полетом для решения задачи отбора релевантных видеоданных загрузка образцов (примеров) изображений классов
4 Качество распознавания заданного типа изображений подстилающей поверхности: в том числе при одновременном распознавании нескольких классов: не менее 80-95 % (зависит от типа) не менее 90 %
5 Коэффициент сжатия образцов изображений классов, подлежащих распознаванию (соотношение объемов изображений-образцов и их дескрипторов) не менее 100
6 Время распознавания 1 кадра не более 300 мс
7 Энергопотребление в активном режиме до 5 Вт
8 Масса микромодуля (включая аварийный источник питания) до 300 г
9 Габариты / сумма измерений до 60x120x40 мм / до 200 мм
Следует отметить, что указанные в таблице массогабаритные ограничения относятся непосредственно к самому микромодулю. Предполагается, что конечный вариант микромодуля реализуется на аппаратной платформе, основанной на одном из процессоров архитектуры ARM (Mediatek MT6752, Exynos 7420) либо на микрокомпьютерах типа Intel Compute Stick [9] с четырехъядерным процессором Intel Atom Z3735F. При этом не учитываются размеры и вес
дополнительных элементов конструкции, которые могут понадобиться, например, для обеспечения необходимого теплового режима функционирования или радиационной защиты микромодуля в случае спутникового базирования и т.п.
Распознавание целевых классов изображений земной поверхности в целях мониторинга осуществляется по схеме распознавания на основе обучающей выборки. Использование данной схемы позволяет обеспечить гибкую настройку бортового модуля на распознавание конкретных целевых классов изображений как путем формирования задания непосредственно перед полетом, так и путем загрузки из библиотеки одного из готовых заданий, сформированных ранее. Общая технология функционирования микромодуля и ее ключевые элементы показаны на рис. 1.
б
Рис. 1. Технология функционирования микромодуля оперативного распознавания целевых классов изображений земной поверхности на этапе подготовки полетного задания (а) и в процессе полета (б)
Как видно из рис. 1, технология функционирования микромодуля включает два основных этапа: формирование полетного задания и собственно отбор изображений в ходе полета. Формирование задания на распознавание и отбор изображений заданных классов включает три основных шага, которые представлены ниже.
Шаг 1. Формирование обучающей выборки изображений, состоящей из примеров (образцов) изображений целевых классов земной поверхности. При этом изображения-образцы могут быть введены в систему подготовки полетного задания двумя различными способами:
- путем выбора подходящих изображений и базы данных системы подготовки заданий;
- путем «тренировочного» пролета БПЛА над подходящей территорией при соответствующих погодных условиях и требуемых параметрах полета с последующей отметкой тех кадров полученной видеопоследовательности, которые должны быть использованы в качестве образцов для обучающей выборки изображений.
Очевидно, что реализация второго варианта значительно затруднена либо вовсе невозможна при использовании в качестве носителя спутника. Однако опыт авторов показывает [10-12], что в любом случае, для максимизации качества распознавания везде где это возможно, более предпочтительно включать в обучающую выборку изображения, полученные с помощью тех же (или близких по характеристикам) технических средств, что установлены на борту летательного аппарата, осуществляющего мониторинг.
Шаг 2. Вычисление дескрипторов изображений. В общем случае, выбор типа дескрипторов определяется широким спектром факторов, среди которых следует особо отметить такие как:
- преимущественные типы подстилающей поверхности объектов мониторинга («гладкие», низкоградиентные текстуры типа полей и густых кустарников, выраженные текстуры типа хвойных лесов, пригородная и дачная застройка, городская застройка с высотными зданиями, водные поверхности, крупные промышленные объекты и др.);
- тип и основные технические характеристики используемых видеоданных (одноканальные/панхроматические изображения в градациях серого, трехканальные цветные RGB изображения, многоканальные изображения, изображения с повышенным, т.е. более 8 пикселов на канал, яркостным разрешением и т.п.);
- степень неоднородности различных участков одного и того же изображения, необходимость предобработки поступающих изображений с целью их фильтрации, а также
а
(явной либо неявной) экспресс-сегментации путем грубой разбивки на участки, существенно различающиеся по их характеристикам);
- толерантность признаков к преобразованиям типа сдвиг, поворот, масштабирование, проективные преобразования, нелинейные искажения, наличие шумов;
- применимость и потенциальная эффективность использования алгоритмов машинного зрения, основанных на выделении особых точек;
- вычислительные затраты на выделение характерных признаков изображений и их согласованность с мощностью бортового компьютера;
- допустимость применения методов редуцирования пространства признаков типа метода главных компонент (PCA), их согласованность с используемыми метриками типа L1 нормы и Евклидова расстояния и др.
Некоторые из перечисленных факторов рассматриваются более подробно и иллюстрируются результатами соответствующих экспериментов ниже.
Шаг 3. Настройка (тренировка) выбранных классификаторов и формирование решающих правил распознавания. Содержимое данного шага существенным образом зависит от типа используемых классификаторов и может варьировать от простого выбора пороговых значений в случае метода ближайших соседей (KNN) до получения и предварительного тестирования процедуры распознавания непосредственно на изображениях обучающей выборки в случае использования метода случайных лесов (Random Forests).
На этапе полета сформированное полетное задание выполняется путем распознавания и отбора релевантных изображений входной последовательности с использованием признаков изображений и классификатора, обученного на этапе подготовки. Следует отметить, что в целях снижения вычислительной нагрузки не обязательно отправлять каждый кадр входного потока на вход блока распознавания. В зависимости от задачи, характеристик местности и скорости полета, темп отбора кадров может быть снижен до 1 кадра в секунду и менее.
Методика эксперимента
В соответствии с основной задачей настоящей работы, эксперименты проводились с целью отработки методов и алгоритмов решения задачи распознавания изображений различных классов, а также для количественной оценки качества распознавания. Общая схема экспериментов соответствует технологии решения задачи, представленной выше.
Учитывая предыдущий опыт решения задач выделения признаков и распознавания изображений, в качестве дескрипторов изображений использовались многосортные матрицы совместной встречаемости, предложенные в работе [13], а также их варианты, подходящие для описания структуры цветных RGB изображений [14]. Кроме того, параллельно, на тех же тестах проводилась оценка эффективности популярных в последнее время дескрипторов на основе локальных бинарных шаблонов [15], известных как LBP (Local Binary Patterns).
В качестве исходных данных использовались космические снимки земной поверхности, полученные с использованием открытых картографических ресурсов Yandex и ArcGIS, сделанные в районе размером 9*12 км, расположенном в окрестностях Минска. Разрешение снимков составило порядка 1 м/пикс. Изображения были разбиты на четыре характерных класса подстилающей поверхности (см. рис. 2).
Для оценки качества классификации была подготовлена сбалансированная выборка из четырех классов, включающая около 5 тысяч изображений каждого класса размером 140*140 пикселов (см. рис. 2). Содержание изображений представлялось с помощью дескрипторов, перечисленных ниже.
1. Матрицы совместной встречаемости цветов пар пикселов. Цвета квантовались путем разбиения на 8, 16 и 32 интервала (условные обозначения: p2q(8), p2q(16), p2q(32)). Дескрипторы вычислялись с учетом требования инвариантности к вращению.
2. Локальные бинарные шаблоны [15]. Использовался инвариантный к вращению тип ЛБШ-дескриптора. Радиус кольца для вычисления дескриптора был выбран равным 3 пиксела. Вычислялись униморфный (lbp-riu2) и неуниморфный (lbp-ri) варианты ЛБШ-дескрипторов.
& ¿4 |Н№ * 1йг ЯК ■
а б в г
Рис. 2. Примеры участков различных классов, представляющие данные, наблюдаемые с борта БПЛА: а - участки с лесом; б - участки с искусственными объектами и сооружениями; в - участки с водными ресурсами; г - обрабатываемые и необрабатываемые поля. Физические размеры участков соответствуют высоте полета БПЛА на высотах 100-300 м
В качестве классификаторов [16] были выбраны: логистическая регрессия (Logit), метод опорных векторов с RBF базисом (SVM-RBF) и метод ближайшего соседа (ХКЭД с параметром к, равным 5. Параметры дескрипторов и классификаторов подбирались на предварительном этапе подготовки данных. Результаты оценки качества распознавания приведены на рис. 3.
SVM-RBF
в
г
Рис. 3. Качество распознавания с использованием различных типов дескрипторов, классификаторов
и типов подстилающей поверхности
Дополнительно был рассмотрен случай, когда изображения обучающей выборки и изображения, получаемые на борту БПЛА, существенно различаются. Данное условие моделировалось путем использования космических снимков из двух различных источников (Yandex и ArcGIS). Такой подход позволяет эффективно имитировать разницу в условиях наблюдения (время года, погодно-климатические условия и др.). В этом случае лучшие результаты распознавания были получены с помощью классификатора KNN (см. рис. 4).
Рис. 4. Качество распознавания классов подстилающей поверхности при существенно различающихся
условиях наблюдения подстилающей поверхности
Результаты и их обсуждение
Как видно из рис. 3, классификатор KNN дает более стабильное и предсказуемое качество распознавания, что можно объяснить нелинейным распределением дескрипторов классов в признаковом пространстве. При этом дескрипторы на основе матриц совместной встречаемости обеспечивают несколько лучшее качество распознавания по сравнению с ЛБШ при неизменных условиях наблюдения (рис. 3).
При существенно отличающихся условиях наблюдения во время съемки изображений, используемых на этапе подготовки полетного задания и при съемке непосредственно с борта БПЛА, дескрипторы типа ЛБШ дают лучшее качество распознавания (рис. 4). Заметим, что во втором случае качество распознавания водных поверхностей является очень низким. Это можно объяснить тем, что ЛБШ хорошо описывают высокоградиентные текстурные участки изображений, но плохо описывают однородные участки изображений.
Заключение
В представленной работе предложена общая технология, а также эффективные методы и алгоритмы, позволяющие решать задачи оперативного распознавания изображений различных классов земной поверхности. Указанные средства и реализующее их программное обеспечение могут служить основой построения бортового микромодуля оперативного распознавания видеоданных в системах мониторинга природных и техногенных объектов.
AN ONBOARD IMAGE RECOGNITION MODULE FOR MONITORING SYSTEMS:
METHODS AND ALGORITHMS
V.A. KOVALEV, A.A. KALINOVSKY, A.A. DMITRUK
Abstract
The methods and algorithms of a compact on-board image recognition module to be used as a part of monitoring systems is presented. The main goal of the module is significantly reduction in the amount of image and video data, which should be stored on board and/or transmitted to a surface station. This is achieved by way of real-time recognition of frames of input video sequence and preselection of those similar to the given target image classes. It is supposed the module can be used as a part of remote monitoring systems based on drones and small-size satellites.
Список литературы
1. ТопчиевА.Г., Кондранин Т.В., Козодеров В.В. // Экология и промышленность России. 2006. № 11. С. 4-6.
2. Бондура В.Г. Аэрокосмический мониторинг объектов нефтегазового комплекса. М., 2012.
3. Мониторинг природно-техногенных комплексов природообустройства. [Электронный ресурс]. -Режим доступа: http://www.mylect.ru/ecology/465-prorodoobustroistvo.html?start=19. - Дата доступа: 15.10.2015.
4. Кондранин Т.В., Топчиев А.Г., Никитин И.Е. и др. // Современные проблемы дистанционного зондирования Земли из космоса. 2007. Т. 1, № 4. С. 138-154.
5. Кудашев Е.Б., Мясников В.П., Сюнтюренко О.В и др. // Вестн. РФФИ. 2003. № 1 (31). С. 48-58.
6. Беспилотные летательные аппараты. [Электронный ресурс]. - Режим доступа: http://bp-la.ru/. - Дата доступа: 15.10.2015.
7. ZALA AERO GROUP. Беспилотные системы: Мониторинг. [Электронный ресурс]. - Режим доступа: http://zala.aero/category/applications/monitoring/. - Дата доступа: 15.10.2015.
8. Захаров Н. Система воздушного мониторинга объектов ТЭК на базе БПЛА ZALA // Инженер и промышленник сегодня. 2014. № 5 (11). С. 8-11.
9. Обзор микрокомпьютера Intel Compute Stick: Windows-ПК в кармане. [Электронный ресурс]. -Режим доступа: http://www.3dnews.ru/918131. - Дата доступа: 20.10.2015.
10. Тузиков А.В., Калиновский А.А., Левчук В.А. и др. // Матер. 8-й Всеросс. мультиконференции по проблемам управления. Том 2. Геленджик, 28 сентября - 3 октября 2015 г. С. 222-225.
11. Калиновский А.А., Ковалев В.А., Дмитрук А.А. // Матер. 8-й Всеросс. мультиконференции по проблемам управления. Том 2. Геленджик, 28 сентября - 3 октября 2015г. С. 203-205.
12. Калиновский А.А., Ковалев В.А. // Матер. IV Белорусского космического конгресса. Том 1. Минск, 28-30 октября 2014 г. С. 301-304.
13. Kovalev V., PetrouM. // Graphical Models and Image Processing. 1996. Vol. 58, № 3. P. 187-197.
14. Ковалев В.А. // Информатика. 2015. № 2 (46). С. 31-38.
15. Pietikainen M., HadidA., Zhao G., Ahonen T. Computer vision using local binary patterns. London, 2011.
16. Bishop C. M. Pattern recognition and machine learning. New York, 2000.
