CC BY
89
Интернет-журнал «Науковедение» ISSN 2223-5167 https://naukovedenie.ru/
Том 9, №6 (2017) https ://naukovedenie. ru/vo l9-6.php
URL статьи: https://naukovedenie.ru/PDF/160TVN617.pdf
Статья опубликована 01.03.2018
Ссылка для цитирования этой статьи:
Парфентьев К.В., Гаврилов А.И. Построение моделей подстилающей поверхности на основе реконструкции данных мультиспектрального мониторинга // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 9, №6 (2017) https://naukovedenie.ru/PDF/160TVN617.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ.
УДК 681.5
Парфентьев Кирилл Викторович
ФГБОУ ВО «Московский государственный технический университет им. Н.Э. Баумана», Россия, Москва1
НИИ «Информатика и системы управления» Кафедра ИУ1 «Системы управления летательными аппаратами»
Младший научный сотрудник Ассистент кафедры, аспирант E-mail: rudefellow@gmail.com
Гаврилов Александр Игоревич
ФГБОУ ВО «Московский государственный технический университет им. Н.Э. Баумана», Россия, Москва
Кафедра ИУ1 «Системы управления летательными аппаратами» Кандидат технических наук, Ph.D., доцент E-mail: alexgavrilov@mail.ru РИНЦ: http://elibrary.ru/author profile.asp?id=12420
Построение моделей подстилающей поверхности на основе реконструкции данных мультиспектрального мониторинга
Аннотация. Задача построения моделей подстилающей поверхности становится все более актуальной в аэрокосмической отрасли. Полученные модели могут служить основой для решения широкого круга задач, таких как построение топографических карт местности, навигация по подстилающей поверхности, автоматическая посадка летательного аппарата.
В работе рассмотрена задача использования данных дистанционного зондирования подстилающей поверхности в оптическом и радарном диапазонах с целью определения навигационных параметров и привязки объектов к пространственным координатам. Рассмотрены технические средства для получения информации о подстилающей поверхности, предложены эффективные алгоритмы обработки изображений. Реализован алгоритм преобразования цифровых изображений к инвариантному к условиям съемки виду. Разработана структура и программная реализация системы распознавания изображений с использованием самоорганизующихся карт Кохонена. Проведено исследование возможностей определения местоположения объекта при различных условиях спутниковой, радарной и аэрофотосъемки.
Эффективность предложенных алгоритмов и программного обеспечения подтверждена решением задачи определения местоположения на снимках, полученных различными методами при вариациях условий окружающей среды. Разработанные методики и технологии
1 105005, Москва, 2-я Бауманская ул., 5
в перспективе могут быть использованы для решения задачи навигации автономных летательных аппаратов.
Ключевые слова: летательный аппарат; автономная навигация; самоорганизующиеся карты Кохонена; подстилающая поверхность; цифровая обработка сигналов; обработка изображений; распознавание изображений
Введение
Задача построения моделей подстилающей поверхности на основе цифровых изображений, полученных в различных спектральных диапазонах, приобретает все большую актуальность [1-4]. Это объясняется тем, что полученные модели могут использоваться для решения широкого круга задач, среди которых - построение топографических карт местности [5], локализация объектов интереса, навигация по подстилающей поверхности и многие другие.
Основной проблемой в построении моделей подстилающей поверхности являются изменчивые условия съемки, такие как освещенность, осадки, угол и высота съемки. В рамках работы исследованы технологии построения моделей подстилающей поверхности с использованием различных технических (оптических и радарных) и программных средств.
1. Методы получения информации о подстилающей поверхности
Способы получения информации о подстилающей поверхности можно классифицировать как по технологии получения данных (аэрофотосъемка или спутниковая фотосъемка), так по спектральному диапазону получаемой информации (рис. 1).
Линии
силового
спектра
Радио- 1епеви- Радиоволны знойные локация сигналы
Инфра- Ультракрасное фиолст. Рентгс- I амма-
излучеиие___изучение новское излучение
ВИДИМЫЙ СВЕТ излучение
I Г~1Г~1Г
О» ^ 105 ю1
IIии I IV I 10® I 10® I
I I I 1 I I I I
1 г
II 1 I г
О 10,Гц100 '?' 1«Г 10' 10- 10" 10" '?" .0' Т 10» Ю" '?" 10" 'Г 10"
1
1_1
Пола Поля
крайне низкой очень низкой частоты (КНЧ) частоты (ОНЧ)
Энергия фотона
Пол»
ПЧ--М1.
ВЫСОКОЙ
частоты
Микроволны
Ионизирующее излучение
< 12.4 эВ : >12.4 эВ
Неионизирующее излучение Ионизирующее излучение
Рисунок 1. Спектры излучения (источник - Международный Комитет по неионизируемой радиации. Серия «Охрана труда и здоровья» № 70, МБТ, Женева 1994)
В задаче получения информации о подстилающей поверхности используют следующие подходы:
• Радиолокационный.
• Оптический.
• Лидарная (лазерная) съемка.
Радиолокационные снимки [6] получают на основе облучения объекта наблюдения радаром и регистрации отражения этого излучения. Радар не нуждается во внешних источниках освещения. Из этого вытекает главное достоинство радиолокационных снимков -
независимость их получения от времени суток и года, погодных условий. Радарные снимки применяются для съемки приполярных районов в условиях полярной ночи и низкого стояния солнца.
Оптический метод сканирования позволяет получать информацию о поверхности Земли в видимом диапазоне. В зависимости от технологии получения снимков оптический метод может называться аэрофотосъемкой или спутниковой фотосъемкой. Недостатком оптического метода сканирования земной поверхности является необходимость в освещении снимаемого объекта.
Лидарная съемка [7] заключается в оптико-механическом сканировании местности лазерным излучением, пульсирующим с высокой частотой (около 150 кГц), приеме и фиксации отраженного от поверхности объекта сигнала, определении расстояния до точки отражения и вычислении ее координат. Воздушное лазерное сканирование характеризуется, с одной стороны, максимально высокой точностью, а с другой - достаточно высокой стоимостью.
2. Процедуры предварительной обработки изображений
Огромную роль в решении задачи распознавания на основе огромных объемов информации играет предварительная обработка данных. Предварительная обработка особенно актуальна в случае работы с изображениями. Для сокращения размерности исходных изображений используются такие процедуры как переход от цветного изображения к полутоновому [8], сокращения числа градаций яркости и масштабирование. Другой ряд процедур применяется для улучшения качества исходных изображений: улучшение контрастности, фильтрация шумов.
Для решения задачи определения местонахождения использовались полутоновые изображения, уменьшенные по масштабу методом "ближайшего соседа" [8].
3. Структура самоорганизующихся карт 80М и алгоритм обучения
В качестве классификатора изображений в данной работе использовался один из нейросетевых подходов - самоорганизующиеся карты Кохонена (БОМ) [9]. Стратегия данного метода заключается в представлении множества экспериментальных данных в виде топологической карты - решетки размерностью п х т, состоящей из нейронов. Каждый нейрон представляет собой некоторый вектор, определяющий в пространстве признаков одну из характерных точек. В результате обучения векторы-нейроны распределяются в пространстве признаков, аппроксимируя статистические взаимосвязи между данными обучающего множества.
Рассмотрим общую форму алгоритма обучения [5]:
Пусть задан набор векторов M = {mi} i = \...n, где mi - "нейроны" карты (синаптические весовые вектора), он задан на некоторой регулярной сетке, задающей топологию, на которую будут отображаться данные выборки.
Введем в пространстве векторов меру близости d(x,y). Выбирая из обучающего множества вектора данных, найдем вектор-нейрон карты mc, для которого выполняется условие d(xj, mc) = min (d(xj, mi)). Этот нейрон и будет, пользуясь терминологией нейронных сетей, нейроном-"победителем" (в литературе по SOM, как правило, используется специальный термин "Best matching unit" -BMU).
Произведем настройку нейронов карты по рекурсивной формуле: т^ + 1) = т.[ + — т£(0], где Ьс;(1;) - симметричная
невозрастающая функция, определенная вокруг Шс, называемая "функцией близости" (она определяет степень влияния нейрона-"победителя" на соседние нейроны), а(1;) - коэффициент обучения (убывающая функция времени), причем 0 < а(0 < 1.
4. Разработка нейросетевого классификатора изображений подстилающей поверхности
Задача нейросетевого классификатора заключается в обнаружении заранее заданного участка на изображения подстилающей поверхности при различных углах поворота и масштабах изображения, что соответствует реальным условиям наблюдения бортовой аппаратурой сканирования подстилающей поверхности.
Задача распознавания решалась следующим образом: в качестве входного вектора нейросетевого классификатора рассматривались яркости пикселей изображения. Входной вектор расширялся дополнительной компонентой - углом поворота изображения. В обучающей выборке использовались фрагменты изображения с разными углами поворота и вариацией масштаба.
4.1 Привязка изображения к топографическим картам
Для тестирования нейросетевого классификатора использовалось изображение топографической карты местности размером 400 на 400 пикселей, на которой необходимо было обнаружить заданный фрагмент размером 40 на 40 пикселей (рис. 2).
Рисунок 2. Выбор фрагмента на схематическом изображении подстилающей поверхности (топографической карте) (источник - получен автором в ходе проведения эксперимента)
Нейросетевой классификатор построен на самоорганизующейся карте 20Х10 нейронов с вектором входов из 1600 элементов (по числу пикселей малого фрагмента).
В качестве обучающей выборки использовался искомый фрагмент со смещением 6 пикселей (шаг три пикселя) по горизонтали и вертикали, а также с набором углов поворота от -45 до +45 градусов (шаг 3 градуса) и масштабов +/-15 %.
Нейросетевой классификатор безошибочно определял требуемый фрагмент при любых углах поворота и масштабах, не выходящих за рамки используемых при обучении.
4.2 Нахождение заданных участков на радарном снимке
Следующей задачей было определение заранее выбранных участков на радарных снимках. Радарные снимки имеют преимущество над оптическими в большей устойчивости к времени года и суток. С другой стороны, они более сложны для восприятия как человеческого, так и машинного зрения. Отличие от предыдущих случаев в том, что карта создавалась большего размера (40 на 20 нейронов) и изображение обрабатывалось с целью улучшить контраст (рис. 3).
Рисунок 3. Радарный снимок до и после улучшения контраста (источник - получен автором в ходе проведения эксперимента)
Выделялось несколько участков для обучения и распознавания (рис. 4).
Рисунок 4. Выбранные участки (источник - получен автором в ходе проведения эксперимента)
Фрагменты 1-2 распознавались безошибочно при любых углах поворота и масштаба. Фрагмент 3 распознавался с незначительной ошибкой по углу. Фрагмент 4 не распознавался системой, что объясняется незначительным количеством характерных признаков на выбранном участке изображения.
5. Выделение границ на изображении
Радарные снимки обладают большой устойчивостью к изменениям времени года и суток, но распознаются не так успешно. К тому же предварительная подготовка маршрута по радарным снимкам невозможно из-за отсутствия их в широком доступе, тогда как карты местности, построенные по снимкам из космоса, как правило, доступны. Поэтому возникла необходимость преобразования исходных оптических снимков в контурный вид.
5.1 Преобразование Радона
Преобразование Радона - интегральное преобразование функции многих переменных, родственное преобразованию Фурье. Впервые показано в работе австрийского математика Иоганна Радона 1917-го года [10].
В задаче обработке изображений преобразование Радона используется для детектирования прямых линий на бинарном изображении.
5.2 Преобразование Хафа
Преобразование Хафа - алгоритм, применяемый для извлечения элементов из изображения. Для нахождения объектов, принадлежащих определённому классу фигур, используется процедура голосования. Она применяется к пространству параметров, из которого получаются объекты определённого класса фигур по локальному максимуму в накопительном пространстве [11].
В задаче обработки изображений преобразование Хафа позволяет находить на монохромном изображении плоские кривые, заданные параметрически, например: прямые, окружности, эллипсы, и более сложные.
5.3 Оператор Робертса
Перекрёстный оператор Робертса - один из ранних алгоритмов выделения границ. Он вычисляет приближенные значения градиентов, как сумму квадратов разностей между диагональными пикселями. Это осуществляется сверткой исходного изображения с двумя матрицами [12]:
[0 > [—1 1]
Пример преобразования представлен на рис. 5.
Рисунок 5. Пример использования оператора Робертса (источник - получен автором в ходе проведения эксперимента)
5.4 Оператор Собеля
Оператор Собеля представляет собой схожий с оператором Робертса подход, но обеспечивает более точные результаты при чуть более сложном алгоритме вычисления градиента [13]. В данном операторе исходное изображение тоже сворачивается двумя матрицами, но уже большего размера. С помощью них находятся отдельно градиенты по x и по у. Далее вычисляется результирующий градиент.
су =
1 2 1 1 0 -1
0 0 0 «I ^х = 2 0 -2
-1 -2 -1 1 0 -1
*/
Пример использования оператора Собеля представлен на рис. 6.
ШШшс
^ х У £ . - .
Рисунок 6. Пример использования оператора Собеля (источник - получен автором в ходе проведения эксперимента)
5.5 Оператор Кэнни
Оператор Кэнни представляет собой логическое развитие оператора Собеля [14]. В данном операторе ищутся уже 4 градиента (к градиентам по х и у добавляются два диагональных). К этому добавляются дополнительные операции, такие как размытие изображения фильтром Гаусса и удаление одиноких точек. Данный метод превосходит предшественников в таких компонентах, как соотношение сигнал шум и точность определения границ. Процедура обработки изображения с помощью оператора Кэнни выглядит следующим образом:
1. Размытие изображения.
2. Поиск градиентов.
3. Акцентирование максимумов.
4. Двойная пороговая фильтрация.
5. Удаление неоднозначностей (слабых границ, несвязанных с сильными).
Пример применения алгоритма приведен на рис. 7.
Рисунок 7. Пример использования оператора Кэнни (источник - получен автором в ходе проведения эксперимента)
5.6 Алгоритм построения контурного изображения, основанный на изменении яркости
Еще одним подходом в построении контурного изображения может быть упрощенный поиск градиентов путем вычисления разниц яркостей между соседними пикселями вместо операции свертки. На рис. 8 представлены сравнительные результаты нахождения градиентов путем операции свертки и разниц между соседними пикселями. Для удобства восприятия гистограммы обоих изображений были растянуты и эквализированы.
Рисунок 8. Сравнение алгоритмов поиска градиентов и разниц яркостей (источник - получен автором в ходе проведения эксперимента)
Из полученных результатов видно, что операция свертки обеспечивает более четкие границы.
5.7 Сравнение методов выделения границ
Еще более качественных результатов можно достичь, если вместо самих градиентов строить их модули (рис. 9). Для удобства зрительного восприятия последнее изображение было инвертировано.
градиенты
модули градиентов
шт
Г- ЛуЩ!
модули градиентов инверсия
жт
зш
ШШяА
Рисунок 9. Сравнение изображений, построенных на градиентах и их модулях (источник - получен автором в ходе проведения эксперимента)
С целью дальнейшего улучшения результатов было проведено исследование о влиянии размытия изображения с помощью фильтра Гаусса как до получения контурного изображения, так и после. Результаты представлены на рис. 10.
Рисунок 10. Применение фильтра Гаусса к контурному изображению (источник - получен автором в ходе проведения эксперимента)
Из полученных результатов следует, что применение фильтра Гаусса к исходному изображению мало влияет на итоговый результат. Тогда как фильтрация контурного изображения позволяет достигать лучшего соотношения сигнал/шум.
Заключительным предметом исследования стало определение оптимального числа градаций конечного изображения. Традиционные методы выделения границ предлагают только бинарные изображения: граница-фон. Что приводит к потере многих границ. Использование всей полутоновой палитры позволяет более полным образом представить границы и их степени, но теряется инвариантность при изменчивых условиях съемки. В ходе исследования был сделан вывод, что оптимальное число градаций находится в пределах 4-8 степеней. На рис. 11 приведено сравнение известных методов выделения границ с подходом, описанным в статье.
4 градации оператор Робертса
6 V <<У :Л
..у •' А '1 * *
.г
ч.; -Ц/'- У?.--Ъ&я*
оператор Собеля
Кэнни
? л !Ш
Шх 'лщА ;
У?'.' -Л
. >
Рисунок 11. Сравнение методов выделения границ (источник - получен автором в ходе проведения эксперимента)
В данном случае выбор был остановлен на 4 градациях яркости. На рисунке видно, что данный подход обладает не только лучшей различимостью для человеческого глаза, но и сохраняет многие важные границы, которые теряют другие методы.
5.8 Применение алгоритма выделения границ в задаче определение местоположения
Чтобы экспериментально подтвердить ценность алгоритма в задаче определения местоположения, был рассмотрен снимок одной и той же местности, полученный с разницей в 5 лет разными фотокамерами. Оба снимка были обработаны описанным выше алгоритмом выделения границ (рис. 12).
снимок 1 снимок 2
Рисунок 12. Применение алгоритма выделения границ (источник - получен автором в ходе проведения эксперимента)
Еще более полезным результатом является то, что с помощью данной методики можно получать схожие изображения из оригиналов, полученных разным методом: оптическим или радиолокационным. На рис. 13 представлены обработанные снимки, один из которых был получен оптическим методом, а второй радиолокационным.
Рисунок 13. Применение алгоритма выделения границ (источник - получен автором в ходе проведения эксперимента)
В заключении вновь решалась задача детектирования объектов интереса, но уже на разных изображениях. Обучение происходило на оптическом снимке, тогда как поиск уже на радарном. Методика обучения была прежней: в качестве обучающей выборки использовался искомый фрагмент со смещением 6 пикселей (шаг три пикселя) по горизонтали и вертикали, а также с набором углов поворота от -45 до +45 градусов (шаг 3 градуса) и масштабов +/-15 %. Карта Кохонена создавалась довольно большого размера: 30 на 30 нейронов. Результаты представлены на рис. 14.
обработанный оптический снимок
Рисунок 14. Поиск участка местности на радарном снимке (источник - получен автором в ходе проведения эксперимента)
Как видно из результатов моделирования, данная методика позволяет находить характерные участки местности даже на снимках, полученных с помощью радара.
Заключение
В статье рассмотрена проблема использования данных дистанционного зондирования подстилающей поверхности с целью определения навигационных параметров и привязки объектов к пространственным координатам. Рассмотрены технические средства для получения информации о подстилающей поверхности, предложены эффективные алгоритмы обработки изображений. Сложены популярные методы выделения контуров на изображении. Предложен свой алгоритм преобразования цифровых изображений к инвариантному к условиям съемки виду. Разработана структура и программная реализация системы распознавания изображений с использованием самоорганизующихся карт Кохонена. Проведено исследование возможностей определения местоположения объекта при различных условиях спутниковой, радарной и аэрофотосъемки. Эффективность предложенных алгоритмов и программного обеспечения подтверждена решением задачи определения местоположения на снимках, полученных различными методами при вариациях условий окружающей среды. Разработанные методики и технологии в перспективе могут быть использованы для решения задачи навигации БЛА.
ЛИТЕРАТУРА
1. Лупян Е. А. Современные подходы и технологии организации работы с данными дистанционного зондирования Земли для решения научных задач // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т.9, №5. С. 2144.
2. Музылев Е. Л. Использование спутниковых данных о характеристиках подстилающей поверхности и снежного покрова при моделировании составляющих водного и теплового балансов обширных территорий сельскохозяйственного назначения // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т.9, №1. С. 258-268.
3. Соломатов Д. В. Развитие методов температурного зондирования земной поверхности из космоса // Материалы IV Всероссийской конференции молодых ученых «Материаловедение, технологии и экология в Ш тысячелетии». Томск: изд-во ИАО СО РАН, 2009. С. 360-364.
4. Афонин С. В., Белов В. В., Соломатов Д. В. Разработка программного обеспечения для атмосферной коррекции аэрокосмических ИК-измерений температуры подстилающей поверхности // Оптика атмосферы и океана. 2006. Т.19, №1. C. 69-76.
5. Мозер Н. С., Парфентьев К. В. Построение компактных моделей подстилающей поверхности по данным дистанционной разведки // Молодежный научно-технический вестник. МГТУ им. Н.Э. Баумана. Электрон. журн. 2015. № 1. Режим доступа: http ://docplayer.ru/61619864-Postroenie-kompaktnyh-modeley-podstilayu shchey-poverhnosti-po-dannym-distancionnoy-razvedki.html (дата обращения 27.11.2017).
6. Cooper Ken B. Penetrating 3-D Imaging at 4- and 25-m Range Using a Submillimeter-Wave Radar // IEEE TRANSACTIONS ON MICROWAVE THEORY AND TECHNIQUES 2008. VOL. 56.
7. Johnson Katharine M., Ouimet William B. Rediscovering the lost archaeological landscape of southern New England using airborne light detection and ranging (LiDAR) // Journal of Archaeological Science 2014. VOL. 43. Pp. 9-20.
8. Gonzalez R. C., Woods R. E. Digital Image Processing. Second edition. New Jersey. Prentice Hall, Upper Saddle River. 2002. 813 p.
9. Парфентьев К. В. Разработка системы распознавания изображений с использованием самоорганизующихся карт Кохонена // Молодежный научно-технический вестник. МГТУ им. Н.Э. Баумана. Электрон. журн. 2013. № 11. Режим доступа: http://sntbul.bmstu.ru/file/out/635661 (дата обращения 27.11.2017).
10. Miciak Miroslaw. Radon Transformation and principal component analysis method applied in postal adress recognition task // International Journal of Computer Science and Applications 2010. Vol. 7 No. 3, pp. 33-44.
11. Fernandes, L. A. F.; Oliveira, M. M. Real-time line detection through an improved Hough transform voting scheme // Pattern Recognition 2008. Vol. 41 No. 1, pp. 299314.
12. Umbaugh, Scott E. Digital image processing and analysis: human and computer vision applications with CVIPtools (2nd ed.). Boca Raton, FL: CRC Press. 2010. 977 p.
13. Engel K., Hadwiger M., Kniss J., Lefohn A., Rezk-Salama C., Weiskopf D.: Real-Time Volume Graphics. Course Notes SIGGRAPH 2004.
14. Li, Q., Wang, B., & Fan, S. Browse Conference Publications Computer Science and Engineer. Help Working with Abstracts An Improved CANNY Edge Detection Algorithm. In 2009 Second International Workshop on Computer Science and Engineering proceedings: WCSE 2009, pp. 497-500.
Parfentyev Kirill Viktorovich
Bauman Moscow state university, Russia, Moscow Research institute «Informatics and control systems» E-mail: rudefellow@gmail.com
Gavrilov Alexandr Igorevich
Bauman Moscow state university, Russia, Moscow E-mail: alexgavrilov@mail.ru
Creation of the underlying surface models based on the reconstruction of multispectral monitoring data
Abstract. The task of underlying surface models creation becomes more and more urgent in a space industry. The received models can be used for the solution of a wide range of tasks, such as creation of topographic maps of the area, navigation using visible Earth's surface, automatic landing of aerial vehicles.
Using of remote sensing of underlying surface in the optical and radar ranges data for the purpose of navigation parameters determination and a linking objects to dimensional coordinates is considered in this article. Technical means for obtaining of information about underlying surface are considered, effective algorithms of images processing are offered. The algorithm of transformation of digital images to irrespective type is realized. The structure and program realization of system of recognition of images based on Kohonen's self-organizing maps is developed. The research of object location determination opportunity is conducted under various conditions of satellite, radar and aerial photography.
Efficiency of the offered algorithms and the software is confirmed with the solution of location determination on pictures received by various methods in case of variations of environment conditions. Developed techniques and technologies can be used in a task of navigation of autonomous aerial vehicles.
Keywords: aerial vehicle; autonomous navigation; self-organizing maps; underlying surface; digital signal processing; image processing; image recognition
