CC BY
13
УДК 303.732.4 Научная статья DOI: 10.18287/2223-9537-2023-13-3-437-454
Тематическое дешифрирование аэроснимков
лесных территорий на основе концептуального моделирования
© 2023, К.В. ШошинаИ, Р.А. Алешко, В.В. Березовский, И.С. Васендина, А.С. Шошин, А.Т. Гурьев
Северный (Арктический) федеральный университет имени М.В. Ломоносова, Архангельск, Россия Аннотация
Дистанционное зондирование Земли является одним из главных источников информации о земной поверхности. С развитием беспилотных летательных аппаратов появилась возможность делать аэроснимки с высоким пространственным разрешением, по которым можно более точно идентифицировать объекты. Цель исследования - повышение достоверности интерпретации аэроснимков за счёт разработки методики автоматизированной обработки снимков на основе концептуального моделирования. Анализ методов тематического дешифрирования снимков показал, что ни один из них не обеспечивает необходимое качество сегментации без дополнительной настройки под предметную область. Применена методика концептуального моделирования предметных задач, которая обеспечивает адекватность синтаксических представлений (в т.ч. различных изображений), позволяет контролировать логику решения задач и уменьшить количество ошибок на этапе её программной реализации. Приведено описание информационной системы тематического дешифрирования снимков, реализующей разработанную методику. Проведена оценка достоверности тематического дешифрирования снимков лесных территорий. Показано, что разработанная методика позволила улучшить идентификацию лесных объектов на аэроснимках на 18,6%. Развитие данной методики может выполняться для определения характеристик идентифицируемых деревьев: возраст, порода, высота, запас древесины.
Ключевые слова: аэроснимки, кроны деревьев, концептуальное моделирование, тематическое дешифрирование, БПЛА, информационная система.
Цитирование: Шошина К.В., Алешко Р.А., Березовский В.В., Васендина И.С., Шошин А.С., Гурьев А.Т. Тематическое дешифрирование аэроснимков лесных территорий на основе концептуального моделирования // Онтология проектирования. 2023. Т.13, №3(49). С.437-454. DOI:10.18287/2223-9537-2023-13-3-437-454.
Благодарности: авторы выражают признательность членам редколлегии журнала «Онтология проектирования» за замечания и рекомендации по усовершенствованию данной статьи.
Финансирование: работа выполнена при финансовой поддержке Российского научного фонда и Правительства Архангельской области проект № 22-11-20025.
Конфликт интересов: авторы заявляют об отсутствии конфликта интересов.
Введение
На предприятиях лесного комплекса активно внедряются средства автоматизации существующих процессов: геоинформационные системы, электронные карты, логистические системы и др. Для получения всесторонней оценки состояния лесных ресурсов проводят таксацию леса в составе лесоустроительных и лесоохранных работ, что является одной из главных задач в лесном хозяйстве. Таксацию леса можно проводить наземным способом, ведя сплошной перечёт, при котором оценивается каждое дерево. При больших территориях этот способ невозможен в силу его трудоёмкости. Поэтому большое внимание уделяется дистанционному зондированию Земли.
В процессе развития беспилотных летательных аппаратов (БПЛА), цифровых камер, систем точного геопозиционирования появились новые средства сбора актуальной пространственной информации. Технические и технологические новшества могут внести изменения в существующую модель лесного хозяйства при создании эффективных методик обработки, анализа и интерпретации получаемых данных. Поэтому разработка интеллектуальных систем распознавания данных является актуальной темой.
Разрабатываемые технологии интеллектуального анализа данных практически исключают участие человека из процесса распознавания снимков и при этом позволяют учитывать опыт эксперта в дешифрировании. Для организации взаимосвязи между объектами на местности и объектами и их свойствами на снимках предлагается использовать аппарат онтологии, позволяющий структурировать данные предметной области (ПрО) и устанавливать связи между объектами и их свойствами, структурировать информацию из разных ПрО [1-6].
Цель настоящего исследования заключается в повышении достоверности интерпретации крон деревьев по аэроснимкам БПЛА путём разработки и применения методики автоматизированной обработки аэроснимков на основе концептуального моделирования [7-10].
Для выполнения съёмки с воздуха был выбран квадрокоптер серии DJI Phantom, подобраны совместимые аксессуары (подвес и камера) и специализированный объектив «4K LENS 4.35 mm FLAT NDVI».
В качестве опытной площадки (см. рисунок 1) для выполнения исследований была выбрана территория дендросада Северного научно-исследовательского института лесного хозяйства (Архангельск), на которой произрастает разнообразный породный и возрастной состав деревьев, необходимый для проверки работоспособности разрабатываемой методики.
Характеристики используемых технических средств съёмки позволяют чётко различать кроны деревьев до высоты 200 метров. На рисунке 2 показан исходный фрагмент снимка лесного участка, на котором представлены кроны деревьев и межкроновые пространства.
Рисунок 1 - Вид опытной площадки на Рисунок 2 - Исходный снимок с БПЛА
спутниковом снимке
1 Используемые методы
Универсальных методов идентификации объектов на снимках не существует. Алгоритм дешифрирования должен быть адаптирован для конкретной исследуемой отрасли (тематически дешифрирован).
Анализ методов тематического дешифрирования аэроснимков БПЛА [11-17], показал, что ни один из них не даёт достаточного качества сегментации без их дополнительной настройки под ПрО. Для разработки методики автоматизированной обработки аэроснимков БПЛА были выбраны методы фильтрации локальных максимумов и сегментации водораздела. Укрупнённый алгоритм включает определение по снимку границ лесных массивов, а далее выделение кроны каждого дерева отдельно.
Общая схема определения контуров включает операции: предобработка снимка; формирование маркеров; применение метода сегментации водораздела; извлечение и аппроксимация всех контуров. Метод сегментации водораздела может применяться несколько раз для каждого найденного контура кроны в целях повышения точности его выделения каждого дерева. Это обеспечивает определение контура кроны даже для деревьев с небольшими кронами.
При разработке методики автоматизированной обработки аэроснимков БПЛА и её программной реализации применялась методика концептуального моделирования предметных задач (ПрЗ) [7-10]. Концептуальное моделирование - процесс выявления системы знаний ПрО выделенной ПрЗ и фиксации полученных результатов в определённой форме [7]. Процесс концептуального моделирования состоит из следующих этапов описания:
1) динамической составляющей - формирование системы предметных зависимостей (ПЗ) с последующим составлением спецификаций;
2) статической составляющей - формирование основной концептуальной (понятийной) структуры;
3) модели в целом - увязка статической и динамической составляющих в виде матричной диаграммы.
Методика концептуального моделирования позволяет обеспечить адекватность синтаксических представлений (в т.ч. различных изображений), контролировать логику решения задач и уменьшить количество ошибок на этапе программной реализации.
2 Разработка методики
Использование стандартного метода сегментации водораздела не позволяет точно выделять кроны деревьев на снимке БПЛА. В зависимости от настраиваемых параметров результат будет либо обобщённым (многие кроны будут объединены в группу и будут считаться за одно дерево), либо чрезмерно раздробленным (из-за внутренних теней крона одного дерева будет считаться за несколько, а маленькие кроны деревьев не будут обнаружены). Поэтому задача решается в два этапа: определение контуров общей области крон деревьев и разбиение этих областей на контуры единичных деревьев.
На первом этапе маркеры для водораздела определяются методом фильтрации локальных максимумов, на втором - применением адаптивного порога на основе среднего значения. Такие маркеры можно сужать. При сужении маркеры могут разрываться, образуя из одного несколько. При малом сужении разгруппировать кроны не получится, а при большом - потеряются маленькие кроны. Чтобы этого избежать, второй этап повторяется для каждого контура отдельно с увеличением коэффициента сужения до тех пор, пока маркеры не исчезнут полностью. При каждом таком проходе контур, который был разгруппирован, удаляется из рассмотрения, а новые добавляются.
Составлены модельные представления для ПрЗ на основе концептуального моделирования [7, 8]: «первичное определение контуров»; «вторичное определении контуров»; «разгруппирование контуров» (промежуточная задача, обеспечивающая циклическое решение задачи «вторичное определение контуров» для каждого контура отдельно).
2.1 Модельное представление ПрЗ «первичное определение контуров»
Задача заключается в том, чтобы по исходному снимку БПЛА лесной территории выделить области с кронами насаждений без попытки разделить их на отдельные деревья. В результате решения этой задачи формируется список контуров. Общая схема решения задачи состоит в расчёте маркеров методом фильтрации локальных максимумов с применением Евклидова преобразования расстояния и использовании их для выделения объектов методом сегментации водораздела. Далее по найденным объектам можно найти их контуры.
Вначале описывается динамическая составляющая концептуальной модели ПрЗ. Проводится декомпозиция ПрЗ на подзадачи, их проверка и построение диаграмм (системы ПЗ), отражающих декомпозицию ПрЗ. Каждая ПЗ кодируется: буква обозначает ПрЗ, первое число - номер уровня декомпозиции, второе число - порядковый номер действия на уровне.
На рисунке 3 представлена диаграмма декомпозиции ПрЗ «первичное определение контуров», а на рисунках 4-7 - диаграммы декомпозиции сложных ПЗ (СПЗ): «применение метода», «формирование маркеров», «нахождение контуров всех объектов» и «нахождение контура текущего объекта».
Рисунок 3 - Диаграмма декомпозиции предметной задачи «первичное определение контуров»
Рисунок 4 - Диаграмма декомпозиции сложной предметной зависимости «применение метода»
Рисунок 5 - Диаграмма декомпозиции сложной предметной зависимости «формирование маркеров»
Рисунок 6 - Диаграмма декомпозиции сложной предметной зависимости «нахождение контуров всех объектов»
Ь5.2 [
Нахождение контура текущего
объекта
Ьб.1 1 г Ьб.2 Ьб.З ]
Нахождение контура Аппроксимация кривых контуре Добавление контура к
результирующему списку
Рисунок 7 - Диаграмма декомпозиции сложной предметной зависимости «нахождение контура текущего объекта»
СПЗ имеют структурные свойства (см. таблицу 1). Роль параметра определяется функцией, которой соответствует структурное свойство. В таблице 2 приведено описание фрагмента структуры СПЗ ПрЗ «первичное определение контуров». В таблице 3 приведено описание всех ПЗ ПрЗ «первичное определение контуров».
Таблица 1 - Описание структурных свойств сложной предметной зависимости
Структурное свойство (действие) Обозначение Роль параметра
Заголовок последовательности [ Функция последовательности
Последний элемент последовательности ] Функция последовательности
Заголовок цикла { Функция цикла
Тело цикла ! Счётчик цикла
Функция цикла $ Функция итерации
Конец цикла } Функция цикла
Заголовок переключателя ? Аргумент альтернативы
Альтернатива переключателя / Аргумент альтернативы
Функция переключателя # Функция альтернативы
Таблица 2 - Описание фрагмента структуры сложной предметной зависимости предметной задачи «первичное определение контуров»
Код сложного Код начального Код конечного Вид компоновки
действия действия действия
Ъ1.1 Ъ2.1 Ъ2.2 Последовательность
Ъ3.1 Ъ3.2 Последовательность
Ь2.1 Ъ3.2 Ъ3.3 Последовательность
Ъ3.3 Ъ3.4 Последовательность
Ъ2.2 Ъ3.5 Ъ3.6 Последовательность
Ъ3.6 Ъ3.7 Последовательность
Ъ4.1 Ъ4.2 Последовательность
Ъ3.3 Ъ4.2 Ъ4.3 Последовательность
Ъ4.3 Ъ4.4 Последовательность
Ъ3.6 Ъ4.5 - Цикл
Ъ4.5 Ъ5.1 Ъ5.2 Последовательность
Ъ5.2 Ъ5.3 Последовательность
Ъ5.2 Ъ6.1 Ъ6.2 Последовательность
Ъ6.2 Ъ6.3 Последовательность
Ъ5.3 Ъ6.4 - Переключатель
Ъ6.5 - Переключатель
Ъ6.4 Ъ7.1 Ъ7.2 Последовательность
Таблица 3 - Описание предметной зависимости предметной задачи «первичное определение контуров»
Степень фор- Структурное
Код Наименование ПЗ Статус
Ъ1.1 Первичное определение контуров Алг. П [
Ъ2.1 Применение метода Алг. П [
Ъ2.2 Формирование результата Алг. П ] [
Ъ3.1 Перевод снимка в градации серого Ан. Э -
Ъ3.2 Размытие по Гауссу Ан. Э -
Ъ3.3 Формирование маркеров Алг. П [
Ъ3.4 Применение водораздела Ан. Э ]
Ъ3.5 Создание результирующего списка Ан. Э -
Ъ3.6 Нахождение всех контуров Алг. П {
Ъ3.7 Вывод результирующего списка Ан. Э ]
Ъ4.1 Применение порогового значения Ан. Э -
Ъ4.2 Вычисление Евклидова преобразование расстояния Ан. Э -
Ъ4.3 Определение координат локальных максимумов Ан. Э -
Ъ4.4 Создание маркеров Ан. Э ]
Ъ4.5 Нахождение контура 1-ого объекта Алг. П ! $ [
Ъ5.1 Фиксация текущего объекта Ан. Э -
Ъ5.2 Нахождение контура текущего объекта Алг. П [
Ъ5.3 Нахождение контуров всех объектов в зависимости от наличия объекта Ан. П ] ? #
Ъ6.1 Нахождение контура Ан. Э -
Ъ6.2 Аппроксимация кривых контура Ан. Э -
Ъ6.3 Добавление контура к результирующему списку Ан. Э ]
Ъ6.4 Нахождение контуров всех объектов при наличии объекта Алг. П / [
Ъ6.5 Нахождение контуров всех объектов при отсутствии объекта Ан. Э / }
Ъ7.1 Переход к следующему объекту Ан. Э -
Ъ7.2 Нахождение контуров всех объектов при наличии объекта для предыдущего объекта Ан. Э ]
Степень формализации может быть аналитической (ан.), статистической (стат.), эмпирической (эмп.), алгоритмической (алг.), информационной (инф.). Статус ПЗ может быть элементарным (Э), промежуточным (П), квазиэлементарным (КЭ). При описании информационной составляющей задачи проводится классификация информации, определение и описание параметров ПрЗ.
При описании модели в целом проводится связь функциональной и информационной составляющих ПрЗ. В этом процессе необходимо описать все элементарные действия, потоки данных и структурные свойства ПрЗ. В таблице 4 приведено описание содержательных характеристик элементарных ПЗ ПрЗ «первичное определение контуров».
Таблица 4 - Описание содержания элементарных предметных зависимостей предметной задачи «первичное определение контуров»
Код Наименование зависимости Аргументы зависимости Функция зависимости
Ь3.1 Перевод снимка в градации серого Обозначение исходного снимка Обозначение снимка в градации серого
Ь3.2 Размытие по Гауссу Обозначение снимка в градации серого Обозначение размытого снимка
Ь3.4 Применение водораздела Евклидово преобразование расстояния; массив маркеров; порог Обозначение массива объектов
Ь3.5 Создание результирующего списка — Обозначение результирующего списка
Ь3.7 Вывод результирующего списка Обозначение результирующего списка Обозначение результирующего списка
Ь4.1 Применение порогового значения Обозначение размытого снимка Порог
Ь4.2 Вычисление Евклидова преобразования расстояния Порог Евклидово преобразование расстояния
Ь4.3 Определение координат локальных максимумов Евклидово преобразование расстояния; порог Массив координат локальных максимумов
Ь4.4 Создание маркеров Массив координат локальных максимумов Массив маркеров
Ь5.1 Фиксация текущего объекта Количество объектов (счётчик цикла) Номер объекта
Ь6.1 Нахождение контура Обозначение объекта Обозначение контура
Ь6.2 Аппроксимация кривых контура Обозначение контура Обозначение контура
Ь6.3 Добавление контура к результирующему списку Результирующий список; обозначение контура Обозначение результирующего списка
Ь6.5 Нахождение контуров всех объектов при отсутствии объекта Количество объектов; обозначение результирующего списка Обозначение результирующего списка
Ь7.1 Переход к следующему объекту Количество объектов Количество объектов
Ь7.2 Нахождение контуров всех объектов при наличии объекта для предыдущего объекта Номер объекта; обозначение результирующего списка Обозначение результирующего списка
В таблице 5 приведено описание потоков данных, которое обеспечивает нормализованное описание содержательных характеристик (входных и выходных) для каждой элементарной ПЗ. Каждая категория может выполнять роль атрибута (А), функции (Ф) или атрибута по умолчанию (Ау). В таблице 6 описаны структурные свойства для ПЗ ПрЗ «первичное определение контуров».
Итогом концептуального моделирования является формирование матричной диаграммы, отражающей представление ПрЗ «первичное определение контуров» в целом. Фрагмент её представлен на рисунке 8. Для элементарных действий их роль заменяется знаками: «+» для аргумента, «.» для аргумента по умолчанию, «*» для функции.
Таблица 5 - Нормализованное описание содержания предметной зависимости предметной задачи «первичное определение контуров»
Код Код категории Роль Код Код категории Роль
Ь3.1 А3.1 А Ь4.4 А3.9 А
А3.2 Ф А3.5 Ф
Ь3.2 А3.2 А Ь5.1 А3.10 Ау
А3.3 Ф А1.1 Ф
Ь3.4 А3.4 А Ь6.1 А3.11 А
А3.5 А А3.12 Ф
А3.6 А
А3.7 Ф
Ь3.5 А3.8 Ф Ь6.2 А3.12 А3.12 Ау Ф
Ь3.7 А3.8 Ау Ь6.3 А3.8 Ау
А3.8 Ф А3.12 А3.8 А Ф
Ь4.1 А3.3 А Ь6.5 А3.10 Ау
А3.6 Ф А3.8 А3.8 Ау Ф
Ь4.2 А3.6 А Ь7.1 А3.10 Ау
А3.4 Ф А3.10 Ф
Ь4.3 А3.3 А Ь7.2 А1.1 Ау
А3.6 А А3.8 Ау
А3.9 Ф А3.8 Ф
Таблица 6 - Описание структурных свойств предметной зависимости предметной задачи «первичное определение контуров»
Код Код категории Структурное свой- Код Код категории Структурное свой-
ство зависимости ство зависимости
Ь1.1 А3.8 [ Ь4.5 А3.10 А3.8 А3.8 ! $ [
Ь2.1 А3.7 [ Ь5.2 А3.8 [
Ь2.2 А3.8 А3.8 ] [ Ь5.3 А3.8 А3.10 А3.8 ] ? #
Ь3.3 А3.5 [ Ь6.3 А3.8 ]
Ь3.4 А3.7 ] Ь6.4 А3.10 А3.8 / [
Ь3.6 А3.8 { Ь6.5 А3.10 А3.8 / }
Ь3.7 А3.8 ] Ь7.2 А3.8 ]
Ь4.4 А3.5 ]
Матричная диаграмма на рисунке 8 позволяет наглядно показать связь ПЗ (строк) с предметными категориями (столбцами). Обозначения на пересечениях строк и столбцов дают представления о структурах динамической составляющей концептуальной модели: последовательности, циклы, условия, входные и выходные параметры функции.
Матричная диаграмма позволяет проверить логику решения задачи. По матричной диаграмме проще программировать задачу, т.к. уже определены основные структуры и последовательности зависимостей.
А1.1 A3 1 CN гп <1 гп гп <1 A3.4 A3.5 A3.б A3.7 A3.8 0\ С A3 10 A3 11 A3.12
Ы.1 [
Ь2_1 [
Ь3.1 + *
Ь3_2 + *
ЬЗ.З [
Ь4.1 + «
Ь4.2 * +
Ь4.3 + + #
Ь4_4 +
Ь3_4 + + +
Ь2.2 ] [
Ь3.5 *
ЬЗ.б {
Ь4_5 $[ t
Ь5_1 #
Ь5_2 [
Ьб.1 + *
b 6.2 *
Ьб.З -*]
Ь5.3 ]# ?
Ъ6А [ /
Ь7_ 1 *
Ы.2
Ьб.5
Ь3.7 -*]
Рисунок 8 - Фрагмент матричной диаграммы концептуальной модели предметной задачи
«первичное определение контуров»
2.2 Модельное представление ПрЗ «вторичное определение контуров»
Похожее модельное представление имеет ПрЗ «вторичное определение контуров». Задача заключается в том, чтобы разделить контуры, полученные в результате решения ПрЗ «первичное определение контуров», на несколько частей, если в данной области находятся кроны нескольких деревьев.
Имеется изображение с областью исходного снимка одного из контуров. Решение ПрЗ «вторичное определение контуров» состоит из следующей последовательности действий:
1) смешивание цветов (пирамидная фильтрация среднего значения для сглаживания внутренних теней крон деревьев);
2) перевод снимка в градации серого;
3) применение порогового значения;
4) расширение снимка;
5) вычисление Евклидова преобразования расстояния;
6) применение адаптивного порога на основе среднего значения;
7) сужение снимка;
8) удаление шума;
9) создание маркеров;
10) применение сегментации водораздела;
11) нахождение контура (для каждого объекта);
12) аппроксимация кривых контура (для каждого объекта);
13) добавление контура к результирующему списку (для каждого объекта);
14) вывод результирующего списка.
2.3 Модельное представление ПрЗ «разгруппирование контуров»
Решение ПрЗ «разгруппирование контуров» является связующим звеном для перехода от ПрЗ «первичное определение контуров» к ПрЗ «вторичное определение контуров».
Имеется список обобщённых контуров, полученный в процессе выполнения первого этапа дешифрирования. Решение ПрЗ «разгруппирование контуров» осуществляется в следующей последовательности действий:
1) задание индекса эрозии (коэффициента сужения);
2) создание результирующего списка;
3) создание изображения с вырезанной областью контура (для каждого контура);
4) проведение вторичного определения контуров (для каждого контура);
5) замена текущего контура на новый (для каждого контура при условии нахождения более одного контура);
6) перенос контура из исходного списка в результирующий (для каждого контура при условии достижения предела эрозии);
7) увеличение индекса эрозии;
8) вывод результирующего списка.
Действия 3-7 выполняются до тех пор, пока не будут разгруппированы все возможные контуры (пока не будет достигнут индекс эрозии, при котором сотрутся все маркеры).
2.4 Методика автоматизированной обработки снимков БПЛА
Разработанная методика состоит из первичного определения контуров и их дальнейшего разгруппирования, которое включает в себя вторичное определение контуров.
Первичное определение контуров состоит из следующей последовательности действий:
1) предобработка снимка (перевод в градацию серого, размытие по Гауссу);
2) формирование маркеров (применение порогового значения, вычисление Евклидова преобразования расстояния, определение локальных максимумов);
3) применение метода сегментации водораздела;
4) извлечение и аппроксимация всех контуров.
Разгруппирование контуров выполняется для каждого контура, полученного в ходе первичного определения. Оно состоит из следующей последовательности действий:
1) задание начального коэффициента сужения;
2) вырезание из исходного снимка области внутри контура;
3) вторичное определение контура;
4) если разделение произошло, то полученные контуры заменяют исходный;
5) повторение действий 2-4, увеличивая коэффициент сужения, до тех пор, пока вторичное определение контура не перестанет находить контуры.
Вторичное определение контуров состоит из следующей последовательности действий: 1) предобработка снимка (смешивание цветов, перевод в градацию серого);
2) формирование маркеров (применение порогового значения, расширение снимка, вычисление Евклидова преобразования расстояния, применение адаптивного порога на основе среднего значения, сужение снимка, удаление шума);
3) применение метода сегментации водораздела;
4) извлечение и аппроксимация всех контуров.
3 Описание информационной системы
Для разработки информационной системы (ИС) были использованы следующие библиотеки Python:
■ OpenCV и scikit-image (skimage) для обработки изображений и компьютерного зрения;
■ GDAL/OGR для работы с растровыми и векторными геопространственными данными;
■ SciPy для расчёта Евклидова преобразования расстояния;
■ NumPy для работы с многомерными массивами (в таком формате представлены снимки БПЛА для обработки);
■ PyQt для создания пользовательского интерфейса.
Функции, связанные с тематическим дешифрированием, представлены в таблице 7. Все фиксированные числовые значения, используемые в функциях, были получены опытным путём.
Таблица 7 - Функции информационной системы, связанные с тематическим дешифрированием
Функция Входные данные Выходные данные Описание
TreeIdentification1 img (снимок) Список контуров Первичное определение контуров
Ungroup img (снимок), contours (список контуров) Список контуров Разгруппирование контуров нескольких деревьев
TreeIdentification2 img (снимок), iter (степень эрозии) Список контуров Вторичное определение контуров
Expansion Contours img (снимок), eax (список контуров) Контур Расширение контуров
VectorizationContours lst (список контуров), path (путь с именем для сохранения), img (снимок) Сохранение результатов дешифрирования
ConvertCoordinates x и y (пиксельные координаты), listGeo (список информации о географии снимка) Географические координаты Преобразование пиксельных координат в географические
DefinPropertiesPolygon img (снимок), contours (список контуров), listGeo (список информации о географии снимка) Списки параметров полигонов Определение параметров полигонов
Функция TreeIdentification1 выделяет контуры крон деревьев без разгруппирования. Исходный снимок переводится в градации серого функцией cv2.cvtColor. cv2.GaussianBlur размывает по Гауссу снимок для сглаживания внутренних теней крон деревьев. cv2 .threshold применяет порог фиксированного уровня. Функция ndimage.distancetransformedt вычисляет Евклидово преобразование расстояния. peak_local_max находит пики локальных максимумов. На их основе функция ndimage.label создаёт маркеры для водораздела. watershed возвращает матрицу, помеченную с использованием алгоритма сегментации водораздела. Далее выделяется контур каждого определённого объекта. Цикл повторяется по каждому объекту сегментации. Создаётся изображение с размерами исходного снимка, заполненное чёрным
цветом. На нём отображается белый силуэт объекта. Функция cv2.findContours находит контур этого объекта. Кривые контура аппроксимируются, и он добавляется к списку контуров, если его площадь больше определённого минимума (это необходимо для отсеивания помех). Контуры, полученные в результате работы функции TreeMentificatюn1, представлены на рисунке 9.
Рисунок 9 - Контуры, полученные в результате работы функции TreeIdentification1
Функция TreeIdentification2 отвечает за разделение одного контура, если он включает кроны нескольких деревьев. На рисунке 10 представлен пример входного изображения одиночного контура. Изображение переводится в градации серого функцией cv2.cvtColor. cv2.threshold применяет порог фиксированного уровня. На рисунке 11 представлен пример порога фиксированного уровня. cv2.dilate расширяет снимок для устранения случайных разрывов. На рисунке 12 представлен пример расширения снимка. cv2.distanceTransform вычисляет Евклидово преобразование расстояния. Диапазон значений нормируется к стандартной градации изображений в оттенках серого функцией cv2.normalize. На рисунке 13 представлен пример нормализованного Евклидова преобразования расстояния. cv2.adaptiveThreshold применяет адаптивный порог на основе среднего значения. На рисунке 14 представлен пример адаптивного порога на основе среднего значения. Функция cv2.erode сужает изображение в соответствии с выбранным количеством итераций, а cv2.morphologyEx удаляет возникший шум. На рисунке 15 представлен пример сужения снимка.
В переменную unknown записываются неизвестные области с помощью вычитания функции cv2.subtract. cv2.connectedComponents создаёт маркеры для сегментации водораздела. Добавляется последний маркер, обозначающий оставшуюся территорию. cv2.watershed выполняет сегментирование изображения на основе маркера с использованием алгоритма водораздела. На рисунке 16 представлен пример результата работы алгоритма водораздела.
Этот результат необходимо обработать функциями cv2.threshold, cv2.erode и cv2.findContours, чтобы найти контуры близко стоящих друг к другу объектов. Кривые всех найденных контуров аппроксимируются, и они добавляются к списку контуров, если их площади больше определённого минимума (это необходимо для отсеивания помех).
Рисунок 10 - Пример входного Рисунок 11 - Пример порога фик- Рисунок 12 - Пример расширения изображения одиночного контура сированного уровня снимка
I
Рисунок 13 - Пример нормализованного Евклидова преобразования расстояния
Рисунок 1 4 - Пример адаптивного порога на основе среднего значения
Рисунок 15 - Пример сужения снимка
Функция ExpansionContours выполняет расширение контура, необходимое после выполнения функции TreeIdentification2. На нём отображается белый силуэт объекта. Применяется преобразование расстояния. Функция cv2.inRange берёт все пиксели, лежащие в данном диапазоне. cv2.findContours находит расширенный контур, являющийся результатом работы функции ExpansionContours.
Функция VectorizationContours сохраняет контуры крон деревьев и их характеристики в файл формата SHP. Вначале создаётся пустой файл. Средствами GDAL открывается исходный снимок, из которого импортируется информация о системе географических координат и информация о географических трансформациях в список listGeo. CreateLayer создаёт слой для хранения полигонов, FieldDefn и CreateField создают поля для атрибутов полигонов.
Функция ConvertCoordinates конвертирует пиксельные координаты в широту и долготу на основе информации о географии исходного снимка.
Рисунок 16 - Пример результата работы алгоритма водораздела
4 Оценка результатов
При обработке спутниковых снимков невозможно выделить каждый объект отдельно из-за низкого разрешения, поэтому они объединяются в группы. Высокое разрешение снимков БПЛА позволяет это сделать. Поэтому необходимо оценить достоверность идентификации каждого объекта. Из 113 деревьев стандартным методом водораздела правильно было определено 59 (52,2%), а разработанной методикой - 80 (70,8%). Разработанная методика позволила улучшить идентификацию объектов на 18,6%.
Заключение
Разработан прототип ИС, позволяющий на данном этапе идентифицировать контуры отдельных деревьев. Алгоритмы реализованы в виде программного средства на языке программирования Python на основе методики концептуального моделирования, позволяющей автоматизировать обработку и интерпретацию снимков с БПЛА лесных территорий.
В тестовом примере разработанная методика позволила улучшить идентификацию лесных объектов на снимках БПЛА на 18,6%. Развитие данной методики может выполняться для определения характеристик идентифицируемых деревьев: возраст, порода, высота, запас древесины.
Список источников
[1] Боргест Н.М. Формирование и развитие научной дисциплины «онтология проектирования»: краткая история личностного опыта. Онтология проектирования. Т.10, №4(38). 2020. С.415-448. DOI: 10.18287/22239537-2020-10-4-415-448.
[2] Боргест Н.М. Границы онтологии проектирования. Онтология проектирования. Т.7. №1(23). 2017. С.7-33.
[3] Ломов П.А. Применение паттернов онтологического проектирования для создания и использования онто-логий в рамках интегрированного пространства знаний. Онтология проектирования. Т.5. №2(16). 2015. С.233-245.
[4] Смирнов С.В. Онтологический подход к формированию гетерогенных сред моделирования. Вестник Самарского государственного технического университета. Серия: Технические науки. №. 4. 2011. С. 50-61.
[5] Мохов В.А. Концептуальное моделирование как основа проектирования сложных систем. Известия высших учебных заведений. Северо-Кавказский регион. Технические науки. №. 2 (198). 2018. С. 40-47.
[6] Смирнов А.В., Пашкин М.П., Шилов Н.Г., Левашова Т.В. Онтологии в системах искусственного интеллекта: способы построения и организации (часть 1). Новости искусственного интеллекта. 2002. №1(49). C.3-13.
[7] Волкова Г.Д. Концептуальное моделирование проектных задач. М.: МГТУ «СТАНКИН», 2016. 117 с.
[8] ВолковаГ.Д. Методология автоматизации интеллектуального труда. М.: Янус-К, 2013. 102 с.
[9] Новоселова О.В. Моделирование предметных задач на начальных этапах автоматизации проектной деятельности. М.: ФГБОУ ВО «МГТУ «СТАНКИН», 2016. 100 с.
[10] Vasendina I., Shoshina K., Guriev A., Aleshko R. Automated processing of unmanned aerial vehicles images based on conceptual modeling of objective tasks. In: Journal of Physics: Conference Series, 2020. Volume 1553, Issue 1.
[11] Gonzales RC. Digital Image Processing. 3rd ed. RC. Gonzales, RE. Woods; - New Jersey : Pearson Prentice Hall, 2008.
[12] Larsen M., Eriksson M., Descombes X., Perrin G., Brandtberg T., Gougeon F. Comparison of six individual tree crown detection algorithms evaluated under varying forest conditions. International Journal of Remote Sensing. 2011. V.32, №20. P.5827-5852.
[13] Baddeley A.J,. MNM Van Lieshout. Stochastic geometry models in high-level vision. Journal of Applied Statistics. 1993. V.20, № 5-6. P.231-256.
[14] Ke Y., Quackenbush L.J. A review of methods for automatic individual tree-crown detection and delineation from passive remote sensing. International Journal of Remote Sensing. 2011. V.32, №17. P.4725-4747.
[15] Pouliot D.A., King D.J., Bell F. W., Pitt D.G. Automated tree crown detection and delineation in high-resolution digital camera imagery of coniferous forest regeneration. Remote Sensing of Environment. 2002. V.82, № 2. P.322-334.
[16] Gougeon F. A crown-following approach to the automatic delineation of individual tree crowns in high spatial resolution aerial images. Canadian Journal of Remote Sensing. 1995. V.21, № 3. P.274-284.
[17] Szelisk, R. Computer vision: algorithms and applications. 1st ed; London : Springer-Verlag, 2010.
[18] Shoshina K., Vasendina I., Volkova G., Tyurbeeva T. Development of a methodology for determining overgrown agricultural fields based on data from unmanned aerial vehicles on computer vision. in Proc. of SPIE - The International Society for Optical Engineering, 2021, 11758, 117580V.
[19] Алешко Р.А., Гурьев А.Т. Методика тематического дешифрирования аэрокосмических снимков таежных лесов с использованием методов системного анализа. Arctic Environmental Research. 2013. №3. С.126-132.
[20] Embley D. W., Thalheim B. Handbook of conceptual modeling: theory, practice, and research challenges: Springer Science & Business Media, 2012.
[21] Guizzardi G., Wagner G. Using the unified foundational ontology (UFO) as a foundation for general conceptual modeling languages. Theory and applications of ontology: computer applications. Dordrecht: Springer Netherlands, 2010. P.175-196.
[22] Wand Y., Storey V.C., Weber R. An ontological analysis of the relationship construct in conceptual modeling. ACM Transactions on Database Systems (TODS). 1999. ^24. №4. P.494-528.
[23] Guizzardi G. Towards ontological foundations for conceptual modeling: The unified foundational ontology (UFO) story. Applied ontology. 2015. ^10. №3-4. P.259-271.
Сведения об авторах
Шошина Ксения Владимировна, 1982 г. рождения. Окончила Архангельский государственный технический университет (АГТУ) в 2005 г., к.т.н. (2016). Доцент кафедры информационных систем и информационной безопасности Северного (Арктического) федерального университета (САФУ) имени М.В. Ломоносова, с.н.с. Центра искусственного интеллекта и анализа больших данных САФУ имени М.В. Ломоносова. В списке научных трудов более 60 работ в области системного анализа и интеллектуального анализа пространственных данных. Author ID (РИНЦ): 616230; Author ID (Scopus): 56588048300; Researcher ID (WoS): N-3539-2016. k.shoshina@narfu.ru. И.
Алешко Роман Александрович, 1987 г. рождения. Окончил АГТУ в 2009 г., к.т.н. (2014). Профессор кафедры информационных систем и информационной безопасности САФУ имени М.В. Ломоносова, с.н.с. Центра искусственного интеллекта и анализа больших данных САФУ имени М.В. Ломоносова. В списке научных трудов более 50 работ в области создания методов анализа и интерпретации данных с космических спутников и беспилотных летательных аппаратов. Author ID (РИНЦ): 609474; Author ID (Scopus): 56588041100; Researcher ID (WoS): ABF-8022-2020. r. aleshko@gmail.com
Березовский Владимир Валерьевич, 1978 г. рождения. Окончил Lulea University of Technology, Швеция в 2002 г. и Поморский Государственный университет имени М.В. Ломоносова в 2003 г., к.ф.-м.н. (2009). Профессор кафедры информационных систем и информационной безопасности САФУ имени М.В. Ломоносова, с.н.с. Центра искусственного интеллекта и анализа больших данных САФУ имени М.В. Ломоносова. В списке научных трудов более 60 работ в области вычислительной физики, геоинформатики и ИИ. SPIN-код(SCIENCE INDEX): 5042-1121, AuthorID^^^: 602408; Author ID (Scopus): 24330874600; Researcher ID (WoS): W-3888-2017. v.berezovsky@narfu.ru.
Васендина Ирина Сергеевна, 1988 г. рождения. Окончила Северный (Арктический) федеральный университет (САФУ) в 2010 г., к.т.н. (2018). Доцент кафедры информационных систем и информационной безопасности САФУ имени М.В. Ломоносова, с.н.с. Центра искусственного интеллекта и анализа больших данных САФУ имени М.В. Ломоносова. В списке научных трудов более 30 работ в области системного анализа и ИИ. Author ID (РИНЦ): 852915; Author ID (Scopus): 57217135305; Researcher ID (WoS): AAO-3831-2020. i.vasendina@narfu.ru.
Шошин Алексей Сергеевич, 1983 г. рождения. Окончил АГТУ в 2005 г., к.т.н. (2016). Ассистент кафедры информационных систем и информационной безопасности САФУ имени М.В. Ломоносова. В списке научных трудов 3 работы в области системного анализа и ИИ. ashoshin@gmail.com.
Гурьев Александр Тимофеевич, 1949 г. рождения. Окончил Архангельский лесотехнический институт им. В.В. Куйбышева в 1971 г., к.т.н. (1980), д.т.н. (2012). Профессор кафедры информационных систем и информационной безопасности САФУ имени М.В. Ломоносова. В списке научных трудов более 70 работ в области системного анализа и ИИ. Author ID (РИНЦ): 495876; Author ID (Scopus): 56587843700; Researcher ID (WoS): AAO-3894-2020. atg1i@rambler.ru.
m
Поступила в редакцию 24.05.2023, после рецензирования 14.08.2023. Принята к публикации 31.08.2023.
Scientific article DOI: 10.18287/2223-9537-2023-13-3-437-454
Thematic interpretation of aerial photographs of forest areas based on conceptual modeling
© 2023, K.V. Shoshina^, R.A. Aleshko, V.V. Berezovsky, I.S Vasendina, A.S. Shoshin, A.T. Guryev
Northern (Arctic) Federal University, Arkhangelsk, Russia
Abstract
Earth remote sensing (ERS) is one of the main sources of information about the earth's surface. With the development of unmanned aerial vehicles (UAVs), it became possible to take aerial photographs with high spatial resolution, which can be used to more accurately identify objects. The purpose of the study is to increase the reliability of aerial imagery interpretation by developing a methodology for automated image processing based on conceptual modeling. An analysis of the methods for thematic interpretation of images showed that none of them provides sufficient quality of segmentation without additional adjustment to the subject area. The technique of conceptual modeling of subject tasks is applied, which ensures the adequacy of syntactic representations (including various images) and makes it possible to control the logic of solving problems and reduce the number of errors at the stage of its software implementation. The description of the information system for thematic interpretation of images, which implements the developed methodology, is given. An assessment was made of the reliability of thematic interpretation of images of forest areas. It is shown that the developed technique allowed to improve the identification of forest objects on aerial photographs by 18.6%. The development of this technique can be carried out to determine the characteristics of identifiable trees: age, species, height, and wood stock.
Key words: aerial photographs, tree crowns, conceptual modeling, thematic interpretation, UA V, information system.
For citation: Shoshina K.V., Aleshko R.A., Berezovsky V.V., Vasendina I.S., Shoshin A.S., Guryev A.T. Thematic interpretation of aerial photographs of forest areas based on conceptual modeling [In Russian]. Ontology of designing. 2023; 13(3): 437-454. DOI:10.18287/2223-9537-2023-13-3-437-454.
Acknowledgment: This work was supported by the Russian Science Foundation and the Government of the Arkhangelsk region under grant № 22-11-20025.
Conflict of interest: The authors declare no conflict of interest.
List of figures and tables
Figure 1 - Experimental site on a satellite image Figure 2 - Original image from a UAV
Figure 3 - Decomposition diagram of the "Primary definition of contours" subject task
Figure 4 - Decomposition diagram of the "Application of the method" complex subject dependence
Figure 5 - Decomposition diagram of the "Formation of markers" complex subject dependence
Figure 6 - Decomposition diagram of the "Finding the contours of all objects" complex subject dependence
Figure 7 - Decomposition diagram of the "Finding the contour of the current object" complex subject dependence
Figure 8 - A fragment of the matrix diagram of the conceptual model of the "Primary definition of contours" subject
task
Figure 9 - Contours resulting from the TreeIdentification1 function Figure 10 - An example of a single contour input image Figure 11 - Fixed level threshold example Figure 12 - Example of a snapshot extension
Figure 13 - An example of a normalized Euclidean distance transform Figure 14 - An example of an adaptive threshold based on the mean Figure 15 - Image narrowing example
Figure 16 - An example of the result of the watershed algorithm Table 1 - Description of the structural properties of subject dependencies
Table 2 - A fragment description of the complex subject dependencies structure of the "Primary definition of contours" subject task
Table 3 - Description of the subject dependencies of the "Primary definition of contours" subject task
Table 4 - Description of elementary dependencies of the "Primary definition of contours" subject task
Table 5 - Normalized description of the subject dependencies content of the "Primary definition of contours" subject
task
Table 6 - Description of the structural properties of subject dependencies of the "Primary definition of contours" subject task
Table 7 - System functions related to thematic decoding
References
[1] Borgest NM. Formation and development of the scientific discipline "ontology of designing": a brief history of personal experience [In Russian]. Ontology of designing. 2020; 10(4): 415-448. - DOI: 10.18287/2223-9537-202010-4-415-448.
[2] Borgest NM. The boundaries of the ontology of designing [In Russian]. Ontology of designing. 2017; 7(1): 7-33.
[3] Lomov PA. Application of ontological design patterns for the creation and use of ontologies in an integrated knowledge space [In Russian]. Ontology of designing. 2015; 5(2).. 233-245.
[4] Smirnov SV. Ontological approach to the formation of heterogeneous modeling environments [In Russian]. Bulletin of the Samara State Technical University. Series: Engineering sciences. No. 4. 2011. 50-61.
[5] Mokhov VA. Conceptual modeling as a basis for the design of complex systems [In Russian]. News of higher educational institutions. North Caucasian region. Technical science. No. 2 (198). 2018. 40-47.
[6] Smirnov AV, Pashkin MP, Shilov NG, Levashova TV. Ontologies in artificial intelligence systems: methods of construction and organization (part 1) [In Russian]. News of artificial intelligence. 2002; 1(49): 3-13.
[7] Volkova GD. Conceptual modeling of design problems [In Russian]. Moscow: FGBOU VO "MSTU "STANKIN", 2016.
[8] Volkova GD. Methodology of automation of intellectual work [In Russian]. Moscow: Janus-K, 2013.
[9] Novoselova OV. Modeling of subject tasks at the initial stages of automation of project activities [In Russian]. Moscow: FGBOU VO "MSTU "STANKIN", 2016. 100 p.
[10] Vasendina I, Shoshina K, Guriev A, Aleshko R. Automated processing of unmanned aerial vehicles images based on conceptual modeling of objective tasks. In: Journal of Physics: Conference Series, 2020; 1553(1).
[11] Gonzales RC, Woods RE. Digital Image Processing. 3rd ed. New Jersey: Pearson Prentice Hall, 2008.
[12] Larsen M, Eriksson M, Descombes X, Perrin G, Brandtberg T, Gougeon F. Comparison of six individual tree crown detection algorithms evaluated under varying forest conditions. International Journal of Remote Sensing. 2011; 32(20): 5827-5852.
[13] Baddeley AJ, Van Lieshout MNM. Stochastic geometry models in high-level vision. Journal of Applied Statistics. 1993; 20(5-6): 231-256.
[14] Ke Y, Quackenbush LJ. A review of methods for automatic individual tree-crown detection and delineation from passive remote sensing. International Journal of Remote Sensing. 2011; 32(17): 4725-4747.
[15] Pouliot DA, King DJ, Bell FW, Pitt DG. Automated tree crown detection and delineation in high-resolution digital camera imagery of coniferous forest regeneration. Remote Sensing of Environment. 2002; 82(2): 322-334.
[16] Gougeon F. A crown-following approach to the automatic delineation of individual tree crowns in high spatial resolution aerial images. Canadian Journal of Remote Sensing. 1995; 21(3): 274-284.
[17] Szelisk, R. Computer vision: algorithms and applications. 1st ed. R. Szeliski; London: Springer-Verlag, 2010.
[18] Shoshina K., Vasendina I., Volkova G., Tyurbeeva T. Development of a methodology for determining overgrown agricultural fields based on data from unmanned aerial vehicles on computer vision // in Proc. of SPIE - The International Society for Optical Engineering, 2021, 11758, 117580V.
[19] Aleshko RA, Guryev AT. Methods of thematic interpretation of aerospace images of taiga forests using methods of system analysis [In Russian]. Arctic Environmental Research. 2013; 3: 126-132.
[20] Embley DW, Thalheim B. Handbook of conceptual modeling: theory, practice, and research challenges: Springer Science & Business Media, 2012.
[21] Guizzardi G, Wagner G. Using the unified foundational ontology (UFO) as a foundation for general conceptual modeling languages // Theory and applications of ontology: computer applications. Dordrecht: Springer Netherlands, 2010. P.175-196.
[22] Wand Y, Storey VC, Weber R. An ontological analysis of the relationship construct in conceptual modeling. ACM
Transactions on Database Systems (TODS). 1999; 24(4): 494-528.
[23] Guizzardi G. Towards ontological foundations for conceptual modeling: The unified foundational ontology (UFO) storyAppliedontology. 2015; 10(3-4): 259-271.
About the authors
Ksenia Vladimirovna Shoshina (b. 1982). Graduated from the Arkhangelsk State Technical University (ASTU) in 2005, Ph.D. (2016). Associate Professor of the Department of Information Systems and Information Security of the Higher School of Information Technologies and Automated Systems of NArFU. M.V. Lomonosov, a senior researcher of the Center for Artificial Intelligence and Big Data Analysis of NArFU named after M.V. Lomonosov. The list of scientific works includes more than 60 works in the field of system analysis and intellectual analysis of spatial data. Author ID (RSCI): 616230; Author ID (Scopus): 56588048300; Researcher ID (WoS): N-3539-2016. k. shoshina@narfu. ru.
Roman Alexandrovich Aleshko (b. 1987). Graduated from the Arkhangelsk State Technical University in 2009, Cand. of Sciences. (2014). Professor of the Department of Information Systems and Information Security of the Northern (Arctic) Federal University named after M.V. Lomonosov. The list of scientific papers includes more than 50 works in the field of creating methods for analyzing and interpreting data from space satellites and unmanned aerial vehicles. Author ID (RSCI): 609474; Author ID (Scopus): 56588041100; Researcher ID (WoS): ABF-8022-2020. r. aleshko@gmail.com
Vladimir Valerievich Berezovsky (b.1978). Graduated from the Lulea University of Technology, Sweden in 2002 and the Pomeranian State University named after M.V. Lomonosov in 2003, Ph.D. (2009). Professor of the Department of Information Systems and Information Security of the Northern (Arctic) Federal University named after M.V. Lomonosov, a senior researcher at the Center for Artificial Intelligence and Big Data Analysis of NArFU named after M.V. Lomonosov. The list of scientific papers includes more than 60 works in the field of computational physics of highperformance and distributed computing, geoinformatics and AI. SPIN-code (SCIENCE INDEX): 5042-1121, Au-thorID(RSCI): 602408; Author ID (Scopus): 24330874600; Researcher ID (WoS): W-3888-2017. v. berezovsky@narfu.ru.
Irina Sergeevna Vasendina (b. 1988). Graduated from the Northern (Arctic) Federal University (NArFU) in 2010, Ph.D. (2018). Associate Professor of the Department of Information Systems and Information Security of the Northern (Arctic) Federal University named after M.V. Lomonosov, a senior researcher at the Center for Artificial Intelligence and Big Data Analysis of NArFU named after M.V. Lomonosov. The list of scientific papers includes more than 30 works in the field of system analysis and AI. Author ID (RSCI): 852915; Author ID (Scopus): 57217135305; Researcher ID (WoS): AA0-3831-2020. i.vasendina@narfu.ru.
Alexey Sergeevich Shoshin (b. 1983). Graduated from the Arkhangelsk State Technical University (ASTU) in 2005, Ph.D. (2016). Assistant of the Department of Information Systems and Information Security of the Higher School of Information Technologies and Automated Systems of NArFU. M.V. Lomonosov. The list of scientific papers includes 3 works in the field of system analysis. ashoshin@gmail.com.
Alexander Timofeevich Guryev (b. 1949). Graduated from the Arkhangelsk Forestry Institute named after V.V. Kuibyshev in 1971, Ph.D. (1980), D.Sc. (2012). Professor of the Department of Information Systems and Information Security of the Northern (Arctic) Federal University named after M.V. Lomonosov. The list of scientific papers includes more than 70 works in the field of system analysis and AI. Author ID (RSCI): 495876; Author ID (Scopus): 56587843700; Researcher ID (WoS): AA0-3894-2020. atg1i@rambler.ru.
Received May 24, 2023. Revised August 14, 2023. Accepted August 31, 2023.
