CC BY
23УДК 303.732
DOI: 10.30987/article_5b28d18f516e25.33251314
И.С. Васендина, А.Т. Гурьев
РАЗРАБОТКА МЕТОДИКИ СТРУКТУРНОГО РАСПОЗНАВАНИЯ ОБЪЕКТОВ ИЗОБРАЖЕНИЙ ПРИРОДНЫХ ЛАНДШАФТОВ ПРИАРКТИЧЕСКИХ ТЕРРИТОРИЙ
Описаны понятие, актуальность и способы исследования природных ландшафтов. Проанализированы существующие подходы к дешифрированию объектов изображений территорий. Предложена методика распознавания объектов изображений природных ландшафтов, основанная на структурном подходе к описанию дешифрируемых объ-
ектов. Приведен разработанный алгоритм структурного описания объектов изображений.
Ключевые слова: природный ландшафт, распознавание объектов изображений, алгоритм структурного описания, системы интеллектуального анализа информации.
I.S. Vasendina, A.T. Guriev
PROCEDURE DEVELOPMENT FOR STRUCTURAL IDENTIFICATION OF LANDSCAPE IMAGE OBJECTS OF ARCTIC AREAS
The paper reports the description of the developed procedure for object structural identification of arctic landscapes. There is shown its comparison with already existing procedures.
In the preface one defines a concept of an arctic landscape, the significance and topicality of its investigation is described, in particular, with the aid of air photography of a region by means of a drone.
There is shown a review of existing procedures for object identification on area photos. A trend to the transition from manual image deciphering with the use of programs to the separation and object analysis at identification is revealed. The limitations in existing procedures connected with the use of only visual signs and separated from them at identification and also non-structured classification regulations are emphasized.
In the main part there is shown a description of the developed procedure for the structural pattern recognition of arctic areas supposing a successive fulfillment of segmentation blocks, classification, a sense identification of object properties and that of the sepa-
Введение
В настоящее время всё больше внимания уделяется исследованию территорий арктической и приарктической зоны. Такой интерес обоснован находящимся здесь большим количеством запасов полезных ископаемых, природных ресурсов, имеющимся транспортным и инфраструктурным потенциалом. При использовании ресурсов данной зоны из-за сложных климатических условий остается важным мониторинг экологического состояния природных объектов. Также значимым является поддержание информации о территориях,
ration of relations between objects. The three last blocks because of the heterogeneity of areas obtained for identification use in algorithms an intelligent analysis of information under processing. They are combined into a single block, which is realized as an algorithm of the structural description of objects of arctic landscape images based on the interaction of specialized intelligent systems. For information transformation the intelligent systems use knowledge on a subject area from a knowledge base. As a result of the algorithm work there is obtained an interrelated structural description of landscape objects.
In conclusion the distinctive features of the procedure mentioned are shown such as a multichannel processing of image flow, the formation of the formalized term description of a subject area, the application of the identification regulations systematized in a knowledge base.
Key words: landscape, recognition of image objects, algorithm of structural description, systems of intelligent information analysis.
нетронутых деятельностью человека (природных ландшафтах), в актуальном состоянии для их сохранения и изучения. Многие из них выделены в особо охраняемые территории.
При исследовании природных ландшафтов приарктических территорий возникают сложности в проведении полевых исследований местности из-за большой площади, труднодоступности и сложных климатических условий. Поэтому распространено применение аэросъемки местности. Часто требуется детальное изучение
территории на уровне отдельных объектов, для чего используется съемка с беспилотных летательных аппаратов (БПЛА), в результате которой получаются высокодетальные снимки. При исследовании объек-
тов местности по их изображениям необходимо проводить дешифрирование снимков. Существуют различные методики распознавания объектов на изображении.
Существующие методики распознавания объектов на изображении
Все существующие методики распознавания объектов на изображении можно представить в общем виде (рис. 1) [1].
Рис. 1. Обобщенное представление методики распознавания изображения
На этапе предобработки осуществляют кодирование и аппроксимацию изображения, чтобы сделать последующую обработку более эффективной. Также выполняют фильтрацию, восстановление и улучшение изображения для устранения шума, восстановления искажений и улучшения качества объектов на изображении. Данные операции производятся в автоматическом или полуавтоматическом режиме при помощи специальных программ.
В блоке выделения и представления объектов осуществляется выделение объектов на изображении путем сегментации и возможно дальнейшее преобразование выделенных сегментов для записи объектов в зависимости от метода дешифрирования.
В блоке анализа объектов производится непосредственно распознавание объектов на изображении, их классификация, а также возможно описание.
Этап предобработки является общим во всех существующих подходах. Различие методик дешифрирования изображения определяется отличиями на этапах выделения и анализа объектов.
До сих пор одним из распространенных способов дешифрирования изображений территорий является выполнение оцифровки снимков оператором с помощью инструментов векторизации или полуавтоматически с применением специального программного обеспечения (из-за необходимости учитывать множество вза-
имосвязанных факторов). Затем распознавание производится вручную или с использованием специализированных приложений и последующей корректировкой результатов. Это обосновано обработкой изображений приложениями на уровне отдельных пикселей или текстур без целостного восприятия объектов (учитываются только прямые дешифровочные признаки).
В настоящее время также существуют информационные системы (eCognition, ENVI Feature Extraction и др.), основанные на подходе GEOBIA (Geographic Object-Based Image Analysis, объектно-ориентированный анализ географических изображений), в которых реализована обработка областей, полученных в результате автоматической сегментации. Это позволяет обрабатывать снимки высокого разрешения, сокращает ошибки распознавания, вызванные шумами. В данных системах реализованы различные методы классификации. При этом скрыт механизм выделения и распознавания объектов, что не дает возможности подстраивать условия отбора объектов в определенный класс. Интересным решением является методика дешифрирования аэрокосмических снимков и разработанная на её основе система семантического кодирования растровых изображений TexSeg, позволяющая автоматизировать выделение на снимках, обводку и расчет параметров значимых объектов местности [2]. Данная методика подразумевает описание изображения в виде
многослойной семантической сети, где каждый объект задается на уровне простых, текстурных и значимых объектов, где эти представления взаимосвязаны. Такое описание объектов позволяет учитывать как прямые, так и косвенные дешиф-ровочные признаки. Классификация основана на заданных эвристических правилах и алгоритмах вывода с использованием нечеткой логики по значениям рассчитанных характеристик свойств объектов изображений. Применение данной методики дает высокую точность распознавания объектов, сравнимую с приведенными выше системами.
Несмотря на успешное применение подхода, использующего объектно-ориентированный анализ географических изображений, существует ряд недостатков при его реализации. Распознанные объекты описываются только классом и, по возможности (если предусмотрено системой), визуальными признаками (яркость, тексту-
ра, параметры формы), а также рассчитанными по изображению характеристиками. Классификация объектов производится согласно совокупности разрозненных правил, основанных только на визуальных признаках. Также немаловажным является то, что в данных системах обрабатываются аэрокосмические снимки. Применение рассматриваемых систем для снимков, получаемых с БПЛА, сложно для высокоде-тальности изображений. Еще одним ограничением является распознавание объектов только на одном изображении, без возможности связи распознанных объектов с разных изображений одной территории.
Предлагается разработать методику структурного распознавания объектов изображений, позволяющую в результате получать структурное описание объекта в терминах предметной области и учитывающую ограничения рассмотренных методик распознавания.
Методика структурного распознавания о приарктических территорий
Предлагаемая методика структурного распознавания объектов изображений природных ландшафтов приарктических территорий в качестве основы предполагает рассмотрение процесса распознавания объектов изображения как системы и заключается в последовательном оперировании с данными на входе, а в последующем - с полученной информацией. При этом поступающие на вход данные структурируются, повышая степень формализации, под последовательным воздействием процедурных знаний. Общие этапы методики
ов изображений природных ландшафтов
можно организовать в следующие блоки (рис. 2):
1. Блок сегментации.
2. Блок классификации.
3. Блок распознавания значений свойств объектов.
4. Блок выделения отношений между объектами.
Информация, поступающая в каждый из этих блоков и получаемая на выходе из них, является описанием представления объектов на изображении, различающимся по уровню формализации.
Рис. 2. Общая схема методики структурного распознавания объектов изображений природных ландшафтов приарктических территорий
Изначально поступающая информация определяется в виде объектов со структурой, описываемой моделью природных ландшафтов приарктических территорий [3], с возможной на данном этапе степенью детализации. Обрабатываясь последовательно в блоках процедурных знаний, структура выделенных объектов изменяется, становится более детализированной и полной по описанию свойств объектов и их связей. Такое преобразование информации можно сравнить с процессом проявления пленки и выявления на ней сфотографированных объектов. Данная методика применяется для перевода графического описания объектов северной экосистемы в формализованное описание при помощи распознавания. Рассмотрим подробнее блоки, составляющие предлагаемую методику.
В блок сегментации в качестве входной информации поступает изображение территории, полученное в результате съёмки с БПЛА. Соответственно на данном этапе объекты изображения находятся на пиксельном уровне представления и определяются как один целый объект -природный ландшафт. При сегментации изображения выделяются границы областей объектов. Для этого применяются стандартные алгоритмы обработки изображения, такие как бинаризация и размытие по Гауссу. В результате сегментации описание объектов переходит на уровень контуров на изображении, структура природного ландшафта теперь определяется как обычное множество выделенных графических объектов. Эти объекты имеют
индексацию, необходимую в дальнейшем для обращения к определенному объекту. Также создается граф, описывающий связи объектов по границе.
Выделенные в предыдущем блоке графические объекты поступают в блок классификации, основной целью которого является отнесение области к какому-то из определенных классов. Набор классов для классификации будет соответствовать типам объектов уровня иерархии в иерархической структурной модели природных ландшафтов приарктических территорий [3], определяемого по степени детальности изображения.
Из-за необходимости работы с областью изображения, а не одним пикселем и его неоднородностью для классификации областей объектов используется обучение «с учителем» по принципу «черного ящика», когда подаются обучающие примеры и значение класса, к которому они относятся. При этом блок классификации обучается относить область к правильному классу.
В блок классификации также передаётся поток информации для обучения блока как управляющее воздействие. На выходе из блока классификации получают графические области известных классов, объекты имеют уровень представления классифицированных образов, а структура распознаваемых объектов природных ландшафтов представляется множеством охарактеризованных объектов.
Задачей, решаемой блоком распознавания свойств, является определение свойств, характерных именно для данного
типа объекта, и переход от графической области к формализованному описанию объектов в неизобразительном виде.
Набор распознаваемых свойств у объектов определяется разработанной моделью предметной области. Из-за разного характера свойств можно выделить три подхода к их распознаванию:
- вычисляемые по изображению;
- выводимые в соответствии с правилами вывода;
- распознаваемые обученным на примерах блоком.
Также есть свойства, значения которых унаследованы от объекта более высокого уровня, или введенные искусственно для удобства работы с формально описанными объектами.
Свойства, значения которых можно вычислять, определяются через число пикселей и масштаб. Свойства, значения которых выводимы по определенным правилам, основываются на зависимости от свойств, значения которых вычислимы и/или распознаются при помощи обученного распознающего блока. Эти зависимости прописаны в иерархической структурной модели природных ландшафтов. Свойства, распознаваемые обученным на примерах блоком, определяются аналогично классу объекта. Отличие состоит в подаваемых обучающих примерах, характеризующих не класс объекта, а определенные значения свойств объектов. В результате на выходе из блока распознавания свойств объекты имеют уровень представления формально описанных образов со свойствами и являются полихроматическим множеством элементов природного ландшафта.
Выделенные объекты могут оказывать влияние друг на друга, поэтому для более полного описания объектов, присутствующих на изображении, поданном для распознавания, необходимо выделять отношения, которые можно описывать при помощи полихроматического графа. Для создания множества связей используется дополнительная информация, поступающая из блока сегментации, в виде графа, представляющего информацию о граничащих объектах. Если для задач исследо-
вания природных ландшафтов необходимо учитывать влияние объектов друг на друга или их свойств, то для определения отношений используется полихроматическое множество. Тогда каждая связь может характеризоваться набором свойств.
В результате обработки информации в блоке выделения отношений получается описание объектов природных ландшафтов приарктических территорий в виде полихроматического графа. Это полностью формализованный вид описания объектов, который можно в дальнейшем использовать для составления баз данных объектов территории, для мониторинга состояния территории и других целей.
В разработанной методике на вход для распознавания может поступать набор изображений одной и той же территории с одинаковой и разной степенью детализации. Предполагается, что степень детализации снимка соответствует определенному уровню в иерархической структурной модели объектов природных ландшафтов приарктических территорий. Тогда при дешифрировании считается, что снимки разной детализации поступают по разным каналам. При обработке потока изображений происходит сегментация от менее детальных изображений к более детальным, а выделенным областям присваивается соответствующий индекс. Такой порядок сегментации необходим для однозначного определения свойств, наследуемых от объекта более высокого уровня иерархии. Также при сегментации создается обобщенный граф, хранящий не только информацию о граничном положении объектов на изображении, но и межуровневые связи типа «часть - целое», выявленные при наложении контуров, полученных при сегментации менее детального изображения на более детальное.
После сегментации выделенные области на изображениях от каждого канала обрабатываются в блоках интеллектуального анализа информации, каждый из которых настроен и обучен под конкретный уровень иерархии с точки зрения иерархической структурной модели природных ландшафтов. Распознавание происходит
последовательно, начиная с менее детальных областей.
В результате применения методики при многоканальном потоке информации для распознавания получается комплексное описание объектов природных ландшафтов, причем качество распознавания увеличивается благодаря контролю при разномасштабном рассмотрении объектов.
При использовании разработанной методики поступающие данные преобразуются посредством прохода через алгоритмы, при этом изменяется структура объектов изображения природного ландшафта. Все алгоритмы, применяемые в данной методике, можно разделить на две категории: вычислительные, когда результат получается путем вычисления по заранее заданному алгоритму, и алгоритмы, результат работы которых нельзя заранее определить. К первым можно отнести набор алгоритмов обработки изображения в блоке сегментации, ко вторым - эвристи-
Алгоритм структурного описания объектов арктических территорий
Данный алгоритм, согласно предложенной методике распознавания, включает реализацию трех блоков. Для решения этих задач недостаточно знаний об алгоритмических способах преобразования подобной информации, и поэтому они не могут быть решены с применением обычных вычислительных алгоритмов. Эти сложности можно устранить путем использования интеллектуальных систем.
Под интеллектуальной системой (ИС) будем понимать систему, созданную для решения некоторой плохо формализованной задачи, не имеющей доступного алгоритмического решения, и использующую для этого дополнительные знания. В данном случае такой задачей будет преобразование информации из одного вида в другой. Все или часть элементов такой системы являются блоками преобразования информации, использующими алгоритмы интеллектуальной обработки информации. Таким образом, алгоритм структурного описания объектов изображений предметной области можно представить через вза-
ческие алгоритмы и алгоритмы, работающие по принципу «черного ящика». Использование алгоритмов второй категории обусловлено необходимостью классификации неоднородной области изображения, а не одного пикселя, из-за чего для решения этой задачи сложно применимы вычислительные алгоритмы классификации. Использование вычислительных алгоритмов, кроме того, осложняется неоднородностью выделенной области ввиду большого разрешения снимка, а также задачей не только классификации, но и описания свойств разного характера.
Таким образом, можно обобщить блоки, использующие алгоритмы второй категории и говорить об интеллектуальном анализе информации в обобщенном блоке (рис. 2). В данном блоке распознавание происходит по разработанному алгоритму структурного описания объектов изображений природных ландшафтов приаркти-ческих территорий.
изображений природных ландшафтов при-
имодействующие интеллектуальные системы ISi.
На вход данного алгоритма (рис. 3) поступает набор выделенных пиксельных областей Rj, представляющих собой объекты природного ландшафта, полученные в результате сегментации. Также поступает граф G, хранящий информацию о соседстве объектов, в котором вершины обозначают индексы выделенных областей, а связь между вершинами графа существует, если выделенные области имеют общую часть границы.
После этого задается пустой шаблон в виде полихроматического множества Ша формально описанных объектов, у элементов которого значения всех свойств ещё не определены.
R,={Ri, R2, ...,R„}
nSA={a1, a2.....aj
For R in R,
class= I50(R)
class
class 1
al=IS1(R)
class 2
arlS;(R)
class k
VlSk(R)
nG=ISG[nsA,G)
Рис. 3. Алгоритм структурного описания объектов изображений природных ландшафтов приарктических территорий Выделенные пиксельные области последовательно обрабатываются. Каждая область проходит сначала через интеллектуальную систему классификации 1Бо, в которой определяется, к какому классу принадлежит данная область. Интеллектуальная система классификации содержит необходимые для этого алгоритмы, а также Заключение
Разработанная методика позволяет, в отличие от существующих, в результате распознавания получать структурированное взаимосвязанное формализованное описание объектов изображений в терминах предметной области. Также при использовании данной методики возможно дешифрировать высокодетальные снимки,
использует информацию о наборе классов из базы знаний, содержащую знания о природном ландшафте в виде модели предметной области.
После определения класса пиксельного объекта происходит активация деятельности соответствующей классу интеллектуальной системы определения значений свойств Необходимость применения для каждого класса своей интеллектуальной системы обусловлена наличием разных свойств для разных групп объектов предметной области. Из этого следует наличие различных наборов алгоритмов в интеллектуальных системах определения свойств объектов разных классов. Знания о свойствах объектов определенного класса и их взаимосвязях также получаются из базы знаний распознавания (БЗ), содержащей модель предметной области (МПрО). Результатом преобразования информации в ИС описания свойств объекта является формализованное описание объекта а! в соответствии с МПрО.
После определения значений свойств каждого выделенного объекта вся информация поступает в интеллектуальную систему выделения отношений Кв, которая на основании информации о граничном расположении объектов в виде графа в и знаний об отношениях между объектами из БЗ с МПрО определяет взаимосвязи между формально описанными распознанными объектами в виде полихроматического графа Пв.
Каждая из интеллектуальных систем в алгоритме структурного описания объектов изображений природных ландшафтов приарктических территорий для преобразования информации из одного вида в другой содержит в себе один и более блоков. Каждый блок представляет собой процесс Р преобразования информации или извлечения какой-то её части.
получаемые с БПЛА. В рассмотренных системах дешифрирования изображений, основанных на подходе ОБОБ1Л, распознавание объекта производится по определенным внутренним правилам или заданным вручную, основанным только на совокупности визуальных признаков и/или выведенных из них. В предложенной же мето-
дике предлагается использование знаний о взаимосвязях в предметной области из составленной БЗ, что позволяет увеличить достоверность распознавания и проводить проверку на непротиворечивость получаемой информации. Возможность обработки потока изображений разной детализации по многим каналам позволяет составлять
СПИСОК ЛИТЕРАТУРЫ
иерархическое структурированное описание природных ландшафтов приарктиче-ских территорий, которое может служить в качестве подробной информации для исследования данной предметной области. Разработанная методика применима для распознавания изображений со схожей структурой предметной области.
1. Гонсалес, Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. - М.: Техносфера, 2005. -1072 с.
2. Кучуганов, А.В. Многоуровневое описание аэрокосмических снимков в задаче автоматизированного дешифрирования / А.В. Кучуганов, А.Н. Соловьева // Интеллектуальные системы в производстве. - 2014. - № 2 (24). - С. 164-166.
3. Васендина, И.С. Структурные исследования природных ландшафтов Соловецких островов / И.С. Васендина, А.Т. Гурьев // Актуальные вопросы технических наук: материалы IV между-нар. науч. конф. (г. Краснодар, февр. 2017 г.). -Краснодар: Новация, 2017. - С. 52-55.
1. Gonsalez, R. Digital image processing / R. Gonsalez, R. Woods. - M.: Technosphere, 2005. -pp. 1072.
2. Kuchuganov, A.V. Multi-level description of aerospace photos in problem of automated deciphering / A.V. Kuchuganov, A.N. Solovyova // Intelligent Systems in Production. - 2014. - No.2 (24). - pp. 164-166.
3. Vasendina, I.S. Structural landscape investigations of Solovetsky Islands / I.S. Vasendina, A.T. Guriev
// Current Problems of Engineering Sciences: Proceedings of the IV-th Inter. Scientific Conf. (Krasnodar, February, 2017). - Krasnodar: Novation. 2017. - pp. 52-55.
Статья поступила в редколлегию 13.03.18. Рецензент: д.т.н., профессор ЛЭТИ Яковлев С.А.
Сведения об авторах:
Васендина Ирина Сергеевна, ассистент Северного (Арктического) федерального университета им. М.В. Ломоносова, е-mail: [email protected].
Vasendina Irina sergeevna, Assistant of Lomonosov Northern (Arctic) Federal University, е-mail: [email protected].
Гурьев Александр Тимофеевич, д.т.н., профессор Северного (Арктического) федерального университета им. М.В. Ломоносова, е-mail: atg1 @rambler.ru.
Guriev Alexander Timofeevich, D. Eng., Prof. of Lomonosov Northern (Arctic) Federal University, е-mail: atg 1 @rambler.ru.
