CC BY
17Информатика, вычислительная техника и управление
УДК 303.732
DOI: 10.30987/article_5b05328d772003.22823128
И.С. Васендина, Л.В. Абрамова, А.Т. Гурьев, М.И. Корзина, К.В. Шошина
ПРИМЕНЕНИЕ ЗНАНИЙ О ПРЕДМЕТНОЙ ОБЛАСТИ ПРИ РАСПОЗНАВАНИИ И ОПИСАНИИ ОБЪЕКТОВ ИЗОБРАЖЕНИЙ
СЕВЕРНЫХ ЭКОСИСТЕМ
Приведен анализ существующих методов распознавания и описания объектов изображений. Описаны ограничения их использования для дешифрирования высокодетальных изображений, получаемых с БПЛА. Предложено использовать дополнительные знания о предметной области для увеличения объема получаемой при распознавании информации. Приведена обобщенная схема систе-
мы знаний в процессе дешифрирования изображения, включающая модель предметной области в качестве декларативных знаний. Описан процесс распознавания объектов изображений с использованием системы знаний.
Ключевые слова: распознавание образов, система знаний, декларативные знания, модель предметной области, северные экосистемы.
I.S. Vasendina, L.V. Abramova, A.T.Guriev, M.I. Korzina, K.V. Shoshina
APPLICATION OF KNOWLEDGE ON SUBJECT FIELD AT IDENTIFICATION AND DESCRIPTION OF OBJECTS OF NORTHERN ECOSYSTEM PRESENTATION
The paper reports the application of knowledge on a subject field as an additional one at the identification and description of objects of the northern ecosystem images. There is shown an analysis of existing methods for identification and description of image objects. The limitations of their use for the decryption of thorough images obtained from unmanned aerial vehicles are described. The additional knowledge on the subject field to increase the amount of information
obtained at identification is offered. A generalized scheme of the knowledge system in the course of image decryption including a model of the subject field as declarative knowledge is presented. A process of image object identification with the use of a knowledge system is described.
Key words: object identification, knowledge system, declarative knowledge, model of subject field, northern ecosystem.
Введение
Системной проблемой, затрудняющей эффективный экологический контроль, экономическую оценку запасов природных ресурсов, поддержание данных о территории в актуальном состоянии, является отсутствие достоверной и актуальной информации в необходимом объеме об объектах экосистем. Особенно остро данный вопрос встает при исследовании труднодоступных территорий северных экосистем, имеющих достаточно большую площадь. Основным материалом при этом служат карты, результаты полевых исследований. Также используются материалы
аэросъемки. В последнее время все чаще используются снимки с БПЛА, имеющие разрешение в несколько сантиметров. Из-за возрастающего объема получаемых данных в форме изображений при съемке местности все более актуальным становится переход от ручного визуального дешифрирования к автоматизированному.
На сегодняшний день до сих пор существует проблема достаточно низкой достоверности информации, получаемой при обработке изображений территорий автоматизированными методами дешифрирования.
Анализ методов автоматизированного дешифрирования изображений
Автоматизированные методы дешифрирования направлены на отнесение
образа к одному из определенных классов. Большинство различных математических
методов решения задач распознавания образов можно отнести в одну из двух групп: одна содержит методы, основанные на теории принятия решений (дискриминант-ный подход), а другая базируется на синтаксическом (структурном) подходе [1].
При исследовании задачи распознавания образов методы, основанные на теории принятия решений, в основном предполагают попиксельную обработку изображения. Они получили большое развитие и в действительности достигли высоких результатов. Так, задавая образ набором признаков х = (х1/х2, ... (значения
яркости пикселей образа, контурные точки, текстурные параметры, коэффициенты Фурье и др.), при помощи одного из наиболее подходящих при решаемой задаче классификаторов производят его классификацию с достаточно высокой степенью точности. Однако существует ряд ограничений для применения дискрими-нантных методов. Во-первых, из-за больших размеров изображений и достаточного количества классов процесс классификации изображения требует больших вычислительных ресурсов. Также возникает проблема выбора набора значимых признаков из всего пространства признаков для отнесения образа к определенному классу. Более важным ограничением при использовании дискриминантных методов является невозможность получения описания изображения в целом, его структуры и взаимосвязи с другими объектами, необходимых для дальнейшей обработки информации, которая на нем представлена. При применении данных методов в качестве результата получается изображение, требующее дальнейшей обработки. Несмотря на ограничения, данные методы широко используются для задач, в которых требуется только классифицировать образ без необходимости его структурного описания, а также для первичной обработки изображений.
При дешифрировании изображений, когда объекты представляются некоторой неоднородной областью с богатой структурной информацией, а задача распознавания требует не только классификации, но и описания объектов, необходимо примене-
ние структурного (синтаксического) подхода. Это особенно актуально при распознавании объектов на высокодетальных изображениях, получаемых с БПЛА, где образ представляется неоднородной областью.
Получение символического описания изображения представляет собой процесс перехода от простейших признаков изображения (значения яркости, параметры текстуры, контурные точки) к меньшему набору средств описания, которые можно в последующем интерпретировать, преобразовывать и получать больший объем информации об объектах на изображении. Таким образом, становится возможным обойти основные ограничения дискрими-нантного подхода, такие как большой объем признаков и отсутствие описания объекта. При уменьшении объема входных данных путем перехода от пиксельного представления объектов на изображении к символическому описанию возрастают объем получаемой информации об объектах и скорость её обработки за счет возможности более качественной семантической интерпретации описания объектов.
Описание представленной на изображении сцены, состоящей из объектов, получают при синтаксическом методе путем выделения простейших структурных элементов и составления из них описания сложного объекта в виде иерархической структуры, подобно тому как предложения естественного языка строятся из слов согласно правилам грамматики, а слова, в свою очередь, - из букв.
Структурные, или синтаксические (лингвистические), методы предлагают единый методологический подход к задаче распознавания объектов изображения [2]. Основная идея методов заключается в том, что задается множество непроизводных элементов. Непроизводные элементы формируются из признаков (например, контурные точки группируются в отрезки или замкнутые кривые, элементы с одинаковой яркостью или текстурой объединяются в однородные области) или задаются экспертом исходя из особенностей решаемой задачи. Из выделенных непроизводных элементов составляются структурные опи-
сания образов. Также составляется набор правил (в форме грамматики или семантического интерпретатора), управляющих объединением элементов. В результате получается описание объектов изображения (или сцены) в терминах непроизводных элементов. Задача распознавания решается посредством построения «распознавателя», работа которого определяется набором правил грамматики или семантического интерпретатора, содержащих априорные знания о сцене. Образ относят к тому классу, в котором его описание оказывается синтаксически правильным.
В практических задачах распознавания образов структурный и дискриминант-ный подходы часто дополняют друг друга. Структурная информация об образах важна и должна быть использована при дешифрировании, при этом для распознавания непроизводных элементов, содержащих мало структурной информации, лучше применять дискриминантные методы. После того как выделены непроизводные элементы, производится синтаксическое распознавание образов.
Анализ существующих структурных методов выявил, что результатом таких методов дешифрирования является только описание формы объекта, при этом свойствами образа также служат параметры формы (кривизна, параллельность, окон-
Система знаний в процессе распознавания
Для распознавания и описания объектов предметной области, а именно объектов северных экосистем, необходимо обладать сведениями об этих объектах, их характеристиках, отношениях между ними. Другими словами, необходимо владеть знаниями о предметной области. В [4] знание определяется как «информация, которая отражает объективные свойства и связи некоторых объектов, явлений, процессов, сущностей и отношений между ними как в субъективном, так и в научном (объективном) выражении». Знания о предметной области могут быть разрозненными, а порой и противоречивыми, поэтому для эффективного использования необходимо их каким-то образом связывать, упорядочивать, структурировать.
чание, элементарный графический элемент и др.). Отнесение к определенному классу производится исходя из анализа полученного описания формы.
Результатом распознавания при использовании различных методов дешифрирования остается значение класса объекта без указания других его характеристик в терминах предметной области. Интерес представляет разработка методов дешифрирования, позволяющих получать из графического представления объекта его описание в терминах предметной области, которое можно было бы без дополнительной обработки и интерпретации использовать для принятия решений в рассматриваемой предметной области. Для разработки таких методов необходимо использовать в алгоритмах распознавания дополнительную информацию в виде знаний о предметной области. Возможность такого подхода с привлечением семантики при распознавании упоминается в [3], но не рассматривается описание его реализации и применение. Привлечение подобных знаний позволит не только получать описание объектов, но и увеличить достоверность распознавания за счет использования знаний о закономерностях в предметной области. Также при описании не только класса объекта, но и значений его характеристик увеличится объем получаемой информации.
объектов изображений
Можно говорить о системе знаний для процесса распознавания объектов, понимая под этим совокупность знаний, образующих целостное описание проблемы распознавания и описания объектов на изображении с доступной и достаточной степенью точности. Система знаний содержит сведения о структуре предметной области, её объектах, связях, свойствах, закономерностях. В данном случае в качестве предметной области выступают объекты, распознаваемые на изображениях, то есть объекты северной экосистемы. Соответственно для оперирования знаниями о предметной области необходимо каким-то образом представлять их в знаковой форме. Таким образом, система знаний должна хранить модель предметной области, кото-
рая будет являться способом представления знаний.
Система знаний по распознаванию и описанию объектов северных экосистем на изображении хранит как декларативные знания, так и процедурные. К декларативным знаниям относится формальное (знаковое) описание предметной области, то есть её модель. Под процедурными знаниями понимается инициирование действий над декларативными знаниями. Это могут быть правила вывода, логические правила решения задачи и другие алгоритмы, которые хранят знания о том, как необходимо преобразовывать информацию об объекте в процессе распознавания и описания объектов изображений.
В общем виде система знаний, или база знаний (БЗ), используемая при распознавании и описании объектов изображения, представлена на рис. 1.
Для описания информации с разной степенью формализации в процессе распознавания, а особенно важным это становится при переходе к неизобразительному
описанию объектов, необходимо разработать модель предметной области (модель северной экосистемы) с использованием одного из средств представления знаний. Такая модель должна содержать не только способ представления информации о распознаваемых объектах, но и знания об объектах северной экосистемы в целом, их свойствах и отношениях между ними.
Модель северной экосистемы как декларативные знания основана на разработанной иерархической структурной модели природных ландшафтов [5]. Аппарат теории полихроматических множеств и графов, использованный при создании модели, имеет высокий уровень формализации при описании предметной области, позволяет характеризовать не только объекты, но и отношения между ними, а также учитывает синергетический эффект свойств объектов. Существующая модель была доработана путем описания свойств объектов, выявления влияния свойств друг на друга, описания отношений между объектами.
Рис. 1. Система знаний, используемая при На нулевом уровне иерархии северная экосистема является неделимым объектом и не представляет интереса в рамках данного исследования. При первом членении северная экосистема представляется набором больших площадных объектов (леса, болота, луга, тундровые пустоши, зоны литорали) и формально описывается как полихроматическое множество ПБд0. Так как наиболее интересной задачей яв-
распознавании и описании объектов изображения
ляется распознавание и описание отдельных объектов на снимках с БПЛА (дерево, кустарник, малый площадной объект, камень, водоросль, песок и др.), то подробное описание приведено для второго уровня иерархии А2, объекты которого являются элементами больших площадных объектов северной экосистемы А^, описываемых
как полихроматические множества П5А1: 57
л)
(A},F(A2XF(A}),[A} X F(A%[Aj X F(A})]),
множе-
ство одиночных элементов и малых площадных объектов, относящихся ко второ-ii.
му уровню иерархии и расположенных на территории большого площадного объекта
Aj , F(A2) — {Fq, Fl Fzz , F32, Fi, Fs2, F62, Ff, F2, , F^lr F^2, , F24}
F^1) и F(C) (в данном
множество различных свойств всех элементов А^ Е Aj (место произрастания растений, тип объекта, порода/ вид, группа возраста, дефекты, ярус, характер произрастания, вид прикрепления и др.);
= |Т22, Г42, Р^} - множество различных свойств множества А^ в целом (Т22, Р42 являются аддитивными (место произрастания, порода/ вид), а свойство F12з - си-нергетическим (тип леса)).
Также при описании полихроматического множества П541 приводится матрица
отношения элементов множества и свойств всего множества X и матрица
отношения элементов множества и множества всех персональных свойств элементов [А}ХР(А%
Объекты второго уровня оказывают влияние друг на друга, поэтому взаимосвязанные объекты описаны при помощи полихроматического графа ПG одним из наборов:
ПС = СС,РСС),П5А1 ,С), ПС = СС,РСС),П5А1,П5с), где С = [А^ X С] - описание инцидентности между вершинами и ребрами ГЮ; F (О ) - унитарная раскраска ПG-графа, определяемая в виде функции от аргументов
и F(C) (в данном случае F(G) = F(Аj) U F(C)); П5Л1 - множество
элементов второго иерархического уровня; С - множество всех ребер, отражающее связи между элементами
nSAi;
П£с = (С, F(C), [С X F(C)]) - полихроматическое множество ребер в nG-графе.
Выбор вида множества ребер в nG-графе зависит от необходимого уровня детализации и количества информации об отношениях, известных и требуемых для решения поставленной задачи.
В результате дальнейшего членения объекты второго уровня иерархии представляются в виде nG-графа, каждая из вершин которого может быть представлена как полихроматическое множество П542,
состоящее из элементов aj частей объекта на изображении (ветви, межветочное пространство, отдельный вид растения и др.), охарактеризованных определенным набором свойств. После формального описания всех объектов, их свойств и отношений между ними можно представить иерархическую структурную модель объектов северной экосистемы в виде деревьев членения объектов северной экосистемы и её свойств (рис. 2).
Рис. 2. Иерархическая структурная модель объектов северной экосистемы в виде деревьев членения
объектов северной экосистемы и её свойств
Информация при распознавании объектов на изображении структурируется и описывается пошагово с разной степенью формализации - от полностью неформализованного и несвязанного вида (набор растровых изображений) до взаимосвязанных, формально описанных объектов (неизобразительный формализованный вид), что и составляет процесс распознавания.
Непосредственно для дешифрирования поступает изображение территории. Целью распознавания является выделение и описание объектов и их взаимосвязей на изображении, которое представлено цветным (модель RGB) растровым изображением.
Для повышения уровня формализации описания объектов в процессе распознавания используются активные знания системы знаний - процедурные. Такие знания «понимают», как оперировать с поступающей информацией, чтобы перевести её на новый уровень формального представления, используя при этом декларативные знания как основу для представления, записи и контроля правильности получаемой информации в соответствии с исследуемой предметной областью.
В БЗ, используемой при распознавании изображений, существует несколько видов процедурных знаний: сегментация, классификация, распознавание свойств объектов, описание отношений между объектами.
Первым из процедурных знаний БЗ в процессе распознавания используется сегментация, преобразующая исходное изображение в сегментированное изображение. Правило выделения контуров объектов зависит от уровня иерархии распознаваемых объектов в модели предметной области.
Классификация преобразует выделенный на изображении контур в классифицированный контур: для графического элемента на изображении определяется, к какому классу он принадлежит в соответствии с уровнем иерархии и выделяемых классов в декларативных знаниях БЗ. Для правильного отнесения объекта к нужному классу необходимо обучить процедурное знание на основе обучающего набора данных. Информация об обучающих приме-
рах, объектах, характерных для данной территории, или схожих объектах может быть представлена в виде набора полевых данных о некоторых типовых объектах и значений их свойств, точек на местности для географической привязки. Обучение классификации требуется только один раз, при первом случае распознавания. Для распознавания изображений схожих территорий применяется уже обученное процедурное знание.
Затем применяется распознавание свойств объектов. При этом описание объектов на изображении переходит из графического в формализованное в соответствии с разработанной моделью предметной области (декларативные знания), причем данный процесс происходит от верхнего уровня иерархии модели к нижнему. Описание представляется множествами выделенных объектов с распознанными значениями свойств также в соответствии с моделью предметной области. Для правильного распознавания значений свойств у объектов также требуется обучить процедурное знание на примерах.
Последний вид процедурного знания (описание отношений между объектами) позволяет преобразовать информацию из формального теоретико-множественного представления в вид графа, содержащего как связи «часть - целое», так и связи, возникающие между объектами одного иерархического уровня. При таком преобразовании также учитываются декларативные знания о взаимосвязях между объектами северной экосистемы.
Каждый из видов процедурного знания выполняет конкретную задачу, но при этом способ реализации механизма преобразования информации может быть разным, а не строго определенным, в зависимости от целесообразности при решении конкретной задачи. Также в системе распознавания может существовать несколько процедурных знаний одного вида для корректного преобразования изображений различной степени детализации.
Таким образом, в процессе распознавания объектов изображений северных экосистем происходит преобразование информации под действием процедурных
знаний БЗ, использующих в качестве структуры для работы с обрабатываемой
Заключение
Существующие на сегодняшний день подходы к распознаванию образов на изображении позволяют лишь относить объект к заранее закодированному одному классу, после чего требуется интерпретация полученных результатов экспертом в предметной области. Предлагаемый подход наряду с графической информацией, получаемой с дешифрируемого изображения, использует дополнительную информацию в виде системы знаний о предметной области. За счет привлечения дополнительных знаний увеличивается объем получаемой информации в результате не
СПИСОК ЛИТЕРАТУРЫ
1. Фу, К. Структурные методы в распознавании образов / К. Фу. - М.: Мир, 1977. - 320 с.
2. Павлов, С.Н. Системы искусственного интеллекта: учеб. пособие: в 2 ч. / С.Н. Павлов. -Томск: Эль Контент, 2011. - Ч. 2. - 194 с.
3. Гонсалес, Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. - М.: Техносфера, 2005. -1072 с.
4. Болотова, Л.С. Системы искусственного интеллекта: модели и технологии, основанные на зна-
информацией модель предметной области (декларативные знания).
только классификации, но и структурного описания объекта с его характеристиками и взаимосвязями. Также увеличивается достоверность дешифрирования благодаря семантической обработке распознаваемой информации. Еще одним важным аспектом при использовании знаний о предметной области является получаемое структурированное описание объектов изображений в терминах предметной области.
Дальнейшее развитие данного подхода представляется в детальной проработке процедурных знаний.
ниях: учебник / Л.С. Болотова. - М.: Финансы и статистика, 2012. - 664 с.
5. Васендина, И.С. Структурные исследования природных ландшафтов Соловецких островов / И.С. Васендина, А.Т. Гурьев // Актуальные вопросы технических наук: материалы IV между-нар. науч. конф. (г. Краснодар, февр. 2017 г.). -Краснодар: Новация, 2017. - С. 52-55.
1. Fu, K. Structural Methods in Image Identification / K. Fu. - M.: Mir, 1977. - pp. 320.
2. Pavlov, S.N. Systems of Artificial Intelligence: manual in 2 Parts / S.N. Pavlov. - Tomsk: El Continent, 2011. - Part 2. - pp. 194.
3. Gonzales, R. Image Digital Processing / R. Gonzales, R. Woods. - M.: Technosphere, 2005. - pp. 1072.
4. Bolotova, L.S. Systems of artificial intelligence: models and technologies based on knowledge: text-
book / L.S. Bolotova. - M.: Finances and Statistics, 2012. - pp. 664.
5. Vasendina, I.S. Structural investigations of natural landscapes of Solovetsky Islands / I.S. Vasendina, A.T. Guriev // Actual Problems of Engineering Sciences: Proceedings of the IV-th Inter. Scientific Conf. (Krasnodar, February, 2017). - Krasnodar: Novation, 2017. - pp. 51-55.
Статья поступила в редколлегию 13.03.18. Рецензент: д.т.н., профессор Брянского государственного технического университета
Киричек А.В.
Сведения об авторах:
Васендина Ирина Сергеевна, ассистент Северного (Арктического) федерального университета им. М.В. Ломоносова, е-таП: [email protected]. Абрамова Любовь Валерьевна, к.с.-х.н., доцент Северного (Арктического) федерального университета им. М.В. Ломоносова, е-таП: 1.аЬгатоуа@пагШ. ги.
Гурьев Александр Тимофеевич, д.т.н., профессор Северного (Арктического) федерального университета им. М.В. Ломоносова, е-таП: [email protected].
Корзина Мария Игоревна, ст. преподаватель Северного (Арктического) федерального универси-
тета им. М.В. Ломоносова, е-таП: [email protected].
Шошина Ксения Владимировна, к.т.н., доцент Северного (Арктического) федерального универси-
тета им. М.В. [email protected].
Ломоносова,
e-mail:
Vasendina Irina Sergeevna, Assistant of Lomonosov Northern (Arctic) Federal University, e-mail: [email protected].
Abramova Lyubov Valerievna, Can. Agricul., Assistant Prof. of Lomonosov Northern (Arctic) Federal University, e-mail: [email protected]. Guriev Alexander Timofeevich, D. Eng., Prof. of Lomonosov Northern (Arctic) Federal University, email: [email protected].
Korzina Maria Igorevna, Senior Lecturer of Lo-monosov Northern (Arctic) Federal University, e-mail: [email protected].
Shoshina Ksenia Vladimirovna, Can, Eng., Assistant Prof. of Lomonosov Northern (Arctic) Federal University, e-mail: [email protected].
