CC BY
60УДК 303.732 DOI: 10.12737/24908
И.С. Васендина, Р.А. Алешко, А.Т. Гурьев, Т.В. Карлова, К.В. Шошина
РАЗРАБОТКА МЕТОДИКИ РАСПОЗНАВАНИЯ ОБРАЗОВ НА ИЗОБРАЖЕНИИ НА ОСНОВЕ СТРУКТУРНОГО ПОДХОДА
Описано понятие структуры на изображении в общем смысле, представлен обзор современных структурных методов для дешифрирования цифровых изображений, проведен анализ этих методов и выявлены существующие на сегодняшний день проблемы. Предложена новая методика распозна-
вания образов на изображении на основе структурного подхода, приведены её отличительные черты.
Ключевые слова: структурный подход, дешифрирование изображений, структура образа, признаки образов.
I.S. Vasendina, R.A. Aleshko, A.T. Guriev, T.V. Karlova, K.V. Shonina
PROCEDURE DEVELOPMENT FOR IMAGE IDENTIFICATION ON PICTURE BASED ON STRUCTURAL APPROACH
The paper deals with the object identification in the picture based on a structural approach. The analysis of existing methods is presented and a new procedure of image identification with the use of a structural approach is shown.
In the introduction there is described a significance of picture decoding and a concept of a structure in the picture is designated.
The analysis of such a structural approach to image identification in a picture as a symbolic description which is a transition from the simplest signs of a picture to a set of graphic symbols. The second structural method analyzed in the paper is a syntactic approach to the image description. Here the whole picture is divided up to the simplest elements. The elementary graphic primitives are emphasized which make a picture. And further the objects of the picture are described by a set of primitives. The regulation for the description of an object as a chain of primitives sets with the aid of the so-called language grammar of image description. Merits and demerits of existing structural methods are described, one of which is a complexity of object description on the picture of a real world. The offer on the necessity of the development of a new method taking into account the signs of really
existing object and also describing objects in a formal view is put forward.
In the basic part a developed procedure defining objects in the picture as a specified polychromatic multitude emphasizing such properties as a significance of brightness, an object position and a number of additional characteristics is described. The definition of objects in the picture takes place by means of the creation of a structured description of known objects of the picture the identification on the basis of the use of a neuronet approach and a specification of the structure of objects found. As a result of the identification according to this procedure there is obtained a multitude of objects which was necessary to identify in the picture presented in a structural form. Such an approach can be used for various level of hierarchy at the description of objects in the picture it also allows taking into account not only brightness characteristics and a form, but a number of additional signs of objects.
In the conclusion the distinguishing features of this procedure and directions of its development are shown.
Key words: structural approach, picture decoding, image structure, image signs.
Введение
На сегодняшний день дешифрирование цифровых изображений представляет большой интерес в разных сферах деятельности: экологический мониторинг, медицина, контроль производимой продукции на предприятии и др. В большинстве случаев дешифрирование сводится к по-пиксельной обработке изображений, учитывающей в основном яркостные характеристики. В последнее время большое раз-
витие получил структурный подход к распознаванию объектов на изображении.
Для восприятия графической информации необходимо иметь представление об объектах на изображении. Само по себе распознавание объектов на изображении и их описание говорит о присутствии некоторой структуры изображения. Таким образом, структурирование графической информации есть выделение и формализо-
ванное описание объектов-образов на изо-
бражении.
Анализ структурных методов описания изображения
Одним из структурных методов описания изображения является символическое описание, которое представляет собой переход от простейших признаков изображения (значения яркости пикселей, параметры текстуры, контурные точки) к набору графических символов. Графическими символами могут служить цепочки контурных точек, образующих границу объекта, связанные области одинаковой яркости, цвета, графические примитивы (круг, треугольник, прямоугольник) [3]. К сожалению, нет общепринятого набора визуальных символов, достаточного для описания изображения. Также сложно определить, какие символы необходимо сформировать из признаков изображения для решения конкретных задач и какой степени точности. В настоящее время символическое описание находится на начальном уровне развития.
Частным случаем структурного подхода к описанию изображения можно считать синтаксический (лингвистический) подход к описанию образов. Он основан на структурных отношениях, характеризующих распознаваемый образ [2]. Здесь всё
ь
I I
изображение разделяется до простейших элементов, причем разбиение представляется в виде иерархии. Выделяются элементарные, неделимые графические примитивы, из которых состоит изображение. Этим примитивам ставятся в соответствие имена, они представляют собой словарь для описания объектов. В дальнейшем объекты изображения описываются цепочкой примитивов из словаря, причем считается, что конец одного примитива является началом следующего (рис. 1).
Прямоугольник, составленный из графических примитивов (рис. 1), может быть записан как цепочка: ааааЪЪссссёё.
Правила составления описания объекта в виде цепочки примитивов задаются при помощи так называемой грамматики языка описания образа [4]. Таким образом, каждая составленная цепочка примитивов, являющаяся описанием образа на языке примитивов, проверяется на правильность с точки зрения грамматики. Сначала описанный образ определяется, далее происходит отнесение образа к определенному классу исходя из того, где его описание синтаксически правильно.
а а а а
с1 с1
Ь Ь
с с
а
с
с
с
Рис. 1. Неделимые графические примитивы и составленное из них изображение
Также, в качестве расширения этого структурного метода, образ может описываться не только цепочкой, линейной последовательностью примитивов, но и в виде графа, т.е. иметь разветвленную структуру [1]. В этом случае ребра графа характеризуют пространственную связь между примитивами: конец одного элемента словаря связан с началом другого. Такое описание образа позволяет задавать не только его контур, но и рисунок объекта.
В синтаксическом подходе хорошо проработан механизм работы с цепочками примитивов, но в то же время подход имеет ряд недостатков:
-нет правил определения и выбора примитивов, для каждого изображения, объекта они свои, причем зачастую определяются разработчиком (экспертом) [2];
-для каждого нового изображения надо заново прописывать правила грамматики;
-не очевиден переход в описании между объектами разного уровня иерархии;
-трудность при анализе естественных сцен из-за большого количества выделяемых примитивов на изображении;
-не разработана методика описания не контурного изображения, а изображения в оттенках в виде грамматик;
-подход направлен в основном на описание контуров образов, а не объекта целиком;
-не учитываются данные, свойства самого образа как объекта исследования.
На сегодняшний день синтаксический метод распознавания образов имеет высокий уровень формализации, но достаточно сложно применим на практике для изображений реального мира. Соответственно встает вопрос о разработке новых структурных методов распознавания объектов, систем понимания изображения, предназначенных для анализа изображения и составления его описания в неизобразительной форме. Необходимо, чтобы новые методы учитывали признаки реально существующего объекта, а также описывали объекты в формальном виде.
Методика распознавания образов на изображении
Можно предложить другой структурный подход к выделению объектов на изображении, как описывающий структуру объекта, так и учитывающий признаки этого объекта (образа). Такой метод позволит выделять на цифровом изображении заранее определенные классы объектов с описанием их структуры и признаков.
Изначально для дешифрирования имеется цифровое изображение I, имеющее географическую привязку или с относительной системой координат, и словесное описание образов, которые необходимо выделить на изображении I. На рис. 2 слева приведен снимок местности, полученный с беспилотного летательного аппарата, справа - увеличенное изображение
для дешифрирования объектов, деревьев разных пород (сосна, ель, береза).
Также имеется некоторая маска М (рис. 3) - растровое (или векторное) изображение в той же системе координат, что и изображение I, на котором нанесены в виде площадных объектов некоторые объекты (с указанием их характеристик), принадлежащие классам образов, которые необходимо выделить на изображении. В данном примере на маске выделены в качестве объектов деревья определенных пород (сосна, ель, береза). На рис. 3 они обозначены: берёза - без штриховки, сосна -сплошной диагональной штриховкой, ель - пунктирной штриховкой (наиболее темные объекты).
Рис. 2. Полученное цифровое изображение местности и увеличенная часть изображения для дешифрирования
Рис. 3. Маска М с площадными объектами с указанием характеристик объектов
Введем следующие обозначения: А -множество объектов из необходимых классов, которые предстоит выделить на изображении I,
А — ... г
В - множество известных объектов, которые заданы в виде полигонов с известными координатами, значением класса и другими характеристиками,
в = {ь1гь2г...гьт}.
Все элементы множества В являются элементами множества А, т.е. Б <= А.
Для структурного описания объектов на изображении можно множества этих объектов А и В представить в виде полихроматических множеств и П5Р, элементы которых, как и множества в целом, характеризуются набором свойств:
где Е± - диапазон яркости в ¡-м канале или диапазон цвета у данного объекта; Рг -множество пикселей, образующее объект на изображении I и маске М; Ръ - признак, указывающий, отнесен ли объект к какому-либо классу; - класс объекта; ^ -дополнительные характеристики объекта.
Причем свойство = 0, если класс объекта не определен, и = 1, если класс объекта определен.
Для рассматриваемого примера свойство Г^ представляется группой свойств: - сосна, Е* - ель, Г* - береза. При этом одно свойство из группы равно 1, когда объект относится к определенному классу,
остальные свойства данной группы равны 0.
Количество свойств элементов множества может быть увеличено в зависимости от критериев классификации и дополнительных известных признаков элементов множества П5В (известных объектов на изображении).
Характеризуя элементы множества значениями с маски М, можно обозначить только значения свойств , ¿'э, . При наложении маски М на изображение I в соответствии с координатами (рис. 4) можно выделить на изображении I объекты из множества П5£ и заполнить значения свойства Элементы множества характеризуются тем же набором свойств, но значения их ещё не заполнены, и — 0, так как объектам ещё не присвоен класс.
Рис. 4. Наложение маски М на изображение I
Таким образом, задача распознавания объектов на изображении сводится к поиску объектов полихроматического множества П5д и присвоению значений свойствам элементов.
Для поиска элементов множества П5Л сначала производится наложение маски М на изображение I. Известные элементы множества П5В «вырезаются» из изображения I - формируется обучающая выборка, включающая информацию о значениях свойств элементов П5В. После этого организуется нейронная сеть и происходит её обучение с учителем (на основе сформированной обучающей выборки). Параметры нейронной сети (количество слоев и нейронов в них, механизм обучения) подбираются исходя из особенностей выделения свойств и их количества. После обучения нейронной сети на вход подается изображение I, происходит процесс сегментации.
В результате на выходе получается изображение (рис. 5а), состоящее из элементов множества С.
С = А и X,
где А - искомые объекты; X - шумы, остальная часть изображения, не содержащая искомых объектов.
Исходя из результатов сегментации множество заполняется объектами с присвоением значений соответствующих свойств. Из полученного изображения удаляется информация, не относящаяся к объектам множества А, и получается изображение N с искомыми объектами (рис. 5б), каждый из которых имеет структуру, как элементы множества П5£. Таким образом, на изображении были выделены объекты - деревья, которым присвоены такие характеристики, как порода и местоположение на изображении.
а) б)
Рис. 5. Изображение с шумом (а) и выделенные объекты на изображении (б)
Для более детального рассмотрения объектов изображения, выделения других характеристик объектов и их классификации можно расширить описание известных объектов, рассматривая объект как состав-
ной, имеющий иерархическую структуру (рис. 6), т.е.
в = {в1гв2,...,вт},
где Ь} - элементы объекта.
В
Si
Н ъ\ ... Ь}
Рис. 6. Иерархическая структура множества объектов
Такое представление известных объектов дает более полное описание известных данных, а также увеличивает критерии поиска и степень детализации искомых объектов, описывая более детально их структуру.
структурный состав самого изображения, так и структуру искомых объектов, а также совокупность признаков объектов и их частей, что дает более полное представление об изображении, представляет изображение в структурированном, формализованном виде и позволяет более точно дешифрировать объекты на нем.
Дальнейшее развитие может быть в более детальной проработке данного подхода и улучшении результатов его применения на практике.
Работа выполнена при поддержке гранта № 14-07-98801 «Разработка информационной системы
мониторинга и управления лесными территориями (на примере архипелага Соловецкие острова)»
СПИСОК ЛИТЕРАТУРЫ
1. Гонсалес, Р. Цифровая обработка изображений / Р.Гонсалес, Р.Вудс. - М.: Техносфера, 2005. -1072 с.
2. Павлов, С.Н. Системы искусственного интеллекта: учеб. пособие: в 2 ч. / С.Н.Павлов. -Томск: Эль Континент, 2011. - Ч. 2. - 194 с.
1. Gonzales, R. Digital Image Processing / R.Gonzales, R.Woods. - М.: Technosphere, 2005. - pp. 1072.
2. Pavlov, S.N. Systems of Artificial Intelligence: manual in 2 Parts. / S.N.Pavlov. - Tomsk: El Continent, 2011. - Part 2. - pp. 194.
Множество свойств элементов Ьг можно представить следующим образом:
где Р(В') - множество свойств объекта в целом; - множество свойств
структурного элемента объекта.
Заключение
Существующие на сегодняшний день структурные подходы к распознаванию образов на изображении имеют высокий уровень формализации, но тяжело применимы для изображений объектов реального мира. Предложенная методика в общем виде формально описывает объекты реального мира с необходимой степенью детализации за счет иерархической структуры описания объекта.
Данный подход к распознаванию образов на изображении учитывает как
3. Прэтт, У. Цифровая обработка изображений: [пер. с англ.] / У.Прэтт. - М.: Мир, 1982. - Кн. 2. - 480 с.
4. Фу, К. Структурные методы в распознавании образов / К. Фу. - М.: Мир, 1977. - 320 с.
3. Prett, W. Digital Image Processing: [transl. from Engl.] / W.Prett. - M.: Mir, 1982. - B. 2. - pp. 480.
4. Fu, K. Structural Methods in Image Identification / K. Fu. - M.: Mir, 1977. - pp. 320.
Сведения об авторах:
Васендина Ирина Сергеевна, ассистент Института конструкторско-технологической информатики Российской академии наук, е-mail: Kemya@mail.ru. Алешко Роман Александрович, к.т.н., доцент Северного (Арктического) федерального университета им. М.В. Ломоносова, е-mail: ro-man@aleshko.com.
Гурьев Александр Тимофеевич, д.т.н., профессор Северного (Арктического) федерального универси-
Vasendina Irina Sergeevna, Assistant of Lomono-sov Northern (Arctic) Federal University, Phone: 89600004333, е-mail: kemya@mail.ru. Guriev Alexander Timofeevich, D. Eng., Prof. of Lomonosov Northern (Arctic) Federal University, Phone: 89217203906, е-mail:atg1@rambler.ru. Shoshina Kseniya Vladimirovna, Senior Lecturer of Lomonosov Northern (Arctic) Federal University,
Статья поступила в редколлегию 5.12.2016.
Рецензент: д.т.н., профессор Шептунов С.А.
тета им. М.В. Ломоносова, е-mail: atgu-riev@gmail.com.
Карлова Татьяна Владимировна, д.т.н., профессор Института конструкторско-технологической информатики Российской академии наук, е-mail: karlova-t@yandex.ru.
Шошина Ксения Владимировна, ст. преподаватель Северного (Арктического) федерального университета им. М.В. Ломоносова, е-mail: kshoshi-na@gmail.com.
Phone: 89602808370, е-mail: k.shoshina@narfu.ru. Aleshko Roman Alexandrovich, Can. Eng., Assistant Prof. of Lomonosov Northern (Arctic) Federal University,
Phone: 89600006336, е-mail: r.aleshko@narfu.ru. Karlova Tatiana Vladimirovna, D. Soc., Prof. Institute of Design-Technological Informatics of RAS, Phone: 89037769078, е-mail: karlova-t@yandex.ru.
