Проектирование математической модели и модуля распознавания образов для смарт-обучающей системы Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004

А. А. Обади, А. А. Аль-Хашеди, Н. К. Нуриев, Е. А. Печеный

ПРОЕКТИРОВАНИЕ МАТЕМАТИЧЕСКОЙ МОДЕЛИ И МОДУЛЯ РАСПОЗНАВАНИЯ ОБРАЗОВ

ДЛЯ СМАРТ-ОБУЧАЮЩЕЙ СИСТЕМЫ

Ключевые слова: распознавание образов, обучающая система, численные методы, задачи, классификация, математическая

модель, экземпляр объекта, учебный процесс, алгоритм.

В статье рассматривается проблема распознавания задач, являющихся элементами учебного процесса, в частности задачи области численных методов. Предметная область «численные методы» разбита на 7 классов задач. В статье рассматривается построение математической модели и алгоритма распознавания экземпляра задачи с точки зрения принадлежности его к какому-то классу задач предметной области. Эта задача решается на основе Байесовского подхода, т.е. с использованием формул полной вероятности и Байеса.

Keywords: pattern recognition, training system, numerical methods, tasks, classification, mathematical model, instances of objects,

learning process, algorithm.

In the article is considered, the problem of recognition of tasks that are elements of the learning process, in particular, tasks from the field of numerical methods. The subject area "the numerical methods" is divided into 7 classes of tasks.The article deals with the construction of a mathematical model and an algorithm for recognizing a task instance from the point of view of its belonging to some class of tasks of the subject area. This problem is solved based on the Bayesian approach, i.e. using the formula of total probability and Bayes.

Введение

Задача распознавания в настоящее время в зависимости от развития искусственного интеллекта, пропорционально развивается и используется почти во всех предметных областях, в которых требуется распознавать различные экземпляры объектов по их классам. Задача распознавания образов входит в состав большей части интеллектуальных систем, известных под разными названиями, такими как умные системы, экспертные системы, обучающие системы и т.д.

Методы распознавания образов широко используются в следующих наиболее важных направлениях развития интеллектуальных систем: распознавание символов, распознавание изображений, распо-

знавание речи, медицинская диагностика, системы безопасности, классификация, кластеризация и в базах данных и знаний [1].

Задача распознавания образов как показана в общей схеме (рис. 1) состоит в соотнесении образа одному из классов П. Правила соотнесения образа одному из классов называется классификатором и реализуются в блоке классификации. На выходе классификатора мы должны установить класс (номер класса), которому принадлежит входной образ с указанием степени достоверности классификации, или получить информацию о том, что входной объект не принадлежит ни одному из известных классов [1].

Рис. 1 - Общая схема распознавания образов

В общей схеме распознавания (рис. 1) в соответствие с блокамиданной схемы, выполняется следующая последовательность процедур:

1. образ математически описывается в векторном описании, т.е. указание закона (правила), в соответствии с которым каждый образ х ставится в соответствие некоторый вектор x=(x1,x2, ...)г признаков этого образа.

2. выбор наиболее информативных признаков, описывающих данный образ. Т.е. нахождение минимального количества признаков, наиболее ин-

формативно описывающих образы в данной системе распознавания.

3. нахождение оптимальных решающих процедур, т.е. метода отнесения вектора признаков образа некоторому классу.

4. в общей системе распознавания может быть включен блок обучения. Этот блок по выборке так называемых обучающих образов, принадлежность которых классам известна, позволяет сформировать правила классификации в той или иной форме. Кроме того, по обучающим образам могут быть выработаны правила выбора наиболее

информативных признаков [1]. В этом блоке накапливается опыт распознавания, например, в него накапливаются история процедуры преобразования образа в векторную форму, процедуры выбор информативных признаков, и процедуры классификации, для того, чтобы система в будущем принимала соответствующие действия с объектами, подобными раньше классифицируемым.

Цель работы

Целью является разработка математической модели и программного обеспечения для самообучающейся образовательной системы. В целом это позволит использовать разработанное программное обеспечение в качестве модуля в системах искусственного интеллекта.

Постановка задачи

Требуется разработать математическую модель и алгоритм классификатора, который позволял бы распознавать классы поступающих на его вход задач и относить их к одному из 7 известных классов, выделяемых в множестве задач учебного курса «численные методы». В основу работы классификатора положен принцип учета и сопоставления ряда индивидуальных признаков, которыми обладает каждая задача. Результатом работы классификатора должно быть указание на номер или название класса, к которому принадлежит предложенная задача, или сообщение о невозможности отнесения задачи ни к одному из известных классов.

Алгоритм распознавания

Пусть М предметная область численных методов. На множестве М задано разбиение на 7 классов

(рис. 2).

м

Рис. 2 - Предметная область численных методов Таблица 1 - Пример логического подхода

M=U¿üin¿, где i =1,7, в зависимости от количества числа классов численных методов: класс алгебраических уравнений Пх, класс систем уравнений П2, класс интерполяции и экстраполяции П3, класс численного интегрирования П4 и т.д [2].

M = {(x¿,n1),(x¿,ü2)..........(x¿,ü7) }, где M -

предметная область, x¿ признаки каждого класса.

Каждый из этих семи классов обладает своими собственными признаками

Например, класс алгебраических уравнений обладает следующими признаками: П1 = {(xx = находить), (х2 = корни), (x3 = х), (x4 = (=)), (xs = (+)), (x6 = (cos)),(x7 = (sin)) и т.д.}. Идея предлагаемого алгоритма системы распознавания состоит в следующем: на вход поступает неизвестный объект ш, а на выходе принимает решение об отнесении данного объекта одному из известных классов (рис. 3).

Любой объект обладает некоторым набором признаков, которые его характеризуют. Это могут быть отдельные буквы, слова, символы математических операции и т.д. Формализуя это положение, можно сказать, что объект ш может быть задан вектором

1(ш) = (Х1(ш),Х2(ш),.....,Xw(w)). Таким образом,

задача распознавания состоит в том, чтобы путем обработки входной информации об неидентифици-руемом объекте построить информационный вектор а(ш) = (а^ш),....., а„(ш)), позволяющий осуществить его классификацию [3].

Процедура построения информационного вектора« (ш) выражает алгоритм принятия решения об отнесении объекта ш тому или иному классу и называется «решающей функцией». Решающая функция a(w) принимает на входе признаки объекта а на выходе присваивает ему метку класса, следовательно классифицировать объект ш£М, означает найти такую функцию а : М ^ U, где U={X¿}, а X¿ признаки объекта. Индикаторная функция ставит в соответствие образу шЕМ метку Xt 6 U того класса ü¿, которому он принадлежит т.е. a(w)=X¿, если w6n¡ [4].

Для решения поставленой задачи будем использовать аппарат булевой алгебры и правила действий с булевыми переменными (табл. 1).

Классы n2 n3 n4 n5 n6 n7

0 1 1 1 0 0 0

Х7 1 0 0 0 1 0 1

x. 1 0 0 0 0 1 0

x4 1 1 1 1 0 0 1

xn

Р(ш)=£Г=0^/п, n=4. 0.75 0.50 0.50 0.50 0.25 0.25 0.25

В таблице 1 строки соответствуют признакам объектах;, а столбцы классам^ предметной области численных методов. Сравнивая признаки распозна-

ваемого объекта с признаками каждого из известных классов, проставляем 1 в соответствующую ячейку таблицы, если признак соответствует данному клас-

су, и 0 в противном случае. После сравнения всех признаков объекта находится среднее значение предикатов каждого класса, которое следует понимать, как вероятность принадлежностш-тому классу.

В качестве решающей функции будем использовать вектор условных вероятностей, найденных по материалам таблицы [4]:

Р(П = 1|Х^=х£) = а(^) =?, где Х^ предпосылка а П следствие. Т.е. объект принадлежит ьтому классу, если его признаки Х^ соответствуют признакам этого класса .

Решающая функция будет присваивать метку того класса, для которого вероятностьР(П = =хг) максимальна

а(^) = 1, Р(П = 1|Хг =хг) >Р(П = 0|Хг =хг), означает что вероятность того, что объект принадлежит i -тому классу больше вероятности того, что объект не принадлежит i -тому классу.

в(ш) = 0, Р(П = 0|Хг =хг) >Р(П = Щг =хг), означает что вероятность того, что объект принадлежит i -тому классу меньше вероятности того, что объект не принадлежит i -тому классу, где (Пг = 1) свидетельствует о принадлежности объекта, а П = 0 означает обратное. Это правило Байесовского классификатора. Подробнее об этом будет сказано ниже.

Из таблицы видно, что данный объект относится к классу Пх, так как:

Р(ПХ = =хг) = 0.75; а(^) = 1. Вероятность того, что объект принадлежит первому классу Пх, при условии, что его признаки соответствуют признакам первого класса Пх на 75 %.

На блоке - схемы рис. 3 иллюстрируется последовательность реализации процедуры распознавания.

Рассмотрим функционирование алгоритма распознавания на примере типичной задачи из курса численных методов:

Отделить корни уравнения 2бЫх = агсЬдхна интервале (0,10);

В класс алгебраических уравнений входят уравнения с переменными разных степеней, а также уравнения, имеющие в своем составе элементарные функции, такие как тригонометрические, логарифм, и т.п.

Рис. 3 - Блок схемы алгоритма распознавания

Пример 1

Входные данные об объекте задаются следующими признаками:

/(ш)={/х (ш), 12 (ш), 13 (ш), /4 (ш), /5(ш),/6(ш)}, где ^(ш) = отделить, /2(ш) = корни, /3(ш) = (уравнения), /4(ш) = х, /5(ш) = sin, /6(ш) = arctgl7 (ш) = интервал.

Для данного объекта ш по его описанию /(ш) и априорной (обучающей) информации /0 необходимо вычислить значения предикатов. Для этого используем таблицу истинности с булевым переменными 0 и 1 таблица 2.

Таблица 2 - Таблица истинности с булевым переменными

^^^ Классы Признаки^^^^^^ n2 n3 n4 n5 n6 n7

Xi 1 0 0 0 0 0 0

X. 1 1 1 1 0 0 0

X3 1 1 0 1 0 1 1

x4 1 1 1 0 0 0 1

X5 1 1 1 1 1 0 1

X6 1 1 0 1 1 0 1

x7 1 1 0 0 0 0 1

Р(ш)=^=0^, n=6. 1 0.857 0.42857 0.57 0.2857 0.142857 0.7

Для рассматриваемого объекта ш необходимо найти его информационный вектор а(ш) = (а1(ш),.....,ат(ш)), и вычислить вероятность принадлежности объекта к каждому из известных классов:

Р(ш)=а(ш) = (а^ш), ....,«„(ш)),

п=6.

Р1(ш)=(а1(ш) + а2(ш) + а3(ш) + а4(ш) + а5(ш) + а6(ш) + а7(ш))/6 = 1;

Р2(ш)=(а2(ш) + а3(ш) + а4(ш) + а5(ш) + а6(ш) + а7(ш))/6 = 0.857 ;

Р3(ш)=(а2(ш) + а4 (ш) + а5(ш))/6 = 0.42857 Р4(ш)=(а2(ш) + а3(ш) + а5(ш) + а6(ш))/6 = 0.57

Р5(ш)=(а5(ш) + а6(ш))/6 = 0.2857; Р6(ш)=(а3(ш))/6 = 0.142857; Р7(ш)=(а3(ш) + а4(ш) + а5(^) + а6(^) + а7(ш))/6 = 0.7;

Решающая функция будет присваивать объекту метку того класса, для которого значение вероятности Р(^ 6 Пг 1Х1 =хг) максимально

в(ш) = 1, Р(ш 6 Пг|Хг =хг) > Р(ш 6 П,-|Хг =хг) в(ш) = 0, Р(ш 6 Пг|Хг =хг) < Р(ш 6 П,-|Хг =хг) Таким образом, в соответствии со схемой предлагаемого алгоритма, объект ш£ Пх, так как вероятность того, что объект принадлежит первому классу при условии, что признаки объекта Х1 соответствуют признакам первого класса хг равна 1, Р(^ 6 =хг) = 1, а это больше вероятности принадлежности объекта всем остальным классам.

В тех случаях, когда ни для одного I = 1,т условие Р[ (ш) = 1 не выполняется, решение задачи распознавания становится значительно менее очевидным. Особенно это касается тех ситуаций, когда для несколько классов значения вероятности оказываются равными, и однозначный выбор решения не представляется возможным. Это порождает вопрос: какова вероятность того, что объект принадлежит именно данному классу, а не другому, ответ на который дает правило байесовского классификатора.

Правило байесовского классификатора

Формула Байса:

Р(ВШ*Р(А)

= ВД

где Р(А) - априорная вероятность гипотезы А

Р(А1В)- вероятность гипотезы А при наступлении события В (апостериорная вероятность);

Р(В1А)- вероятность наступления события В при истинности гипотезы А;

Р(В) - полная вероятность наступления события В[1].

Р(В) всегда вычисляется по формуле полной вероятности события, зависящего от нескольких несовместных гипотез, имеющих суммарную вероятность 1 [1].

Р(В)= £?=1Р&4г)Р(ВИг), где вероятности под знаком суммы известны или допускают экспериментальную оценку.

В этом случае формула Байеса записывается так:

Р(А]\В) =

И<=гР(АдР(В1Ад

Формула Байеса позволяет формально «переставить причину и следствие»: по известному факту события вычислить вероятность того, что оно было вызвано данной причиной.

События, отражающие действие «причин», в данном случае называют гипотезами, так как они -предполагаемые события, повлекшие данное. Безусловную вероятность справедливости гипотезы называют априорной (насколько вероятна причина вообще), а условную - апостериорной (насколько вероятна оказалась причина с учетом данных о событии) [1].

Пример 2

Пусть А событие (У| = Х1), где У| признаки образа ш, а Х1 признаки i-того класса Пг т.е. признаки распознаваемого объекта соответствуют признакам ь тому классу, В событие (ш 6 П), т.е. объекта принадлежит ьтому классу П. Вероятность Р(А) того, что У^ = Х1, равна произведению вероятности Р(В) того, что ш 6 П на вероятность Р(А \В) того, что причиной события стало именно что У| = Х1 (событие А), а не другая причина.

В примере 1

Р(А]) = 0,14, вероятность того что данный объект принадлежит j-тому классу (]=1,7), так как у нас имеются 7 классов задач численных методов, т.е.Р(А±) = 0,14 вероятность того, что данный объект принадлежит классу П1,Р(А2) = 0,14, и т.д.

Из статистических данных, приведённых в таблице 2.

Р(В1А1) = 1; вероятность того, что объект принадлежит первому классу при условии, что признаки объекта соответствуют признакам первого класса. Р(В1А2) = 0.857; Р(£И3) = 0.42857; Р(ЯИ4)

= 0.57; Р(В1А5) = 0.2857; Р(£|Л6) = 0.142857; Р(В|Л7) = 0.7;

Полную вероятность наступления события В(Р(В)) вычислим по формуле:

Р(В)=£Г=1 Р(А1)Р(В1А1), N = 7; тогда

Р(В)=( Р(А1)* Р(В1А1)+ Р(А2)* Р(В1А2) + Р(А3) * РШ3) + Р(А4) * РШ4) + Р(А5) * Р(В1А5)+ Р(А6)* Р(В1А6)+ Р(А7)* Р(В1А7)) = (0.14 * 1 + 0.14 * 0.857 + 0.14 * 0.42857 + 0.14 * 0.57 + 0.14 * 0.2857 + 0.14 * 0.142857 + 0.14 * 0.7)=0.55777778;

По формуле Байеса получим:

0.14

£Г=1 Р(А1)Р(В1А1) 0.55777778

= 0.25

Вероятность того, что объект принадлежит первому классу именно потому, что его признаки соответствуют признакам первому классу (рис. 4).

РШв) РШв) РШВ)

р(А51В)

Р(А61В) РШв)

Р(В|Л2)*Р(Л2) 0,11998

Р(В) 0.55777778

Р(В1А3)*Р(А3) 0.0599998

Р(В) 0.55777778

Р(В1А4)*Р(А4) 0.0798

Р(В) 0.55777778

Р(В1А5)*Р(А5) 0.039998

Р(В) 0.55777778

= 0.0717

Р(В1А6)*Р(А6) = 0.01999998

Р(В) 0.55777778

= 0.0358

Р(В1А7)*Р(А7) 0.098

Р(В) 0.55777778

= 0.215

= 0.1

= 0.143

= 0.17

Рис. 4 - Лепестковая диаграмма вероятностей принадлежности объекта Ьтому классу i=l, 7

Вычисленные вероятности по формуле Байеса нам позволяет сократить перебор классов. Для этого проранжируем по убыванию значения вероятности, т.е. р^В) = 0.25; р^В) = 0.215; р^В) = 0.17; р(Л4|В) = 0.143; р(А,|В) = 0.1; р^В) = 0.0717; р(Л6|£) = 0.0358

Идентификацию принадлежности события В к определенному классу будем проверить в последовательности П1,П2,П7,П4,П3,П5,П6.

В алгоритме определения порядка идентификации выполняется следующая последовательность процедур:

1. вычисление вероятность наступления события А при выполнении события В, Р(Б1А1), i=l77.

2. вычисление полней вероятности наступления события В, P(B).

3. вычисление по формуле Байеса вероятность наступления события В при выполнении события А, P(Ai\B).

4. ранжирование по порядку убывания значений вероятности, получаемых по формуле Байеса.

5. проверка принадлежности события (В )в порядке установленных рангов классу П.

Заключение

Разработаны математическая модель и алгоритм классификатора, который позволяет распознавать классы поступающих на его вход задач и относить их к одному из 7 известных классов, выделяемых в множестве задач учебного курса «численные методы».

Литература

1. Лепский А.Е., Броневич А.Г. Математические методы распознавания образов: Курс лекции. - Таганрог: Изд-во ТТИ ЮФУ, 2009. - 155 с.

2. Барон Л. А., Нуриев Н.К, Старыгина С.Д. Численные методы для IT инженеров: учеб. пособие для вузов /Казань, 2012. - 176 с.

3. Мерков А. Б. Распознавание образов [Текст]: Построение и обучение вероятностных моделей; Российская акад. наук, Ин-т системного анализа. - Москва: URSS, 2014. - 238 с.

4. Патрик Э. А. Основы теории распознавания образов / Пер. с англ.; под ред. Б. Р. Левина. — М.: Советское радио, 1980.— 407 с.

1

3

© А. А. Обади - асп. каф. информатики и прикладной математики КНИТУ, 19fattah86@mail.ru; А. А. Аль-Хашеди - асп. каф. информатики и прикладной математики КНИТУ, alhashedi@mail.ru; Н. К. Нуриев - д.п.н., проф., зав. кафедры информатики и прикладной математики КНИТУ, nurievnk@mail.ru; Е. А. Печеный - к.т.н., доцент кафедры информатики и прикладной математики, platova51@mail.ru.

© A. A. Obadi, PhD researcher degree in Kazan National Research Technological University, Department information science and applied mathematics, 19fattah86@mail.ru; A. A. Alhashedi, PhD researcher degree in Kazan National Research Technological University, Department information science and applied mathematics, alhashedi@mail.ru; N. K. Nuriev, PhD., Professor, Kazan National Research Technological University, Department Chair information science and applied mathematics, nurievnk@mail.ru; E. A. Peche-ny, PhD, Associate Professor, Kazan National Research Technological University, Docent Department information science and applied mathematics, platova51@mail.ru.