Синтез нейро-нечётких сетей на основе деревьев решений для диагностирования и автоматической классификации по признакам Текст научной статьи по специальности «Компьютерные и информационные науки»

КОМПЬЮТЕРНЫЕ НАУКИ А

УДК004.93

СИНТЕЗ НЕЙРО-НЕЧЁТКИХ СЕТЕЙ НА ОСНОВЕ ДЕРЕВЬЕВ РЕШЕНИЙ ДЛЯ ДИАГНОСТИРОВАНИЯ И АВТОМАТИЧЕСКОЙ КЛАССИФИКАЦИИ ПО ПРИЗНАКАМ

ГОФМАН Е.А., СУББОТИН С.А., ОЛЕЙНИК А.А.

Рассматривается решение задачи построения нейро-не-чётких сетей с использованием деревьев решений. Разрабатывается метод их синтеза, который формирует нечёткое разбиение признакового пространства и выделяет правила, на основе которых формируется структура сети и определяются значения её параметров. Это позволяет синтезировать модели с небольшим числом нейроэлементов, обладающие высоким уровнем обобщения, и не требует решения задач оптимизации для настройки значений параметров модели.

Введение

Разработка автоматизированных систем для технического и медицинского диагностирования, принятия решений, распознавания образов связана с необходимостью построения моделей исследуемых объектов и процессов [1]. В качестве распознающих моделей эффективно могут применяться нейро-нечёткие сети (ННС). ННС представляет собой систему нечёткого вывода в виде нейронной сети, удобной для обучения, пополнения знаний, анализа и использования [2-4].

Однако построение ННС связано со следующими проблемами [2-6]:

- синтез ННС на основе обучающей выборки путём отображения её экземпляров как правил в структуру сети приводит к построению громоздкой и сложной модели, практически не обладающей свойством обобщения. Сложность синтезированной сети из-за большого числа структурных элементов (нейронов) и их параметров вызывает необходимость использования значительного объема памяти, а также приводит к увеличению затрат времени работы сети при последовательной реализации вычислений на ЭВМ. Повышение обобщающих свойств ННС может быть достигнуто с помощью кластерного анализа, использование которого, однако, связано с проблемами выбора количества кластеров и их границ;

- необходимость выделения нечётких термов при синтезе ННС требует либо участия пользователя, что понижает уровень автоматизации разрабатываемой информационной технологии, либо решения задачи

кластерного анализа, когда термы определяются как проекции границ кластеров на оси признаков;

- не все из исходных признаков могут быть информативными, что влечёт избыточность, снижает обобщение и усложняет синтезируемую ННС;

- ННС, как правило, обучаются с помощью градиентных методов, которые являются методами локальной оптимизации и характеризуются высокой итеративностью, а также неопределенностью выбора начальной точки поиска.

В настоящей работе предлагается для синтеза ННС использовать деревья решений (ДР), представляющие собой один из методов анализа данных, который задает способ представления правил вида «Если - то» в иерархической последовательной структуре, где каждому объекту соответствует единственный узел с решением [4, 7-10]. Целесообразность применения ДР для синтеза ННС обуславливается следующими причинами:

- в процессе построения ДР выявляется набор информативных признаков (косвенно решается задача отбора информативных признаков), что позволяет строить более простые модели. Кроме того, признаки ранжируются по степени их важности;

- ДР может быть преобразовано в набор продукционных правил, число которых за счёт обобщения может быть меньшим, чем число экземпляров, что также понижает громоздкость и сложность синтезируемой модели. Повысить обобщение дополнительно возможно с помощью процедур усечения ДР;

- проверки в ДР могут быть использованы для определения числа термов по каждой переменной и параметров интервалов чёткого разбиения. Значения найденных границ интервалов (на основе узлов ДР) при отображении правил ДР в ННС позволяют осуществить не только структурную идентификацию, но и задать начальную точку поиска для градиентных методов, которая будет близка к оптимальной;

- ДР может быть также использовано для построения иерархических сетей.

Целью данного исследования является разработка метода синтеза нейро-нечётких сетей на основе деревьев решений.

Постановка задачи

Пусть задана обучающая выборка < X,Y >, где X = {Xi} - набор значений признаков, характеризующих рассматриваемый объект или процесс; Y = {Ур}

- массив значений выходного параметра в заданной выборке; Xi = {xip} - i-й признак в выборке, i = 1,2,...,L ; xip є [xmini;xmaxi] - значение i-го признака для р-го экземпляра выборки, р = 1,2,...,m; xmini и xmaxi - минимальное и максимальное значения i-го признака, соответственно; Ур є dy - значение прогнозируемого параметра для р-го экземпляра;

58

РИ, 2012, № 2

Dy = {y(t)} - множество значений выходного параметра, t = 1,2,...,Ny ; L - общее число признаков в исходном наборе; m - число экземпляров выборки; Ny = |Dy| - число значений выходного параметра Y в множестве DY .

Тогда задача синтеза распознающей модели на основе ННС заключается в идентификации таких структуры ННС и значений её параметров, для которых достигается минимум заданного значения критерия оптимальности ^(ННС, X, Y) ^ min, где

^(ННС, X, Y) - критерий, определяющий эффективность использования ННС для аппроксимации зависимости между набором входных параметров X и соответствующим ему вектором значений выходного параметра Y.

Как правило, в качестве критерия оптимальности ННС используется среднеквадратическая ошибка:

m

e = Z(yp - y^QXp))2-,

Р=1

где Xp - набор значений признаков для p-го экземпляра; у(ННС, Xp ) - значение выхода ННС, вычисленное для набора значений X p .

Метод синтеза нейро-нечётких сетей на основе деревьев решений

В разработанном методе построения ННС предлагается использовать ДР, синтезированное на основе заданной выборки данных, для извлечения продукционных правил вида «Если - то», вычисления параметров функций принадлежности, задания структуры и настройки параметров нейроэлементов ННС. Синтез ННС предлагается выполнять в виде такой последовательности этапов.

Этап 1. Построение базы правил типа «Если - то». На данном этапе по обучающей выборке < X, Y > с помощью методов синтеза ДР [4, 5, 7, 11, 12] выполняется построение дерева решений DT = (dk}, где dk =<cdk,ldk,rdk > - k-й узел дерева DT, представляющий собой структуру, в которой cdk - функция принятия решений (условие типа xi є Aij) на основе значений входных переменных (в случае, если узел является внутренним) или значение выходной переменной (для внешних узлов); ldk и rdk - ссылки на левого и правого потомков k-го узла, соответственно, представляющих собой структуры, аналогичные dk ; Aij =[lij;4j J - интервал значений признака Xi в условии cdk , ограничивающийся значениями lij и rij .

Для построения набора правил R путем извлечения правил из ДР выполняется прямой обход дерева: от корня дерева к каждому узлу. При этом для корня дерева как первого узла-родителя вызывается рекурсивно процедура обхода левого и правого поддеревь-

ев. В процессе обхода дерева DT при каждом посещении нового узла dk происходит модификация текущего антецедента Antecedentj правила Rj путем добавления условия cdk , находящегося в узле dk :

Antecedentj = Antecedent I cdk .

В случае, когда в условии cdk значение некоторого признака Xi выходит за пределы диапазона его возможных значений [xmini;xmaxiJ, выполняется корректировка левой lij и правой rij границ значений признака Xi в условии cdk :

lij = X min i , если lij < X min i ;

ГЧ = X max i , если rij > X max i ■

Когда узел dk оказывается листом (ссылки на левого и правого потомков являются пустыми), выполняется пополнение базы правил R новым правилом R j . При этом в качестве антецедента принимается Antecedentj, а в качестве консеквента - значение cdk листа дерева:

Правило Rj : Если Antecedentj, то cdk .

После достижении листа и формирования правила R j выполняется возврат к узлу d' дерева решений, из которого еще выполнены не все возможные проходы. При этом из текущего антецедента удаляются условия cdk , соответствующие узлам, расположенным от листа dk к узлу d':

Antecedentj+1 = Antecedentj / cdk.

Обход дерева выполняется до тех пор, пока не будут пройдены все его листья (каждый узел дерева посещается до тех пор, пока не посещены все его потомки).

Таким образом, в результате выполнения первого этапа предлагаемого метода выполняется формирова -ние базы правил R типа «Если - то», где каждое j-е правило формируется на основе условий (проверок) типа xi є Aij, относящихся к ветвям ДР, расположенным на пути от корня к j-му листу:

L

Правило 1: Если I x; є An, то y =y1;

i=1

L

Правило 2 : Если I x; є Ai2, то y =y2;

i=1

L

Правило m : Если I x; є Aim, то y =ym,

i=1

где Aij - интервал (множество) значений признака Xi, при которых выполняется j-е правило.

Этап 2. Синтез блоков первого слоя ННС, определяющих принадлежность распознаваемого экземпляра к

РИ, 2012, № 2

59

термам признаков. Для этого вычисляются левая lij и правая 4j границы диапазонов значений каждого признака Xi в правиле Rj.

Далее для каждого i-го признака Xi определяется число интервалов разбиения диапазона его значений Ni по всему множеству правил R .

Затем задаются функции принадлежности распознаваемого экземпляра к каждому из термов. При этом используются границы чётких интервалов A ij = [l j r-), найденные ранее.

В качестве функций принадлежности целесообразно использовать такие, которые позволяют ограничивать интервал значений признаков:

- трапециевидную функцию:

0, если xi < aik;

xi -aik .

-------, если aik < xi < lik;

lik -aik

Pik Ч1, если lik < xi < rik;

b- — x-

7T—L, если rik < xi < bik;

bik— rik

0, если xi >bik,

где значения aik , bik , %, 1-n- +1 определяются по формулам:

„ 3rik—1 + lik b rik + 3lik+1 r.„ = i.. — 2 aik = —4—, bik = —4—, ri0 = li1 2,

liNi +1 = liNi + 2;

- П-образную функцию:

pik = pSik ' H^ik ,

здесь pSik и pZik - S-образная и Z-образная функции принадлежности, соответственно:

PSik =<

0, если xi <lik; x- — і-

1 ,ik, если lik < xi < rik; rik — lik

1, если xi > rik,

MZik =<

1, если x- <lik; r — x

ik , 1, если lik < xi < rik; r1k— lik

0, если xi > rik.

Этап 3. Построение второго слоя ННС, состоящего из нейронов, реализующих строки-конъюнкции антецедентов правил нечёткой базы знаний. Выходы каждого нейрона этого слоя определяют степени выполнения условий правил для распознаваемого экземпляра. 60

При вычислении степеней выполнения антецедентов правил целесообразно учитывать достоверность (вес, надежность, уверенность) каждого правила. Поэтому при расчёте выходов нейронов второго слоя предлагается использовать также коэффициент уверенности каждого правила, что позволит усилить вклад более надежных правил в решение.

Для вычисления коэффициента уверенности Yj j-го правила предлагается по всей выборке < X,Y > найти число экземпляров nj, для которых сработало j-е правило, а также определить n ош j - число ошибочных решений при использовании данного правила.

Коэффициент уверенности j-го правила Yj будем рассчитывать по формуле:

Yj = а j Рправ j ,

где a j

— - вероятность срaбaтывaнияj -го правила; m

Рправ j 1 Рош j 1

П

n ■

- вероятность правиль-

ных решений при использовании j-го правила.

Т огда степень соответствия выполнения антецедента j -го правила для распознаваемого экземпляра может быть рассчитана следующим образом:

Р Aj =a jmin{max{w(kJ); p ik}},

i,k ’

где PAj - степень выполнения антецедента)-го правила для распознаваемого экземпляра; wi(k2 j) - веса нейронов второго слоя, определяющие наличие связи от нейронов первого слоя ко второму и отражающие наличие k-го терма i-го признака в антецеденте j-го правила. Веса w(kj) определяются по синтезированному ДР следующим образом: w(kj) = 0 , если на пути от корня ДР к j-му листу имеется условие, при котором i-й признак попадает в k-й интервал диапазона его разбиения (k-й терм i-го признака присутствует в описании условий j-го правила), в противном случае:

w(k2j) = 1.

Этап 4. Определение параметров нейронов третьего слоя ННС, которые вычисляют степени принадлежности входного вектора к соответствующим термам выходной переменной, используя формулу:

Р y(t) = min{max{w(3t); p Aj}b

y j

где p (t) - степень принадлежности входного вектора

A3t)

к t-му терму выходной переменной y; w) - - веса нейронов третьего слоя, определяющие наличие связи от нейронов второго слоя к третьему и отражающие соответствие t-го терма выходного параметра j-му правилу нечёткой базы знаний. Веса w(j3t) определяются по синтезированному ДР: w(3t) = 0, если значение j-го листа ДР равно t-му значению выходного

параметра y(t) из множества его значений Dy , в

(3t) ,

противном случае: w) -1.

РИ, 2012, № 2

Этап 5. Дефаззификация. Приведение результата в чёткую форму осуществляется с помощью нейрона четвертого слоя ННС, выход которого может быть вычислен с помощью центроидного метода [4] по формуле:

m m

y = (Z y(t))/(Z^ yw).

j=1 j=1

Схема ННС, построенной с помощью предложенного метода, приведена на рисунке.

Структура ННС, построенной с помощью предложенного метода

туры сети. Настройка параметров нейроэлементов осуществляется с помощью метода обратного распространения ошибки [4];

2) метод, предусматривающий кластеризацию выборки. При использовании такого подхода на основании найденных центров кластеров формируются правила, которые отображаются в структуру ННС. Параметры блоков ННС настраиваются с помощью метода обратного распространения ошибки [4];

3) предложенный метод синтеза ННС на основе деревьев решений.

Результаты экспериментов показали, что сравниваемые методы характеризовались следующими ошибками: 3,1; 1,7 и 1,4%, соответственно.

Важно отметить, что ННС, синтезированная на основе предложенного метода, характеризовалась меньшим числом нейроэлементов, что обеспечивается благодаря использованию деревьев решений, обобщающих в виде базы правил информацию, которая содержится в выборке исходных данных. Время построения ННС и время вычисления выходного параметра по синтезированной сети во втором и третьем методах существенно меньше, чем в первом, что объясняется меньшим числомм нейроэлементов.

Предложенный метод построения ННС на основе ДР был программно реализован в компьютерной программе “Автоматизированная система синтеза деревьев решений на основе интеллектуальных вычислений для неразрушающего диагностирования и классификации” на языке программирования C#.

С помощью разработанного метода и программного обеспечения решалась практическая задача диагностирования кузовов автотранспортных средств [11]. Экспериментальные исследования проводились на основе выборки данных, которая формировалась по результатам измерений для 172 кузовов автомобилей, изготовляемых на предприятии ЗАО “ ЗАЗ”. Каждый кузов характеризовался 1400 контрольными точками, из которых в [12] было выделено 17 наиболее существенных для определения качества кузова. Выявлено, что к ним относятся точки, расположенные в области порога, а также точки, определяющие местоположение крепления дверных петель. На основании геометрических параметров существенных точек получены 48 входных признаков.

Таким образом, для синтеза ННС была сформирована выборка из 172 экземпляров, каждый из которых описывался 48 признаками. Выходной параметр принимал два значения: “0” - кузов необходимо дорабатывать, “ 1 ” - кузов считается пригодным к эксплуатации.

В процессе экспериментального исследования проводилось сравнение следующих методов синтеза ННС:

1) метод, при использовании которого выборка данных отображается непосредственно в правила (каждый экземпляр выборки преобразовывается в одно правило базы правил), таким образом формируя струк-

Т аким образом, предложенный метод синтеза ННС на основе деревьев решений позволяет строить модели с относительно небольшим числом нейроэлементов, обладающие высоким уровнем обобщения. В отличие от градиентных методов настройки параметров сети, предложенный метод не является высокоитеративным, не относится к методам локальной оптимизации и не связан с проблемой неопределенности выбора начальной точки поиска.

Выводы

Решена актуальная задача автоматизации построения диагностических и распознающих моделей на основе нейро-нечётких сетей.

Научная новизна работы заключается в том, что предложен новый метод синтеза нейро-нечётких сетей на основе деревьев решений, который для построенного по обучающей выборке ДР автоматически формирует нечёткое разбиение признакового пространства и выделяет правила, на основе которых формирует структуру сети и определяет значения её параметров. Это позволяет синтезировать модели с небольшим числом нейроэлементов, обладающие высоким уровнем обобщения, и не требует решения задач оптимизации для настройки значений параметров модели.

Практическая ценность полученных результатов заключается в том, что на основе предложенного метода разработано программное обеспечение, позволяющее синтезировать нейро-нечёткие сети, а также решена практическая задача диагностирования автотранспортных средств.

РИ, 2012, № 2

61

Литература: 1. Прогрессивные технологии моделирования, оптимизации и интеллектуальной автоматизации этапов жизненного цикла авиационных двигателей /А.В. Богуслаев, Ал. А. Олейник, Ан. А. Олейник, Д. В. Павленко, С. А. Субботин ; под ред. Д. В. Павленко, С. А. Субботина. Запорожье : ОАО “Мотор Сич”, 2009. 468 с. 2. Гибридные нейро-фаззи модели и мультиагентные технологии в сложных системах /В. А. Филатов, Е. В. -Бодянский, В. Е. Кучеренко и др.; под общ. ред. Е. В. Бодянского. Дніпропетровськ : Системні технології, 2008. 403 с. З. Nauck D. Foundations of Neuro-Fuzzy Systems / D. Nauck, F. Klawonn, R. Kruse. Chichester : John Wiley & Sons, 1997. 305 p. 4. Субботін C. О. Подання й обробка знань у системах штучного інтелекту та підтримки прийняття рішень/С. О. Субботін. Запоріжжя: ЗНТУ,2008.341 с. 5.Encyclopedia of artificial intelligence / Eds.: J. R. Dopico, J. D. de la Calle, A. P. Sierra. New York: Information Science Reference, 2009. Vol. 1-3. 1677 p. 6. Субботін C.

О. Неітеративні, еволюційні та мультиагентні методи синтезу нечіткологічних і нейромережних моделей / С.

O. Субботін, А. О. Олійник, О. О. Олійник ; під заг. ред. С.О. Субботіна. Запоріжжя: ЗПГУ,2009.375 с. 7. Rokach L. Data mining with decision trees, theory and applications / L. Rokach, O. Maimon. London: World Scientific Publishing Co, 2008. 264 p. 8. Люгер Дж. Ф. Искусственный интеллект: стратегии и методы решения сложных проблем / Дж. Ф. Люгер. М. : Вильямс, 2005. 864 с. 9. Quinlan J. R. Induction of decision trees / J. R. Quinlan // Machine Learning. 1986. № 1. P. 81-106. TO. A comparison of decision tree ensemble creation techniques / R. Banfield, L. O. Hall, K. W. Bowyer, W. P. Kegelmeyer // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2007. N° 29 (1).

P. 173-180. Гофман E. А. Использование деревьев решений для диагностирования автотранспортных средств / Е. А. Гофман, А. А. Олейник, С. А. Субботин / / Информационные управляющие системы и компью-

терный мониторинг : II Международная научно-техни-ческая конференция ИУС и КМ-2011,11-13 апреля 2011 г.

: материалы конференции. Донецк, 2011Т. 1. С. 159-163. 12. Гофман Е. А. Эволюционный метод синтеза деревьев решений / Е. А. Гофман, А. А. Олейник, С. А. Субботин //Штучний інтелект. 2011. № 2. С. 6-14.

Поступила в редколлегию 18.03.2012

Рецензент: д-р техн. наук, проф. ГоменюкС. И.

Гофман Евгений Александрович, аспирант кафедры программных средств Запорожского национального технического университета. Научные интересы: методы индуктивного обучения, деревья решений. Адрес: Украина, 69063, Запорожье, ул. Жуковского, 64, тел.: (061) 769-82-67, e-mail: [email protected].

Субботин Сергей Александрович, канд. техн. наук, лауреат премии Президента Украины, лауреат Премии Верховной Рады Украины в области фундаментальных и прикладных исследований и научно-технических разработок, докторант Запорожского национального технического университета. Научные интересы: нейронные сети, нечёткая логика, интеллектуальные системы поддержки принятия решений. Адрес: Украина, 69063, Запорожье,ул. Жуковского, 64, тел. (061) 769-82-67, e-mail: [email protected].

Олейник Андрей Александрович, канд. техн. наук, лауреат Премии Верховной Рады Украины в области фундаментальных и прикладных исследований и научно-технических разработок, доцент кафедры программных средств Запорожского национального технического университета. Научные интересы: интеллектуальные системы поддержки принятия решений. Адрес: Украина, 69063, Запорожье, ул. Жуковского, 64, тел. (061) 769-82-67, е-mail: [email protected]