CC BY
42
23. Klawonn, F Constructing a fuzzy controller from data / KlawonnF., Kruse R. // Fuzy Sets and Systems. - 1997. -85. - P. 117-193.
Надійшла 21.10.2010
Колчигін Б. В., Волкова В. В., Бодянський Є. В.
АДАПТИВНА НЕЙРО-ФАЗЗІ МЕРЕЖА КОХОНЕНА
У роботі запропоновано рекурентний алгоритм навчання складової нейро-фаззі мережі Кохонена для кластери-зації. Запропонований алгоритм є узагальненням WTA, WTM принципів навчання та алгоритмів Кашьяпа-Блейдо-на та Ципкіна, а також об’єднує в собі імовірнісний та можливісний методи навчання.
Ключові слова: алгоритм самонавчання, кластеризація, нейро-фаззі мережа, самоорганізована карта Кохонена.
Kolchygin B., Volkova V, Bodyanskiy Ye.
ADAPTIVE NEURO-FUZZY KOHONEN’S NETWORK
Recurrent learning algorithm for compartmental adaptive fuzzy Kohonen clustering network is proposed. The algorithm is generalization of WTA and WTM concepts and Kashyap-Blaydon and Tsypkin learning algorithms and also combines probabilistic and possibilistic clustering methods.
Key words: clustering, neuro-fuzzy network, self-learning algorithm, self-organizing Kohonen map.
УДК 004.93
Субботин С. А.
Канд. техн. наук, доцент Запорожского национального технического университета
ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ И АНАЛИЗ ВЗАИМОСВЯЗЕЙ ИНФОРМАЦИОННЫХ ПОКАЗАТЕЛЕЙ КАЧЕСТВА ДИАГНОСТИЧЕСКИХ НЕЙРОМОДЕЛЕЙ
Экспериментально исследован комплекс информационных показателей качества диагностических нейромоделей при решении практических задач. Получены качественные зависимости между показателями, учет которых при формировании интегральных показателей качества позволяет существенно упростить вычисления путем исключения дублирующихся показателей.
Ключевые слова: качество, модель, техническая диагностика, нейронная сеть, нейро-не-четкая сеть.
ВВЕДЕНИЕ
Необходимость обеспечения высокого уровня качества выпускаемых и эксплуатируемых изделий обуславливает потребность в разработке систем неразрушающей диагностики и контроля качества, для построения которых, в свою очередь, необходимо обладать диагностической моделью [1].
Одними из наиболее перспективных средств разработки диагностических моделей являются искусственные нейронные [2] и нейро-нечеткие сети [3], обладающие способностями к индуктивному обучению на основе прецедентов. В настоящее время известно достаточно большое количество различных архитектур нейронных и нейро-нечетких сетей, а также методов их обучения [2, 3]. Кроме того, даже для сети с фиксированной архитектурой и методом обучения вследствие свойства вариативности получаемых моделей по одной и той же выборке прецедентов возможно получить множество различных моделей, обладающих приемлемым уровнем точности. Поэтому на практике при разработке систем технической диагностики в нейросетевом или нейро-не-
© Субботин С. А., 2011
четком базисе является актуальной задача выбора одной из множества возможных диагностических моделей, что требует разработки информационных показателей, характеризующих качество модели.
Цель данной работы заключается в создании и экспериментальном исследовании комплекса показателей качества нейромоделей для автоматизации их построения и анализа.
1. ПОСТАНОВКА ЗАДАЧИ ОЦЕНКИ
КАЧЕСТВА НЕЙРОМОДЕЛИ
Пусть задана обучающая выборка <x, у>, x = {x5}, Xs = {x5}, y = {y5}, s = 1, 2,..., S, j = 1, 2,..., N, где x5j - значение j-го входного признака s-го экземпляра Xs выборки, у5 - значение выходного признака, сопоставленное s-му экземпляру выборки, S - объем выборки, N - число признаков в выборке. На основе обучающей выборки <x, у> может быть получена нейромодель net(w, x), где w = {wjn-')}, wjn {) - весовой коэффициент, сопоставленный j-му входу i-го нейрона n-го слоя xnet ={<ф(п-')(w(nx(n')), ■у(л, i)(w(n-‘), x(n' '))>}, w(n'= { W^’i)} , x(n'= {xjj^’i)} ,
ф(л,i)(w(nо, xin'i)) и у(Г|-t)(w(r|- x(n-i)) - соответственно, весовая (дискриминантная) и активационная функции i-го нейрона n-го слоя.
Обозначим: M - число слоев в сети; N3 - число нейронов в n-м слое; Ын - число нейронов в сети; NT - максимально допустимое число нейронов; К - число весов в сети; wjmaX, wjmSl - максимальное и минимальное возможные значения веса i); w“,
wj - максимальное и минимальное возможные значения веса связи от i-го нейрона к j-му; wmax, wmin -максимальное и минимальное возможные значения весов сети; у<МХi), YiMi') - максимальное и минимальное значения i-го выхода.
Необходимо разработать информационные показатели {Ii}, характеризующие качество нейромодели fw, x), т. е. выражающие количественно наличие у модели тех или иных свойств, важных для пользователя.
2. ИНФОРМАЦИОННЫЕ ПОКАЗАТЕЛИ
КАЧЕСТВА ДИАГНОСТИЧЕСКОЙ
НЕЙРОМОДЕЛИ
Традиционно используемым показателем качества нейромодели является ее ошибка E (как правило, среднеквадратическая) [2]. Однако ошибка не отражает множество свойств, которыми обладают нейромодели.
В ранних работах [4, 5] автором была предпринята попытка разработки набора показателей, характеризующих логическую прозрачность и сложность нейронных сетей прямого распространения. Однако весьма значительный набор свойств нейросетей и нейро-нечетких сетей оставался неописанным аналитически выражающими его показателями.
Поэтому в последнее время в работах [6-9] предложены показатели: предорганизации в обучении Ipo, обобщения Ig, соответствия нелинейностей выборки и нейромодели: lnl, автоматизации в обучении Iaut, автоматизации предорганизации в обучении Iapo, адаптивности Iadapt, асимметрии весов Iwsym, асимметрии модели Iasym, асимметрии нейронов Iasym, вариативности Iv, иерархичности Ih, интерпретабельнос-ти Iinterp., максимальной надежности весов Imax, максимальной надежности нейронов Imax, нейронной пластичности I нелинейности модели Inl(net), обобщения Igen, однородности активационных функций Iha, однородности дискриминантных функций Ihd, однородности нейронов IhH, параллелизма Ipan обучаемости Ilr, пластичности нейромодели Ipl, разнообразия модели по отношению к генеральной совокупности Idiv(net, X, Y), разнообразия модели по отношению к обучающей выборке Idiv(net, <x, y>),
разнообразия нейромодели Idiv(net), распределенности памяти Imd, робастности по отношению ко входам IRb, робастности IRb, робастности по отношению к весам lRWb, симметрии весов Iswym, симметрии модели Isym, симметрии нейронов Isym, синаптической пластичности I сложности сети Lnet, средней надежности весов Iwvg, средней надежности нейронов Iag, уверенности i-го выхода I‘cert(xs), уверенности модели Icert, функциональной блочности f устойчивости к шуму Itol j, чувствительности Itol 1, эквивалентности I , эквифинальности Ieqf, эластичности выходной переменной yi по признаку xj Elx (net, yi), эмерджентности Ia, эффективности модели Iefi интегральный информационный критерий IIC. Данный комплекс показателей может быть дополнен информационными показателями SSD, CAIC, MDL, CP, AIC, AICc, HQC, BIC, AICu.
Совокупность предложенных показателей [6-9] позволяет в комплексе охарактеризовать качество диагностической нейромодели.
Поскольку количество разработанных показателей [6-9] достаточно велико, то весьма важным с практической точки зрения является иерархическое упорядочивание вычисления показателей при их совместном применении.
На рис. 1 приведен граф иерархии аналитических связей разработанных показателей. Применение данного графа при разработке программ позволяет существенно сократить объем вычислений за счет исключения повторов однотипных расчетов при расчете значительной части показателей качества.
Поскольку на качество нейромодели существенное влияние оказывает обучающая выборка данных, в работах [10-12] были предложены показатели качества выборок. На рис. 1 отображены аналитические зависимости показателей качества нейромоделей от некоторых характеристик обучающей выборки: сложности L и нелинейности Inl (<x, у>). Взаимосвязи между показателями качества выборок описаны в [11].
3. ЭКСПЕРИМЕНТЫ
ПО ИССЛЕДОВАНИЮ ВЗАИМОСВЯЗИ
ПОКАЗАТЕЛЕЙ КАЧЕСТВА
Расчет комплекса предложенных показателей качества, даже с оптимизацией вычислений путем использования графа, приведенного на рисунке, может оказаться на практике вычислительно затратным. Поэтому представляет существенный интерес исследование взаимосвязей между показателями качества с целью устранения из комплексных показателей избыточных вычислений.
о
о
Характеристики выборки
Характеристики нейромодели
Рис. 1. Схема аналитических взаимосвязей информационных показателей качества диагностических нейромоделей
НЕЙРОІНФОРМАТИКА ТА ІНТЕЛЕКТУАЛЬНІ СИСТЕМИ
Для практических задач [12] проводились эксперименты по исследованию взаимосвязей между показателями качества нейромоделей на основе нейронных сетей: многослойной прямого распространения и радиально-базисной [2], а также нейро-нечетких сетей Мамдани и АОТШ [3]. Наиболее интересные графики экспериментально полученных зависимостей между показателями качества нейромоделей изображены на рис. 2-3.
Как видно из рис. 2, с увеличением Ьпе1 наблюдается рост 11г, при возрастании 1Шу(пв^ <х, у>) отмечается убывание I с ростом Iееп наблюдается увеличение 1ф с увеличением I отмечается рост /1п1егр., с ростом 1Ъ наблюдается увеличение 1ес^ и /1п4егр.
В свою очередь, из рис. 3 следует, что при возрастании 1раг наблюдается увеличение I/, с ростом 1Ы происходит убывание 71п4егр., при возрастании I наблюдается уменьшение / и 11п4егр., а также увеличение 1кп, при возрастании 1р1 наблюдается увеличение 1ф
Также в результате проведенных экспериментов отмечено, что с ростом сложности сети Ьпе1 уменьшается показатель соответствия нелинейностей выборки и нейромодели 1п1 (при фиксированной выборке это объясняется увеличением нелинейности нейромодели), при возрастании показателя эмерджентности 1а наблюдается уменьшение разнообразия сети 1аы(пв?) и отношения разнообразия выборки и сети 1Шу(пв(, <х, у>), при возрастании 1Лу(пе() и Idiv(net, <х, у>) наблюдается рост 1У, а также убывание показателей 1е/, 4еп, -^н.ге и 1ауе
•“ -‘■•мге-
Увеличение Iут и 1%ут приводит к уменьшению 1/ь и
^егр, а также к увеличению ^ ^ и кп- С ростом ка происходит увеличение !йп. С ростом показателей ^а, Ihd и ^ происходит уменьшение показателей функциональной блочности /. и интерпретабельности Ilnteгp
С увеличением значения показателя автоматизации предорганизации в обучении I наблюдается рост значений показателя интерпретабельности !1йегр., а также убывание показателей Да, Ihd, 4н., и Увеличе-
ние показателя иерархичности модели ^ приводит к возрастанию показателей эквифинальности и интерпре-
табельности
Увеличение показателя обобщения приводит к
росту I/ и Ще. В свою очередь, увеличение значения приводит к росту I/ и ^Д, с возрастанием ^ происходит убывание Ще, а увеличение Imd приводит к росту ки, IS.1I, I/ 4еп, и ^ап а также к убыванию I¿iы(ne{) и ^^пе^ <х, у>). При возрастании значений I наблю-
дается увеличение I/, ^.Ц и ^'Ш, а также уменьшение <x, У>) и к.
При увеличении значений М, Мн и наблюдается уменьшение эмерджентности 1а. Возрастание приводит к росту Іл„(пеґ) и Іл„(пеґ, <х, у>), а также к убыванию Іф I и І^|. Увеличение І^ приводит к увеличению Іф Ітф Ііїї§ и І^і С ростом значения Ір1 возрастают Іа, Іф т І™і и І™%, с увеличением числа нейронов Жн. происходит убывание Іф Ір1, и І а также увеличение І^ПЄҐ), Іа„(пєґ, <х, у>) и І,
Полученные качественные зависимости между показателями, характеризующими свойства нейромоделей, могут быть учтены при формировании интегральных показателей качества для исключения качественно эквивалентных дублирующихся показателей, что позволит упростить и ускорить вычисления.
ЗАКЛЮЧЕНИЕ
С целью автоматизации построения и анализа диагностических моделей в работе решена актуальная задача экспериментального исследования комплекса показателей качества диагностических нейромоделей.
Практическая ценность работы заключается в том, что при решении задач диагностики экспериментально исследован комплекс информационных показателей качества диагностических нейромоделей. Это позволило получить качественные зависимости между показателями, учет которых при формировании интегральных показателей качества позволяет существенно упростить вычисления путем исключения качественно эквивалентных (дублирующихся) показателей.
Работа выполнена в рамках госбюджетной темы кафедры программных средств Запорожского национального технического университета «Информационные технологии автоматизации распознавания образов и принятия решений для диагностики в условиях неопределенности на основе гибридных нечеткологических, нейросетевых и мультиагентных методов вычислительного интеллекта» (номер гос. регистрации 0109и007673).
СПИСОК ЛИТЕРАТУРЫ
1. Биргер, И. А. Техническая диагностика / И. А. Биргер. -М. : Машиностроение, 1978. - 240 с.
2. Хайкин, С. Нейронные сети: полный курс / С. Хай-кин ; пер. с англ. - М. : Вильямс, 2006. - 1104 с.
3. Субботін, С. О. Подання й обробка знань у системах штучного інтелекту та підтримки прийняття рішень: навчальний посібник / С. О. Субботін. - Запоріжжя : ЗНТУ, 2008. - 341 с.
4. Субботин, С. А. Методика и критерии сравнения моделей и алгоритмов синтеза искусственных нейронных сетей / С. А. Субботин // Радіоелектроніка, інформатика, управління. - 2003. - № 2. - С. 109-114.
5. Субботин, С. А. О сравнении нейросетевых моделей / С. А. Субботин // Нейроинформатика и ее приложения : материалы XI Всероссийского семинара, 3-5
Рис. 2. Графики зависимостей:
- 1п(4.) °т 1п(іпе1); б - 1п(І8еп) от <x, у>)); в - 1п(Іе/) от 1п(Іїе„); г - 4^. от 4р„; д - ІедГ от 4; е - і^. от 4
а
línterp
Рис. 3. Графики зависимостей:
\n(If) от ln(Ipar); б
Ilnterp. от hm в - f от Isym; г - Ihn от ^sym; д -^ínterp от Isym; е - ln(Ief) от ln(Ipl)
а
октября 2003 г / под ред. А. Н. Горбаня, Е. М. Мирке-са. - Красноярск : ИВМ СО РАН, 2003. - С. 152-153.
6. Субботин, С. А. Анализ свойств и критерии сравнения нейросетевых моделей для решения задач диагностики и распознавания образов / С. А. Субботин // Реєстрація, зберігання і обробка даних. - 2009. - Т 11. -№ 3. - С. 42-52.
7. Субботин, С. А. Модели критериев сравнения нейронных и нейро-нечетких сетей в задачах диагностики и классификации образов / С. А. Субботин // Наукові праці Донецького національного технічного університету. Серія «Інформатика, кібернетика та обчислювальна техніка». - Донецьк: ДНТУ, 2010. - Вип. 12 (165). - С.148-151.
8. Субботин, С. А. Показатели качества и эффективность нейромоделей / С. А. Субботин // Проведение научных исследований в области обработки, хранения, передачи и защиты информации. Всероссийская конференции с элементами научной школы для молодежи, 1-5 декабря 2009 г., Ульяновск : сборник научных трудов. - Т. 2. - Ульяновск : УлГТУ, 2009. - С. 38-47.
9. Субботин, С. А. Интегральные показатели качества диагностических нейромоделей / С. А. Субботин // Научная сессия МИФИ - 2010. XII Всероссийская научно-техническая конференция «Нейроинформатика-2010» : сборник научных трудов. - М. : МИФИ, 2010. -
Ч. 1. - С. 12.
10. Субботин, С. А. Комплекс характеристик и критериев сравнения обучающих выборок для решения задач диагностики и распознавания образов / С. А. Субботин // Математичні машини і системи. - 2010. - № 1. -С. 25-39.
11. Subbotin, S. A. The Training Set Quality Measures for Neural Network Learning / S. A. Subbotin // Optical Memory and Neural Networks (Information Optics). - 2010. -Vol. 19. - № 2. - P. 126-139.
12. Богуслаев, А. В. Прогрессивные технологии моделирования, оптимизации и интеллектуальной автоматизации этапов жизненного цикла авиационных дви-
гателей: монография / А. В. Богуслаев, Ал. А. Олейник, Ан. А. Олейник, Д. В. Павленко, С. А. Субботин ; под ред. Д. В. Павленко, С. А. Субботина. - Запорожье : Мотор Сич, 2009. - 468 с.
Надійшла 24.09.2010
Субботін С. О.
ЕКСПЕРИМЕНТАЛЬНЕ ДОСЛІДЖЕННЯ Й АНАЛІЗ ВЗАЄМОЗВ’ЯЗКІВ ІНФОРМАЦІЙНИХ ПОКАЗНИКІВ ЯКОСТІ ДІАГНОСТИЧНИХ НЕЙРОМОДЕЛЕЙ
Експериментально досліджено комплекс інформаційних показників якості діагностичних нейромоделей при вирішенні практичних завдань. Отримано якісні залежності між показниками, урахування яких при формуванні інтегральних показників якості дозволяє істотно спростити обчислення шляхом виключення показників, що дублюються.
Ключові слова: якість, модель, технічна діагностика, нейронна мережа, нейро-нечітка мережа.
Subbotin S. A.
EXPERIMENTAL INVESTIGATION AND ANALYSIS OF INFORMATION QUALITY INDICES CORRELATION FOR DIAGNOSTIC NEUROMODELS
The complex of information quality indices of diagnostic neuromodels has been experimentally investigated by solving practical problems. Qualitative relationships between the indices have been obtained. When used for formation of integral quality indices, they can simplify computation by eliminating duplicate indices.
Key words: quality, model, technical diagnosis, neural network, neuro-fuzzy network.
