CC BY
65
УДК 681.32:007.52
ЭВРИСТИЧЕСКИЙ АЛГОРИТМ КЛАССИФИКАЦИИ И ЕГО НЕЙРОСЕТЕВАЯ ИНТЕРПРЕТАЦИЯ
В. И. Дубровин, С. А. Субботин
Реализован эвристический алгоритм многомерной классификации по признакам, основанный на объединении результатов одномерной классификации с учетом значимости признаков, а также дана его нейросетевая интерпретация. Проведены эксперименты по сравнению различных модификаций данного алгоритма на примере решения практических задач.
Реал1зовано еврктичний алгоритм багатом(рноЧ класиф1-кацп за ознаками, заснований на поеднанш результат1в одно-мгрног класифгкацп з урахуванням значимостг ознак, а також дана його нейромережева iнтерпретащя. Проведет експери-менти з порiвняння рiзноманiтних модифiкацiй даного алгоритму на прикладi розв'язання практичних задач.
The heuristic algorithm of many-dimensional classification on the features is realised. This algorithm based on the summation of one-dimensional classification results with allowance for features significances. The neural network interpretation of developed algorithm is given. The experiments on matching of various implementations of this algorithm on an examples of the practical problems solution are conducted.
1 ВВЕДЕНИЕ
Возможности прогнозирования привлекают в настоящее время широкие круги специалистов как в области исследования и разработки методов прогнозирования, так и в области их практического применения в производстве и эксплуатации.
Использование прогнозирования в производстве позволяет устранить потенциально ненадежные изделия из готовой продукции, что само по себе очень важно, так как способствует повышению эффективности эксплуатации. Кроме того, анализ причин выпуска потенциально ненадежных изделий позволяет оперативно воздействовать на производство, так как появляется возможность управления качеством выпускаемой продукции за счет введения обратной связи от прогнозирования к производству.
Цель прогнозирования в эксплуатации - предотвращение отказов и увеличение сроков между профилактическими работами путем выявления и исключения из эксплуатации потенциально ненадежных экземпляров с ухудшенными значениями параметров и интенсивным старением.
При прогнозировании по признакам с классификацией задача состоит в разделении исследуемой совокупности изделий на классы и нет необходимости в оценке конкретного значения прогнозируемого параметра. В большинстве практических приложений этого метода число классов равно двум. Так бывает, например, когда
исследуемую совокупность необходимо по заданному правилу разделить на класс годных и дефектных изделий.
Для решения задачи прогнозирования методами теории статистической классификации необходимо располагать условными многомерными плотностями распределения признаков для каждого класса, тогда задача заключается в отыскании способа принятия оптимального решения о принадлежности проверяемого экземпляра к тому или иному классу в условиях неопределенности, т.е. в условиях действия случайных факторов, маскирующих связь между признаками и классом экземпляра.
Классические статистические методы [1] дают оптимальное решение задачи прогнозирования. Однако практическое применение этих методов возможно, если проведен специальный эксперимент по сбору и такой обработке статистических данных о прогнозируемом параметре и признаках, в результате которой найдены подходящие аналитические модели условных многомерных плотностей распределения прогнозируемого параметра и признаков. Однако в реальных задачах исследователь сталкивается здесь с рядом проблем, поэтому реализовать классические статистические методы не всегда возможно.
Во-первых, для реальных изделий даже при известной совокупности информативных признаков (выявление которых представляет весьма трудоемкую задачу) не всегда изучены многомерные условные плотности распределения признаков и прогнозируемого параметра.
Во-вторых, получение аналитических моделей этих условных плотностей распределения представляет трудоемкий процесс и может быть поставлено только отдельной самостоятельной задачей для каждого типа изделий и для данных условий эксплуатации.
В-третьих, даже если такие аналитические модели получены, необходимые при этих методах прогнозирования аналитические преобразования достаточно сложны. Задача относительно легко решается аналитически, если многомерные условные плотности подчиняются нормальному закону, что в действительности имеет место далеко не всегда.
В связи со сказанным выше представляет интерес применение методов решения задач прогнозирования, основанных на эвристических алгоритмах. Смысл понятия "эвристический алгоритм" состоит в том, что в этом случае алгоритм прогнозирования не вытекает из строгих положений теории, а в значительной степени осно-
ван на интуиции и опыте исследователя.
Такие методы могут давать удовлетворительные результаты и при ограниченной исходной информации о вероятностных характеристиках признаков и прогнозируемого параметра. Так, для применения этих методов для прогнозирования по признакам необходимо иметь набор признаков, сильно коррелированных с прогнозируемым параметром, и необязательно знать вид их условных плотностей распределения.
Следует сказать, что методы прогнозирования, основанные на использовании эвристических алгоритмов, не всегда приводят к оптимальным решениям. Однако для их применения на практике достаточно, чтобы ошибка прогнозирования не превышала допустимого значения, а этого можно добиться, например, подбором более информативных признаков, применением соответствующих способов улучшения оператора прогнозирования.
2 ЭВРИСТИЧЕСКИЙ АЛГОРИТМ
КЛАССИФИКАЦИИ
В настоящей работе решение задачи классификации осуществляется по данным обучающего эксперимента. При этом нет необходимости прибегать к сложным аналитическим преобразованиям и статистическому эксперименту по определению оценки совместной плотности, если она неизвестна.
Пусть мы имеем обучающую выборку х = (х1, х2, ..., хБ} , состоящую из 5 экземпляров, характеризующихся N признаками , где q - номер экземпляра обучающей выборки, г - номер признака. Каждому экземпляру обучающей выборки сопоставлен номер класса у1, е {К} , где К0 и К - условные обозначения разных классов экземпляров. Условимся, что проверяемый экземпляр принадлежит к классу К0 , если значение
прогнозируемого параметра к моменту времени прогнозирования будет больше некоторого граничного значения; будем считать такие изделия годными. В противном случае экземпляр принадлежит к классу К1 (дефектных).
В общем случае, экземпляры характеризуются достаточно большим количеством признаков, имеющих разную (как правило, относительно небольшую) информативность. Признаки зачастую связаны с прогнозируемым номером класса экземпляра нелинейными связями, что не позволяет в большинстве случаев построить линейную модель для классификации по одному признаку, удовлетворяющую заданным требованиям достоверности прогнозирования. Поэтому метод классификации должен быть многомерным (учитывать все признаки) и должен учитывать информативность (значимость) признаков.
Наиболее простым способом реализации многомерной классификации, очевидно, будет объединение результа-
тов одномерных классификаций с учетом значимости признаков.
Если хг) - результат одномерной классификации по
г-му признаку, то у - номер класса экземпляра можно представить как округленную взвешенную сумму:
( N
y = round
X axi)
V i = 1
(1)
где а - коэффициент, учитывающий значимость результата одномерной классификации по г-му признаку (доля г-го признака в формировании значения у).
Если значение известно, то задача сводится к разработке правила одномерной классификации для г-го признака относительно порога классификации вг . Это
правило должно быть нелинейным, а также должно учитывать степень близости экземпляров к центрам классов. В качестве такого правила предлагается использовать сигмоидую функцию:
¥( Xi) =
1
(Xi - 0i)'
1 + е
которая будет тем ближе к 1, чем ближе экземпляр к центру класса К1 , и наоборот, тем ближе к 0, чем ближе
экземпляр к центру класса К0 . Это правило предполагает, что центр класса Ко находится левее центра класса К1 , что на практике происходит далеко не всегда, поэтому введем в правило одномерной классификации параметр вг , учитывающий наиболее вероятное размещение центров классов относительно порога вг :
¥( xi) =
1
1 + eß'( x'- в')'
(2)
Подставив (2) в выражение (1), получим правило классификации:
= round
( N
i=1
1
1 + e
ßi (Xi - e-i)
(3)
Для нахождения значений параметров , вг и в;
предлагается использовать следующий алгоритм. Шаг 1. Вычислить:
Мх - математическое ожидание 1-го признака хг :
Mxt = S X xq, i = 1> 2>.
.., N,
q = 1
y
S
где 5 - количество экземпляров обучающей выборки, х? $ко
К 1 __к 2
- значение г-го признака ?-го экземпляра обучающей вы- Вт0 = —— V (х? -М„ 0) , х? е К0 , г = 1, 2, ..., N ,
хг пК0 1 хг 1 0
борки.
SJV 0
q = 1
- математическое ожидание г-ro признака для Дисперсию номера класса:
S
экземпляров обучающей выборки, принадлежащих к
классу K1 : 1
Dy = S I(yq - My)2'
K.
s 1
K _ 1
q = i
МК1 = 1 \ х? х? е К г = 12 N Шаг 2. Вычислить коэффициенты корреляции каждо-
хг Аа г ' г 1 ' '
г Б 1 го г-го признака и номера класса .
? = 1
К Б
где Б 1 - количество экземпляров обучающей выборки,
!(хЯ - М%)(У? - Му)
принадлежащих к классу К1 . г
г = -д_=Л-
К хгУ
Мх 0 - математическое ожидание г-го признака для эк-
SS
2 V (yq - M ) 2
I (xq - M%i)21 (yq - My)
q = 1 q = 1
земпляров обучающей выборки, принадлежащих к клас- Л
<
су К0 :
Шаг 3. Вычислить степень (долю) влияния г-го при-К знака на номер класса экземпляра
S
MK0 = -K- I xq , xq е K0, i = 1, 2, ..., N , а,. = 1 iy , i = 1, 2, ..., N ,
xi SKo 1 1 1 N
q = 1 vii
I \Xjy\
где SK<0 - количество экземпляров обучающей выборки, j = 1
где j - номер текущего признака .
принадлежащих к классу Ko .
My - математическое ожидание номера класса: Вычислить коэффициент P¿, учитывающий наиболее
вероятное размещение полюсов (центров сосредоточения 1 S экземпляров) классов при одномерной классификации
My = S I yq , по i-му признаку:
q
= 1
рг = 81еп( мК1 - мК0).
где у? - номер класса ?-го экземпляра обучающей вы- г г
борки. ~ ,, *
^ Этот коэффициент будет равен:
Для нахождения порога 8, , вычислить: . г,
г ^ +1, если полюс класса К0 расположен левее полюса
Дисперсии признаков:
класса К по оси значений г-го признака;
Б -1, если полюс класса К0 расположен правее полюса
=1 V (х? - Мх )2, г = 1, 2, ..., N . „
хг Б г хг класса К по оси значений г-го признака;
я = 1 1
0, если полюса классов совпадают. Дисперсии признаков экземпляров, относящихся к Вычислить значение порога, относительно которого классу К1 : будем осуществлять одномерную классификацию экзем-
пляров по г-му признаку. Для нахождения значения К порога можно предложить достаточно много различных
S
К 1 К способов. Рассмотрим наиболее быстрые и простые.
°К! = __К V (х? - МК)х? е K1, г = 1> 2,..„ N .
? = 1 |МК1 _ МК0|
8. = —+ ш1п(мК1, мК0) , г = 1, 2, ..., N , (4)
Дисперсии признаков экземпляров, относящихся к г 2 хг хг
классу K0 :
ег = mx +Dx'(0 5 -M y), i = 1, 2,., N , (5)
г Хг rxyDy
вг = тах(МК1, МК0)-
МК1 - МКо
В
К
, г = 1,2,..., N, (6)
1 + -
ВК1
х.
Шаг 4. Оценить вероятности ошибки переименования классов для экземпляров обучающей и (или) контрольной выборок и сделать вывод о применимости данного алгоритма для решения поставленной задачи. Для этого следует найти значения номеров классов для экземпляров обучающей и (или) контрольной выборок по правилу классификации (3), после чего определить количество неверных решений 5ош и оценить вероятность принятия ошибочных решений Рош = 5/(5 + ) , где 5 и - размер обучающей и контрольной выборок, соответственно.
3 НЕЙРОСЕТЕВАЯ ИНТЕРПРЕТАЦИЯ
ЭВРИСТИЧЕСКОГО АЛГОРИТМА
Из приведенного эвристического алгоритма можно видеть, что его правило классификации делится на два этапа: на первом этапе осуществляется одномерная классификация на основе N признаков, на втором этапе осуществляется объединение результатов, полученных на первом этапе, с учетом значимости признаков. Такой метод подобен классификации на основе двухслойного перцептрона, являющегося частным случаем многослойной нейронной сети (МНС) [2]. Применение нейронных сетей (НС) для решения задачи классификации по признакам целесообразно, поскольку они обладают высокими адаптивными способностями, способны обучаться аппроксимировать многомерные функции, то есть, могут извлекать, правда, в неявном для пользователя виде, знания из исследуемой предметной области [3 - 6].
Целью процесса обучения НС является настройка множества весов НС таким образом, чтобы удовлетворить некоторому критерию обучения, например, минимуму среднеквадратической ошибки сети. Для обучения МНС применяют градиентные алгоритмы, наиболее быстрым среди которых на сегодняшний день является алгоритм Левенберга-Марквардта [5,7].
Процесс обучения МНС является итерационным и, в общем случае, достаточно длительным, поскольку заранее нельзя определить количество итераций, необходимых для обучения НС. Поэтому разработка методов, позволяющих обучать НС в безытерационном режиме путем проекции обучающих данных на множество весов НС, представляется весьма актуальной и важной.
Одним из таких методов настройки весов для частного случая МНС - двухслойного перцептрона может служить разработанный нами эвристический алгоритм. Нейросе-тевая интерпретация эвристического алгоритма классификации представлена на рис.1.
Рисунок 1 - Нейросетевая интерпретация эвристического алгоритма классификации
Правила вычисления параметров эвристического алгоритма в этом случае останутся неизменными, а параметры и функции активации НС необходимо будет определить на их основе по следующим правилам.
Функция активации г) г-го нейрона ц -го слоя:
у(1'г )(^) =
1
1 + е-
2> г)(д) =
, у г = 1, N ,
0, "&< 0,
1, -&> 0.
г) =
Весовой коэффициент г) /-го входа г-го нейрона ц -го слоя:
0, г Ф/, / > 0, ц = 1, вг, г = /, / > 0, ц = 1, -вгвг, / = 0, ц = 1, , ц = 2,
г = 1, 2, ..., N , / = 1, 2, ..., N
4 РЕЗУЛЬТАТЫ И ВЫВОДЫ
Для проверки работоспособности эвристического алгоритма на его основе осуществлялось решение ряда практических задач классификации: задача диагностики лопаток газотурбинных авиадвигателей по спектрам свободных затухающих колебаний после ударного возбуждения, задача распознавания сельскохозяйственных растений по результатам дистанционного зондирования, задача прогнозирования состояния спортивной формы спортсменов высшей квалификации на основе данных биохимического контроля тренировочных нагрузок.
Для проведения экспериментов по решению поставленных задач была выполнена программная реализация алгоритма эвристической классификации на языке мак-
росов пакета MATLAB 5.2. Для сравнения разработанного алгоритма с алгоритмом обучения Левенберга-Марквардта использовался модуль Neural Toolbox пакета MATLAB 5.2. При этом в качестве модели НС, обучавшейся на основе алгоритма Левенберга-Марквард-та, использовался двухслойный перцептрон, содержавший на первом слое столько нейронов, сколько и признаков, а на втором слое - 1 нейрон. В качестве цели обучения была задана среднеквадратическая ошибка 0.01, максимальное количество циклов обучения - 500.
Результаты экспериментов показывают, что время обучения НС на основе алгоритма Левенберга-Марк-вардта, в целом, существенно больше чем время обучения НС на основе алгоритма эвристической классификации, но при этом алгоритм Левенберга-Марквардта обеспечивает меньшие вероятности принятия ошибочных решений. Поэтому на практике применять разработанный метод эвристической классификации следует тогда, когда вероятность принятия ошибочных решений не будет превышать заданное значение.
Эвристический алгоритм, предложенный в настоящей работе, является приемлемым для решения многих практических задач (обладает универсальностью), хотя его конкретные реализации, зависящие от правила вычисления значения порога 9i , могут иметь более узкие области применения. Можно сделать вывод о том, что
эвристический алгоритм целесообразно применять в тех случаях, когда признаки достаточно информативны и граница между классами не очень сложная.
ПЕРЕЧЕНЬ ССЫЛОК
1. Дубровин В.И. Идентификация и оптимизация сложных технических процессов и объектов. - Запорожье: ЗГТУ, 1997. -92 с.
2. Суббот/н С.О. Нейронш мереж1 керують якютю // Пульсар,
1999, № 12, С. 8 - 10
3. Дубровин В.И., Субботин С.А. Построение адаптивных систем диагностики на основе нейронных сетей с латеральным торможением // Радюелектрошка. ¡нформатика. Управлш-ня, 1999, № 2, С. 110 -114
4. Дубровин В.И., Субботин С.А. Построение систем диагностики на основе карт самоорганизации Кохонена / 6-я Всероссийская конференция "Нейрокомпьютеры и их применение", Москва 1б - 18 февраля 2000: Сборник докладов. - М.: Издательское предприятие журнала "Радиотехника", 2000. - С. 464 - 467
5. Дубровин В.И., Субботин С.А. Нейросетевое моделирование и оценка параметров нелинейных регрессий / 6-я Всероссийская конференция "Нейрокомпьютеры и их применение", Москва 16 - 18 февраля 2000: Сборник докладов. -М.: Издательское предприятие журнала "Радиотехника",
2000. - С. 118 - 120
6. Dubrovin V.I., Subbotin S.A. Choice of neuron transfer functions and research their influence for learning quality of neural networks / Proceedings of International Conference on Modern Problems of Telecommunications, Computer Science and Engineers Training TCSET'2000. - Lviv - Slavsko, 2000. - pp. 114 - 115
7. Neural Network Toolbox User Guide / Beale M., Demuth H. -Natick: Mathworks, 1997. - 700 p.
Надшшла 03.03.2000 П1сля доробки 21.04.2000
УДК 681.32:007
ВИЗУАЛИЗАЦИЯ ПРОИЗВОЛЬНЫХ ДАННЫХ МЕТОДОМ УПРУГИХ КАРТ
А. Ю. Зиновьев, А. А. Питенко
Описывается технология визуализации произвольных данных. Рассматривается представление данных и алгоритм построения упругой карты, моделирующей данные. Предложены различные способы проектирования многомерных данных на двумерную сетку. Продемонстрировано применение методов визуализации произвольных данных на примере картографирования экономических таблиц.
Описано технолог1ю в1зуал1зацп будь-яких даних. Роз-глядаеться уявлення даних та алгоритм побудови пружно'( карти, що моделюе дат. Запропоновано р1зт способи про-ектування багатом1рних даних на двум1рну с1тку. Про-демонстровано застосування метод1в в1зуал1зацп будь-яких да них на прикладг картографування економгчних таблиць.
The technology of any data visualization is described. The data representation and algorithm of construction of an elastic map simulating the data is considered. The various ways of projecting multidimensional data on a two-dimensional grid are offered. The application of methods to mapping of economical tables is discussed.
1 ВВЕДЕНИЕ
В самых разных областях человеческой деятельности (в медицине, биологии, экономике и т.д.) исследователи сталкиваются с необходимостью осмысления больших таблиц данных, собранных в результате наблюдения за свойствами объектов той или иной природы. Как правило, такие таблицы содержат информацию о состоянии нескольких сотен или тысяч объектов, по каждому из которых известны значения определенного набора интересующих исследователя свойств. Число таких свойств (признаков) может также достигать нескольких сотен. Естественно, среди исследуемых объектов могут найтись такие, некоторые свойства которых неизвестны или недоступны для измерения. Такие объекты называются неполными данными или данными с пробелами.
Традиционным приемом при анализе таких таблиц является их представление, когда каждому исследуемому объекту сопоставляется точка в некотором аб-
