CC BY
26
5. Agrawal, R. Mining quantitative association rules in large relational tables / R. Agpawal, R. Srikant // Proc. of the ACM SIGMOD Conference on Management of Data. Montmal, 1996. P. 315-327.
6. Witte, I. H. Data Mining: practical machine learning tools and techniques with Java implementation / I. H. Witte,
H. Ian. Berlin : Academic Press, 2000.
7. Марпл-мл., С. Л. Цифровой спектральный анализ и его приложения : пер. с англ. / С. Л. Марпл-мл. М. : Мир, 1990.
8. Воробьев, В. И. Теория и практика вейвлет-преобразования I В. И. Воробьев, В. Г. Грибунин. СПб. : ВУС, 1999.
9. McLaghlan, G. The EM algorithm and extensions I G. McLaghlan, T. Krishnan. London Wiley, 1997.
10. Quinlan, J. R. C 4.5: Programs for Machine learning I J. R. Quinlan. Madrid : Morgan Kaufmann Publishers, 1993.
11. Murthy, S. Automatic construction of decision trees from data: A Multi-disciplinary survey I S. Murthy. Bern : Kluwer Academic Publishers, 1997.
I. V. Kovalev, E. A. Engel
USAGE OF ALGORITHM OF FUZZY NEURAL NETWORKS AT INTELLECTUAL SYSTEM OF DATA PROCESSING
It is covered problems of usage Fuzzy Neural Networks algorithms for data processing. Modified Apriori and PredictiveApriori algorithms base on Fuzzy Neural Networks (FNN). The Fuzzy Neural Data Mining system and results of tests are considered.
ХЦК 681.513
А. В. Лапко, В. А. Лапко
НЕПАРАМЕТРИЧЕСКИЕ СИСТЕМЫ РАСПОЗНАВАНИЯ ОБРАЗОВ, ОСНОВАННЫЕ НА ПРИНЦИПЕ ДЕКОМПОЗИЦИИ ОБУЧАЮЩИХ ВЫБОРОК1
Предложены многоуровневые непараметрические системы распознавания образов, основанные на принципе декомпозиции обучающих выборок по их объему и по признакам классифицируемых объектов. Такие системы характеризуются высокой вычислительной эффективностью за счет возможности использования параллельных вычислительных технологий
Введение. Использование непараметрических классификаторов - одно из активно развивающихся направлений теории распознавания образов. Его практическая значимость состоит в возможности создания типовых информационных средств, адаптируемых к особенностям функционирования объектов различной природы [1].
Однако по мере усложнения условий классификации появляются методические и вычислительные трудности в применении традиционных непараметрических алгоритмов распознавания образов, особенно при обработке больших статистических данных значительной размерности. Подобные условия часто встречаются при анализе аэрокосмической информации, исследовании медико-биологических, экологических и экономических процессов.
Перспективное направление решения возникающих проблем связано с применением принципов декомпозиции задач распознавания образов и последовательных процедур формирования решений.
Необходимо на основе анализа асимптотических свойств непараметрической оценки смеси плотностей вероятности обосновать эффективность использования принципов декомпозиции при решении задач распозна-
вания образов в условиях больших выборок и разработать методику синтеза многоуровневых непараметрических систем классификации, обеспечивающих применение параллельных вычислительных технологий.
Непараметрическая оценка смеси плотности вероятности и ее свойства. Пусть V = (х', I = 1, п- - выборка из п независимых наблюдений одномерной случайной величины х с плотностью вероятности р (х -, вид которой априори неизвестен.
Разобьем выборку V на Т групп наблюдений
Vj =(х‘ , I е 11 -, ] = 1, Т, где 11 - множество номеров наблюдений х, составляющих у-ю группу, причем
T __
и ij=1=(i=l, n )■
j=і
На основе каждой выборки Vj построим непараметрическую оценку плотности вероятности [2]
xx )=-V хф
ґ .■ л x - X
j = і, т
(1)
где Ф(') - ядерные функции, удовлетворяющие условиям нормированности, положительности и симметрично-
1 Работа выполнена при поддержке Российского фонда фундаментальных исследований (код проекта 07-01-00006).
сти; п. = - количество элементов множества /.;
= с (п. - - коэффициенты размытости ядерных функ-ций, значения которых убывают с ростом п..
В качестве приближения р (х) по статистической выборке V примем смесь непараметрических оценок плотностей вероятности(1)
1 Т
р(х )=т Хр1(х )-
1 1=1
тX г
1=1 / \ х - і
1=1 Т
р (і) Ж =
1 Т
~Х \ф(и) р(х-С]и))и
1 1=1
где М - знак математического ожидания.
Разложим р (х— с.и- в ряд Тейлора и ограничимся первыми двумя членами ряда:
р(2- (х- 1 Т Wl = М(р(х) —р(х))~^ ( -
Т
1=1
Т
X К(х)-Рі (х))Сх+
=1
X X |(р(х)-рі(х ))(р? (х)-р (х ))с1х
і=і і=і і Ф 1
С учетом результатов исследования асимптотических свойств традиционной непараметрической оценки Розен-блатта-Парзена [2] выражение (4) при достаточно больших значениях п., . = 1, Т принимает вид
\2
М|(р(х)-р(х)) ёх'
(2)
Статистика типа (2) допускает использование технологии параллельных вычислений при оценивании плотности вероятности в условиях больших выборок.
Асимптотические свойства р(х) определяются следующим утверждением.
Теорема. Пусть р (х) и первые две ее производные ограничены и непрерывны; ядерные функции Ф (и ) удовлетворяют условиям
Ф(и- = Ф(—и), 0 <Ф(и)<ж,
|ф(и)du = 1, |и2 Ф(и)du = 1,
|ит Ф(и )du <ж, 0 < т <ж;
последовательности с. = с. (п.) коэффициентов размытости ядерных функций таковы, что при п. ^ ж значения с) ^ 0 , а п^1 ^ ж (здесь и далее бесконечные пределы интегрирования опускаются). Тогда при конечных значениях Т непараметрическая оценка плотности вероятности р (х) обладает свойством асимптотической несмещенности и состоятельности.
Д о к а з а т е л ь с т в о 1. По определению,
м (((х-)=Т х м ((х -=
= -у м
Т2
X
1=1
|ф (и )|
4 (2)
С1 Ы 1
(х )||
м2 Л
піСі
Р(2) (х)||
XX
1=1 і=1 і Ф1
2 2 С, С
(5)
где ||Ф(и-| =|ф2 (и) du .
Нетрудно заметить, что при выполнении условий с] ^ 0 и п.с. ^ ж при п. . = \, т оценка плот-
ности вероятности (2) сходится к р (х) в среднеквадратическом, а с учетом свойств асимптотической несмещенности является состоятельной.
Сравнение аппроксимационных свойств непараметрической оценки (2) и традиционной оценки Розенблатта-Парзена р (х ). Для получения аналитически значимых результатов примем п] = Т’ . = 1, Т . В этом случае можно полагать, что с = с (п.) = с ( ’ ),. = 1, т .
На этой основе сравним отношения смещений, среднеквадратических отклонений и дисперсий непараметрических оценок р(х^и />(х) при оптимальных значениях коэффициентов размытости ядерных функций.
Асимптотическое выражение смещения для непараметрической оценки Розенблатта-Парзена р(х) имеет вид [3]
-(1,00
(п)>
а для оценки />(х) определяется выражением (3).
К
Вычислим отношение
К
при оптимальнык значе-
ниях коэффициентов размытости
(3)
п Р
ф(и )||
"йй
где р^ (х) - вторая производная плотности вероятности р(х) по х.
Отсюда при выполнении условий с1 ^ 0 при п1 ^ ж следует свойство асимптотической несмещенности статистики (2).
2. Рассмотрим выражение
М|(р(х)-р(х)) (Сх =
1
Т \\Ф(и)
1/5
1/5
п р
(2)
(х )||2
(4)
для оценокр(х) ир(х} соответственно.
После несложных преобразований получим
— 1
-2 = — < 1
и: т2/5 ’
т. е. смещение статистики р(х) больше по сравнению с р(х).
При разбиении исходной выборки на Т групп точек
VI
одинакового объема — выражение (5) при оптимальных коэффициентах с * преобразуется к виду
*
С=
С =
х
Ж
ІІФ (и
,(2),
п С
4
\1/5
Л2)
(х )||2
4 + Т
4Т15
(6)
Заметим, что при Т = 1 выражение (6) совпадает со среднеквадратическим отклонением —4 для традиционной оценки Розенблатта-Парзена [3]
Ж
||ф(и )||
4
\1/5
Рассмотрим отношение
Ж 5Т1/5
.(2)
(х Л
—3 4 + Т
которое подтверждает несколько большую эффективность в среднеквадратическом непараметрической оценки р (х ) по сравнению с предлагаемой р(х).
Однако дисперсия оценки р(х) меньше, чем для традиционной статистики р (х ), в чем нетрудно убедиться, если сравнить дисперсионные составляющие
Ф (и )||2 ||Ф(и-|2
— = " У I и —6 = " у
пс пс„
5
о
_ , ч I х е0^ если & (х )< 0
т (х): \ _ ___ (7)
[ х еП2, если К. (х ) > 0 , . = 1, Т,
где непараметрические оценки уравнений разделяющих поверхностей определяются выражением
1
& (х) =
х
П с
(8)
х1а(х )Пф
1 = 1, Т.
1(°(х'), а(х‘
в среднеквадратических отклонениях р (х ) и р (х ). Их отношение
—6 = с ’ V5 > 1
— с “ •
Синтез непараметрических систем классификации, основанных на декомпозиции обучающей выборки по ее объему. Пусть V = (х‘, а(х‘), ' = 1, п) - обучающая выборка объема п , составленная из признаков х' = (х(, . = 1, к) классифицируемых объектов и соответствующих «указаний учителя» об их принадлежности к одному из двух классов:
/ ч |—1, если х' е 01,
о(х' ) = ]
[ 1, если х' е02.
Условные плотности вероятностей распределения признаков х в области определения классов неизвестны. При этом объем выборки достаточно большой, что снижает вычислительную эффективность непараметрических классификаторов.
Подход, предлагаемый при решении задачи распознавания образов в данных условиях, состоит в выполнении следующих действий:
1. Осуществить декомпозицию исходной выборки V на однородные части Vj (1) = (х', о(х'), ' е /]), . = 1, Т . Основаниями для выполнения данной операции являются формирование выборок V. (1) в соответствии с принадлежностью к различным временным интервалам наблюдения за признаками классифицируемых объектов, разбиение выборки на группы по уровням заполненных пропусков данных либо использование случайной стратегии при декомпозиции выборки.
2. По полученным данным построить решающие правила:
Оптимизация частных решающих правил (7) по коэффициентам размытости су, V = 1, к осуществляется в режиме «скользящего экзамена» исходя из условия минимума статистической оценки вероятности ошибки распознавания образов:
р.=птX 1(°(х'- °(х‘-), -=^,
п. ге/
0, если а(хг) = а(хг -
1, если <з(х' )^а(хг),
где с(хг) - решение алгоритма (7) о принадлежности ситуации хг к одному из двух классов. При формировании решения с(хг) ситуация хг исключается из процесса обучения в непараметрической статистике (8).
3. Используя непараметрические оценки решающих функций (8), сформировать обучающую выборку второго уровня распознающей системы
V (2 ) = ( (х), ( = ГГ, а(х‘),' е I (2)),
где I (2) - множество номеров ситуаций из исходных данных V, составляющих выборку V (2). В качестве подобной контрольной выборки может принята одна из выборок V., . = 1, Т, пользующаяся наибольшим доверием исследователя.
4. По полученной выборке V (2) построить решающее правило в пространстве значений
(х) = ( (х), . = ГГ):
х е 01, если ^2 (2 (х))< 0,
'(2 (х)):
хёА2, если ^2 (2 (х))>0;
(9)
где непараметрическая оценка обобщенной решающей функции имеет вид
^2 (( (х)) = ---------К-Х
п (2)Пс
1=1
хХб(х )Пф
*е/(2) 1=1
'.й (х)-й (х)
Структура предлагаемой непараметрической распознающей системы представлена ниже (рис. 1).
На первом уровне структуры этой системы классифицируемая ситуация х преобразуется в значения непараметрических оценок /І (х), 1 = 1, Т, в пространстве которых на основании правила (9) принимается решение б (х) о принадлежности ситуации х к тому или иному классу.
2
V=1
V=1
Модификации непараметрических систем распознавания образов, основанных на декомпозиции обучающей выборки по ее объему. В соответствии с рекомендациями предыдущего пункта построим частные решающие правила первого уровня структуры распознающей системы и оценим уравнения разделяющих поверхностей
Л'»../ 1.'/.
Рис. 1. Структура непараметрической распознающей системы, основанной на декомпозиции обучающей выборки по ее объему
При конкретных значениях признаков х классифицируемого объекта вычислим £2 (х), . = 1, Т и сформируем обобщенную решающую функцию в виде их средневзвешенного значения:
F12 (X) =
I/12' (x )p- 1
j=і
Ip- 1
j=і
p (fl2 (X ))= Tlc ХФ
T c j=l
m (x):
Синтез непараметрических систем распознавания образов, основанных на декомпозиции обучающей выборки. Вычислительную эффективность распознавания образов дополнительно можно повысить за счет последовательной декомпозиции обучающей выборки по ее объему и размерности (рис. 2). Данный подход позволяет более полно использовать технологию параллельных вычислений.
Если количество частных решающих правил Т значительно (Т > 30), то плотность вероятности целесообразно восстанавливать по значениям £. (х), . = 1, Т в виде ее непараметрической оценки
' £12 (х) — Л (х) 4
с
Рис. 2. Структура непараметрической распознающей системы, основанной на декомпозиции обучающей выборки по ее объему и размерности
Для ее построения необходимо выполнить следующие действия:
1. Провести декомпозицию обучающей выборки по ее объему и размерности:
V. (V), V = 1Д, . = ЕТ .
На этой основе построить частные решающие правила первого уровня структуры распознающей системы:
х' еО1, если £2 (х(V)) < 0,
(х(V)): - х' еО2, если £2 (х(V)) > 0,
V = 1Д, . = 1Т,
m
на этой основе оценить моду плотности вероятности и по ее знаку принять решение:
x є а. , если arg max p (fl2 (x
x є02, если arg max p (fn (x
Сравним вычислительную эффективность предложенной двухуровневой системы классификации и традиционного непараметрического алгоритма. Будем полагать, что объем частных выборок V' , J = 1, T и контрольной V(2) одинаков и равен n , а время расчета одной ядерной функции составляет т .
Тогда максимальное время, необходимое для принятия решения традиционным непараметрическим алгоритмом и предлагаемой системой, составляет t = nk т, n т(к + T)
t = —--------- соответственно. Определим их отноше-
и T t- kT
где
fh (x(v)) =
xI°(i )ПФ
і
nj П c
,єК i
J = 1, T;
Ку - множество номеров признаков составляющих их набор х (V).
2. Организовать вычислительный эксперимент для формирования обучающих выборок в пространстве вторичных признаков:
V = (( (х' (v)), v = ^ ^, °('-,'е /.) >
. = 1,Т.
Построить на их основе решающие правила второго уровня
х еО,
ние: -р- = ——— . Если значение к > Т (оно характерно
для больших выборок), то вычислительная эффективность
Т
предлагаемой системы выше в — раз.
2
m
X/12 (х)):
если /12 (х) < О, х єА2 ,
если /Ц (х) > О , J = l, T,
где
./11' (x) =
<Х°( )Пф
nj П с< t=1
(x(t))- fxi ( (t))
] = 1, Т._ _
3. В пространстве признаков /12 (х), ] = 1, Т построить обобщенное решающее правило непараметрического типа
I х ёП1 , если /п (х) < 0
I х е 02, если /п (х) > 0 , где уравнение разди1ющей поверхности 1
<z°(i )Пф
/11 (x)- /11 (x;)
оценивается по контрольной обучающей выборке (( (х'), ( = 1, Т , о(/), і є Ік), полученной по результатам вычислительного эксперимента.
При введенных ранее условиях преимущество в вычислительной эффективности разработанной структуры над традиционной непараметрической может составлять
T раз и выше. Данное утверждение нетрудно проверить,
к — T
приняв значение к > T + 2 и ^ >-----.
Таким образом, на основе анализа асимптотических свойств непараметрической оценки смеси плотностей вероятности обоснована возможность декомпозиции исходных статистических данных при синтезе непараметрических статистик в условиях больших выборок. Предложена методика построения многоуровневых непараметрических систем распознавания образов, характеризующихся высокой вычислительной эффективностью.
Перспективность данного направления исследований состоит в возможности построения целого ряда модификаций многоуровневых непараметрических систем классификации и использования технологии параллельных вычислений.
Библиографический список
1. Лапко, А. В. Непараметрические системы классификации / А. В. Лапко, В. А. Лапко, М. И. Соколов, С. В. Ченцов. Новосибирск : Наука. Сиб. изд. фирма Сиб. отд-ния Рос. акад. наук, 2000.
2. Parzen, E. On estimation of a probability density function and mode / E. Parzen // Ann. Math. Statistic. 1962. Vol. 33. P. 1065-1076.
3. Епанечников, В. А. Непараметрическая оценка многомерной плотности вероятности / В. А. Епанечников // Теория вероятности и ее применения. 1969. Т. 14. Вып. 1. С. 156-161.
A. V. Lapko, V. A. Lapko
NONPARAMETRIC SYSTEMS OF PATTERN RECOGNITION, THE DECOMPOSITION BASED ON A PRINCIPLE OF TRAINING SAMPLES
Multilevel nonparametric systems ofpattern recognition, the decomposition of training samples based on a principle on their volume and dimension are offered. Similar systems are characterized by high computing efficiency due to an opportunity of use of parallel computing technologies.
t=1
t=1
t=1
УЦК 004.272.3
С. В. Тынченко, В. В. Тынченко
СИСТЕМА ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ ПРИ ПРОЕКТИРОВАНИИ ЭФФЕКТИВНОЙ КОНФИГУРАЦИИ ВЫЧИСЛИТЕЛЬНОЙ СЕТИ ДЛЯ РАСПРЕДЕЛЕННОГО РЕШЕНИЯ СЛОЖНЫЫХ ЗАДАЧ
Обсуждается проблема выбора эффективной конфигурации вычислительной сети для параллельного решения сложной задачи. Предложена автоматизированная система поддержки принятия решений при проектировании вычислительной сети на основе аппарата теории массового обслуживания и эволюционного подхода.
Одним из основных подходов к повышению эффек- возможность их практического применения широким тивности решения сложных научно-технических задач кругом специалистов. Наряду с этим в настоящее время является параллельная реализация вычислений на базе наблюдается повсеместное использование доступных по распределенных вычислительных систем. Высокая сто- стоимости и высокопроизводительных персональных имость и (или) недоступность многопроцессорных и компьютеров, а также интенсивное развитие и массовое многомашинных вычислительных систем ограничивают практическое применение сетевых информационных тех-
