Многоальтернативная диагностика на базе дискриминантного анализа Фишера с использованием ядра Текст научной статьи по специальности «Компьютерные и информационные науки»

МНОГОАЛЬТЕРНАТИВНАЯ ДИАГНОСТИКА НА БАЗЕ ДИСКРИМИНАНТНОГО АНАЛИЗАФИШЕРА С ИСПОЛЬЗОВАНИЕМ ЯДРА

Е.С. Подвальный, А.В. Плотников

Рассматриваетсяпринцип создания многоальтернативной системы диагностики и непосредственная реализация такой системы с использованием дискриминантного анализа. Дается подробная математическая модель дискриминантного анализа с использованием ядра

Ключевые слова: многоальтернативные системы, дискриминантный анализ, ядерный трюк

Введение. Многоальтернативной системой называются такие информационно-

измерительные и управляющие системы, в которых наиболее важные функции сбора, обработки, хранения и выдачи информации реализуются несколькими альтернативными способами [1].

В основе построения многоальтернативной системы диагностики лежат следующие принципы: иерархическая многоуровневая

структура модели, модульный принцип отдельных уровней и многоальтернативный принцип каждой иерархии. Рассмотрим каждый принцип более подробно.

Принцип иерархии и многоуровневости как основа системного подхода достаточно широко используется как в общей теории систем, так и в отдельных науках о моделях,

вычислительных системах,

автоматизированных системах управления, проектирования и т.д. Иерархической принято называть такую структуру, у которой есть одна управляющая подсистема, не менее одной подчиненной системы, взаимодействующей только с одной управляющей системой. Последняя имеет обычно несколько подчиненных систем.

Если в иерархической системе хотя бы одна из подсистем управляющая и одновременно подчиненная, то такую структуру называют иерархической

многоуровневой. В общей теории систем отмечается, что в сложных кибернетических, биологических, общественных и

интеллектуальных системах характерно образование многоуровневых систем обработки информации об особенностях внешней среды и многоуровневых программ управления.

Подвальный Евгений Семенович-Воронежский филиал РАНХиГС, д-р техн. наук, профессор, тел. (473) 247-74-04 Плотников Александр Владимирович - ВТГУ, аспирант, тел. (908) 138-57-31

Модульный принцип формирования отдельных уровней иерархии является одним из приемов системного подхода, который, во-первых, позволяет сам процесс разработки разделить во времени и в пространстве (между различными исполнителями); во-вторых, обеспечить гибкость и адаптируемость системы к изменившимся условиям, её эволюцию в направлении новых областей использования.

Многоальтернативный принцип

формирования каждого иерархического уровня - один из основных в системном подходе математического обеспечения. Достоинства при реализации принципа

многоальтернативности для задач

диагностики подробно анализируются в [4].

Рассмотрим, процесс создания

многоальтернативных систем диагностики и классификации с использованием

дискриминантного анализа [4].

1. Линейный дискриминантный анализ.

В основе любой диагностики и классификации лежат некоторые исходные статистические предположения. При нарушении данных статистических

предположений алгоритмы диагностики перестают работать корректно.

Для линейного дискриминантного анализа (ЛДА) такими предположениями служат: 1) нормальный закон распределения параметров обучающей выборки (например, так было в задаче диагностики недостаточности

кровотока); 2) линейность разделяющей

поверхности между состояниями.

Линейный дискриминантный анализ для задачи классификации выглядит следующим образом:

wTSвw Я—) = -г^-

—т Sww

где — - собственный вектор матрицы, Sв -ковариационная матрица различий между классами, Sw — ковариационная матрица общего между классами.

в

=С2>‘

1=1

т)(т^ — т)1

гдеС - количество классов, т^ -математическое ожидание /-ого класса.

к

SW (хп

т^(хП — тУ

1=1п=1

Для осуществления классификации с помощью ЛДА применяют несколько методов. Один из таких методов — „один против всех“, когда точки одного класса отделяются от всех остальных точек (можно множество всех точек, не входящих в первый класс, считать вторым классом), а затем применяется ЛДА. Тогда построив С классификаторов (по одному для каждого класса) мы решим задачу. Другой принятый метод — попарная классификация, при которой новый классификатор создаётся для всякой пары классов (всего получается С (С — 1) классификаторов), а затем они комбинируются.

2. Дискриминантный анализ Фишера с использованием ядра.

Интуитивно понятно, что предположение о линейности разделяющей поверхности в ЛДА будет нарушаться. В двухмерном пространстве разделяющая поверхность будет скорей

эллипсом, параболой (Рис. 1), гиперболой или другой более сложной нелинейной функцией. В трехмерном пространстве разделяющая

поверхность будет принимать форму

эллипсоидом, параболоидном, гиперболоидом и др.

Рис. 1. Пример нелинейной дискриминантной

функции на плоскости представляющая собой ветвь параболы

В нарушении предположения о линейности разделяющей поверхности первопричиной будет нарушение предположение о нормальности распределения обучающей

выборки.

Чтобы расширить дискриминантный анализ для нелинейных отображений, данные могут быть сопоставлены с новым

пространством Б, с помощью некоторой функции ^. Тогда НЛДА будет выглядеть:

](Х) =

xTstx

xTsZx

w'

SB = — т^)(т? — т^)Т

1=1 С к

^ — т1)(У(х1п) — т1У

1=1п=1

где X £ Р.

23456789 10

I . I . I . I . I . I ■ I . I

--10

I ' I 1 I 1 М М I 23456789 10

Рис. 2. Пример нелинейной дискриминантной функции на пространстве представляющая собой часть параболоида

Явное вычисление функции^(Х(), а затем и выполнение НЛДА, будет вычислительно дорого и, во многих случаях, неразрешимой задачей. Например, пространство Р может быть бесконечномерным. Таким образом, вместо явного отображения данных в пространстве Р, данные могут быть неявно встроены. Для этого изменится ЛДА с использованием скалярного произведения и ядерного трюка (кетеИхиск), где к(х,у) = (р(х)(р(у).

Таким образом, дискриминантный анализ для задач многоклассовой классификации после преобразований примет вид:

"(х) = argmmD(у(х),у])

1

где у* - это прогнозируемый средний для j -ого класса, ) - функция расстояния, разные варианты которого рассмотрены в [7].

у(х,) = (А*)Т/

\АТМА\

\АТ3А\

с

М = ^ lj(Mj - М t)(Mj - М t)T

j=i

с j=i

1 i

(M*)j =1^k(X];Xk)

k = i

Kj k(xn,xm)

3. Типы ядерного трюка.

Алгоритм построения оптимальной разделяющей гиперплоскости был алгоритмом линейной классификации[5]. Однако в 1992 году был предложен способ создания нелинейного классификатора, в основе которого лежит переход от скалярных произведений к произвольным ядрам, так называемый ядреный трюк, позволяющий строить нелинейные разделители[6]. Результирующий алгоритм крайне похож на алгоритм линейной классификации, с той лишь разницей, что каждое скалярное произведение в приведённых выше формулах заменяется

нелинейной функцией ядра (скалярным произведением в пространстве с большей размерностью). В этом пространстве уже может существовать оптимальная разделяющая гиперплоскость. Так как размерность получаемого пространства может быть больше размерности исходного, то преобразование, сопоставляющее скалярные произведения, будет нелинейным, а значит функция,

соответствующая в исходном пространстве оптимальной разделяющей гиперплоскости, будет также нелинейной.

Для разных законов распределений с их нелинейностью следует применять разные типы ядер. Приведем некоторые из них.

Линейное ядро является простейшей

функцией ядра. Вычисляется по формуле: k(x,y) = xTy + с где с - дополнительная постоянная.

Полиномиальное ядро хорошо подходят для задач, где все обучающие данные нормализуется. Вычисляется по формуле: k(x,y) = (axTy + с); где с - дополнительная постоянная, a -параметр склона, d - степень многочлена.

Гауссовское ядро пример ядра на основе радиальной функции. Вычисляется по формуле:

\\x — y\\2

k(x>y) = exp (----------——)

где 5 - параметр ядра, который нужно тщательно подбирать, иначе ядро будет практически линейным.

Экспоненциальное ядро близко к Гауссовскому ядру. Вычисляется по формуле:

\\х — у||

к(х,у) = ехр (-----25Г~)

Ядро Лапласа близко экспоненциальному ядру. Вычисляется по формуле:

\х — у\

к(х,у) = ехр (-----5---)

5.Модель многоальтернативной

системы диагностики

Рассмотрим многоальтернативную

диагностику на примере медицины.

Пусть дана обучающая выборка с неизвестным законом распределения для некоторого заболевания. По её результатам можно поставить несколько диагнозов (здоров, болен, требуется дополнительное

обследование). При диагностике необходимо сделать несколько гипотез о типе распределения обучающей выборки. В результате получится несколько

альтернативных решений. Каждое отдельное из альтернативных решений представлено отдельным программным модулем (классам). Для принятия окончательного решения нужно общее решающее правило, которое будет обобщать альтернативные решения отдельных гипотез.

С учетом приведенного примера, система многоальтернативной диагностики должна иметь блок дискриминантного анализа, блок принятия решения и обучающую выборку. Обобщенная модель МА диагностики представлена на рис. 3.

Блок принятия решений должен быть реализован на базе мажоритарного принципа: если большинство альтернатив относят объект к определенному классу, то относим этот объект к этому классу.

Заключение.Отказ от базовых предположений ЛДА позволяет системе быть более универсальной, решая больший спектр задач диагностики. Однако не стоит забывать, что многоальтернативность предположений о типе распределения параметров обучающей выборки накладывает дополнительные вычислительные расходы на систему диагностики. Следовательно, такая система вряд ли может быть применена для оперативного управления некоторым процессом, требующим быстрой реакции системы диагностики. Так же следует помнить, что во многих случаях обучающая выборка

всё-таки будет распределена по нормальному закону, но при большом количестве исходных наблюдений.

Предложенная многоальтернативная

система диагностики может быть применена для ряда задач: технических, медицинских, экономических и других.При этом может оказаться целесообразным введение в систему также различных модулей нечеткой диагностики [8-9] и их сравнительная оценка с указанными дискриминантными в зависимости от объема обучающей выборки, законов распределения и других условий конкретной задачи.

Литература

1. Подвальный С. Л. Многоальтернативные системы:

обзор и классификация//Системы управления и

информационные технологии, 2012. Т.48. №2. с.4-13

2. S. Mika, G. Ratsch, J. Weston, B.

ScholkophFisherdiscriminantanalysiswithkernelsKR: NeuralNetworksforSignalProcessing, 1999.

3. http://en.wikipedia.org/wiki/Kernel_Fisher_discrimi

nant_analysis

4. Е.С.Подвальный Модели индивидуального прогнозирования и классификации состояний в системах компьютерного мониторинга Воронеж: Изд-во ВГТУ, 1998. 127с.

5. Вапник, В. Н., Червоненкис, А. Я. Теория распознавания образов. М.: Наука, 1974. — 416 с.

6. B. E. Boser, I. M. Guyon, and V. N. Vapnik, “A training algorithm for optimal marginclassifiers,” in Proceedings of the Fifth Annual ACM Workshop on Computational LearningTheory. Pittsburgh, PA, 1992, pp. 144-152.

7. Подвальный С.Л., Плотников А.В., Окрачкова

И.В., Фирсов О.В., Вериковский В.А. Компьютерная система диагностики недостаточности кровотока на базе нелинейного дискриминантного анализа // Вестник Воронежского государственного технического

университета . 2010. Т.6, №5. С.145-148

8. Подвальный С.Л., Матасов А.С., Бырко И.А. Методы многомерной классификации в задачах медицинской диагностики //Машиностроитель, 2002, №8, с.59-

9. Махортов С.Д., Подвальный С.Л.

Алгебраический подход к исследованию и оптимизации баз знаний продукционного типа // Информационные технологии , 2008, № 8, с.55-60

Рис. З. Модель многоальтернативной системы диагностики

Воронежскийгосударственныйтехническийуниверситет

Российская Академия Народного Хозяйства и Государственной Службы при Президенте РФ (Воронежский филиал)

MULTIALTERNATIVEDIAGNOSTICSBASEDONAKERNEL FISHER DISCRIMINANT

ANALYSIS

E.S. Podvalny, A.V. Plotnikov

The principles of creation multialternative diagnostics and immediate implementation of such a system using discriminant analysis. Provides a detailed mathematical model of discriminant analysis using kernel

Keywords:multialternative system, discriminant functions, kernel truck