CC BY
54
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2014 Управление, вычислительная техника и информатика № 4 (29)
УДК 681.518:004.93'.1
А.С. Довбыш, О.Б. Берест
ТРЁХАЛЬТЕРНАТИВНАЯ ОБУЧАЮЩАЯСЯ СИСТЕМА ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ ДЛЯ АВТОМАТИЗАЦИИ ТЕХНОЛОГИЧЕСКОГО ПРОЦЕССА
Рассматривается задача информационного синтеза обучающейся системы поддержи принятия решений для управления технологическим процессом выращивания сцинтилляционных монокристаллов из расплава. В качестве критерия функциональной эффективности предложена модификация информационной меры Кульбака для трёхальтернативной системы оценок решений. Выполнен сравнительный анализ функциональной эффективности синтезированной системы с двухальтернативной.
Ключевые слова: система поддержки принятия решений; распознавание; обучение; трёхальтернативное решение; критерий функциональной эффективности; информационная мера Кульбака.
Современный этап развития информационных технологий анализа и синтеза систем поддержки принятия решений (СППР) для управления сложными технологическими процессами в условиях априорной неопределённости характеризуется наделением их интеллектуальной составляющей для моделирования когнитивных процессов принятия решений, свойственных человеку [1-3]. Основной нерешённой проблемой методов интеллектуального анализа данных в технологии Data Mining [4] является обеспечение инвариантности алгоритмов принятия решений от произвольных начальных условий. Одним из перспективных подходов к повышению функциональной эффективности СППР для управления технологическими процессами является использование идей и методов информационно-экстремальной интеллектуальной технологии (ИЭИ-технологии), основанной на максимизации информационной способности системы в процессе её обучения [5-7]. В работе [8, 9] рассматривалась задача информационно-экстремального синтеза обучающейся СППР при двухальтернативной системе оценок решений, основанная на методе «ближайшего соседа» [10]. Одним из путей повышения достоверности оценки функционального состояния технологического процесса является переход от двухальтернативной системы оценок принимаемых решений к трёхальтернативной в форме «Меньше нормы» - «Норма» -«Больше нормы».
В статье рассматривается задача оценки функциональной эффективности информационно-экстремального обучения СППР для управления выращиванием сцинтилляционных монокристаллов при использовании трёхальтернативной системы оценок управляющих решений.
1. Формализованная постановка задачи информационного синтеза обучающейся СППР
Пусть для заданного алфавита классов распознавания m = 1,...,M}, характеризующих М функциональных состояний СППР, получена многовекторная обучающая матрица Wy1^,! типа «объект - свойство», в которой строка {y(j)mi\i = 1,...,N} является вектором-реализацией (далее реализация) класса
m; N — количество признаков распознавания, а столбец - случайной обучающей выборкой {y<J^m,i\j =1,.. ,n}, где n - объём выборки. Кроме того, дан структурированный вектор пространственно-временных параметров функционирования g = <gb...g,...,gE>, влияющих на функциональную эффективность обучающейся СППР, с соответствующими для них ограничениями R = (gb...g,...,gE) < 0. Необходимо в процессе обучения найти оптимальные значения параметров функционирования {g*^}, обеспечивающих максимум информационного критерия функциональной эффективности (КФЭ) обучения системы в рабочей (допустимой) области определения его функции
E*m = max Em , (1)
где Ет - КФЭ обучения СППР распознавать реализации класса X0m; G - рабочая (допустимая) область значений функции КФЭ.
При этом решением частной задачи информационного синтеза обучающейся системы является
определение оптимального значения параметра g
* *
g* = arg Ет,
G
где G% - область допустимых значений параметра g^.
Таким образом, в рамках ИЭИ-технологии машинное обучение рассматривается как процесс оптимизации пространственно-временных параметров функционирования СППР по информационному КФЭ (1).
В режиме экзамена - непосредственного распознавания в рабочем режиме функционирования -СППР должна принять решение о принадлежности распознаваемой реализации одному из классов заданного алфавита.
2. Оценка функциональной эффективности обучения СППР на базе критерия Кульбака
Центральным вопросом информационного синтеза обучающейся СППР в рамках ИЭИ-технологии является конструирование общего КФЭ обучения системы. Для построения КФЭ в качестве функции, зависящей от эмпирических значений признаков распознавания, рассмотрим симметрический информационный критерий в виде дивергенции Кульбака-Лейблера [11]:
Dkl (p, q) = Z (p(x) - q(x))ln^, (2)
xeR q(x)
где p(x), q(x) - функции вероятности двух наборов случайной дискретной величины x, принимающей значение во множестве рациональных чисел R; DKL - расстояние между ансамблями {p} и {q}.
Практическое применение формула (2) нашла в методах ИЭИ-технологии, где используется для вычисления КФЭ информационная мера Кульбака в виде [6]:
P( k)
Emk)=pm - fj • iog2 -gr, (3)
Pf ,m
где P('k)t,m - полная вероятность правильного распознавания реализаций класса X°m на k-м шаге обучения; P('k)f,m - полная вероятность неправильного распознавания реализаций классаX°m на k-м шаге обучения.
Если за основную априорную гипотезу у1 примем нахождение значения признака распознавания в поле допусков 5, а за альтернативную гипотезу у2 - нахождение признака за пределами поля допусков, то гипотезы ц1 и ц2 будут соответственно апостериорными. Тогда полные вероятности правильного и неправильного принятия решений для двухальтернативной системы их оценок имеют вид
PfV = p(Ml)P(Yi / Ml) + p(ЫP(Y2 / Ы;
k (4)
Pf,m = p(Mi)p(Y2 / Ml) + p(M2)p(Yi / M2).
Поскольку в формулах (4) условные вероятности p(y2/^) - ошибка первого рода а, p^/цг) -ошибка второго рода ß, p(Y1/^1) - первая достоверность D1, p(y2/^2) - вторая достоверность D2, то после их преобразования по формуле Байеса при равновероятных гипотезах и подстановки в формулу (3) получим
Е (к) = log (2 - (amk )(d)+ß(mm,)(d)) In - (a( m )(d)+ß(m )(d))i (5)
EKm=log\ amm)(d)+ßmm)(d) yL1(am (d)+ßm (d))j. (5)
Рассмотрим классификатор с трехальтернативной системой оценок, вычисляемых в процессе анализа реализаций трёх обучающих матриц, каждая из которых соответствует определенному состоянию технологического процесса.
В работах [5, 12] получено выражение КФЭ обучения СППР с унимодальным (вложенным) классификатором, графическое представление которого показано на рис. 1.
Рис. 1. Схема расположения классов для унимодального классификатора
В данном случае основная гипотеза у1 будет свидетельствовать о принадлежности признака показателю «Норма», гипотеза у2 - о принадлежности показателю «Меньше нормы» и гипотеза у3 - о принадлежности показателю «Больше нормы». Соответственно, их апостериорные гипотезы: ц1 - значение признака действительно находится в поле допусков 5, ц2 - левее поля допусков 5 и ц3 - правее поля допусков 5.
При этом возможные исходы для трёхальтернативного решения можно представить в виде девяти характеристик [5]:
1) первая достоверность Д(к)т = />(у1/ц1);
2) первая ошибка первого рода а1
3) вторая ошибка первого рода а2
(к)
т
(к)
- рыцо;
=Р(уэ/ц0;
4) вторя достоверность В
(к)
- р(у2/ц2);
5) первая ошибка второго рода в
6) вторая ошибка второго рода р:
(к) I П
(к)
- р(у1/ц2); =р(уэ/ц2);
7) третья достоверность В3(к)т = р(у3/ц3);
8) первая ошибка третьего рода о1(к)т = р(у1/ц3);
9) вторая ошибка третьего рода о2(к)т = р(у2/ц3).
Согласно принципу Бернулли-Лапласа примем гипотезы равновероятными, и тогда полные вероятности правильного и неправильного принятия решений соответственно равны
= Р(МР(у1 / МО + Р(М2)Р(у2 / М2) + Р(Мэ)Р(у3 / Мэ);
/т = Е (Р(М Р (у г / М + Р(Мг) Р (у1 / Мг)) + Р(М2) Р ( у3 / Ы + Р(Мз) Р(у 2 / ^
(6)
г=2
После подстановки выражений (5) в формулу (3) КФЭ СППР с трёхальтернативным унимодальным классификатором принимает вид [12]:
Е{т} =т п:т +1 - 2[р;
2Вкт + 4 - 4[Р'
(к)
з(к) , Л к)
]}1082
(к) , Л к)
1 - №+2[р;
(к к)
Таким образом, информационная мера Кульбака является функционалом от точностных характеристик принимаемых решений и поэтому может использоваться в качестве общего КФЭ машинного обучения.
т
3. Трехальтернативный КФЭ обучения СППР с полимодальным классификатором
Унимодальный классификатор является частным случаем полимодального, имеющего не один, а несколько центров рассеивания реализаций образов.
Рассмотрим способ формирования КФЭ обучения СППР с трёхальтернативным полимодальным гиперсферическим классификатором для общего случая, когда классы распознавания пересекаются (рис. 2).
Класс "Норма"
\ 1
Класс "Меньше нормы"
Класс "Больше нормы"
Рис. 2. Возможные варианты принадлежности распознаваемой реализации к областям классов распознавания
В табл. 1 показаны возможные варианты нахождения в пространстве признаков распознавания реализации базового класса А0,, соответствующего функциональному состоянию СППР «Норма». При этом отнесение этой реализации к классу А0, в случае, когда она принадлежит двум и более классам, будем считать неэффективным.
Т а б л и ц а 1
Возможные варианты нахождения вектора-реализации класса «Норма» относительно всех классов распознавания
Правильное распознавание Вектор-реализация принадлежит только к базовому классу
Вектор-реализация принадлежит к базовому классу и классу «Меньше нормы». Неэффективное распознавание
Вектор-реализация принадлежит к базовому классу и классу «Больше нормы». Неэффективное распознавание
Вектор-реализация принадлежит ко всем классам распознавания. Неэффективное распознавание
Неправильное распознавание Вектор-реализация принадлежит к классу «Меньше нормы»
Вектор-реализация принадлежит к классу «Больше нормы»
Вектор-реализация принадлежит к классам «Меньше нормы» и «Больше нормы»
Вектор-реализация не принадлежит ни к одному из существующих классов
Таким образом, только в первом случае классификатор распознаёт реализацию класса А0] с максимальной полной достоверностью правильного принятия решений. В случаях 2-4 (рис. 2), где имеет место пересечение классов, распознавание считается неэффективным.
Априорные гипотезы у,, у2 и у3 являются такими же, как и в случае унимодального классификатора, а согласно табл. 1 апостериорные гипотезы имеют следующие значения:
- ц, - реализация находится в поле допусков 5 класса «Норма» (область 1);
- ц2 - реализация находится в поле допусков 5 класса «Меньше нормы» (область 5);
- ц3 - реализация находится в поле допусков 5 класса «Больше нормы» (область 6);
- ц4 - реализация находится в поле допусков 5 класса «Меньше нормы» и класса «Норма» одновременно (область 2);
- ц5 - реализация находится в поле допусков 5 класса «Больше нормы» и класса «Норма» одновременно (см. рис. 2, область 3);
- ц - реализация находится в поле допусков 5 класса «Меньше нормы», класса «Норма» и класса «Больше нормы» одновременно (область 4);
- ц7 - реализация находится в поле допусков 5 класса «Больше нормы» и класса «Меньше нормы» одновременно (область 7).
Кроме того, введем дополнительную гипотезу ц8 - реализация находится вне границ существующих классов, т.е. в области 8. Тогда возможные исходы для трёхальтернативных решений будут оцениваться следующими точностными характеристиками:
1) первая достоверность = р^/ц,);
2) первая ошибка второго рода а/*1 = р(у1/ц2);
3) первая ошибка третьего рода а3® = р(у1/ц3);
4) первая ошибка четвертого рода а4® = р(у1/ц4);
5) первая ошибка пятого рода а/*1 = р(у1/ц5);
6) первая ошибка шестого рода а6® = р(у1/цб);
7) первая ошибка седьмого рода а7® = р(у1/ц7);
8) первая ошибка восьмого рода а8® = р(у1/ц8);
9) вторя достоверность В/*1 = р(у2/ц2);
10) вторая ошибка первого рода р2® = р(у2/ц1);
11) вторая ошибка третьего рода р3да = р(у2/ц3);
12) вторая ошибка четвертого рода р4да = р(у2/ц4);
13) вторая ошибка пятого рода р5® = р(у2/ц5);
14) вторая ошибка шестого рода р6да = р(у2/ц6);
15) вторая ошибка седьмого рода р7да = р(у2/ц7);
16) вторая ошибка восьмого рода р8да = р(у2/ц8);
17) третья достоверность В3® = р(у3/ц3);
18) третья ошибка первого рода 01® = р(у3/^);
19) третья ошибка второго рода а2® = р(у3/ц2);
20) третья ошибка четвертого рода а4® = р(у3/ц4);
21) третья ошибка пятого рода о5* = р(у3/ц5);
22) третья ошибка шестого рода о6* = р(у3/ц6);
23) третья ошибка седьмого рода а7да = р(у3/ц7);
24) третья ошибка восьмого рода а8да = р(у3/ц8).
Таким образом, приведенные 24 точностные характеристики позволяют полностью оценить принадлежность реализаций к одному из трёх классов распознавания.
Поскольку для системы распознавания независимо от используемой системы оценок принятия решений базовым является класс - «Норма», то, воспользовавшись формулой (3), полные вероятности правильного и неправильного принятия решений представим в следующем виде:
*} = Р(Ц0Р(У1 / Ц0 + Р(Ц2)Р(У2 / Ц2) + Р(^3)Р(У3 / ^3);
Р(к} = Р(^1)Р(У2 / Ц1) + Р(^1)Р(У3 / Ц1) + Р(Ц2)Р(У1 / Ц2) + Р(Ц2)Р(У3 / Ц2) + Р(^3)Р(У1 / Ц3) + (7)
8
+Р(Ц3)Р(У2 / Ц3) +2 (Р(Цг)Р(У1/ Цг) + Р(Цг)Р(У2 / Ц) + Р(Ц)Р(У3/ Ц)).
г=4
В соответствии с принципом Лапласа-Бернулли сделаем допущение о равных вероятностях попадания реализаций в каждую область, т.е., приняв р(ц0 = р(ц2) = р(ц3) = р(ц4) = Р(ц5) = Р(ц6) = Р(ц7) = =р(ц8) = 1/8, формулу (7) представим в виде
р( к) = !(к) + к) + 03( к >);
1
— I
8 г=4
р(к) = ±(а(к) +а<(к) +Р(к) + р3к) +с(к) +с(2к) + 2 (а(к) +Р(к) + с(к))).
После соответствующей подстановки выражений (8) в формулу (3) получим
р( к) 1
' (и^' + ос + 03"
(к) + о (к) + о (к) (9)
Е(к) = [рда _рСк)]10§^££.__ = 8(о(к) + о(к) + из(к) -(а2к) +а3к) + р(к) + р3к) +а(к) +а(2к)
р рГ
8 и (к) + и (к) + и ( + 2 (а(к) +Р(к) +а(к)))10В2-0 + 0 + 0 8-•
г=4 а(2к) +а3к) +р1к) +Р3к) +а(к) +а2к) + 22 (а(к) +Р(к) +а(к))
г=4
С учётом того, что сумма полных вероятностей правильного и неправильного принятия решения равна единице для каждого т-го класса, т.е. р(к\т + р(\,т = 1, формула (9) примет вид
1 U (к) + и( к) + и (к) Е(к) = — (О^к) + о2к) + 03(к) _(3 _ Д(к) _о2к) _Ы3(к)))^2 0 (к+°2(к+ °3(к) 8 1 2 3 1 2 3 2(3 _о1к) _о2к) _о3(к))
1 D( к) + U( к) + U(к)
= — (2(£)1( к) + о2к) + 03(к)) _ 3)к^ М( к+ °2( к+ °3( .) 8 1 2 3 2(3 _ о1к) _ о2к) _ о3(к))
(10)
Таким образом, анализ выражения (10) показывает, что информационный КФЭ является функционалом от точностных характеристик, значения которых, в свою очередь, зависят от геометрических параметров контейнеров классов распознавания.
Рассмотрим вычислительный аспект оценки функциональной эффективности обучающейся СППР. При ограниченном объеме обучающих матриц введём следующие оценки точностных характеристик:
К(к) К(к) К(к)
и( к) = К1 . о( к) = К2 . и( к) = К3
п ■ п
1 1гтп 1 1гг
(11)
где - количество событий, состоящих в принадлежности распознаваемых реализаций к классу характеризующему состояние процесса «Норма», если они действительно принадлежат обучающей матрице данного класса на к-м шаге обучения; /(к)2 - количество событий, состоящих в принадлежности реализаций к классу «Меньше нормы», если они действительно принадлежат обучающей матрице данного класса;
Кк)3
- количество событий, состоящих в принадлежности реализаций к классу «Больше нормы», если они действительно принадлежат обучающей матрице данного класса; птт - минимальный объём репрезентативной обучающей выборки.
После соответствующей подстановки оценок точностных характеристик (11) в выражение (10) рабочая формула для вычисления трёхальтернативного КФЭ примет вид
1 К(к) + К(к) + К(к)
Е(к) = 1(2(К<к) + К2к) + К3к)) /птт _3)1og2-К +/ +/ (к) • (12)
8 2 3 т1П (3пт1п _ К(к) _ К2к) _ Кк))
В формуле (12) подсчет количества событий для каждого класса распознавания происходит следующим образом:
1) одновременное изменение в процессе обучения радиусов контейнеров трех классов в интервале [1; Ст1П], где Ст1п - минимальное межклассовое кодовое расстояние (рис. 3);
2) вычисление в бинарном пространстве Хэмминга кодового расстояния с1(хт © X) между центрами гиперсфер и реализациями обучающих матриц, где хт - эталонный вектор-реализация, вершина которого определяет центр контейнера, и X -]-я реализация класса Х0т;
3) отнесение реализации к классу распознавания Х°т, для которого максимальна функция принадлежности
ц = 1 _ d (xm е X)
Г-Ш ~ 1 '
г
т
где гт - текущий радиус контейнера классаХ0т.
Класс «Норма»
ЩXI ®х:)
Ч
ч
ч
ч
d(X2<§>Xif
Класс «Меньше нормы» Рис. 3. Расположение классов в бинарном пространстве Хэмминга в общем случае
Для качественного сравнения функций двухальтернативного (5) и трёхальтернативного (12) критериев преобразуем функцию (12) к виду
E(k) = \(2t/«min -3)log2(3 Х , (13)
8 (3nmln - t)
где t - количество правильно распознанных реализаций в процессе обучения СППР. При этом на них накладываются ограничения
t = (K(k > + K2k} + K3k>), (14)
t е (0;3nmln).
На рис. 4 показаны графики зависимости модифицированных критериев Кульбака (5) и (12) от числа правильно распознанных реализаций, вычисленные при двухальтернативной и трёх-альтернативной системах оценок решений и одинаковом количестве реализаций каждого класса распознавания в обучающей матрице (nmin = 61).
Анализ рис. 4 показывает, что функции информационных критериев не являются взаимооднозначными. При этом рабочими (допустимыми) областями определения функций критериев являются светлые участки графиков, в которых значения критериев возрастают с увеличением количества правильно распознанных реализаций. Например, для двухальтернативных критериев (рис. 4, а) рабочая область, где Dk\ > 0,5 и Dk2 > 0,5, начинается при t > 61, а для трехальтернативных критериев (см. рис. 4, б) эта область, где Dk\ > 0,5, Dk2 > 0,5 и Dk3 > 0,5, начинается при t > 91.
Рассмотрим применение трёхальтернативного критерия (12) на примере оценки функциональной эффективности обучения СППР для управления выращиванием сцинтилляционных монокристаллов с расплава [13].
Известно, что задача управления ростом монокристалла из расплава формулируется как задача стабилизации его диаметра при программно-логическом управлении остальными параметрами ростовой установки. Из архивных данных была сформирована обучающая матрица для трёх классов распознавания, характеризующих три функциональных состояния технологического процесса, соответствующих как технологическому режиму, так и отклонениям от него. Обучающая матрица для
каждого класса содержала 61 реализацию, состоящую из 45 структурированных первичных и вторичных признаков.
б
Рис. 4. Графики зависимости информационных критериев от правильно распознанных реализаций: а - для двухальтернативных решений; б - для трёхальтернативных решений
На рис. 5 показан график КФЭ (12), определяемый на каждом шаге обучения СППР при заданном параметре поля контрольных допусков на признаки распознавания 5 = ±40 (в относительных единицах). При этом на каждом шаге обучения СППР изменялся на заданную величину радиус одного контейнера, в то время как радиусы контейнеров остальных двух классов оставались фиксированными. Начальные значения радиусов контейнеров равнялись одной кодовой единице относительно их эталонных векторов-реализаций, а в процессе обучения были перебраны все возможные допустимые их значения.
а
О 2 4 6 & 10 12 14 16 1 & 20 22 24 26 23 30 32 34 Шаг обучения
Рис. 5. График зависимости КФЭ для трех классов распознавания от радиуса контейнеров классов распознавания
Анализ рис. 5 показывает, что максимальное значение КФЭ Е = 0,92 было получено на четвёртом шаге обучения при значениях радиусов в кодовых единицах г1 = 4, г2 = 4 и г3 = 3 соответственно.
Для сравнения был реализован алгоритм обучения СППР для управления выращиванием сцин-тилляционных монокристаллов с использованием двухальтернативного КФЭ (5) при таких же входных обучающих матрицах и параметре 5 поля контрольных допусков. В результате при аналогичных радиусах контейнеров было получено меньшее по сравнению с трёхальтернативным критерием значение усреднённого для трёх классов распознавания КФЭ (Е = 0,72).
Заключение
Предложенный КФЭ на базе модификации информационной меры Кульбака для трёхальтерна-тивной системы оценок решений позволяет оценивать функциональную эффективность обучения СППР
для распределений реализаций классов распознавания в пространстве признаков произвольной конфигурации и, таким образом, обладает универсальностью по сравнению с аналогичным критерием оптимизации параметров обучения для унимодального классификатора. Кроме того, использование предложенного КФЭ для построения в процессе обучения СППР решающих правил характеризуется более высокими достоверностью и оперативностью по сравнению с двухальтернативным критерием. При этом повышение оперативности алгоритма обучения достигается за счёт отсутствия в процессе его реализации усреднения значений КФЭ и одновременного построения решающих правил для распознавания трёх классов.
ЛИТЕРАТУРА
1. Hastie T., Tibshirani R., Friedman J., Hastie T. The Elements of Statistical Learning. Data Mining, Inference, and Prediction. 2nd ed.
Springer Series in Statistics, 2009. 745 p.
2. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкина Л.Д. Прикладная статистика: Классификация и снижение размерно-
сти. М. : Финансы и статистика, 1989. 607 с.
3. Бендат Дж. Прикладной анализ случайных данных : пер. с англ. М. : Мир, 1989. 540 с.
4. Han J., Kamber M., Pei J. Data mining: concepts and techniques. 3rd ed. Morgan Kaufmann, Elsevier, 2012. 744 p.
5. Краснопоясовский А.С. Информационный синтез интеллектуальных систем управления: Подход, основанный на методе
функционально-статистических испытаний. Сумы : Изд-во СумГУ, 2004. 261 c.
6. Довбыш А.С. Основы проектирования интеллектуальных систем : учеб. пособие. Сумы : Изд-во СумГУ, 2009. 171 с.
7. Довбыш А.С., Васильев А.В., Любчак В.А. Интеллектуальные информационные технологии в электронном обучении. Сумы :
Изд-во СумГУ, 2013. 177 с.
8. Берест О.Б., Довбыш А.С., Козьмин Ю.С. Информационно-экстремальный алгоритм обучения системы управления выращи-
ванием сцинтилляционных монокристаллов // Вестник «ХПИ»: Системный анализ, управление и информационные технологии. 2012. № 30. С. 54-60.
9. Берест О.Б., Довбыш А.С. Оценка функциональной эффективности обучения автоматизированной системы управления тех-
нологическимним процессом // Вестник СумГУ. Сер. Технические науки. 2012. № 2. С. 39-47.
10. DudaR.O., HartP.E., StorkD.G. Pattern classification. Second ed. N.Y. : John Wiley&Sons, 2001. 738 p.
11. Довбыш А.С., Джулгам С.А.С.М., Стадник А.А. Информационно-экстремальный алгоритм обучения системы диагностирования патологических процессов // Инновации в науке : сб. статей. Новосибирск : НП «СибАК», 2013. № 23. С. 45-54.
12. Kullback S., Leibler R.A. On information and sufficiency // The Annals of Mathematical Statistics. 1951. V. 22, No 1. P. 79-86.
13. Суздаль В.С., Стадник П.Е., Герасимчук Л.И., Епифанов Ю.М. Сцинтилляционные монокристаллы: автоматизированное выращивание. Харкв : ИСМА, 2009. 259 с.
Довбыш Анатолий Степанович, д-р техн. наук, профессор. E-mail: kras@id.sumdu.edu.ua Берест Олег Борисович. E-mail: Berest_Oleg@mail.ru
Сумский государственный университет Поступила в редакцию 10 мая 2014 г.
Dovbysh Anatoly S., Berest Oleg B. (Sumy State University, Ukraine).
Three-alternative learning rating system for decision support system of process automation.
Keywords: decision support system, recognition, learning, three-alternative decision, criterion for functional efficiency, Kullback information measure.
The problem of information synthesis of learning decision support system for scintillator crystals growth from the melt is under consideration. As a criterion of functional efficiency modification of Kullback - Leibler information measure is proposed:
Dkl(P,q) = X xe/(P(x) - q(x))ln^ ,
q(x)
where p(x) and q(x) are the probability functions of two sets of discrete random value x e R, and DKL is the distance between the ensembles {p} and {q}.
To improve the functional efficiency of decision support systems (DSS), the ideas and methods of information and intellectual extreme technology were used [5-9], based on maximizing the information ability of the system in the learning process. The multimodal three-alternative learning rating system is proposed as more appropriate for this process. The formula of the criteria is
1 K (k) + K (k) + K (k)
E(k) = 1(2(K1(k) + K2k) + Kk))/ nmln - 3) log2-K1 +(K2 +K (k) ,
84 1 2 3 mm (3nmin -K(k) -K2k) -K<k))
where K(k>¡, K^, and K(k>3 are respectively the number of events, which define belonging recognizable implementations to the classes «LESS THAN NORMAL», «NORMAL», «MORE THAN NORMAL», if they are really belong to the training data matrixes classes on the k th step of learning; nmin is the minimum amount of representative training sample.
This approach provides the opportunity to work with three classes in the same recognition feature space, monitoring the radiuses of corresponding containers. This improves the quality of the recognition system. Proposed criteria for three-alternative system allows to evaluate the functional efficiency of the DSS with random distributions of recognition implementations in the feature space, and thus,
has the versatility compared to the unimodal classifier with the same learning parameters [12]. In addition, the use of the MFE to build learning rules characterized by higher reliability and efficiency in comparison with two-alternative criterion. This increase in efficiency of learning algorithm is achieved due to the absence in the process of its implementation averaging the criteria and the simultaneous construction of decision rules for three classes.
REFERENCES
1. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. Data Mining, Inference, and Prediction. Springer Series in
Statistics, 2009. 745 p.
2. Aivazyan S.A, Buchshtaber V.M., Enukov I.S., Meshalkina L.D. Prikladnaya statistika: Klassifikatsiya i snizhenie razmernosti [Ap-
plied Statistics:Classification and Dimension Reduction]. Moscow: Finance and Statistics Publ., 1989. 607 p. (in Russian).
3. Bendat J.S., Piersol A.G. Prikladnoy analiz sluchaynykh dannykh [Random Data: Analysis and Measurement Procedures]. Translated
from English. Moscow: Mir Publ., 2010. 640 p.
4. Han J., Kamber M., Pei J. Data mining: concepts and techniques. Morgan Kaufmann, Elsevier, 2012. 744 p.
5. Krasnopoyasovsky A.S. Informatsionnyy sintez intellektual'nykh sistem upravleniya: Podkhod, osnovannyy na metode funktsional'no-
statisticheskikh ispytaniy [Information Synthesis of Intelligent Control Systems: An Approach Based on the Method of Functional-Statistical Tests]. Sumy: Sumy State University Publ., 2004. 261 p. (In Ukrainian).
6. Dovbysh A.S. Osnovyproektirovaniya intellektual'nykh sistem [The fundamentals of Intelligent Systems Design]. Sumy: Sumy State
University Publ., 2009. 171 p. (In Ukrainian).
7. Dovbysh A.S., Vassiliev A.V., Lyubchak V.A. Intellektual'nye informatsionnye tekhnologii v elektronnom obuchenii [Intelligent in-
formation technology in e-learning]. Sumy: Sumy State University Publ., 2013. 177 p. (In Ukrainian).
8. Berest O.B., Dovbysh A.S., Kozmin U.S. Informatsionno-ekstremal'nyy algoritm obucheniya sistemy upravleniya vyrashchivaniem
stsintillyatsionnykh monokristallov [The information - extreme learning algorithm of intellectual control scintillation monocrystal growth system]. VestnikKhPI: Sistemnyy analiz, upravlenie i informatsionnye tekhnologii, 2012, no. 30, pp. 54-60. (In Ukrainian).
9. Berest O.B., Dovbysh A.S. Otsenka funktsional'noy effektivnosti obucheniya avtomatizirovannoy sistemy upravleniya tekhnolog-
icheskimnim protsessom [Influence of vector - realizations number on functional efficiency of recognition system learning by Kull-back's measure]. Visnyk of the SSU, 2012, no 2, pp. 39-47. (In Ukrainian).
10. Duda R.O., Hart P.E., Stork D.G. Pattern Classification. New York: John Wiley&Sons, 2001. 738 p.
11. Dovbysh A.S., Dzhulgam S.A.S.M., Stadnik A.A. Informatsionno-ekstremal'nyy algoritm obucheniya sistemy diagnostirovaniya patologicheskikh protsessov [The information - extreme learning algorithm of pathological processes diagnostic system]. Innovatsii v nauke, 2013, no 23, pp. 45-54.
12. Kullback S., Leibler R.A. On information and sufficiency. The Annals of Mathematical Statistics, 1951, vol. 22, no. 1, pp. 79-86. DOI: 10.1214/aoms/1177729694
13. Suzdal V.S., Stadnik P.E., Gerasimchuk L.I., Epifanov Y.M. Stsintillyatsionnye monokristally: avtomatizirovannoe vyrashchivanie [Scintillation single crystals: Automated growth]. Kharkiv: ISMA Publ., 2009. 259 p.
