Гибридный нейросетевой алгоритм идентификации сложных объектов Текст научной статьи по специальности «Компьютерные и информационные науки»

• Р,: Р1^(Р11,Р12,Р1З)^(Е1,Е2,Р12,Р1З)^ ^(Е1,Е2,ЕЗ,Р1З)^(Е1,Е2,Р1З,Е4,Е5);

• Р2: Р2^(Р21,Р12,Р1з)^(Рц*,Р12,Р1з)^ ^(Р11*,ЕЗ,Р1З)^(Р11*,ЕЗ,Е4,Е5)^(Е1,Е2,Е6,ЕЗ,Е4,Е5);

• Рз: Рз^(Р21,Р12,Рзз)^(Рц*,Р12,Рзз)^ ^(Р11*,ЕЗ,РЗЗ)^(Р11*,ЕЗ,Р1З*)^(Е1,Е2,Е6,ЕЗ,Р1З*)^

^(Е1,Е2,Е6,Е3,Е4,Е7,Е5)-

Элементы в заключительных выражениях цепочек выводов представляют собой упорядоченные совокупности событий, вошедшие в синтезированные планы.

Инструментальные средства, используемые для создания прикладных СБЗ (то есть для реализации приложений), представляют собой оболочку, компонентами которой являются:

- анализатор, выявляющий прагматику поступающих запросов и запускающий на выполнение соответствующие процедуры МОЗ;

- МОЗ, представляющий собой комплекс специализированных процедур обработки знаний;

- интерпретатор, обеспечивающий выдачу сформированных ответов в терминах пользователя;

- редактор, обеспечивающий формирование и коррекцию БЗ.

Статические банки знаний могут быть использованы в обучении в качестве учебных сред [3]. Организация изучения той или иной ПО с помощью СБЗ базируется на применении подхода, сущность которого состоит в том, что вся информация об изучаемой ПО "привязывается" к специально выделенным в ней "базовым" объектам (сущностям, определяющим содержание этой ПО).

О каждом из таких объектов в БЗ системы организуется необходимая информация, представляемая с помощью соответствующих фреймов-экземпляров.

В процессе изучения ПО пользователь имеет возможность обращаться к системе за этой (а также за логически выводимой из нее) информацией, для

чего он формулирует различные запросы относительно базовых объектов ПО, ответы на которые формируются системой в результате выполнения соответствующих процедур МОЗ.

Если этой ПО является, например, язык процедурного программирования, то на начальный момент его изучения пользователя, естественно, интересуют общие сведения о языке. Он в данном случае формулирует запросы, ответы на которые система выдает в результате поиска информации.

Далее пользователь начинает изучать операторы языка программирования. И здесь у него, как правило, кроме ознакомления с их характеристиками, появляется необходимость в сравнении операторов, выявлении связей между их выполнением, анализе их выполнения. Система по запросу пользователя выдает необходимую информацию в результате вычисления тех или иных отношений.

При переходе к изучению программ, которые могут быть использованы для решения определенных задач на ЭВМ, пользователь формулирует запросы о реализации той или иной программы на языке программирования. Ответы выдаются системой в результате планирования решения задач (синтеза текстов программ).

В заключение следует отметить, что СБЗ оснащены достаточно развитым пользовательским интерфейсом, позволяющим осуществлять взаимодействие с системой с помощью меню.

Список литературы

1. Миронов А.С. Статические банки знаний: организация, реализация и применение // Сб. тр. национальной конф. по искусствен. интеллекту с междунар. участ.: КИИ-2004. - Тверь. 2004. - Т2. - С.609 - 614.

2. Цаленко М.Ш. Моделирование семантики в базах данных. - М.: Наука, 1989. - 288с.

3. Петрушин В.А. Интеллектуальные обучающие системы: архитектура и методы реализации (обзор) // Изв. РАН. Техн. кибернетика. - 1993. - № 2. - С.164 - 189.

ГИБРИДНЫЙ НЕЙРОСЕТЕВОЙ АЛГОРИТМ ИДЕНТИФИКАЦИИ

СЛОЖНЫХ ОБЪЕКТОВ

А.А. Усков, Д.В. Санатин

Как известно, выделяют два основных вида ап-проксимационных моделей: параметрические и непараметрические (локально-параметрические) [1,2].

При параметрическом подходе вначале выбирается аппроксимирующая зависимость, затем на основе обучающей выборки адаптируются ее параметры. К параметрическим методам моделирования относятся полиномиальные нейронные сети (Б-П нейронные сети), многослойные персептроны [3,4] и др. Если правильно подобрана аппроксимирующая зависимость, то качество моделирования весьма высоко даже в случае небольшой или зашумленной обучающей выборки [1,2] и наоборот.

При непараметрическом подходе вначале выбирается тип аппроксимирующей зависимости, но в данном случае по экспериментальным данным строится большое количество указанных зависимостей, каждая из которых имеет свои параметры. К непараметрическим методам моделирования относятся метод М-ближайших узлов [1,2], нейронные сети с радиальными базисными элементами [3,4]. Достоинством непараметрических методов является отсутствие необходимости выбирать тип глобальной аппроксимирующей зависимости. Отклик модели в непараметрических методах определяется не всей, а лишь частью обучающей выборки, что делает такие моде-

4

ли малоэффективными при значительной зашумленности обучающей выборки.

В настоящей статье предложена гибридная по-линомиально-радиальнобазисная нейронная сеть, позволяющая совместить достоинства как параметрического, так и непараметрического подходов.

Предположим, что исследуемый статический объект имеет п входов (векторный вход

X = 1x1, X2,..., xn]т ) и один выход у. Связь между X и у в п-мерной области йх может быть адекватно представлена моделью:

у = п(Х) + е, (1)

где п(Х) - функция неизвестного вида; е - аддитивная случайная помеха (отражает действие неучитываемых факторов) с нулевым математическим ожиданием и неизвестным распределением на ее (-е^ еш).

Функция п® представима в виде: П® = р(Х) + g(x), (2)

где p(X) - полиномиальная функция: !

p(x) = Z akx1a1kx2a2k...xnank k =1

(3)

(в которой аk - постоянные параметры; ! - целый положительный параметр; аjk - целые неотрицательные параметры); g(X) - нелинейная функция общего вида.

Для функций p(X) и g(X) выполняется соотношение:

s[p(X)]> s[g(X)], (4)

где 8[-] - функционал, возвращающий среднеквадратичное значение функции-аргумента в области йх :

S|p®] =

J |p(x)]2dx

fix

S|g(x )] =

J [g(x )]2dx

fix

Jdx J dx

fix fix

Предположим далее, что на объекте реализован эксперимент, заключающийся в регистрации N пар значений:

(xV), i = 1,2,..., N, (5)

при этом значения x и y измерены без ошибок; xi €fix .

Требуется на основе экспериментальных данных (5) восстановить неизвестную зависимость п®.

Гибридная полиномиально-радиальнобазисная искусственная нейронная сеть

В работе [5] сформулирован принцип адекватности, согласно которому объект и его система моделирования или управления для наиболее оптимального решения задачи должны обладать рядом общих черт. В соответствии с принципом адекватности для решения рассматриваемой задачи предложена гибридная полиномиально-радиальнобазисная искусственная нейронная сеть (HPRBFN, от Hybrid polynomial radial basis function network), структурно со-

стоящая из радиально-базисной части (РБЧ), полиномиальной части (ПЧ) и блока взвешенного суммирования (БВС) (рис. 1).

РН г - радиальные нейроны, X - блоки умножения, £ -блоки суммирования, т- - блок деления, П k - пи-нейроны Рис. 1. Структура гибридной полиномиально-радиальнобазисной нейронной сети

Предложенная искусственная нейронная сеть реализует следующую нелинейную зависимость: M

£ Фг(Х) • Wr + u -Ф! (X)

У® =

r=1

M

Z фг® + u

г=1

(6)

где wr, и - весовые коэффициенты; фг(Х), ф| (X) -функции, реализуемые радиальными нейронами и ПЧ сети соответственно:

фг (x) = exp

l|2

2 А,2

Ф1 ® = Z bkx1 k=1

x Pnk

(7)

(8)

Ц - евклидова векторная норма; Ьк , сг, А, - постоянные параметры; 1 - целый положительный параметр; рjk - целые неотрицательные параметры.

Подходы к формированию HPRBFN и базовый алгоритм ее обучения

Формирование ЫРЯБРК на основе обучающей выборки (5) состоит в последовательной реализации трех этапов.

1. Формирование ПЧ сети в предположении, что РБЧ отсутствует (и ^ ~). В рассматриваемом случае выражение (6) принимает вид:

L

e1kx2e2k .

У® = Z bkx1 L k=1

= Zbkfk® = bTf® k =1

Pnk

(9)

где b =

' b1' "f1(x)'

b2 , f(x)= f2®

.bL. .fL(x).

г

x

n

5

Из формулы (9) видно, что формирование ПЧ заключается в определении количества пи-нейронов Ь и значений параметров данных нейронов в^ , а также весовых коэффициентов Ьк.

Структура полиномиальной зависимости может выбираться как на основе информации о предметной области, так и путем оптимизации вида данной зависимости, например с использованием метода группового учета аргументов [4].

2. Формирование РБЧ сети в предположении, что ПЧ отсутствует (и = 0). В рассматриваемом случае выражение (6) принимает вид: \\2"

M

Е exP

r =1

У(Х) = -

Х - cr 2-X

M Е exp

r=1

2-X

2

(10)

Из формулы (10) видно, что формирование РБЧ заключается в определении числа радиальных нейронов М, значений параметров сг и X данных нейронов, а также весовых коэффициентов wr.

При формировании РБЧ сети могут использоваться методы, разработанные для создания и обучения ЯВШ сетей [3,4].

3. Настройка параметра и, определяющего соотношение между влиянием РБЧ и ПЧ на выход сети.

Рассмотрим базовый алгоритм обучения НРЯВШ.

Шаг 0 (предварительный). Обучающая выборка (5) разбивается на две части: собственно обучающую

(11)

x',yM, 1 = 1,2,..., L

и контрольную /=ь h

(12)

г;, Ь = 1,2,..., Н

выборки (Н+Ь=№). Размер контрольной выборки Ь = £ • N , где заданный параметр £ е (0,1); по умолчанию выбирается £ = 0.2. Устанавливается параметр Я - минимально допустимое расстояние между центрами радиальных нейронов.

Шаг 1. Определение вектора параметров Ь ПЧ сети.

Вариант А. С использованием нерекуррентного

метода наименьших квадратов (МНК) [3,4]:

(13)

b = (FT - F)-1 -FT -y ,

" f T(xx)' ' У1'

fT(x2) f У2

, y =

fT(x n)_ .yN.

где F =

Вариант B. С использованием рекуррентного МНК [3, 4]:

bN+1 = bN +"

Ф N - f (xN+1)

[yN+1 - f(xN+1) - b N ]

1 + fT(xN+1)-Ф N-1 - f(xN+1)

(14)

где ФN = (FT - F),

ФN+1 = ФN + f(xN+1) - fT(xN+1) , E

* -1 ,, -1

фN+1 =ФN

f(xN+1) ' f (xN+1) -ФN

T -1

1 + f (xN+1) ^N - f(xN+1)

Шаг 2. Определение числа радиальных нейронов М, значений параметров сг и весов wr.

1) Устанавливаются переменные 1=1 и М=0.

2) Из обучающей выборки извлекается элемент

Rmin = min Cr - xl , (15)

r=1,2,...,Mll II

где cr - центры радиальных нейронов. Если радиальных нейронов нет (M=0), считается Rmin = ~.

3) Если Rmin > R , то добавляется радиальный нейрон с параметрами Cm+1 = xi, устанавливаются wM+j = yi и M =M+1.

4) Если i= N, то останов, иначе i=i+1 и переход к пункту 2.

Шаг 3. Определение значения параметра отклонения радиальных нейронов X.

Вариант А. С использованием эмпирической формулы:

X = -j==, (16)

V8 - 1n2

где d = (xmax - xmin)/(^M -1) , x,^ ё x^n - максимальное и минимальное значения компонент входного вектора x соответственно.

Вариант B. С использованием алгоритма оптимизации. Нейронная сеть обучается по обучающей выборке (11), после чего параметр X определяется путем минимизации ошибки на тестирующей выборке (12):

H Л

►min, (17)

E(X) = Е (y(xh, X) - yh)2 ——^min h=1

Л

где у(хЬ, X) - отклик обученной сети при подаче на

ее вход хЬ . Для решения задачи (17) используется метод золотого сечения [6].

4. Настройка параметра и с использованием алгоритма оптимизации. Нейронная сеть обучается по обучающей выборке (11), после чего параметр и определяется путем минимизации ошибки на тестирующей выборке (12):

Е(и) = |(у(х\и) - уЬ)2 ——^шт, (18)

где у(х , и) - отклик обученной сети при подаче на

ее вход хЬ . Для решения задачи (18) используется метод золотого сечения [6].

Метод золотого сечения [6]. Предположим, необходимо найти минимум функции 1*(х) на отрезке [а, ь] с заданной точностью Д . Алгоритм состоит в реализации следующих шагов.

x, yi > и находится минимальное расстояние:

w

r

2

r

h=1

6

Шаг 1. Устанавливаются переменные: k=1,

L1 ' L2 = 1 -L1 ' ak = xmin > bk = xmax ■ Вы-

числяются значения:

xk = ak + L1(bk - ak). xk = bk + L1(bk - ak)> F,k = f(xk),Fk2 = f(xk).

Шаг 2. Если F, < Fi2 , то a,+1 = a, , b,+1 = x, , xk +1 = ak +1 + L1(bk +1 - ak+1) , xk+1 = xk > Fl1+1 = f(xk+1) , Fl2+1 = Fk , иначе ak +1 = xk > bk +1 = bk > xk+1 = xk > xk +1 = bk+1 + L1(bk+1 - ak+1), Fk+1 = Fk , Fk2+1 = f(xk+1). Шаг 3. Проверяется критерий останова b — a <A. Если указанный критерий не выполнен, то k = k +1 и переход к шагу 2. В противном случае останов, решением считается (a,+1 + b,+1)/2 .

Вычислительный эксперимент

Предположим, что объект имитируется зависимостью вида (1), при этом

П(Х) = q • [3. (1 — Х1)2 exp(—x? — (x2 +1)2) — — 10I Ix, — x

5

1 _A 1

• ехр(-х2 - х2) - -ЗехрНх! +1)2 - х|)] +

+ (1 - q) • [х2 + х2], где q - постоянный параметр, q е [0, 1].

Аддитивная помеха е имеет нормальное распределение с математическим ожиданием Ме = 0 и среднеквадратичной ошибкой (СКО) Сте = 0.5 . Аппроксимация производится в области Дх : X! е [-3, 3]; Х2 е [-3, 3]. Обучающая выборка расположена в области Дх равномерно случайным образом и содержит 324 точки. Тестирующая выборка содержит 1600 точек, расположенных по равномерному закону в Дх •

На рисунке 2 показан график СКО моделей в зависимости от параметра q для различных методов

(полиномиальная МНК модель 2-го порядка (P) [4]; обобщенно-регрессионная нейронная сеть (GRNN) [3]; метод локальной аппроксимации с числом ближайших узлов M = 5 (LA5) [2]; многослойный пер-септрон со структурой 12-5-1 (MLP) [3]).

Для обучения HPRBFN используется базовый алгоритм, описанный выше.

Из приведенных на рисунке 2 зависимостей видно, что предложенная HPRBFN при малых значениях параметра q обеспечивает точность модели, близкую к полиномиальной МНК модели, при больших значениях q - близкую к точности GRNN, и в среднем дает наилучший из всех методов результат.

Рис. 2. Зависимость СКО аппроксимации от параметра q при СКО шума g£=0.5

Сложные объекты, имеющие существенную полиномиальную составляющую (см. (2)) достаточно широко распространены на практике в экономике, медицине, технике и т.п., вследствие чего предложенные полиномиально-радиальнобазисные нейронные сети могут найти широкое применение в системах моделирования и управления.

Список литературы

1. Катковник В.Я. Непараметрическая идентификация и сглаживание данных. - М.: Наука, 1985.

2. Дли М.И. Локально-аппроксимационные модели сложных объектов. - М.: Наука; Физматлит, 1999.

3. Круглов В .В., Борисов В.В. Искусственные нейронные сети. Теория и практика. - М.: Горячая линия - Телеком, 2001.

4. Дюк В., Самойленко А. Data Mining: Учебный курс. -СПб.: Питер, 2001.

5. Ивахненко А.Г. Самообучающиеся системы распознавания и автоматического управления. - К.: Техтка, 1969.

6. Банди Б. Методы оптимизации: Вводный курс. - М.: Радио и связь, 1988.

ПРОВЕРКА ДОСТОВЕРНОСТИ ПРЕДСТАВЛЯЕМОЙ СТАТИСТИЧЕСКОЙ ИНФОРМАЦИИ

И.В. Абраменкова, В.В. Круглов

В статье рассмотрено решение задачи проверки корректности статистической информации, представляемой ее первичными источниками (учрежде-

ниями, предприятиями, отдельными юридическими и физическими лицами), для контроля тех или иных показателей, например, экономической или социоло-

7