Научная статья на тему 'Методика оценки точности нейросетевых моделей'

Методика оценки точности нейросетевых моделей Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
660
96
i Надоели баннеры? Вы всегда можете отключить рекламу.
i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Методика оценки точности нейросетевых моделей»

Пользователь

I

Библиотека • методов поиска решений в БЗ

Модуль трансляции МЭСУ в БЗ

Модуль трансляции МЭСУ в БЗ

н

Модуль трансляции МЭСУ в БЗ

Модель знаний на ООИМ I

Схема информационных потоков в среде информационного моделирования

1. Обеспечение визуального интерфейса между проектировщиком, обладающим знаниями в предметной области управления объектом, с одной стороны, и формой представления этих знаний - с другой.

Реализация этой задачи приводит к необходимости решения следующих подзадач:

- разработка специального способа линеаризации существенно-нелинейных систем и разработки инструментальных библиотечных элементов нелинейностей;

- интеграция нелинейной части с остальными элементами системы в виде передаточных функций;

- реализация методов трансляции формализованных моделей знаний о характеристиках элементов в формат, пригодный для моделирования в вычислительной среде и последующего программирования средств управления.

2. Осуществление вывода на основе предлагаемого программного инструментария на базе OUR-CAD и исходных данных, предоставленных профессиональными специалистами предметной области.

Решение задач достигается:

- разработкой моделей возможных нелиней-ностей в виде передаточных функций, обеспечивающих требуемую точность вычислений;

- разработкой средств пользовательского интерфейса с учетом объектно-ориентированных структур предметной области.

Решение перечисленных задач ООИМ для моделирования нелинейных систем управления возможно благодаря интеграции в нем систем, приведенных в таблице.

№ Наименование подсистемы Назначение

1 Подсистема визуального конструирования нелинейных моделей элементов систем управления (МЭСУ) Поддержка ООИМ и представление моделей знаний прикладных областей

2 Модуль трансляции МЭСУ в базе данных Трансляция реализованных МЭСУ в форматные файлы базы знаний (БЗ)

3 БЗ Структура представления предметных знаний, пригодная для обработки средствами вычислительной техники

4 Библиотека методов поиска решений в БЗ в виде отдельного модуля Выполнение операций логического вывода на знаниях, представленных в БЗ, с учетом исходных данных, полученных пользователем на этапе идентификации

5 Пользовательский интерфейс Осуществляет: - приобретение и идентификацию исходных данных, - вывод промежуточных и конечных решений, - предоставление отчетов по решаемой задаче

На рисунке представлена схема информационных потоков между компонентами ООИМ по построению АСУ ТП при разработке структур, связанных с исследованием влияния типовых существенных нелинейностей на процесс управления.

Разрабатываемые методы компьютерной линеаризации нелинейных систем управления за счет создания библиотек инструментальных средств для моделирования типовых нелинейно-стей типа гистерезисной петли, люфта, нечувствительности, ограничителя амплитуды и тому подобного позволяют ускорить процессы проектирования и программирования средств автоматизации для объектов управления с существенными нелинейностями.

МЕТОДИКА ОЦЕНКИ ТОЧНОСТИ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ

С.А. Котельников (Главное управление Банка России по Смоленской области); А.А. Усков, д.т.н. (Смоленский филиал Российского университета кооперации)

В практике нейросетевого моделирования часто возникает задача оценки точности получаемых моделей [1-3]. Рассмотрим задачу нейросетевого моделирования в следующей постановке. Пусть имеется статический объект, имеющий п входов (векторный

вход X) и один выход У. Входы и выход данного объекта связаны некоторой нелинейной зависимостью:

у=п(Х >+§, (1)

где П(Х) - функция неизвестного вида; \ - случайная аддитивная помеха, отражающая действие неучитываемых факторов с нулевым математическим ожиданием и неизвестным распределением.

Необходимо построить нейросетевую модель данного статического объекта (оценку функции

П(Х)) на основе обучающей выборки:

< X',Y' >,i=1,2,...,N

(2)

и оценить точность полученной модели.

Задача оценки точности модели решается следующим образом. Обучающая выборка (2) случайным образом делится на собственно обучающую:

< X',Y' >,1=1,2,...,N1,

(3)

по которой и проводится обучение нейронной сети, и

тестирующую: < Xk ,Yk >,k=1,2,...,N2

(4)

(объем тестирующей выборки (4) выбирается обычно во много раз меньше объема обучающей выборки (3), то есть N2 << N1), на основе которой производится оценка точности модели.

Рассмотрим ошибки модели: 8=Y—Y , (5)

где Y - выход объекта; Y - выход модели.

Ввиду наличия случайного шума \ погрешность модели 8 можно считать случайной величиной. Максимальное абсолютное значение ошибки модели Max8 и среднеквадратическое отклонения (СКО) ошибки модели а8 определяется формулами:

Max8 = max8 , (6)

8 йеО, 1 1

08= | (8—m8 )2f(8)d8 ,

(7)

где Qx - область моделирования; f(8) - плотность распределения 8 ; m8 = 18f(8)d8 -

математическое

ожидание 8 [4, 5].

Точечные оценки Max8 и а8 могут быть получены с помощью формул:

Л I

Max8= max |8k|, (8)

(9)

1

N,

ТЖ

1 k=1

-lb8 ]2

где 8к = Ук — Ук,Ук иУк - значения выхода объекта и модели в к -й точке тестирующий выборки (4) со-

ответственно; т.

1 N2 „

NT^.

n2 k=1

Описанные точечные оценки Мах8 и <38 часто не позволяют сделать однозначный вывод о качестве полученных моделей; преодолеть указанную сложность позволяют интервальные оценки.

Интервальные оценки точности моделей. Для конкретизации метода построения интервальных оценок необходимо проверить гипотезу нормально-

сти распределения величины 8 с помощью "критерия X2 " Пирсона.

Сведем результаты опытов в Ь интервалов и оформим в виде статистического ряда (см. табл. 1).

Таблица 1

I (81,82) (82,83) (8l—1,8l)

р p1 р2 PL

В таблице приняты следующие обозначения: - т|

р. =-, где т. - число попаданий ошибки модели

N2 1

8к в интервал (81 ,8.) .

На основе функции нормального закона распределения можно найти теоретические вероятности попадания в каждый интервал:

(8—т8 )2

(10)

Проверка согласованности нормального и статистического распределений производится на основе анализа расхождения между теоретическими вероятностями р. и наблюдаемыми частотами р. . В качестве меры расхождения используется взвешенная сумма квадратов отклонений:

ь(р. —р.)2 ^(^р. — т.)2

х2=N2 х . . =Х—^——. (11)

1=1 Р. 1=1 ^Р.

Распределение %2 зависит от параметра г, называемого числом степеней свободы распределения. Число степеней свободы г, определяется согласно формуле: г=Ь-К (12)

где К - число независимых условий (связей).

Если выполняется условие х2—р1 —X2 , то закон

распределения случайной величины 8 соответствует нормальному закону распределения с доверительной вероятностью Р1. В зависимости от результатов проверки гипотезы нормальности распределения рассмотрим два случая.

1. Гипотеза нормальности распределения величины 8 выполняется.

Доверительный интервал для ошибки модели 8 выражается в виде:

т8 8 —8 — т8+ 8 , (13)

где Р2 - доверительная вероятность; t =Ф

1±Pi"j;

Ф(-) - нормальная функция распределения.

Воспользовавшись свойствами распределенной по нормальному закону случайной величины, получим оценку максимальной абсолютной ошибки модели Мах8 с доверительной вероятностью; р1 - доверительная вероятность, использующаяся при проверке гипотезы нормальности закона распределения [4,5]: Мах8— т8+4<8. (14)

Верхняя оценка значения СКО ошибки модели <8 с заданным уровнем значимости а3 определятся

У.—1

формулой: 05<0 5

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

(N-1)

(15)

2 2 где Хр - значение закона распределения % с

(N•2 —1) степенями свободы отвечающее вероятности р; а3 - уровень значимости (а3 = 1—Р3 , Р3 -доверительная вероятность).

2. Гипотеза нормальности 8 не выполняется (законраспределения неизвестен).

На основании неравенства Чебышева можно записать:

6 2

Р( 8—А 8^ ) ^, (16)

где Р(-) - вероятность выполнения условия, стоящего внутри скобок; X - положительный параметр.

Проведя преобразования на основе (16), можно получить доверительный интервал для ошибки модели 8 :

6* „ „ 6 ш, —¡=^<8< т, +

, (17)

где а4 - уровень значимости ( а4 = 1—Р4, Р4 - доверительная вероятность).

В случае, когда для закона распределения случайной величины 8 выполняется гипотеза симметричности, можно получить более точную оценку:

2о5 _ „ 2о

in,--¡=^<5< m, +

Э-Ja.

3ч/а,

(18)

44

Метод проверки гипотезы симметричности закона распределения случайной величины описан в работе [6].

Для получения верхней оценки значения СКО модели б8 с заданной доверительной вероятностью Р5 можно воспользоваться следующей приближенной формулой:

05< 1 + tR

2

N2-1

где ß5 - доверительная вероятность; tß =Ф

(19)

.—1Г1+Р5' _ 2

Ф(-) - нормальная функция распределения.

Вычислительный эксперимент. Выполним построение нейросетевых моделей и оценку их ошибки для объектов со структурой (1), описываемых следующими выражениями:

1) п(х)=3 (1—х1)2ехр(—х2 — (Х2 +1)2)— '1 4

10

__Э 5

5

exp(-xx - x2)+

+ 1exp(-(X1 +1)2 - x2)+1(x2 + x2), Э 2

2) n(x)=

-100

100-(x2 - x2)2+(1-x2)2+1'

3) n(x)=-20-x2 -x2 +10cos(2nxj)+

+10cos(2nx2),

где xxe[—3,3],x2e[—3,3] в выражениях 1-3; при нормальном законе распределения аддитивной помехи ^ (математическое ожидание m(^)=0, СКО

о(^)) и доверительной вероятности ß=ßx =... =

=ß5 = 0.95.

Для построения моделей использовались следующие методы: обобщенно-регрессионная нейронная сеть (GRNN), многослойный персептрон (MLP), сеть с радиальными базисными функциями и линейным выходным слоем (RBFN) [1-3]. Объем обучающей выборки составлял N=2900 (Nx=2500, N2=400). Точки из обучающей выборки располагались случайным образом с равномерным законом распределения. Результаты вычислительного эксперимента приведены в таблице 2.

Таблица 2

Объект моделирования СКО шума о© Тип модели Выполнение гипотезы о нормальности закона распределения о Точечные оценки Интервальные оценки

Л Max5 0 5 Max5 (формула (14)) 05 (формула (15)) 05 (формула (19))

1) 0.8 GRNN принимается 2.7167 0.84072 3.4076 0.9034 0.89716

MLP принимается 4.1303 1.2207 4.9607 1.3118 1.3027

RBFN принимается 3.2423 0.91394 3.6941 0.98208 0.97529

2) 1 GRNN принимается 4.9261 1.5643 6.2764 1.6809 1.6693

MLP принимается 3.852 1.0306 4.1366 1.1074 1.0998

RBFN принимается 3.5154 1.1365 4.6116 1.2212 1.2128

3) 1 GRNN принимается 9.8439 3.325 13.3311 3.5729 3.5482

MLP отвергается 23.1141 9.9285 - - 10.595

RBFN отвергается 8.371 2.3892 - - 2.5496

Рассмотренный подход к оцениванию точности моделей может быть полезен при нейросетевом моделировании. Современные системы компьютерной математики (MATLAB, MathCAD, Maple и др.) имеют набор встроенных статистических функций, что позволяет значительно упростить процессы как проверки гипотезы нормальности распределения, так и построения описанных интервальных оценок.

Список литературы

1. Галушкин А.И. Теория нейронных сетей. - М.: ИРПЖР. - Кн.1. - 2000.

2. Галушкин А.И. Нейрокомпьютеры. - Там же. - Кн.3. -2000.

3. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. - М.: Горячая линия-телеком, 2001.

4. Венцель Е.С. Теория вероятностей. - М.: Высш. шк., 1998.

5. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. - М.: Наука, 1984.

6. Орлов А.И. Методы проверки однородности связных выборок // Заводская лаборатория. - 2004. - Т.70. - №7.

2

аз

1-

2

i Надоели баннеры? Вы всегда можете отключить рекламу.