CC BY
133
Согласно методике, изложенной в [3], в качестве метрологической характеристики можно выбирать максимальное значение модуля погрешностей оценки:
ст = тах {ст,}, у = 1,, (5)
где - число испытаний, зависящее от доверительной информации Рд. Так, если Рд=0,95, то число испытаний равно 29 независимо от закона распределения погрешностей.
Рассмотрим примеры различных плотностей вероятности и возможности RBF-сетей для их аппроксимации. В качестве базисных функций возьмем сигмоидальные, радиальные, степенные функции, а также полиномы Лежандра, Чебышева I и II рода, Лагерра и Эрмита. Объем каждой выборки N=10 000, число дифференциальных коридоров М=20, количество нейронов в скрытом слое К=5, К=10, К=15. На рисунке представлен результат аппроксимации плотности вероятности RBF-сетью.
В таблице приведены значения максимума для среднего квадратического отклонения для всех указанных выше базисов при числе испытаний, равном 29, и различном количестве нейронов в скрытом слое.
Значения максимума для среднего квадратического отклонения аппроксимации плотности вероятностей Симпсона и Рэлея КБЕ-сетью
Аппроксимация плотности вероятности Симпсона ортогональными полиномами Лежандра RBF-сетью (K=15)
Исследования показали, что использование для аппроксимации плотности распределения вероятности RBF-сетей c сигмоидальными, степенными функциями, а также полиномами Лежандра, Чебышева I и II рода, Лагерра и Эрмита дало результаты не хуже, чем при использовании традиционных радиально-базисных сетей.
Литература
1. Хайкин С. Нейронные сети: полный курс. 2-е изд.; [пер. с англ.]. М.: Издат. дом «Вильямс», 2006. 1104 с.
2. Осовский С. Нейронные сети для обработки информации; [пер. с польск. И.Д. Рудинского]. М.: Финансы и статистика, 2002. 344 с.
3. Методы нормирования метрологических характеристик, оценки и контроля характеристик погрешностей средств статистических измерений. РТМ 25139-74. М.: Минприбор, 1974.
4. Прохоров С.А. Аппроксимативный анализ случайных процессов. Самара: СГАУ, 2001. 329 с.
References
1. Haykin S., Neyronnye seti: polny kurs (Neural networks: a Comprehensive Foundation), 2nd ed., Moscow, 2006, 1104 p.
2. Osovsky S., Neyronnye seti dlya obrabotki informatsii (Neural networks for Information Processing), Moscow, 2002.
3. Metody normirovaniya metrologicheskikh kharakteristik, otsenki i kontrolya kharakteristik pogreshnostey sredstv statisti-cheskikh izmereniy RТМ 25139-74 (Methods of Normalization of Metrological Characteristics, Assessment and Monitoring of Statistical Measuring Equipment Error Characteristics. RТМ 25139-74), Moscow, Minpribor, 1974.
4. Prokhorov S.A., Approksimativny analiz sluchainykh protsessov (Approximative Analysis of Random Processes), Samara, Samara State Aerospace Univ., 2001, 329 p.
К Узлы сети Полиномы
Сигмоидаль-ные Радиальные Степенные Лежандра Чебышева I рода Чебышева II рода Лагерра Эрмита
Закон Симпсона
5 0,0455 0,0169 0,1113 0,0656 0,0655 0,0656 0,0773 0,0657
10 0,0495 0,0151 0,1074 0,0179 0,0178 0,0179 0,0519 0,0197
15 0,0168 0,0171 0,1106 0,0134 0,0147 0,0134 0,0407 0,0183
Закон Рэлея
5 0,0338 0,0121 0,0283 0,0099 0,0098 0,001 0,0162 0,0099
10 0,0304 0,0099 0,0281 0,0097 0,0098 0,0099 0,0099 0,0098
15 0,0103 0,0099 0,0206 0,0097 0,0097 0,0098 0,0099 0,0098
УДК 681.3
МНОГОФУНКЦИОНАЛЬНЫЙ ИМИТАТОР НЕЙРОННЫХ СЕТЕЙ
О.П. Солдатова, к.т.н.
(Самарский государственный аэрокосмический университет им. академика С.П. Королева (национальный исследовательский университет), [email protected])
Описывается нейроимитатор, реализующий модели многослойного персептрона, радиально-базисных сетей и нечетких нейронных сетей. Исследована эффективность использования нейроимитатора для решения задач классификации и прогнозирования. Уделено внимание разбору гибридных моделей нейронных сетей и систем нечеткого
вывода, основанных на продукционных правилах «если - то». Рассмотрены базы знаний в системе нечеткого вывода Мамдани-Заде, модели нечеткого вывода TSK, модели Цукамото, модели нечеткой продукционной сети Ванга-Менделя. На основе указанных моделей реализован программный комплекс, позволяющий проверить точность вычислений при решении задач классификации и прогнозирования. Сравнение результатов проводилось на одних и тех же данных в нескольких сериях с разными значениями параметров нейронных сетей, чтобы выявить среднюю величину погрешности на каждом из типов задач. Сравнение точности полученного результата осуществлялось по значениям функции ошибки, среднеквадратической и приведенной погрешностям. При решении задач классификации наилучшие результаты показали сети Ванга-Менделя и TSK. При исследовании эффективности решения задачи прогнозирования наилучшие результаты показали сети, реализующие модели Мамдани-Заде и Цукамото. Подобный пример наглядно демонстрирует, что невозможно выбрать одну оптимальную модель и что для задач разных классов нужно использовать разные модели, наиболее подходящие под условия конкретной задачи.
Ключевые слова: нейронные сети, системы нечеткого вывода, нейроимитатор, алгоритмы обучения, классификация, прогнозирование.
MULTIFUNCTIONAL SIMULATOR OF NEURAL NETWORKS Soldatova O.P., Ph.D. (Samara State Aerospace University, [email protected]) Abstract. The article describes the neurosimulator implementing models of multilayered perception, radial-basic networks and fuzzy neural networks. It studies the efficiency of usage of neurosimulator to solve classification and forecasting problems. The article pays attention to the analysis of hybrid models of neural networks and fuzzy inference systems based on condition-action rules «if-then». It reviews the knowledge bases in fuzzy inference system of Mamdani-Zade, models of fuzzy inference TKS, Tsukamoto model, Wang-Mendel model of fuzzy production network. Based on the specified models the software complex is implemented, which makes it possible to check the accuracy of computations in the course of solution of classification and forecasting problems. Comparison of the results was carried out using the same data, in several series with different values of neural network parameters in order to identify the average error value at each type of problems. Comparison of accuracy of the obtained result was carried out as per the error function value, mean-square error and percentage error. In the course of solution of classification problems the best results were obtained in case of Wang-Mendel network and TKS. In the course of study of the efficiency of forecasting problem solutions the best results were shown by the networks implementing Mamdani-Zade and Tsukamoto models. This example clearly demonstrates impossibility to choose a single optimal model and for the problems of different classes one should use different models, which are to the best advantage applicable under the particular problem conditions.
Keywords: neural networks, fuzzy logic, neural simulator, learning algorithms, classification, prediction.
Для решения конкретных задач с помощью нейронных сетей необходимы модель нейронных сетей, а также определенный инструментарий. Можно выделить два крупных класса программных моделей нейронных сетей: специализированное ПО, нацеленное на решение конкретного и, как правило, достаточно узкого круга задач с помощью одной модели нейронной сети со специально подобранной топологией, и универсальные программы-нейроимитаторы, включающие в себя различные топологии нейронных сетей и предоставляющие возможность настройки каждой из поддерживаемых топологий, что позволяет конструировать нейронные сети для решения различных классов задач.
В данной статье представлен нейроимитатор «Нейрокомбайн», в котором поддерживаются модели нейронных сетей: многослойный персептрон, нечеткий многослойный персептрон, радиально-базисные сети и гипер-радиально-базисные сети, сеть Ванга-Менделя, сеть Такаги-Сугэно-Канга (TSK), сеть, реализующая модель Мамдани-Заде и сеть, реализующая модель Цукамото.
«Нейрокомбайн» выполняет следующие функции:
- создание нейронной сети определенного типа с указанием параметров для начальной инициализации данной сети;
- загрузка и необходимая предобработка обучающих и тестовых данных из текстовых файлов и файлов в формате Microsoft Office Excel;
- графическое отображение структуры нейронных сетей;
- обучение нейронной сети с детальной настройкой процесса обучения, визуализацией хода обучения и предоставлением данных о качестве обучения;
- тестирование нейронной сети на тестовой выборке с визуализацией результатов тестирования;
- сохранение нейронных сетей в файл и загрузка из файла.
Для классических топологий нейронных сетей, таких как многослойный персептрон и радиально-базисные сети, реализованы следующие алгоритмы обучения: алгоритм наискорейшего спуска, метод обратного распространения ошибки, гибридный алгоритм для обучения радиально-базис-ных сетей, а также алгоритм К-усреднений и алгоритм построения деревьев классификации для инициализации центров радиально-базисных функций.
Особое внимание в «Нейрокомбайне» уделено моделям нечетких нейронных сетей. В случае линейной неразделимости классов и неустойчивого поведения алгоритма обучения имеет смысл использовать гибридную сеть, включающую в себя слой с нечеткой самоорганизацией и многослойный персептрон. Функции активации нейронов нечеткого слоя такой сети являются радиально-базисными (в виде функции Гаусса). Выходы нейронов нечеткого слоя используются в качестве
входов традиционного многослойного персепт-рона.
Наблюдается усиление интереса к гибридным моделям нейронных сетей и систем нечеткого вывода, основанных на продукционных правилах «если - то» следующего вида:
если х это A, тоy это B, (1)
где A и B - нечеткие множества, идентифицированные через соответствующие функции принадлежности для переменных x и y. Это обобщенное (нечеткое) правило modus ponens.
Нечеткое рассуждение - процедура, позволяющая определить заключение, вытекающее из множества правил «если - то»:
если х1 это A1 и х2 это A2 и ... и xN это AN, то y это B. (2)
Переменные x1, x2, ..., xN образуют N-мерный входной вектор х, составляющий аргумент условия, в котором A1, A2, ..., An и B обозначают величины соответствующего коэффициента принадлежности |iA(x) и |B(y). Случайное значение функции принадлежности |A(x), где x - вектор x=xb x2, ..., xN, относящееся к условию импликации, должно интерпретироваться с использованием нечетких операций. Представленное формулой (2) продукционное правило вывода является основой базы знаний в системе нечеткого вывода Мамда-ни-Заде. Как правило, в модели Мамдани-Заде присутствуют [1]:
- оператор логического или алгебраического произведения для агрегации всех компонентов вектора x условия;
- оператор логического или алгебраического произведения для определения значения функции принадлежности для всей импликации A^B;
- оператор логической суммы для агрегации равнозначных результатов импликации многих правил;
- оператор дефуззификации, трансформирующий нечеткий результат |(y) в четкое значение переменной y.
В модели нечеткого вывода TSK заключение определяется функциональной зависимостью. Благодаря этому дефуззификатор на выходе системы не требуется, а сама модель вывода значительно упрощается [1]. Общая форма модели TSK:
если x1 это A1 и x2 это A2 и ... и xN это AN, то y=fxb x2, ..., xn), (3)
где f(x1, x2, ..., xN) - четкая функция. Условие модели TSK аналогично модели Мамдани-Заде, принципиальное отличие касается заключения, которое чаще всего представляется в виде полиномиальной функции нескольких переменных. Классическое представление этой функции - полином первого порядка:
N
У = f (*) = Po + Z PjXj , (4)
j=1
в котором коэффициенты p0, p1, ..., pN являются весами, подбираемыми в процессе обучения.
Если в модели TSK используется M правил вывода, выход системы определяется как среднее нормализованное взвешенное значение. Если каждому правилу приписать вес wi (интерпретируются как (x) в форме алгебраического произведения), выходной сигнал можно представить в виде
M w ( N \
У = Z тТ^ \Pio + Z Pjxj\. (5)
'=1Z w ^ J=1 J
i=1
Веса wi являются нелинейными параметрами функции y, уточняемыми в процессе обучения.
В модели Цукамото в качестве функций заключения используются монотонные (возрастающие или убывающие) функцииf~l [2]. Заключения правил формируются путем обратного преобразования этих функций по полученным значениям предпосылок данных правил:
если x1 это A1 и x2 это A2 и . и xN это AN, то y= f ">), (6)
где w - уровень срабатывания предпосылки правила. Условие модели Цукамото аналогично модели Мамдани-Заде, принципиальное отличие касается заключения. Если в модели Цукамото используется M правил вывода, выход системы определяется как среднее взвешенное значение. Если приписать каждому правилу вес wt (интерпретируется как |(i) (x) в форме алгебраического
произведения), выходной сигнал можно представить в виде
M
Zw.f. 1 (w,)
У = -, (7)
Z wj
j=1
где yI=/T1(wI) - значение аргумента функции f, при котором wl=fl(yl) [2].
В «Нейрокомбайне» использована модель нечеткой продукционной сети Ванга-Менделя в классической топологии с одним выходом, а также разработана ее модификация с несколькими выходами. Для данной сети создана и реализована модификация алгоритма наискорейшего спуска и метода обратного распространения ошибки. Для сети Ванга-Менделя также реализованы гибридный алгоритм обучения, алгоритмы инициализации параметров функции фуззификации C-Means и алгоритм разностного группирования [1].
Поскольку для модели вывода Мамдани-Заде не существует каноническая структура нейронной сети, в нейроимитаторе предлагается одна из ее возможных реализаций (рис. 1).
В «Нейрокомбайне» реализована сеть TSK в классической топологии с одним выходом и создана модификация модели с несколькими вы-
ходами. Для данной сети разработана и реализована модификация алгоритма наискорейшего спуска и метода обратного распространения ошибки. Для сети TSK также реализованы гибридный алгоритм обучения, алгоритмы инициализации центров функции фуззификации C-Means и алгоритм разностного группирования.
Структура нечеткой сети на основе модели вывода Цукамото подразумевает использование функции принадлежности сигмоидального типа в качестве функции фуззификации для входных переменных и для заключений правил. В «Нейро-комбайне» разработана и реализована модель нечеткой нейронной сети на основе модели Цукамо-то с несколькими выходами (рис. 2). Для данной сети разработана и реализована модификация алгоритма наискорейшего спуска и метода обратного распространения ошибки. Для сети на основе модели Цукамото также реализованы гибридный алгоритм обучения, алгоритмы инициализации параметров функции фуззификации C-Means и алгоритм разностного группирования.
Эффективность предложенных моделей нейронных сетей исследовалась на примере решения задач классификации и прогнозирования. Показателем качества обучения и тестирования сети обычно является значение разности между фактическими у/Л и эталонными / выходными значениями для всех М выходов (/=1, 2, ..., М) сетей и всех р пар фактических и эталонных векторов 1=1, 2, ..., р. Для количественной оценки этой разности были рассчитаны суммарное среднеквадратиче-
ское отклонение (СКО) погрешности обучения и средняя приведенная погрешность.
Суммарное СКО погрешности определяется формулой
Л 1 р м , гт
СКО=£М2§(у* -^■) .
Формула для средней приведенной погрешности такова:
р м §§
у у, < — <
й — й
у тах у тт
(9)
где ^та^тах/ ^тш=т1п /
При решении задачи классификации входные элементы сети используются как приемники классификационных признаков. Таким образом, число входов сети однозначно определяется числом характеристик объекта классификации в решаемой задаче.
Для исследования эффективности решения задачи классификации была выбрана стандартная задача классификации вин. Набор данных представляет собой результаты химического анализа вин из винограда, выращенного в одном регионе, но принадлежащего к трем различным сортам. В ходе анализа выделено процентное содержание 13 составляющих вин, присутствующих в каждом из трех сортов. Задача - определить принадлежность вина с заданными характеристиками к одному из трех сортов. Общий объем данных - 178 образцов. Из них на 142 образцах проводилось обучение, а оставшиеся 36 использовались для тестирования.
Результаты исследования эффективности решения задачи классификации нечеткими нейронными сетями приведены в таблице 1 , где К определяет число классов, N - число правил вывода в БЗ.
Таблица 1
Результаты исследования решения задачи классификации
Параметры обучения Характеристики
Значение функции ошибки СКО погрешности Приведенная погрешность
для сети Ванга-Менделя
К=3 N=3 0,175 0,099 5,73 %
N=4 0,081 0,067 3,35 %
N=5 0,119 0,081 4,05 %
для сети Т8К
К=3 N=3 0,130 0,085 4,25 %
N=4 0,124 0,082 4,10 %
N=5 0,120 0,080 4,00 %
для сети Мамдани-Заде
К=3 N=3 0,196 0,112 6,38 %
N=4 0,177 0,097 5,52 %
N=5 0,223 0,134 7,63 %
для сети Цукамото
К=3 N=3 0,131 0,078 4,44 %
N=4 0,118 0,072 4,10 %
N=5 0,136 0,087 4,95 %
Как видно из результатов исследования эффективности решения задачи классификации, наилучшие результаты показали сети Ванга-Менделя и Т8К.
Для прогноза был выбран объем валового внутреннего продукта России на период с 1999 по 2009 годы, всего 43 значения. Обучение проводилось по первым 33 числам, а тестирование - по последним 10. Нейронные сети имеют 4 входа. Результаты исследования эффективности решения задачи прогнозирования нечеткими нейронными сетями приведены в таблице 2.
Таблица 2
Результаты исследования решения задачи прогноза
Как видно из результатов исследования эффективности решения задачи прогнозирования, наилучшие результаты показали сети, реализующие модели Мамдани-Заде и Цукамото.
Таким образом, приведенные результаты исследований показывают актуальность и применимость нечетких нейронных сетей при решении широко встречающихся задач классификации, прогнозирования и аппроксимации. Это подтверждает их статус универсального инструмента для обработки информации при решении различных задач. А известные алгоритмы обучения обеспечивают минимальную погрешность, значение которой колеблется в зависимости от выбранной модели.
Литература
1. Осовский С. Нейронные сети для обработки информации; [пер. с польск. И.Д. Рудинского]. М.: Финансы и статистика, 2002. 344 с.
2. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы; [пер. с польск. И.Д. Рудинского]. М.: Горячая линия-Телеком, 2007. 452 с.
3. Борисов В.В., Круглов В.В., Федулов А.С. Нечеткие модели и сети. М.: Горячая линия-Телеком, 2007. 284 с.
References
1. Osovsky S., Neyronnye seti dlya obrabotki informatsii (Neural networks for Information Processing), Moscow, Finansy i Statistika, 2002, 344 p.
2. Rutkovskaya D., Pilinsky М., Rutkovsky L., Neyronnye seti, geneticheskie algoritmy i nechetkie sistemyu (Neural networks, genetic algorithms and fuzzy systems), Moscow, Goryachaya liniya-Telekom, 2007, 452 p.
3. Borisov V.V., Kruglov V.V., Fedulov A.S., Nechetkie modeli i seti (Fuzzy Models and Networks), Moscow, Goryachaya liniya-Telekom, 2007, 284 p.
Параметры обучения Характеристики
Значение функции ошибки СКО погрешности Приведенная погрешность
для сети Ванга-Менделя
K=3 N=3 0,001 0,019 7,03 %
N=4 0,001 0,018 6,65 %
N=5 0,005 0,042 15,72 %
для сети TSK
K=2 N=2 0,001 0,020 8,20 %
N=4 0,001 0,018 7,38 %
N=4 0,004 0,035 14,35 %
для сети модели вывода Мамдани-Заде
K=2 N=4 0,001 0,020 8,42 %
K=3 N=3 0,001 0,012 5,04 %
N=4 0,001 0,010 4,20 %
N=5 0,001 0,018 7,56 %
для сети модели вывода Цукамото
K=2 N=4 0,001 0,019 7,09 %
K=3 N=3 0,001 0,016 5,92 %
N=4 0,002 0,022 8,14 %
Примечание: К - дальность прогноза (число выходов сети), N - число правил вывода в БЗ.
УДК 65.011.56; 658.51
АВТОМАТИЗАЦИЯ СИСТЕМЫ УПРАВЛЕНИЯ НАЦИОНАЛЬНЫМ ИССЛЕДОВАТЕЛЬСКИМ УНИВЕРСИТЕТОМ И МОНИТОРИНГА ЕГО ДЕЯТЕЛЬНОСТИ
Д.В. Еленев, к.т.н.; В.С. Кузьмичев, д.т.н.; Д.Е. Пашков, к.э.н.
(Самарский государственный аэрокосмический университет им. академика С.П. Королева (национальный исследовательский университет), [email protected])
Решается задача построения интегрированной автоматизированной информационной системы управления университетом и информационно-аналитической системы мониторинга деятельности подразделений и количественной оценки качества результатов работы университета. Назначением первой из них является автоматизация системы управления вузом на основе создания единой интегрированной базы данных, а ее развитие ведется путем внедрения и организации совместной работы специализированных программных продуктов для реализации различных бизнес-функций. Внедрение интегрированной автоматизированной информационной системы управления университетом позволило существенно улучшить управленческий учет в университете, ввести ряд бизнес-процессов в правовое поле, более акцентированно сформировать точки ответственности исполнителей, упорядочить внутреннюю структуру и минимизировать количество выходных документов, существенно сократить сроки по структурному анализу показателей деятельности вуза и работе с внешними организациями. Система мониторинга деятельности подразделений
