CC BY
30
Рисунок 7 - Полный граф восьмиточечного БПФ с упорядочением по частотам следования
ПЕРЕЧЕНЬ ССЫЛОК
1. Галушкин А.И. Современные направления развития нейрокомпьютерных технологий в России. // Открытые системы №4.- 1997.- С.25-28.
2. Хехт-Нильсен Р. Нейрокомпьютинг: история, состояние, перспективы. // Открытые системы № 4-5 (30-31). - 1998. -С.23-28.
3. Галушкин А.И. Нейрокомпьютеры. Кн.3.: Учеб. пособие для вузов/ Общ. ред. А.И. Галушкина. - М.: ИПРЖР. - 2000. -528с.
4. Дорогов А.Ю. Структурный синтез быстрых нейронных сетей. // Нейрокомпютер. №1, 1999. - С. 11-24.
5. DorogovA.Yu. Structure Synthesis of Fast Neural Networks // Neurocomputers Design and Application. (New York) Vol.1, Issue 1. 2000, p 1-18.
6. Good I.J. The Interaction Algorithm and Practical Fourier Analysis // Journal of Royal Statistical Soseity. Ser.B.- 1958.-Vol.20, No.2.- P.361-372.
7. Andrews H.C., Caspari K.L. A General Techniques for Spectral Analysis // IEEE. Tr. Computer.- 1970.-Vol C-19, Jan, No 1.-P.16-25.
8. Эндрюс Г. Применение вычислительных машин для обработки изображений: Перевод с англ. / Под ред. Б.Ф.Курьянова. М. 1977. - 160с.
9. Солодовников А.И., Канатов И.И., Спиваковский А.М. Синтез ортогональных базисов на основе обобщенного спектрального ядра. // Вопросы теории систем автоматического управления: Межвуз. Сб. Ленингр. Гос.
Ун-т,- Л., 1976. - Вып.2.-С. 99-112.
10. Лабунец В.Г. Единый подход к алгоритмам быстрых преобразований // Применение ортогональных методов при обработке сигналов и анализа систем: Межвуз. Сб. Уральск. Политехн. Ин-т.- Свердловск, 1980. - С.4-14.
11. Дорогов А.Ю., Солодовников А.И Перестраиваемые ортогональные базисы для адаптивных спектральных преобразований // "Методы и средства обработки пространственно-временных сигналов": Межвуз. Сб. Уральск. Политехн. Ин-т.-Свердловск, 1988. - С. 18-26.
12. Дорогов А.Ю. Структурный синтез модульных слабосвязанных нейронных сетей. 1. Методология структурного синтеза модульных нейронных сетей. // Кибернетика и системный анализ. 2001.-№2.-С.34-42.
13. Dorogov A.Yu. Structural Synthesis of Modular Weakly Connected Neural Networks. I. Methodology of Structural Synthesis of Modular Neural Networks. /Cybernetics and Systems Analysis 37 (2): 175-181, March - April, 2001.
14. Рабинер Л., Гоулд Б. Теория и применение цифровой обработки сигналов: Пер. с англ. - М.: Мир, 1978. - 848с.
15. ГудИ.Дж. О взимоотношении между двумя быстрыми преобразованиями Фурье.// В кн. Маккеллан Дж.Х., РедерЧ.М. Применение теории чисел в цифровой обработке сигналов.-М.: Радио и связь. - 1983. - 264с.
16. Трахтман А.М., Трахтман В.А. Основы теории дискретных сигналов на конечных интервалах.- М.: Сов.Радио, 1975. - 207с.
17. Ярославский Л.П. Введение в цифровую обработку изображений. - М.: Сов. Радио. 1979. - 312с.
УДК 004.93:007.52
МЕТОДИКА СИНТЕЗА И ОБУЧЕНИЯ МНОГОСЛОЙНОЙ НЕЙРОННОЙ
СЕТИ КЛАССИФИКАЦИИ ОБРАЗОВ
В.И.Дубровин, С.А.Субботин
Проанализированы основные показатели качества методов построения нейросетевых моделей многомерных зависимостей. Разработана методика синтеза и настройки весовых коэффициентов многослойной нейронной сети для построения нейросетевых моделей по точечным данным.
Проанал1зовано основт показники якост1 метод1в побудо-ви нейромережевих моделей багатовим1рних залежностей. Розроблено методику синтезу та налагоджування вагових коеф1ц1ент1в багатошаровоЧ нейронноЧ мереж1 для побудови нейромережевих моделей за точковими даними.
The main parameters of quality of methods of construction of neural network models of many-dimensional relations are analysed. The technique of synthesis and evaluation of weight coefficients of a multilayer neural network for a construction of neural network models on the dot data is developed.
ВВЕДЕНИЕ
В настоящее время при построении распознающих и диагностических систем широкое распространение получили искусственные нейронные сети (НС), которые являются удобным инструментом для построения численных моделей типа "черный ящик".
Однако при построении нейросетевых моделей на основе большинства известных методов возникает ряд проблем, таких, как необходимость задания пользователем топологии и параметров НС, инициализация весов НС [1], медлительность и итерационность процесса построения нейросетевых моделей, а также избыточность и сложность интерпретации полученных моделей.
В настоящей работе анализируются основные показатели качества методов построения нейросетевых моделей и предлагается методика синтеза и обучения многослойных НС для распознавания образов, являющаяся компромиссным вариантом, учитывающим требования рассмотренных показателей качества.
1. НЕЙРОПОДОБНЫЙ ЭЛЕМЕНТ
Искусственный нейрон (нейроподобный элемент) представляет собой примитивное вычислительное устройство, обладающее небольшой памятью, реализуемой с помощью весовых коэффициентов, и функционирующее в соответствии со схемой:
у = у(ф(х, №)) ,
где х = (хг} - множество входов нейрона, х{ - значение сигнала на г-ом входе нейрона (г=1,2,....,^), N - количество входов нейрона, №=(№о, №1, №2,....,№^| - набор весовых
коэффициентов (память) нейрона, ф(х, №) - дискрими-нантная функция нейрона, ^(а) - функция активации нейрона, у - значение сигнала на выходе нейрона [1,2].
В качестве дискриминантной функции нейрона можно использовать, в частности:
- взвешенную сумму:
N
ф(х, №) = ^ №гхг + ;
г = 1
- взвешенное произведение:
N
ф(х' №) = п ;
г = 1
- Евклидову метрику:
N
ф(х, №) = ||х - = £ (хг - )2 .
г = 1
В зависимости от типа используемой дискриминантной функции нейроны делят на сумматоры, умножители и конкурирующие.
В качестве функции активации наиболее часто применяют [2]:
( ) $0, а < 0,
- пороговую: ша) = #
" 1, а> 0;
- линейную: ^(а) = а ;
1
- сигмоидную: м(а) = -.
1 + е-а
В зависимости от используемой функции активации нейроны делят на вещественные (аналоговые) и дискретные.
2. ХАРАКТЕРИСТИКИ КАЧЕСТВА МЕТОДОВ СИНТЕЗА И ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ
На основе нейроподобных элементов строятся сложные структуры - искусственные НС, представляющие собой совокупность нейронов, связанных определенным образом между собой. Важнейшим свойством НС с точки зрения их инженерно-технических приложений является способность обучаться аппроксимации многомерных нелинейных зависимостей по точечным данным.
Известно довольно много способов построения и обучения НС разной топологии [1, 3-5]. Однако в настоящее время не существует универсального и одновременно эффективного метода построения нейросетевых моделей для решения прикладных задач распознавания образов.
Кроме того, большинство методов синтеза и обучения НС не обеспечивают одновременное удовлетворение таких критериев, как: логическая прозрачность сети, минимум избыточности сети, точность (ошибка) обучения по обучающей выборке, минимум времени и итераций обучения, адекватность топологии и структуре моделируемой задачи.
Логическая прозрачность определяет возможность восприятия построенной и обученной сети человеком как относительно простой и понятной схемы решения определенной задачи. На логическую прозрачность большое влияние оказывают такие критерии, как: количество связей между нейронами, максимальное используемое количество входов нейрона, контрастность весов сети (под контрастированием весов НС понимают процедуру обнуления близких к нулю весов либо округления весов, близких к целому числу, что приводит к удалению малозначимых и усилению более важных связей).
Минимум избыточности сети - критерий, требующий, чтобы нейросетевая модель содержала как можно меньше слоев нейронов, нейронов в слое и связей между нейронами, т.е. критерий, минимизирующий количество параметров нейросетевой модели - ее весовых коэффициентов.
Точность (ошибка) обучения сети по обучающей выборке определяет, насколько сильно расчетные значения на выходе сети отличаются от фактических значений номеров классов, сопоставленных экземплярам обучающей выборки.
Минимум времени и итераций обучения предполагает, что построение нейросетевой модели должно осуществляться как можно быстрее и, желательно, в неитеративном режиме, т.е. без подгонки весов.
Адекватность топологии и структуре решаемой задачи требует, чтобы топология и структура нейросетевой модели соответствовали бы топологии и структуре решаемой задачи.
Большинство известных методов построения нейросетевых моделей [1,4] не позволяют одновременно удовлетворить всем рассмотренным критериям.
Целью данной работы является создание методики синтеза и обучения НС, которая позволила бы в достаточно хорошей степени удовлетворить рассмотренным критериям.
Рассмотренные критерии, очевидно, взаимосвязаны
друг с другом:
- чем меньше тратится времени на обучение НС, тем меньше выполняется итераций;
- чем больше итераций тратится на подгонку весов для удовлетворения заданному критерию точности (минимуму ошибки обучения сети), тем больше достигаемая точность (меньше ошибка сети), и наоборот;
- чем более тесно структура НС будет отображать структуру моделируемой задачи, тем более высокими будут уровень адекватности и логической прозрачности сети, а также меньше будет избыточность сети, и наоборот.
Поэтому компромиссом между точностью, адекватностью топологии и структуре решаемой задачи, логической прозрачностью, а также затратами времени и итераций была бы НС, часть весов которой настраивалась бы в итеративном режиме, используя информацию о структуре и топологии решаемой задачи, а другая часть весов настраивалась бы в неитеративном режиме.
Обобщая вышеизложенное, заключим, что синтез НС должен предполагать:
- наличие в сети блоков, учитывающих топологию размещения экземпляров обучающей выборки в пространстве признаков, т.е. блоков кластеризации;
- наличие в сети блоков объединения кластеров в классы и селекции кластера, центр которого ближе к распознаваемому экземпляру;
- наличие в сети блока селекции класса, кластер которого ближе к распознаваемому экземпляру.
Рассмотрим нейросетевые реализации данных блоков.
3. БЛОК КЛАСТЕРИЗАЦИИ
При построении блока кластеризации возникает проблема определения минимально необходимого для построения нейросетевой модели количества кластеров.
В большинстве известных методов синтеза НС [1] это количество либо задается пользователем (что приводит к построению неточных или избыточных моделей из-за чрезмерно малого или большого заданного количества кластеров), либо количество кластеров задается как некоторая функция от количества экземпляров в обучающей выборке (в результате этого нейросетевые модели имеют избыточность и не соответствуют топологии предметной области).
Для выделения кластеров также могут быть использованы методы метрической классификации [6], которые можно разделить на три типа:
- методы с наращиванием числа кластеров: в начале определяют координаты центров для двух кластеров, относящихся к разным классам, после чего осуществляют классификацию для экземпляров обучающей выборки; если точность классификации недостаточна, то добавляют новые кластеры для ошибочно классифицированных экземпляров до тех пор, пока требуемая точность классификации не будет достигнута;
- методы с сокращением числа кластеров: количество кластеров задается равным количеству экземпляров в обучающей выборке, а координаты центров кластеров совпадают с координатами экземпляров, после чего на
основе определенных правил несколько близко расположенных кластеров, относящихся к одному и тому же классу, заменяют на один новый кластер; этот процесс повторяется до тех пор, пока число кластеров не уменьшится до двух, либо пока не ухудшится точность классификации;
- комбинированные методы, сочетающие элементы методов с наращиванием и сокращением числа кластеров.
В настоящей работе для автоматизации формирования кластеров предлагается использовать следующий комбинированный алгоритм.
Инициализация:
Шаг 1. Задать обучающую выборку экземпляров х = {х^} , г=1,2,...,М, а также сопоставленные экземплярам обучающей выборки бинарные номера классов (у5), ^ = 1, 2,....,Л; где х? - значение г-го признака
8-го экземпляра обучающей выборки, Л - количество экземпляров в обучающей выборке, N - количество признаков, характеризующих экземпляры.
Шаг 2. Установить: К0 = 1, К1 = 1, где К0 и К1 -количество кластеров в классах 0 и 1, соответственно. Установить: р = 1, q = 1, где р и q - счетчики числа кластеров, принадлежащих к классам 0 и 1, соответственно.
Шаг 3. Установить новые кластеры для классов 0 и 1:
Л
С0(р) = Л01 х5, у5 = ^
5 = 1 Л
С1(^ = Лг I х5, у5 = Ь
5 = 1
где С0р и С1 р - г-ые координатыр-го и q-го кластеров
классов 0 и 1, соответственно; Л0 и Л1 - количество экземпляров, принадлежащих к классам 0 и 1, соответственно.
Наращивание кластеров:
Шаг 4. Найти расстояния от каждого 8-го экземпляра обучающей выборки х5, 5=1,2,...,Л, до центров кластеров Я(х5, С0(р)) и Я(х5, С1(, р = 1,2,....,К°; q = 1,2,...,К1.
Расстояние между двумя точками в ^мерном пространстве определяется по формуле:
N
Я(а, Ь) = I (аг - ьг)2,
г = 1
где аг и Ьг - значения г-ых координат точек а и Ь, соответственно.
Шаг 5. Найти минимальные расстояния среди расстояний от экземпляра до центров кластеров классов 0
и 1: MinR(xs, С0(Р)) и MinR(xs, С1 (q)) для всех p q
экземпляров обучающей выборки, s=1,2,...,S; p = 1,2,....,K°; q = 1,2,...,K1.
Шаг 6. Произвести классификацию для всех экземпляров обучающей выборки по правилу:
если MinR(xs, С0(Р))< MinR(xs, С1 (q)), тогда
pq
установить: y = 0, в противном случае - установить:
/*=1, где s=1,2,...,S; p=1,2,....,K°; q=1,2,...,K1, ys*-расчетный номер класса для s-го экземпляра обучающей выборки.
Шаг 7. Найти число несовпадений ys и у5* (ошибку классификации):
S
Err = S £ У5 - ys*| . s = 1
Шаг 8. Если Err <е , где е - заданное максимально допустимое значение ошибки классификации, тогда перейти на шаг 13, в противном случае - перейти на шаг 9.
Шаг 9. Найти количество несовпадений ys и ys* (ошибку классификации) для каждого класса по отдельности:
S
Er0 = I £ ys -ys*| , ys = 0,
s = 1 S
Er1 = S £ |ys - ys*|, ys = 1.
s = 1
Шаг 10. Если Er0 > 0, тогда установить: p=p+1; добавить новый кластер:
S
С?(Р) = ^ £ xs, ys = 0, ys *ys* .
s = 1
Шаг 11. Если Er1 > 0, тогда установить: K1=K1+1, q=q+1; добавить новый кластер:
S
cj(q) = £ xs, ys = 1, ys * ys*.
s = 1
Шаг 12. Перейти на шаг 4. Удаление кластеров:
Шаг 13. Найти расстояния между центрами кластеров для класса 0:
Rq(P1,Р2) = R(С0(Р1), С0(Р2}) ,
Р1 , Р2 = 1,2,...,K°. Заметим, что в данном случае:
R0(a, b) = R0(b, a).
Заменить все R0(a, a) = 0 на R0(a, a) =RealMax, где RealMax - максимально представимое в ЭВМ положительное число.
Шаг 14. Найти Min R°(pi,p2), такое, что Pi>P2.
Шаг 15. Объединить кластеры C°(Pl) и C0(p2) :
C0(pi) = 1 (c0(pi) + c0(p2)), i =1,2,...,N. 2 i i
Удалить кластер C0(p2) , установить: K0 = K0-1.
Шаг 16. Найти расстояния от каждого i-го экземпляра обучающей выборки X5, s=1,2,..., S, до центров кластеров
R(xs, C0(P)) и R(xs, C1 (q)), p = 1,2,....,K0; q = 1,2,...,K1.
Шаг 17. Найти минимальные расстояния среди расстояний от экземпляра до центров кластеров классов 0
и 1: MinR(xs, C0(p)) и MinR(xs, C1 (q)) для всех
pq
экземпляров обучающей выборки, s=1,2,...,S; p=1,2,....,K0; q = 1,2,...,K1.
Шаг 18. Произвести классификацию для всех экземпляров обучающей выборки по правилу:
если MinR(xs, C0(P)) < MinR(xs, C1 (q)), тогда
pq
установить: y= 0, в противном случае - установить: /*=1, где s=1,2,...,S; p=1,2,....,K0; q=1,2,...,K1, ys*-расчетный номер класса для s-го экземпляра обучающей выборки.
Шаг 19. Найти число несовпадений ys и ys* (ошибку классификации):
Er* = S £ У5 - ys*| .
s = 1
Шаг 20. Если Er* >Err, тогда отменить объединение и удаление кластеров и восстановить прежние значения
центров кластеров C0(>1> и C0(p2) , установить: K0=K0+1 и перейти на шаг 21; в противном случае - перейти на шаг 13.
Шаг 21. Найти расстояния между центрами кластеров для класса 1:
R1(qV q2) = R(C1(q1), C1 (q2)) , q1,q2 = 1,2,...,K1.
Заметим, что в данном случае:
R1 (a, b) = R1(b, a).
Заменить все
R0(a, a) = 0 на R1 (a, a) =RealMax, где RealMax - максимально представимое в ЭВМ положительное число.
Шаг 22. Найти Min Ri(q1,q2), такое, что qi>q2. Шаг 23. Объединить кластеры С1 (qi) и С1 (q2 :
С1 (qi} = 1 (С,1(qi} + С,1 (q2}), i =1,2,...,N. 2 i i
Удалить кластер С1(q2) , установить: K1 = K1-1.
Шаг 24. Найти расстояния от каждого s-го экземпляра обучающей выборки xs, s=1,2,...,S, до центров кластеров
R(xs, С0(Р)) и R(xs, С1 (q)), p = 1,2.....,K°; q = 1,2,...,K1.
Шаг 25. Найти минимальные расстояния среди расстояний от экземпляра до центров кластеров классов °
и 1: MinR(xs, С°(Р)) и MinR(xs, С1 (q)) для всех
pq
экземпляров обучающей выборки, s=1,2,...,S; p=1,2,....,K°; q = 1,2,...,K1.
Шаг 26. Произвести классификацию для всех экземпляров обучающей выборки по правилу:
если MinR(xs, С°(Р)) < MinR(xs, С1(q)), тогда
pq
установить: у5* = 0, в противном случае - установить:
/*=1, где s=1,2,...,S; p=1,2,....,K°; q=1,2,...,K1, у5*-расчетный номер класса для s-го экземпляра обучающей выборки.
Шаг 27. Найти число несовпадений ys и ys* (ошибку классификации):
4. БЛОК СЕЛЕКЦИИ КЛАСТЕРА
Блок объединения кластеров в класс представляет собой блок селекции кластера, к которому относится распознаваемый экземпляр, и выдает на выходе расстояние от распознаваемого экземпляра до центра этого кластера.
Пусть некоторый класс состоит из К кластеров хг, г=1,2,...,К, тогда блок селекции кластера может быть реализован как иерархическая структура выбора вида:
Min (Xi) = Min(_ Min (X:, X: + ,)...). i =1,2,...,K J J 1
Схема структуры выбора кластера представлена на рис.1.
Er* =
Рисунок 1 - Схема структуры выбора кластера
Для нейросетевой реализации данной структуры выбора создадим блок выбора минимума из двух значений. Этот блок имеет два входа х1 и х2, на которые подаются сравниваемые значения, и выход у.
Блок работает в соответствии со схемой, изображенной на рис. 2.
Шаг 28. Если Бг* >Бгг, тогда отменить объединение и удаление кластеров и восстановить прежние значения
центров кластеров С1(^^ и С1(^ , установить: К1 =
=К1+1 и перейти на шаг 29; в противном случае - перейти на шаг 21.
Шаг 29. Останов.
Данный алгоритм можно дополнить критерием останова для шагов 4-12: если (К0+К1)>(Л0+Л1), тогда перейти на шаг 13.
После формирования кластеров можно реализовать нейросетевые блоки вычисления расстояния от распознаваемого экземпляра до кластеров на основе нейронов, дискриминантная функция и функция активации которых задаются формулами, соответственно:
Рисунок 2 - Схема нейросетевой реализации блока выбора минимума из двух значений
Дискриминантные функции нейронов нейросетевого блока выбора минимума из двух значений задаются формулами:
ф(х, №) = I (хг - )2 и у(а) = а .
г=1
Весовые коэффициенты к-го нейрона соответствуют координатам центра к-го кластера: = Сг, г =1,2,..., N.
ф( 1, k)(x( 1, k), w(1, k)) = i w(1, k)x( 1, k) + w°1, k) i = 1
2
ф(2, k)(x(2, k), w(2, k)) = n w(2' k)X (2> k) ; i = 1
S
1
N
2
соответствии с формулами:
ф(3, k)(x(3, к), w(3, к)) = £ w(3, k)x(3, к) + w03, к) . i = 1
Функции активации нейронов задаются формулами:
1 к)(а) =
0, а < 0,
1, а > 0;
y(2> к)(а) = а ; 31)(а) = а .
Весовые коэффициенты нейронов блока вычисляются по формуле:
0, V|, Vi, j = 0;
1, | = 3, Vi, Vj; 1, | = 2, Vi, Vj;
1,| = 1, i = 2, j = 1; -1,| = 1, i = 2,j = 2; 1,| = 1, i = 1,j = 2; "-1, | = 1, i = 1, j = 1;
w j) = j
* 2
У = ¥
wixi + w0
& i = 1
где ¥(а) =
0, а < 0,
1, а > 0;
0, i = 0; 1, i = 1; -1, i = 2;
Структура блока выбора класса изображена на рис. 3.
где wj1'j) - весовой коэффициент j-го входа i-го нейрона
| -го слоя нейросетевого блока выбора минимума из двух элементов.
Для нахождения Min (x,-) в соответствии с
i =1, 2,...,K
предложенной схемой (рис. 1) для класса, содержащего K кластеров, потребуется K-1 блоков выбора минимума из двух значений.
Как видно из рис. 1 и рис. 2, блок выбора кластера и его компоненты - блоки выбора минимума из двух значений - синтезируются и обучаются в неитеративном режиме, обладают логической прозрачностью, веса нейронов - контрастные, избыточные связи отсутствуют.
5. БЛОК СЕЛЕКЦИИ КЛАССА
Блок селекции (выбора) класса должен выдавать на выход сети бинарный номер одного из двух классов для распознаваемого экземпляра в зависимости от того, к какому классу (к одному из кластеров какого класса) данный экземпляр ближе в смысле используемой меры.
Данный блок может быть реализован на основе одного нейрона, имеющего два входа: Х1 и х2, на которые поступают сравниваемые минимальные расстояния до кластеров классов 0 и 1, соответственно, и один выход у. Нейрон, реализующий данный блок, функционирует в
Рисунок 3 - Структура блока селекции класса
Как видно из рис. 3, веса данного блока настраиваются в неитеративном режиме, блок имеет минимальную избыточность весов и связей, максимальную логическую прозрачность и контрастность весов.
6. МНОГОСЛОЙНАЯ ЛОГИЧЕСКИ ПРОЗРАЧНАЯ НЕЙРОННАЯ СЕТЬ ПРЯМОГО РАСПРОСТРАНЕНИЯ С КОНТРАСТНЫМИ ВЕСАМИ
На основе разработанных блоков можно построить и обучить многослойную логически прозрачную НС прямого распространения с контрастными весами. Схема НС представлена на рис. 4.
Здесь веса нейронов первого слоя настраиваются в итеративном режиме в процессе синтеза сети. Веса нейронов всех остальных слоев настраиваются в неитеративном режиме.
Первый слой нейронов реализует блоки кластеризации, последний слой - блок селекции класса, а внутренние слои -блок селекции кластера.
Если сформировано К0 кластеров класса 0 и К1 кластеров класса 1, тогда функционирование НС, синтезированной и обученной на основе предлагаемого метода, будет описываться следующими формулами.
2
wi =
Рисунок 4 - Схема структуры синтезированной многослойной НС
Дискриминантные функции нейронов первого слоя:
N
ф(х, №) = ||х - Ц = I (хг - №г)2.
г=1
Дискриминантные функции нейронов | -го слоя: | =3, 6, 9,..., М:
N
Ф(х' №) = п ,
г = 1
где М = Мах(3(К0-1),3(К1-1)).
Дискриминантные функции всех остальных нейронов:
N
ф(х, №) = I + №0 .
г = 1
Функции активации нейронов | -го слоя: | =2, 3, 5, 6, 8, 9,..., М-1, М:
¥(а) =
0, а< 0,
1, а> 0;
| =1, 4, 7, 10,..., М+1, М+2:
у(а) = а;
Весовой коэффициенту'-го входа г-го нейрона | -го слоя сети будет рассчитываться по формуле:
№(I, г') =
}
0, VI, С'0(г),
' г >,
1,| =
1,| =
1,| = 1,| = -1,| 1,| = -1,|
VI,' = 0;
| = 1, г = 1, 2, ..., К0 + К1,' = 0; | = 1, q = 1 - К0, г = К0+1,К0+К1,у' = 0; : 2 + М, г = 1, у' = 1; = 2 + М, г = 1,' = 2; : 4, 7, 10, ..., 1 + М^г,у > 0; : 3, 6, 9, ..., М^и' > 0; : 2, 5, 8, ..., М - 1, VI :гшоа2=0,' = 1; = 2, 5, 8,..., М- 1, VI:гшоа2=0,' = 1; : 2, 5, 8, ..., М-1, V:гшоа2 Ф 0,' =2; = 2, 5, 8, ..., М-1, VI:гшоа2 Ф 0,' = 1;
ЗАКЛЮЧЕНИЕ
Достоинством предложенной методики синтеза НС является то, что такие параметры сети, как количество слоев нейронов в сети, количество нейронов в слое, количество и топология связей между нейронами в сети формируются автоматически, что делает процесс построения нейросетевой модели не зависящим от пользователя и свидетельствует об определенном уровне универсальности предлагаемой методики.
НС, получаемые в результате синтеза и обучения на основе разработанной методики, являются логически прозрачными, легко преобразуются в дерево решающих правил "Если - то", что позволяет использовать их для извлечения знаний из данных.
Благодаря тому, что вычислительная схема работы сети, обученной по разработанному методу, является очень простой, нейроны всех слоев НС, кроме первого, имеют только два входа, один из операндов при умножении в большинстве случаев равен 1 или -1, а функции активации нейронов -линейные либо пороговые, НС, синтезированная и обученная на основе рассмотренного метода, может быть реализована аппаратно либо использоваться на ЭВМ с параллельной архитектурой.
Точность классификации и скорость обучения НС, сформированных на основе рассмотренной методики, являются достаточно высокими для большинства прикладных задач диагностики и распознавания образов. При этом следует отметить, что ускорить обучение и работу НС, а также повысить точность их работы и уровень адекватности
моделируемой задаче можно путем предварительного сокращения количества входных переменных сети, что может быть достигнуто путем использования методов оценки информативности и отбора признаков [7].
В целом разработанная методика синтеза и обучения НС является эффективным средством решения практических задач диагностики и распознавания образов и может быть рекомендована для широкого использования в автоматизированных системах распознавания, диагностики и прогнозирования.
ПЕРЕЧЕНЬ ССЫЛОК
1. Neural Network Toolbox User Guide / Beale M., Demuth H. -Natick: Mathworks, 1997. - 700 p.
2. Dubrovin V., Subbotin S. Choice of neuron transfer functions and research of their influence for learning quality of neural networks // Proceedings of International Conference on Modern Problem of Telecommunications, Computer Science and Engineers Training TCSET'2000, February 14-19, 2000, Lviv-Slavsko, pp. 114-115.
3. Dubrovin V., Subbotin S. The Quick Method of Neural Network Training // Proceedings of International Conference on Modern Problems of Telecommunications, Computer Science and Engineers Training TCSET'2002. - Lviv-Slavsko: NU"Lvivska Politechnica", pp. 266-267.
4. Аведьян Э.Д. Алгоритмы настройки многослойных нейронных сетей // Автоматика и телемеханика. - 1995. -№ 4. - С. 106-118
5. Дубровин В.И., Субботин С.А. Алгоритм многомерной классификации и его нейросетевая интерпретация//Радю-електроыка.Ыформатика.Управлшня, 2000, № 2, С. 49 -54.
6. Фор А. Восприятие и распознавание образов. - М.: Машиностроение, 1989. - 271 с.
7. Дубровин В.И., Субботин С.А. Оценка значимости признаков на основе многослойных нейронных сетей в задачах диагностики и распознавания // Информатика и системы управления, 2002, № 1.- С.66-72.
УДК 662.741.3.022
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ГИБРИДНОЙ ЭКСПЕРТНОЙ СИСТЕМЫ УПРАВЛЕНИЯ ТЕХНОЛОГИЧЕСКИМИ ПРОЦЕССАМИ УГЛЕОБОГАЩЕНИЯ
Д.А.Зубов
Рассматривается синтез гибридной экспертной системы управления технологическими процессами углеобогащения на базе DDE-технологии взаимодействия ее элементов и автоматического управления структурно и параметрически нестационарным, нелинейным, двухканальным объектом с большим запаздыванием путем полного перебора возможных входных воздействий при прогнозирования его состояния.
Розглядаеться синтез глбридноЧ експертноЧ системи керуван-ня технологлчними процесами вуглезбагачення на баз1 DDE-технологп взаемодп 'i'i елемент1в й автоматичного управлтня структурно та параметрично нестацюнарним, нелтшним, двох-канальним об'ектом з великим затзнюванням шляхом повного перебору можливих вх1дних вплив1в при прогмозувант його стану.
The coal-cleaning technological processes hybrid expert control system synthesis with the DDE-technology and the original sequential search prognosis control algorithm of the nonstation-ary, nonlinear, two-channel object with big delay are shown.
Производственная структура углеобогатительной фабрики (УОФ) адекватно отображается иерархической системой, на трех основных уровнях которой осуществляется управление локальными режимными параметрами (расход и плотность пульпы, уровень породной постели отсадочной машины, др.), показателями качества (влажность, зольность, др.), комплексом технологических процессов (ТП) (отсадка, флотация, тяжелые среды) по общему критерию [1]. Каждый уровень имеет модульную структуру, которую предлагается представлять на базе гибридных экспертных систем (ГЭС), использующих технологию 8САОА управления аппаратной частью и экспертную систему (ЭС) поддержки решений операторов ТП [2,3].
Структура отдельного модуля АСУ ТП УОФ на базе ГЭС представлена на рис.1. В ГЭС отдельными
