Методы и проблемы обучения многослойной нейронной сети, используемой для оценки характеристик проектируемых информационных систем Текст научной статьи по специальности «Компьютерные и информационные науки»

Транспортное, промышленное и гражданское строительств®

УДК 004.032.26

О. А. Самонина

МЕТОДЫ И ПРОБЛЕМЫ ОБУЧЕНИЯ МНОГОСЛОЙНОЙ НЕЙРОННОЙ СЕТИ, ИСПОЛЬЗУЕМОЙ ДЛЯ ОЦЕНКИ ХАРАКТЕРИСТИК ПРОЕКТИРУЕМЫХ ИНФОРМАЦИОННЫХ СИСТЕМ

Важным этапом в процессе создания нейронной сети является её обучение, так как успешность этого этапа определяет качество работы сети при её использовании. В настоящее время существуют разные парадигмы обучения, которые реализованы в множестве алгоритмов. В статье рассмотрены подходы к обучению нейронных сетей, обоснован выбор парадигмы обучения для нейронной сети, применяемой при определении качественных характеристик проектируемых информационных систем.

нейронные сети, обучение нейронной сети, обучающее множество, алгоритм обратного распространения ошибки.

Введение

В настоящее время нейронные сети (НС) являются одним из самых эффективных методов анализа данных. Они применяются при решении большого круга задач, в том числе при прогнозировании качественных характеристик разрабатываемых информационных систем.

Построение новой нейронной сети, предназначенной для решения конкретной прикладной задачи, включает два этапа. На первом этапе производится выбор архитектуры сети, определение числа входов и выходов, задание передаточных функций. На втором этапе необходимо выполнить обучение сети. Именно способность к обучению является главным отличием и преимуществом нейронных сетей перед классическими методами прогнозирования и классификации. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными и выходными данными, а также выполнять обобщение. Это значит, что в случае успешного обучения сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке.

Поскольку в нейронных сетях, используемых на практике, количество настраиваемых параметров может составлять тысячи, то процесс обучения таких сетей очень сложен. Однако для многих архитектур уже разработаны алгоритмы, автоматизирующие обучение. Каждый из существующих алгоритмов накладывает определённые ограничения на архитектуру сети и свойства нейронов в ней.

ISSN 1815-588 X. Известия ПГУПС

2008/4

150

Транспортное, промышленное и гражданское строительство

В данной статье приведены краткие сведения об искусственных нейронах и нейронных сетях, рассмотрены подходы к обучению нейронных сетей, а также принято решение о том, какая парадигма обучения подходит для тренировки сети, используемой для оценки качественных характеристик информационных систем.

1 Искусственные нейроны и сети

1.1 Общие сведения об искусственных нейронах

Любая нейронная сеть состоит из элементарных частиц - искусственных нейронов (рис. 1).

Рис. 1. Искусственный нейрон

Пусть X{xi, ..., xn} - вектор входных сигналов, W{wi, ..., wn} -вектор синаптических весов на соответствующих входах нейрона, T - порог чувствительности нейрона, fx) - функция активации нейрона (в [1] она называется передаточной функцией), тогда выходной сигнал для нейрона

П

У = f(x) f(w1X1 + W2Х2 + - + WnXn - T) f(Z WX - T) .

i=1

Порог нейрона можно представить как эквивалентный синаптический вес, соответствующий фиктивному входу x0 (рис. 2).

ISSN 1815-588 X. Известия ПГУПС

2008/4

Транспортное, промышленное и гражданское строительств!

Рис. 2. Искусственный нейрон с фиктивным входом вместо порога Действительно, выбирая Wo = T, Хо = -1 и начиная суммирование с нулевого входа, можно рассматривать нейрон с нулевым порогом и одним дополнительным входом [2]:

У=f&WX -Т) /ф=>л + (-1)(Т» + (WA)) ЯYjWX)• С1)

i=1 i 1 = i 1 = i 0 =

1.2 Искусственные нейронные сети. Многослойные нейронные сети прямого распространения сигнала

Нейронная сеть представляет собой совокупность искусственных нейронов, определённым образом соединённых друг с другом и внешней средой с помощью связей, определяемых весовыми коэффициентами [3].

При построении сети нейроны объединяются в слои таким образом, что нейроны каждого слоя соединяются с нейронами предыдущего слоя по принципу «каждый с каждым» (рис. 3). Сеть называется сетью прямого распространения сигнала, если не существует связей, по которым информация с последующих слоёв передаётся предыдущим слоям.

Входной

слой

Скрытые слои

Выходной

слой

Рис. 3. Многослойная нейронная сеть прямого распространения

Такая сеть состоит из произвольного числа слоёв. Первый слой называется входным слоем, последний слой - выходным. Внутренние слои называются скрытыми. Если в сети присутствуют только входной и выходной слои, она называется однослойной, так как содержит только один вычислительный слой нейронов (входной слой не является вычислительным -он лишь распределяет входные сигналы) [4]. Количество нейронов в каждом слое может быть произвольным.

ISSN 1815-588 X. Известия ПГУПС

2008/4

152

Транспортное, промышленное и гражданское строительство

Сеть, показанная на рис. 3, является многослойной сетью прямого распространения, так как в ней отсутствуют связи, обеспечивающие передачу информации от последующего слоя к предыдущему.

Нейронная сеть, показанная на рис. 2, может быть описана следующими величинами:

X{xi, ..., Xi} - вектор входных сигналов сети;

Wjn{wi, ..., Wj} - вектор синаптических весов для всех входов j-го нейрона в слое n;

i - количество нейронов во входном слое;

K - количество нейронов в выходном слое;

j - количество нейронов в каждом скрытом слое;

N - количество слоев в сети с учётом входного и выходного.

Как правило, в многослойной сети передаточные функции нейронов фиксированы и одинаковы для всех нейронов, находящихся в скрытых слоях [5]. Один слой нейронной сети выполняет нелинейное преобразование от комбинации сигналов предыдущего слоя. Для задания свойств одного слоя нейронов используется матрица Wn - матрица синаптических весов всех нейронов в слое n.

Функционирование каждого отдельного нейрона сети описывается, как функционирование отдельного нейрона, выражением (1), а выходные сигналы n-го слоя сети определяются в векторной форме:

Соответственно (2) получаем вектор выходных сигналов для всей сети:

Как видно из (3), вектор выходных сигналов нейронной сети зависит от синаптических весов нейронов выходного слоя и выходных сигналов предыдущего слоя. В свою очередь выходные сигналы (N-1)-го слоя зависят от матрицы весов (N-l)-ro слоя и выходных сигналов (N-2)-ro слоя. Если применить уравнения (2) и (3) ко всем слоям нейронной сети, то можно установить связь между вектором входных сигналов и вектором выходных сигналов:

Из (4) следует, что многослойная нейронная сеть выполняет сложное нелинейное преобразование F(X) входного вектора X в зависимости от матриц синаптических весов Wn для n = 1...Nи нелинейных функций ак-

(n) ^

1, ., y j} - вектор выходных сигналов n-го слоя; ., Ук} - вектор выходных сигналов сети;

Y( n) = f(WnY( n-1)).

(2)

Y(N) = f (WnY (N-1))

(3)

YN = fN) (WNfiN-X)(..Wnfin-Y)(Wnfn-2)(..W2fl(WlX)..))..)) =F( X) .(4)

ISSN 1815-588 X. Известия ПГУПС

2008/4

Транспортное, промышленное и гражданское строительсТбЗ

тивации f [5]. Управление преобразованием F происходит путём изменения синаптических весов нейронов в скрытых и выходном слоях нейронной сети.

1.3 Процесс обучения нейронных сетей

В теории нейронных сетей термин «обучение» был определён Дж. Менделем и Р. Маклареном как процесс, в котором параметры сети настраиваются посредством воздействий, оказываемых средой, в которой находится эта сеть [6]. Способ настройки определяется типом обучения.

Как было обозначено в п. 1.1, на практике передаточные функции нейронов в многослойной сети фиксированы, поэтому настройка параметров сети сводится к итеративному процессу корректировки синаптических весов, состоящему из следующих этапов.

1. В нейронную сеть поступают обучающие данные.

2. Сеть на их основе формирует выходные сигналы.

3. Происходит оценка выходных сигналов (в различных алгоритмах обучения оценивание проводится разными методами).

4. По результатам оценки перенастраиваются синаптические веса нейронной сети, после чего сеть формирует выходные сигналы иным образом.

Обучение прекращается, когда, оценив выходные сигналы сети после очередной итерации, можно сказать, что сеть решает поставленную перед ней прикладную задачу максимально приближенно к наилучшему решению. Таким образом в процессе обучения нейронная сеть автоматически приобретает новые знания, однако следует учитывать, что из обученной сети невозможно извлечь правила её работы, поэтому обученная сеть представляет собой «чёрный ящик» [1] и её тестирование производится в соответствии с этим.

Процесс обучения нейронной сети схематично изображён на рис. 4.

Рис. 4. Процесс обучения нейронной сети

Описанный процесс реализуется в различных алгоритмах обучения, подходящих под ту или иную архитектуру нейронной сети.

ISSN 1815-588 X. Известия ПГУПС

2008/4

154

Транспортное, промышленное и гражданское строительство

2 Парадигмы, применяемые для обучения многослойных нейронных сетей

Процесс обучения нейронной сети определяется двумя характеристиками:

1) способом настройки синаптических весов нейронов;

2) способом связи обучаемой нейронной сети с внешним миром.

Первая характеристика определяет алгоритм, вторая - парадигму обучения [4].

Принято выделять три парадигмы обучения: обучение с учителем, без учителя (самообучение) и смешанную. В первом случае нейронная сеть настраивается по заданной обучающей выборке и результат работы сети сравнивается с известными правильными выходными данными. Во втором случае известны только входные данные, на основе которых сеть учится давать наилучшие значения выходных сигналов (как описано в п. 1.2: способ оценки выходных сигналов будет зависеть от выбранного алгоритма обучения). Смешанная парадигма предполагает, что часть синаптических весов настраивается по заданной обучающей выборке, а другая - в соответствии с правилами обучения без учителя [5].

Далее будут подробнее рассмотрены парадигмы обучения с учителем и без учителя.

2.1 Обучение с учителем

Обучение с учителем основано на том, что имеются знания об окружающей среде, представленные в виде готовых пар вход - выход, где выход представляет собой желаемый результат, к которому должна стремиться обучаемая сеть. Разность между желаемым сигналом и текущим откликом нейронной сети называют сигналом ошибки [4]. При таком обучении возникает замкнутая система с обратной связью, которая не включает в себя окружающую среду (рис. 5). В процессе обучения сеть получает только те данные об окружающей среде, которые были отобраны учителем.

Сигнал ошибки

Рис. 5. Процесс обучения с учителем

ISSN 1815-588 X. Известия ПГУПС

2008/4

Транспортное, промышленное и гражданское строительсТбб

Учитель формирует обучающее множество - совокупность пар векторов {xk,dk} при к = 1...K,

где {Хк} = {xi,.,Xk} - вектор входных сигналов;

{dk} = {di,...,dx} - вектор желаемых (правильных с точки зрения учителя) выходных сигналов;

K - количество обучающих примеров.

При подаче одного из векторов Хк на вход обучаемой сети на выходе получится некоторый вектор yk. Тогда ошибкой на данной итерации можно считать:

Обучение считается завершённым, если все примеры были обработаны заданное количество раз либо если величина ошибки после очередной итерации стала достаточно мала.

Самой известной и часто употребляемой при решении практических задач реализацией этой парадигмы обучения стал алгоритм обратного распространения ошибки.

Алгоритм обратного распространения ошибки - это итерационный градиентный алгоритм обучения, который используется с целью минимизации среднеквадратичного отклонения текущих от желаемых выходов многослойных нейронных сетей с прямым распространением сигнала [3]. Этот алгоритм был предложен Д. Румельхертом в [7] в 1986 году. Идея алгоритма заключается в том, что в многослойных сетях в отличие от однослойных оптимальные выходные значения всех слоёв, кроме последнего, неизвестны, поэтому необходимо распространить сигнал ошибки от выхода обучаемой сети к её входам в направлении, обратном прямому распространению сигналов в обычном режиме работы.

Функция ошибки определяется согласно методу наименьших квадратов:

где yj - реальный сигнал на j-м выходе нейронной сети; dj - желаемый (идеальный) сигнал на j-м выходе.

Суммирование ведется по всем нейронам выходного слоя и по всем обрабатываемым сетью образам. Минимизация функции E ведется методом градиентного спуска, что означает подстройку весовых коэффициентов следующим образом:

E = dk- Ук .

ISSN 1815-588 X. Известия ПГУПС

2008/4

156

Транспортное, промышленное и гражданское строительство

Awj h

dE

dw;;

(5)

где Wy - синаптический вес, соединяющий i-й нейрон слоя п—1 с j-м нейроном слоя п; П - коэффициент скорости обучения, 0<П<1.

Второй множитель в (5) раскладывается следующим образом:

dE _ dE dyj ds. dwL dy. dsL dwL ’

lJ ^ J J lJ

(6)

здесь y. - выход нейрона j; Sj - взвешенная сумма его входных сигналов, то

есть аргумент активационной функции.

Третий множитель в (6) dsJdWj равен выходу нейрона предыдущего (п-1)

слоя у/ .

Первый множитель в (6) раскладывается следующим образом:

dE _ydE. dyL ,dSL _ydE. dyL_ Wm+1 >

dyj k dyk dSk dyj к fyk dSk ' ’

где суммирование по k выполняется среди нейронов слоя п+1.

Если ввести новую переменную

б< n) . dyj

' дуу dsj ’

то может быть получена рекурсивная формула для расчетов величин Ъ.пП слоя п из величин d/n+1 более старшего слоя п+1:

( п+1) k

k

W

( п+1)

jk

dyL

dsj

(7)

Выражение (7), сформулированное для выходного слоя обучаемой сети, примет вид:

8<N • _Of > - dt). dyL . (8)

ds,

После описанных преобразований можно записать (5) в раскрытом виде:

DwL_ -h. s'). yiп-1). (9)

Итак, обучение многослойной нейронной сети по алгоритму обратного распространения ошибки происходит следующим образом.

ISSN 1815-588 X. Известия ПГУПС

2008/4

Транспортное, промышленное и гражданское строительсТбЗ

1. На входы сети подаётся один из входных векторов обучающей выборки. В результате его обработки сетью получается действительный выходной вектор.

2. По формуле (8) рассчитывается 5N для выходного слоя.

3. По формуле (9) рассчитывается изменение весов выход-

л (N)

ного слоя Aw .

4. По формулам (7) и (9) производится расчёт 5(П и Aw(n) для остальных слоёв сети n = N-1, .. .1.

5. Корректируются все веса в обучаемой нейронной сети.

6. На вход обучаемой сети подаётся входной вектор того же обучающего примера, получается действительный выходной вектор и вычисляется величина ошибки.

7. Если величина ошибки превышает некоторый заданный порог, то снова выполняются шаги 2-6.

Следует заметить, что такой алгоритм обучения налагает следующее ограничение на нейронную сеть, которое следует учитывать при создании сети: производная активационной функция должна быть определена на всей оси абсцисс. Это ограничение следует из (6), где множитель dyjldsj является производной функции активации по ее аргументу. В связи с этим функция единичного скачка и прочие активационные функции с неоднородностями не подходят для рассматриваемых НС. В них применяются такие гладкие функции, как гиперболический тангенс или классический сигмоид с экспонентой [3].

2.2 Обучение без учителя

Обучение без учителя предполагает взаимодействие обучаемой сети непосредственно со средой (рис. 6). В этой системе нет того, кто формирует желаемый выход сети на каждом шаге процесса обучения.

Вектор состояния

(входной вектор) Обучаемая

]ЭСДс1 нейронная сеть

Рис. 6. Обучение без учителя

Существуют различные алгоритмы, реализующие эту парадигму обучения: обучение с подкреплением [8], алгоритм Кохонена [9] и другие. Каждый из этих алгоритмов определяет принцип и порядок изменения синаптических коэффициентов на каждой итерации, а также условие окончания обучения. На первом шаге обучения происходит инициализация сети: всем синаптическим весам присваиваются небольшие случайные значения.

ISSN 1815-588 X. Известия ПГУПС

2008/4

158

Транспортное, промышленное и гражданское строительство

Далее на каждой итерации происходит корректировка весов нейронной сети на небольшие значения, закрепляются только те изменения, которые привели к улучшению результата работы сети.

3 Обучение нейронной сети, используемой для определения качественных характеристик информационных систем

Как показано в [10], задача определения качественных характеристик проектируемой информационной системы - это сложная вычислительная задача, для решения которой наиболее оптимально применять нейронные сети, так как качественные характеристики зависят от множества параметров системы, причём такая зависимость может быть очень сложной и неявной.

3.1 Выбор парадигмы обучения

В то же время существуют эксперты - люди, способные определить необходимые качественные характеристики, зная параметры проектируемой системы и требования к ней. Однако эксперт оценивает некоторые параметры «интуитивно», он не способен сформулировать чёткий набор правил «если - то», на основе которых можно было бы построить чёткий алгоритм вывода. Тем не менее возможно использовать опыт и знания экспертов для того, чтобы создать обучающее множество для нейронной сети. При этом можно использовать два подхода.

1. Экспертам представляются наборы входных данных, оценив которые, они делают вывод о том, что информационная система обладает той или иной качественной характеристикой.

2. Собираются данные об уже созданных и внедрённых информационных системах, и устанавливается соответствие между параметрами системы и тем, как она проявила себя в ходе эксплуатации.

Таким образом, обучение с учителем кажется наиболее подходящим для такой нейронной сети по следующим причинам:

1) суммируется опыт нескольких экспертов в данной области;

2) исследуются и используются в обучении данные о реально работающих системах;

3) особенно благодаря п. 2 в процессе обучения известны наилучшие (то есть соответствующие реальности) выходные значения сети.

Эффективность обучения без учителя в данном случае будет зависеть от сложности нейронной сети, и при высокой нечёткости зависимости выходных сигналов от входных потребуется провести нейронную сеть через весь процесс обучения и приобретения опыта, через который проходили

ISSN 1815-588 X. Известия ПГУПС

2008/4

Транспортное, промышленное и гражданское строительсГбё

эксперты. Такой подход не является оптимальным, так как потребует много времени и будет стремиться имитировать мнения экспертов, но не реальные данные.

3.2 Проблема подготовки исходных данных для обучения

При организации обучения нейронной сети необходимо уделить большое внимание отбору обучающих примеров. К исходным данным предъявляются два условия:

1) исходные данные обязательно должны быть непротиворечивы, то есть один и тот же входной вектор не может производить разные выходные сигналы [11];

2) обучающее множество должно быть полным, то есть количество примеров, предоставляемых алгоритму обучения, должно быть достаточным, чтобы обеспечить его всей необходимой информацией для изучения зависимости (4).

В случае, когда невозможно выполнить первое условие из-за отсутствия однозначной и чёткой зависимости между входными сигналами (параметрами информационной системы) и результатом работы нейронной сети (оценкой качественных характеристик системы), следует использовать нейронные нечёткие сети - сети, функционирующие на основе теории нечётких множеств и нечёткой логики. Основная идея состоит во введении нечёткости в структуру нейронной сети и алгоритм её обучения [12], [13].

Заключение

Для получения нейронной сети, используемой для оценки качественных характеристик проектируемых информационных систем, наиболее подходящей является парадигма обучения с учителем. Такой подход позволяет учесть мнение экспертов по проектированию и внедрению информационных решений, а также данные о реальных проектах, собранные при их анализе.

В случае, когда прикладная задача не позволяет создать полное множество обучающих примеров, которое удовлетворяет условию непротиворечивости, предлагается использовать нейронные нечеткие сети. Этот подход к обучению нейронной сети может быть применен при необходимости оценки проектов крупных информационных систем с высокой стоимостью реализации и внедрения.

Библиографический список

1. Технологии анализа данных: Data Mining, Visual Mining, OLAP /

А. А. Барсегян, М. С. Куприянов, В. В. Степаненко, И. И. Холод. - 2-е изд. - СПб. : БХВ-Петербург, 2007. - 384 с. - ISBN 5-94157-991-8.

2. Многослойный персептрон : лекция 6. / С. А. Терехов. - 1998. -http://alife.narod.ru/lectures/neural/Neu_ch06.htm.

ISSN 1815-588 X. Известия ПГУПС

2008/4

160

Транспортное, промышленное и гражданское строительство

3. Искусственные нейронные сети. Теория и практика / В. В. Борисов, В. В. Круглов. - 2-е изд. - М. : Горячая линия-Телеком, 2002. - 382 с. - ISBN: 5-93517031-0.

4. Нейронные сети : полный курс / пер. с англ. - 2-е изд.: - М. : Изд. дом «Вильямс», 2006. - 1104 с. - ISBN 5-8459-0890-6.

5. Нейросетевые системы управления / В. А. Терехов, Д. В. Ефимов, И. Ю. Тюкин, В. Н. Антонов. - СПб. : Изд-во СПГУ, 1999. - 265 с. - ISBN 5-288-023611.

6. Reinforcement-learning control and pattern recognition systems / J. M. Mendel, R. W. McLaren // Adaptive, Learning and Pattern Recognition Systems : Theory and Applications. - NY : Academic Press, 1970. - Vol. 66. - Рр. 287-318.

7. Learning internal representations by error propagation / D. E. Rumelhart, G. E. Hinton, R. J. Williams // Parallel distributed processing. - Vol. 1. - Cambridge, MA: MIT Press. - Рр. 318-362.

8. Reinforcement Learning : An Introduction / R. S. Sutton, A. G. Barto. - The MIT Press, 1998. - 322 p. - ISBN 0-26219-398-1.

9. Self-Organising Maps / T. Kohonen. - 3 ed. - Berlin : Springer, 2001. - 521 p. -ISBN 3-540-67921-9.

10. Подход к оценке качественных характеристик при проектировании информационных систем для предприятий железнодорожного транспорта / О. А. Самонина // Телекоммуникационные и информационные технологии на транспорте России : сб. док. V юбилейной международной научно-практической конференции «ТелеКомТранс-2007». - Ростов-н/Д : Рост. гос. ун-т путей сообщения. - С. 72-73.

11. Применение нейронных сетей для задач классификации / А. Стариков. - 2005. - http://www.basegroup.ru/library/analysis/neural/classification.

12. Нечёткие модели и сети / В. В. Борисов, В. В. Круглов, А. С. Федулов. - М. : Горячая линия-Телеком, 2007. - 284 с. - ISBN: 5-93517-278-X.

13. Fuzzy multi-layer perceptron, inferencing and rule generation / S. Mitra, S. K. Pal // IEEE Transactions on Neural Networks. - Vol. 6. -1995. - P. 51-63.

Статья поступила в редакцию 24.03.2008;

представлена к публикации членом редколлегии А. А. Корниенко.

УДК 540.75

Л. Б. Сватовская, М. В. Шершнева, В. А. Чернаков, Ю. Н. Тиличко

ГЕОЭКОЗАЩИТНЫЕ ПРОБЛЕМЫ ЛИТОСФЕРЫ ПРИ НЕФТЕРАЗЛИВАХ И ПУТИ ИХ РЕШЕНИЯ

Предложены новые превентивные технологии защиты литосферы от нефтеразливов. Приведены характеристики геоэкозащитных материалов. Рассмотрена кинетика поглощения нефтепродуктов и удерживающая способность аэрированных пеной материалов. Показана возможность создания каменной блокировки из высо-

ISSN 1815-588 X. Известия ПГУПС

2008/4