CC BY
26
E.B. Бодянский, А. H. Слипченко: АНСАМБЛЬ НЕЙРОПРЕДИКТОРОВ С ПЕРЕМЕННЫМ ЧИСЛОМ УЗЛОВ
УДК 681.324:591.71
Е. В. Бодянский, А.Н. Слипченко
АНСАМБЛЬ НЕЙРОПРЕДИКТОРОВ С ПЕРЕМЕННЫМ ЧИСЛОМ УЗЛОВ
В статье рассматривается задача прогнозирования нелинейных нестационарных временных рядов с помощью ансамбля нейропредикторов. Предлагается алгоритм, позволяющий в реальном времени изменять число нейропредикторов, входящих в ансамбль.
1 ВВЕДЕНИЕ
Задача прогнозирования временных рядов произвольной природы представляет несомненный практический интерес в связи с анализом временных рядов в биологии, технике, экономике и других отраслях. Традиционно для получения прогноза временного ряда используется математическая конструкция, называемая предиктором, которая определенным образом комбинирует имеющуюся информацию о предыдущих значениях исследуемой последовательности и ошибках прогнозирования. В зависимости от вида этой комбинации различают линейные и нелинейные предикторы. Линейные модели предикторов (AR, MA, ARMA) получили широкое распространение [1, 2], однако в последнее время исследователи все чаще сталкиваются с объектами, требующими применения нелинейных подходов [1, 3]. Нелинейные модели предикторов (NAR, NMA, NARMA), являются обобщением соответствующих линейных.
В случае, когда характеристики исследуемого временного ряда изменяются с течением времени, параметры предиктора тоже претерпевают изменения. Для прогнозирования таких последовательностей необходимо производить настройку параметров модели по мере поступления новых данных в реальном времени. Таким образом, предиктор вместе с рекуррентной процедурой оценки параметров является адаптивным и позволяет прогнозировать нестационарные временные ряды.
Одним из важнейших этапов построения предиктора является его структурная идентификация [1, 2]. Для линейных временных рядов существует достаточно строгий подход, основанный на анализе корреляционных функции прогнозируемого ряда. В нелинейном случае таких методов на данный момент не существует. Одним из путей решения этой проблемы является построение нескольких предикторов, различающихся структурой, а затем выбор наилучшего из них на основе некоторого критерия. Это решение, однако, не является в общем случае оптимальным. Например, если структура ряда меняется с течением времени, предиктор, оказавшийся лучшим в один момент времени, может уже не быть таковым в другой момент.
В настоящее время для решения широкого класса задач, связанных с обработкой информации, анализа данных, идентификации, управления и т. п. в условиях априорной и текущей структурной и параметрической
неопределенности широко используются искусственные нейронные сети (ANN) [1,3]. В [4] было предложено комбинировать выходы нескольких нейронных сетей с целью получения более точного результата, при этом сети имеют одинаковую архитектуру и обучаются по одному и тому же алгоритму, но с разными начальными условиями. Идея комбинирования нескольких прогнозирующих нейронных сетей с целью повышения качества предсказания возникла достаточно давно. В некоторых работах этот подход получил название смесью экспертов [5, 6], в других - оптимальной линейной комбинацией нейронных сетей [4, 7, 8], в третьих - ансамбля нейронных сетей или прогнозирующих моделей [9-12]. Обычно обобщенный прогноз строится при помощи аддитивной свертки, при этом каждому из локальных предикторов присваивается, как правило, фиксированный вес, задающий «вклад» каждой из локальных прогнозирующих моделей в выходной сигнал ансамбля.
Одним из ключевых свойств, обусловивших интерес к нейронным сетям со стороны инженеров, является их возможность изменять свое поведение, адаптируясь к изменяющимся характеристикам моделируемого объекта. При этом, если раньше под адаптивностью сети, как правило, понимали возможность подстройки ее параметров (синаптических весов), то сейчас адаптивность трактуется в более широком смысле - как возможность настройки еще и архитектуры (количества слоев и узлов) [1, 3, 13].
Следует отметить, что в цитированных выше работах ничего не говорится об оптимальности получаемых прогнозов. Кроме того, предложенные алгоритмы не предназначены для работы в реальном времени. В условиях, когда обрабатываемые сигналы изменяют свои свойства, на первый план выходят требования к возможности последовательной обработки поступающей информации и оперативной перестройки весовых коэффициентов и состава ансамбля.
Задачей выбора оптимальной архитектуры сети исследователи интересуются уже довольно давно. На данный момент в этой области имеется устоявшаяся классификация алгоритмов в зависимости от того, на что они ориентированы: на уменьшение или увеличение сложности используемой нейросети [3].
Алгоритмы, которые начинают свою работу с простой архитектуры, а затем усложняют ее путем добавления новых узлов по мере обучения, получили название конструктивных (constructive). В противоположность им деструктивные алгоритмы (pruning, destructive) начинают работу с изначально избыточной сетью, упрощая ее по мере обучения.
Один из первых конструктивных алгоритмов был предложен Платтом для радиально-базисных нейронных
сетей (РБНС) [14] и получил название "resource allocation" [15]. В настоящее время известен также ряд модификаций этой процедуры [16, 17]. Большое распространение получила также каскадно-корелляционная архитектура (CasCor), предложенная С. Фальманом и К. Ле-бьером [18].
Среди деструктивных алгоритмов наиболее популярными являются "Optimal brain damage" [19] и "Optimal brain surgeon" [20]. В этих методах значимость узла или связи между узлами оценивается по тому, какое изменение в значении целевой функции повлечет за собой его удаление. Для этого анализируется матрица вторых частных производных оптимизируемой функции по настраиваемым параметрам. 0бе процедуры обладают довольно значительной вычислительной сложностью. Кроме этого, существенным недостатком является то, что после удаления несущественных узлов необходимо переобучить сеть, что в свою очередь, делает невозможным применение этих алгоритмов для работы в реальном времени. Прочие алгоритмы [21], как правило, являются эвристическими и им недостает универсальности.
В настоящей работе предлагается использовать множество параллельно работающих предикторов, различающихся структурой и объемом используемой предыстории, а затем строить на их основе обобщенный прогноз в виде линейной комбинации локальных прогнозов. Такая совокупность предикторов называется ансамблем. Если производить оценивание параметров предикторов в реальном времени в сочетании с возможностью забывания устаревшей информации и изменения состава ансамбля, то получим конструкцию пригодную для прогнозирования нестационарных временных рядов произвольной природы в условиях априорной и текущей структур ной неопределенности. Предлагается архитектура и алгоритм обучения прогнозирующей нейронной метасе-ти, содержащей в своем скрытом слое ансамбль нейро-предикторов. Выходной слой метасети представляет собой адаптивный линейный ассоциатор, настройка си-наптических весов которого производится в реальном времени. Кроме того, вводится алгоритм структурной адаптации этой метасети, способный работать в реальном времени, т. е. позволяющий производить последовательную обработку информации и не требующий переобучения сети после изменения ее структуры.
2 ПОСТАНОВКА ЗАДАЧИ
Вначале рассмотрим задачу построения обобщенного прогноза на содержательном уровне. Пусть имеется множество нейропредикторов (локальных предикторов). Различие между ними может заключаться в архитектура, объеме используемой предыстории, алгоритме обучения, начальных условиях и т. п. Все эти предикторы настраиваются с использование одной и той же обучающей выборки. Необходимо построить обобщенный прогноз в виде взвешенной суммы имеющихся в нашем распоряжении локальных предикторов.
С точки зрения теории нейронных сетей такая конструкция эквивалентна большей метасети, в которой сети, представляющие локальные предикторы работают параллельно. Коэффициенты, с которыми учитываются выходы отдельных ИНС в обобщенном прогнозе могут интерпретироваться как синаптические веса выходного слоя метасети.
Формализация изложенной выше задачи выглядит следующим образом. Пусть имеется различных прогнозирующих моделей (предикторов). Необходимо построить на их основе обобщенный прогноз, который представляет собой линейную комбинацию имеющихся в нашем распоряжении локальных прогнозов:
J
у(к +1) = £Мг (к )у (к +1) = Мт (к )У (к +1), (1)
г=1
где М(к) = М(к),...м (к ))т, У (к) = (уг(к + 1),...у (к + 1))т -(J х1) векторы синаптических весов выходного слоя ме-тасети и локальных прогнозов, получаемых с помощью отдельных предикторов соответственно, к = 0,1,2,... -дискретное время, J - число локальных прогнозирующих моделей.
Логично включить в обобщенный прогноз наряду с локальными прогнозами параметр смещения, что позволит ансамблю работать даже в условиях, когда один или несколько предикторов, входящих в его состав реализуют смещенный прогноз, т. е.
J
У (к +1) = Мо (к) + £Мг (к) Уг (к +1) =
г=1
J
= £Мг (к)Уг (к + 1) = МТ (к)У (к + 1),
г =0
где Уо(к) = 1, М(к) = (Мо№,М1№, Т, Цк) =
= (1, У1(к +1),..., yJ (к + 1))т.
Таким образом, задача построения обобщенного прогноза сводится к задаче нахождения вектора весов М, оптимального в некотором смысле. Естественным является требование несмещенности получаемого прогноза, определяемое ограничением
J
£Мг (к) = 1,
г=0
или в векторной форме
Мт (к )Е = 1,
где Е = (1,1,...,1)т - (^ +1)х1) вектор, составленный из единиц.
В нестационарных условиях оценку вектора весов логично строить не на всей выборке данных, а только на некотором скользящем окне. Это позволит локальным ИНС, образующим ансамбль параллельно работающих предикторов, адаптироваться к изменяющимся характеристикам процесса.
Е.В. Бодянский, А.Н. Слипченко: АНСАМБЛЬ НЕЙРОПРЕДИКТОРОВ С ПЕРЕМЕННЫМ ЧИСЛОМ УЗЛОВ
3 АЛГОРИТМ ОБУЧЕНИЯ АНСАМБЛЯ НЕЙРОПРЕДИКТОРОВ
текущим рекуррентный метод наименьших квадратов [22], модифицированная версия которого имеет вид:
Задача построения обобщенного прогноза на основе ансамбля предикторов в момент времени к, сводится к задаче математического программирования с ограничениями в виде равенств:
I (M(k)) = £ (y(k - j) - ~ (k - j))2 = j=0
N-1,
£ (y(k - j)
- j) -MT (k)Y(k - j)
j=0
Q: MT (k )E = 1.
> min ,
M(k )eQ
(2)
где М(к) = (М^(к),...,Му (к))Т, У (к) = ( ух(к),..., Уу (к))т, Е = = (1,1,...,1)т - (У х1) вектор, составленный из единиц, N -величина скользящего окна, на котором строится оценка. В случае наличия параметра смещения задача построения ансамбля имеет тот же вид, но при этом М(к) = (Мо(к ),А(к ),...,#/ (к ))Т, У (к) = (1, У (к),..., Уу (к ))т, Е = (1,1,....,1)т - ((У +1)х1) вектор.
Для решения задачи (2) может быть применен метод штрафных функций, что позволит нам перейти к решению задачи безусловной оптимизации:
I(М,Р) = £ (y(k - j) - ~(k - j))2 - р2(1 - £Ml (k))2 =
j=0
N-1
£((k- j)-MTY(k- j)) -р2(1 -MT(k)E)2 ^ min, (3)
' M(k) 4 '
j=0
где р - параметр штрафа. Решением этой задачи является следующее выражение для вектора весовых коэффициентов:
4-1
R ~1(k ) =
£ Y(k - j)YT (k - j) =
V j = 0
R _1 (k - 1)Y (k )YT (k)R _1 (k -1)
R _1(k -1)-
1 + YT (k)R _1(k - 1)Y (k)
R_1(k)=
N-1
£ Y (k - j)YT (k - j) j=0
= R _1(k) +
R _1 (k )Y (k - N)YT (k - N )R _1 (k) 1 - YT (k - N )R _1(k )Y (k - N)
(6)
M(k) = М (k -1) + -
R _1 (k -1)(y(k) - YT (k - 1)Y (k))
1 + YT (k)R _1(k - 1)Y (k)
-Y (k),
М (k) = M(k)-
R _1 (k)(y(k - N) - М T (k)Y(k - N))
1 - Y T (k - N)R _1 (k)Y(k - N)
x Y(k - N).
Первые два выражения в процедуре (6) реализуют накопление новых и сброс старых данных соответственно (напомним, что алгоритм работает на скользящем окне, состоящем из N последних наблюдений). М(к) - оценка по методу наименьших квадратов на растущем окне (накопление данных), а м*(к) - оценка, построенная на N последних наблюдениях, полученная из М(к) путем исключения устаревших данных.
Объединяя (6) и (5), приходим к процедуре настройки вектора весовых коэффициентов метасети:
(
M(k ,р) =
V
N-1
£Y (k - j)YT (k - j)+p2eet j=0
fN-1
£ y(k - j)Y (k - j)+p2e
j=0
-1
(4)
Устремим далее р к ~ и окончательно получим:
M(k) = lim M(k,р) = lim (((k) + p2EET )(((k) + p2E
- ' р^0
= M*(k) + R-1(k-TETM>(k) E, ETR (k)E
(5)
N-1
M-1
где Я(к) = (к - ])Тт(к - ]), ^(к) = £у(к)У(к - »,
;=о 1=0
* —1
М (к) = Я 1(к(к) - оценка, полученная по методу наименьших квадратов на скользящем окне. Для работы в нестационарных условиях целесообразно использовать
R~\k)=
£y (k - j)YT (k - j) = 1=0 )
R- (k - 1)Y(k)YT (k)R_1 (k -1)
= R~\k -1) -
R"1(k) =
1 + YT (k )R_1(k - 1)Y (k) \-1
N-1
£Y (k - j)YT (k - j) =
j=0
= R-1 (k) + R~4k)Y(k - N)YT (k - M)R~~1(k)
1 - YT (k - N)R_1(k)Y(k - N) M*(k) = M*(k -1) + R-1(k - !>Ty(k)(k )M*(k -1)) Y (k),
1 + YT (k)R (k - 1)Y(k) M*(k) = M*(k) - R-1(k )((y(k - N) T (k - N )M*(k)) x
(7)
1 - YT (k - N)R_1 (k Y(k - N)
x Y(k - N),
M(k) = M*(k) + R"1(k-TETM*(k) E.
ET R (k )E
-1
x
x
x
Можно показать, что данная процедура является обобщением оптимального алгоритма адаптивной идентификации, предложенного в [9] и доказать, что полученный таким образом обобщенный прогноз по точности не уступает ни одному из локальных прогнозов, входящих в его состав.
Использование метода наименьших квадратов (МНК) и его модификаций для оценки синаптических весов выходного слоя метасети позволяет получить строгую и хорошо интерпретируемую оценку значимости каждого локального предиктора, входящего в обобщенный прогноз (1). Очевидно, что если какой-либо элемент вектора весов М*(к) мал по своей абсолютной величине, то соответствующий предиктор может быть выведен из состава ансамбля без большого ущерба для точности. При этом, однако, оставшиеся синаптические веса не будут нуждаться в перенастройке только в том случае, когда удаляемому узлу (предиктору) соответствует вес в точности равный нулю. Во всех остальных ситуациях потребуется перенастройка параметров сети.
В [23] был предложен алгоритм, основанный на использовании формулы Фробениуса [24] и позволяющий изменять структуру искусственной нейронной сети, обучаемой с использованием стандартного МНК. 0дним из основных его преимуществ является возможность обработки данных в реальном масштабе времени. Подобный подход может быть применен и в нашем случае.
Предположим, что в к-й момент времени с помощью (7) была получена оценка синаптических весов выходного слоя метасети:
* 1 М (к) = К]1 (к)FJ (к^
М(к) = М*(к) + К-\к )1 ~тЕТМ(к) Е
Е Щ (к)Е
(8)
где Ту (к) - элемент г-й строки /-го столбца матрицы
К (к), PJ -1 (к) = (ги (к),..., ^ _и (к ))т = (гл(к),..., ^-(к ))т.
После несложных преобразований выражения (9) получаем:
МJ (к) =
МJ- (к) - К-- (к)в -1 (кМ (к)
МJ (к)
(10)
что дает нам возможность вывести нейропредиктор с номером ] из состава ансамбля (1) и получить уточненные оценки оставшихся параметров сети. При этом для выполнения этой операции используется только информация, накопленную в матрице К (к) и векторе FJ (к).
Использую ту же технику, что и выше, можно получить процедуру, позволяющую добавить новый предиктор в ансамбль. Непосредственное применение формулы Фробениуса к выражению типа (9) приводит к следующему алгоритму:
М* ,,, „_1 ,,, (^(к) в,(к) -1Г Fu(к)
МU +1(к) = К-+1(к)^+1(к) = (вТт (к) О+1(к)1 (/u+l(k))
МJ (к) + R_l(k)PJ (к)
вт (к )МJ (к) - р+1(к)
ТJ +и+1(к) -вт (к)Кй (кв (к)
(11)
где индекс ] определяет число локальных предикторов в ансамбле.
Как уже отмечалось ранее, абсолютная величина компонентов вектора М*(к) может быть интерпретирована как значимость соответствующего локального предиктора. Допустим, что параметр М.1 (к) мал по своей абсолютной величине, и мы хотим вывести соответствующий ему предиктор из ансамбля. Предположение о том, что несущественным является компонент с номером /, не является ограничительным, так как мы всегда можем перенумеровать предикторы таким образом, чтобы наименьшие по абсолютной величине компоненты вектора М*(к) имели наибольший номер. Такая операция приведет лишь к перестановке строк и столбцов в матрице (к), а также к изменению порядка следования элементов вектора FJ (к). При этом, как известно, перестановка столбцов и/или строк матрицы является преобразованием, не влияющим на последующие матричные операции.
Учитывая тот факт, что матрица К^] (к) - симметрическая, получаем:
М*(к) в-1(к)р (к) (RJ_l(k) вJ_l(k)) (FJ-1(к)|
М°(к) = ^^(к) = I ^ г^) I I ГЛк) 1 (9)
-вт (к)МJ(к) + р +1(к)
rJ+1(к) -вт т-Чт (к)
где вJ (к) = (ги+1(к),..., rJJ+1(к ))т = Г+п(к),..., rJ (к))т.
Таким образом, с помощью формулы (11) мы можем добавить в модель (1) новый локальный предиктор, а с помощью формулы (10) - вывести из рассмотрения один из имеющихся. Для того, чтобы эти операции могли проводиться в реальном времени, необходимо накапливать информацию о большем числе предикторов, чем непосредственно используется в данный момент. Так, например, мы можем изначально ввести в рассмотрение избыточное число предикторов Н и накапливать информацию в матрице Кн (к) и векторе FH (к) по мере поступления новых данных. При этом для получения прогноза в текущий момент времени используется только J < н из них. В случае необходимости возможно как уменьшение сложности используемой прогнозирующей модели, так и ее увеличение.
4 РЕЗУЛЬТАТЫ ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ
Для апробации работы предложенного алгоритма рассмотрим задачу прогнозирования хаотического ряда, составленного из рядов Мандельброта [25] (первые 550 элементов), Мэки-Гласса [26] (следующие 562 элемента) и чисел Вольфа (последние 288 элементов). Задача прогнозирования этой последовательности сильно осложняется тем, что она 2 раза резко меняет свои характеристики.
В качестве локальных предикторов использовались радиально-базисные искусственные нейронные сети [14],
Е.В. Бодянский, А.Н. Слипченко: АНСАМБЛЬ НЕЙРОПРЕДИКТОРОВ С ПЕРЕМЕННЫМ ЧИСЛОМ УЗЛОВ
входной слой которых был образован линиями чистой задержки с различной глубиной памяти. Для настройки синаптических весов выходного слоя нейропредикторов использовался модифицированный алгоритм стохастической аппроксимации [27]:
м>(к +1) = м>(к) + г-1 (к)(у(к) - м>т (к )р(х(к )))р( х(к)),
и ц2 (12)
г (к) = аг (к -1) + ||^(х(к))||2,
где а - параметр забывания устаревшей информации. При а = 0 алгоритм (12) совпадает с одношаговым алгоритмом Качмажа-Уидроу-Хоффа [28], а при а = 1 - с алгоритмом стохастической аппроксимации Гудвина-Рэме-джа-Кейнеса [22].
Всего было синтезировано 14 локальных предикторов, различающихся объемом используемой предыстории и параметром забывания устаревшей информации. В начальный момент времени центры радиально-базисных функций случайно распределялись в пространстве входов, все синаптические веса инициализировались значением 0,5.
Для оценки точности получаемых прогнозов использовалась величина среднеквадратичной ошибки прогнозирования:
N
г2(к + О
ИМ8Е(к, N) = -, (13)
N
где N - объем выборки наблюдения, а е(к) - ошибка прогнозирования тестовой выборки в момент времени к.
В ходе эксперимента было синтезировано два ансамбля нейропредикторов. Один из них имел постоянную структуру (4 предиктора), а другой - адаптируемую. Критерием для управления числом узлов в адаптируемом ансамбле было использование 4-х лучших локальных предикторов из имеющихся в наличии. Такой критерий позволяет наглядно увидеть разницу между обычной и настраиваемой метасетью, так как количество узлов в них одинаково в каждый момент времени. Оценка вектора весов выходного слоя ансамбля строилась на основании последних 100 наблюдений.
Необходимо отметить, что среди локальных предикторов нельзя выделить такой, который был бы лучшим на всем исследуемом временном ряде. На разных участках исследуемого ряда лучшими были различные предикторы.
Результаты работы синтезированных ансамблей приведены в таблице 1. В первом столбце приведено значение ИМ8Е(100,1300), которое характеризует прогноз на всем наборе данных, за исключением первых 100 элементов, необходимых для начального обучения. В столбце 2 приведено значения ИМ8Е(100,450), в столбце 3 -ИМ8Е(551,562), а в столбце 4 - КМ8Е(1113,288), характеризующие точность прогноза рядов Мандельброта, Мэки-Гласса и чисел Вольфа соответственно.
Таблица 1 — Результаты моделирования
1 2 3 4
Фиксированная архитектура 0.71362 0.64042 0.8507 0.49602
Адаптируемая архитектура 0.57067 0.57211 0.65048 0.36455
Как видно из приведенных данных, ансамбль с адаптируемой архитектурой оказался лучше ансамбля с фиксированной архитектурой не только на исследуемом временном ряде в целом, но и на отдельных его фрагментах. На рассматриваемой выборке преимущество ме-тасети с изменяемой архитектурой относительно фиксированной составило 20%.
5 ЗАКЛЮЧЕНИЕ
Предложен алгоритм изменения количества узлов в ансамбле нейронных сетей. Использование предлагаемого алгоритма позволяет достичь компромисса между сложностью используемой нейромодели и точностью получаемых результатов и проводить обработку данных в реальном масштабе времени.
Результаты имитационного моделирования показывают, что нейронная метасеть с настраиваемым количеством узлов обеспечивает более высокую точность прогнозирования по сравнению с сетью фиксированной структуры.
Научная новизна работы заключается в том, что в ней впервые предложен алгоритм изменения количества узлов в ансамбле нейропредикторов, позволяющий производить обработку данных в реальном времени. Практическая значимость данной работы в возможности получения существенно более точных результатов при тех же вычислительных затратах на настройку модели.
ПЕРЕЧЕНЬ ССЫЛОК
1. Nelles O. Nonlinear System Identification. - Berlin: Springer, 2001. - 431 p.
2. Льюнг Л. Идентификация систем. Теория для пользователя: Пер. с англ./ Под ред. Я.З. Цыпкина. - М.: Наука. Гл. ред. физ.-мат. лит., 1991. - 432 с.
3. Handbook of Neural Computation. IOP Publishing and Oxford University Press, 1997. - 618 p.
4. Hashem S. Optimal linear combinations of neural networks // Neural Networks. - 1997. - 10. - P. 599-614.
5. Jordan M., Lei Xu. Convergence results for the EM approach to mixtures of experts architectures // AIM-1458. - 1993. - P. 33.
6. Tresp V., Taniguchi M. Combining estimators using non-constant weighting function // Advances in Neural Information Processing Systems. - 1995. - 7. - P. 419-426.
7. Hashem S. Effects on collinearity on combining neural networks // Connect. Sci. - 1996. - 8. - P. 315-336.
8. Sharkey A.J.C. On combining artificial neural nets // Connect. Sci. - 1996. - 8. - P. 299-313.
9. Bodyanskiy Ye.V., Vorobyov S.A., Stephan A. Algorithm for adaptive identification of dynamical parametrically nonsta-tionary objects // Journal of Computer and System Sciences International. - 1999. - 38. - №1 - P. 14-18.
10. Naftaly U., Intrator N., Horn D. Optimal ensemble averaging of neural networks // Network: Comput. Neural Syst. -1997. - 8. - P. 283-296.
11. Optiz D.W., Shavlik J.W. Actively searching for an effective neural network ensemble // Connnect. Sci. - 1996. - 8. -P. 337-353.
12. Бодянский E.B., Слипченко А.Н. Оптимизация ансамбля нейропредикторов // Вестник Национального технического университета "Харьковский политехнический институт". Сборник научных трудов. Тематический выпуск:
"Информатика и моделирование". - Харьков: НТУ "ХПИ". - 2003. - №26. - С. 35-40.
13. Слипченко А.Н. Управление архитектурой нейронной сети // Тези допов1дей учасниюв VI МНжнародноТ нау-ково-практичноТ конференци студенев, асп1рант1в, моло-дих вчених 1-3 липня 2004 р., м. КиТв. - КиТв: Друк. НТУУ "КП1". - 2004. - С. 81-82.
14. Poggio T., Girosi F. A Theory of Networks for Approximation and Learning. A.I. Memo No. 1140, Artificial Intelligence Laboratory, Massachusetts Institute of Technology, 1989.
15. Platt J. A resource allocating network for function interpolation // Neural Computation. - 1991. - 3. - P. 213 225.
16. Nag A., Ghosh J. Flexible resource allocating network for noisy data // In SPIE Conf. on Applications and Science of Computational Intelligence, SPIE Proc. Vol. 3390, Orlando, Fl., April 1998. - P.551 559.
17. Yingwei L., Sundararajan N., Saratchandran P. Performance evaluation of a sequential minimal radial basis function (RBF) neural network learning algorithm // IEEE Trans. on Neural Networks. - 1998. - 9. № 2. P.308 318.
18. Fahlman S. E., Lebiere C. The cascade-correlation learning architecture. Technical Report CMU-CS-90-100, School of Computer Science, Carnegie Mellon University, Pittsburgh, PA, 1990.
19. Cun Y. L., Denker J. S., Solla S. A. Optimal Brain Damage / / Advances in Neural Information Processing Systems, D.S. Touretzky, Eds. - 1989. - P.598-605.
20. Hassibi B., Stork D. G. Second-order derivatives for network pruning: Optimal brain surgeon // Advances in Neural Information Processing Systems, Hanson et al., Eds. - 1993. -P. 164-171.
21. Prechelt L. Connection pruning with static and adaptive pruning schedules // Neurocomputing. - 1997. - 16. P.49 61.
22. Перельман И.И. Оперативная идентификация объектов управления. - М.: Энергоиздат, 1982. - 272 с.
23. Бодянский Е.В., Слипченко А.Н. Управление количеством узлов в нейронных сетях, обучаемых в реальном времени // АСУ и приборы автоматики. 2004. № 127. -С. 90-97.
24. Гантмахер Ф.Р. Теория матриц. - 4-е изд. - М.: Наука. Гл. ред. физ.-мат. лит., 1988. - 552 с.
25. Mandelbrot B.B. Die fraktale Geometrie der Natur. - Basel: Birkhaeuser Verlag, 1991. - 491 S.
26. Mackey, M.C., Glass, L.: Oscillation and chaos in physiological control systems. Science 197 (1977) 287-289.
27. Бодянский 6.В., М1хальов 0.1., Плсс I.П. Адаптивне виявлення розладнань в объектах керування за допомогою нейронних мереж. - Днтропетровськ: Системы технологи, 2000. - 140 с.
28. Kaczmarz S. Approximate solution of systems of linear equations // Int. J. Control. - 1993 - 53. - P. 1269-1271.
Надшшла 27.09.2004
У po6omi розглядаеться задача прогнозування часовых ряд1в з выкорыстанням ансамля HeuponpeduKmopie. Запропо-новано алгоритм змiнu числа вузлiв у ансамблi за умовы обробки iнфopмацi'i у реальному часi.
The work is devoted to the task of time-series prediction using ensemble of neuropredictors. An algorithm capable of changing the number of predictors in ensemble in real time is proposed.
УДК 681.3
Л.А. Жуков, Н.В. Решетникова
ИССЛЕДОВАНИЕ РАЗЛИЧНЫХ ВАРИАНТОВ КОНТРАСТИРОВАНИЯ И БИНАРИЗАЦИИ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ОБРАБОТКИ МЕДИЦИНСКИХ ДАННЫХ
Исследовались различные варианты контрастирования и бинаризации нейронных сетей на примере медицинских данных. Выполнено сравнение качества тестирования для бинаризованных и небинаризованных синапсов.
ВВЕДЕНИЕ
В работе предлагаются отдельные элементы технологии для обработки параметров анализов крови доноров электролизных цехов Красноярского алюминиевого завода, подвергшихся иммунному плазмаферезу. Сбор исходных данных и их первичная обработка проводились на базе Красноярской краевой станции переливания крови за период с 1978 г. по 1992 г. врачом Петровской В.А. [1, 2].
Цель работы: выявить влияние процедур контрастирования и бинаризации на качество тестирования ней-росетей и сходство и различие при различных комбинациях этих процедур.
Задачи работы: провести изолированно процедуры бинаризации и контрастирования на примере медицинских данных; провести эксперименты и изучить результаты при различных комбинациях данных подходов,
например, при бинаризации после и до контрастирования. Отметим, что в данной работе не ставилась задача достижения наилучших результатов тестирования.
Исходные данные включают гематологические, биохимические и иммунологические показатели и дополнительно следующие параметры: величина титра антител, число плазмаферезов и некоторые другие характеристики, указывающие на функциональные сдвиги в системе гомеостаза в ответ на введение стафилококкового антигена и под влиянием многолетних плазмаферезов [3, 4].
Для выполнения полномасштабных экспериментов и проверки некоторых частных гипотез был создан общий файл данных, содержащий всю информацию по всем категориям доноров: анодчики - 266 записей, электролиз-ники - 186 записей, крановщики 168, слесари - 198, сварщики - 130, литейщики - 124, студенты - 472. Каждая запись представляет собой данные анализа крови донора, взятого за одно посещение. Следует отметить, что не все изучаемые поля заполнены, что связано со спецификой проведения и обработки анализов крови, т.к. в соответствии с ведомственной медицинской инструкцией некоторые анализы берутся у доноров один раз за несколько сдач крови [5, 6]. Для обработки были использо-
