Алгоритм оценки оптимальной размерности обучающего множества в нейросетевых моделях прогнозирования Текст научной статьи по специальности «Математика»

ИРКУТСКИМ государственный университет путей сообщения

УДК 004.827 Кедрин Виктор Сергеевич,

канд. техн. наук, доцент кафедры менеджмента и торгового дела ИГУ (филиала в г. Братске), доцент кафедры дискретной математики и защиты информации БрГУ,

тел.: (3953)44-89-93, e-mail: [email protected]

АЛГОРИТМ ОЦЕНКИ ОПТИМАЛЬНОЙ РАЗМЕРНОСТИ ОБУЧАЮЩЕГО МНОЖЕСТВА В НЕЙРОСЕТЕВЫХ МОДЕЛЯХ

ПРОГНОЗИРОВАНИЯ

V.S. Kedrin

ALGORITHM OF EVALUATION OF THE OPTIMUM DIMENSIONS OF TRAINING SET IN NEURAL FORECASTING MODELS

Аннотация. Предложен алгоритм оценки критерия «непротиворечивости» для нахождения размерности входного вектора обучающего множества, позволяющий определять возможность оптимального моделирования сложных динамических процессов на этапах структурного и параметрического синтеза искусственной нейронной сети.

Ключевые слова: искусственные нейронные сети, формирование обучающего множества, прогнозирование.

Abstract. We propose an algorithm for estimating the criterion of «consistency» for finding the dimension of the input vector of training set, allowing to determine the optimal simulation of complex dynamic processes at the stages of structural and parametric synthesis of an artificial neural network.

Keywords: artificial neural networks, forming a training set, prediction.

Одним из альтернативных активно развивающихся подходов к оценке сложных динамических процессов является их изучение в пространстве временных выборок с помощью непараметрических методов нейросетевого прогнозирования. Преимущество данного подхода состоит в том, что искусственные нейронные сети (ИНС) могут обучаться на основе опыта и прогнозировать предыдущие временные прецеденты на новые случаи. Теоретическим обоснованием здесь может служить теорема Такенса [1], согласно которой, если временной ряд порождается динамической системой, то существует такое число d (соотносящееся с эффективным числом степеней свободы данной динамической системы), что d предыдущих значений временного ряда однозначно определяют следующее значение. Поэтому на предварительном этапе анализа априорной информации

обучения по имеющейся выборке данных остается открытым вопрос об определении числа размерности d входного вектора признаков X(t), позволяющих определить изменение выходного вектора Y(t). Кроме этого, при создании системы прогнозирования на базе ИНС необходимо принимать во внимание диапазон трансформаций временной выборки [2], что приводит к требованию создания классификатора пар обучения, инвариантного к этим трансформациям.

Учитывая вышеизложенное, можно определить, что на предварительном этапе анализа априорной информации прошлых временных состояний динамической системы необходимо представить ее в виде инвариантных пар обучения и найти оптимальную размерность входного вектора образа X(/), определяющего выходной вектор образ Y(z).

В работе [3] рассмотрена методика нейросетевого прогнозирования с помощью элементарных динамических оконных образов, позволяющих инвариантно учитывать трансформацию процесса на этапе обучения. Перейдем к решению проблемы выбора размерности d, соотносящегося с эффективным числом степеней свободы данной динамической системы.

Ввиду отсутствия формального критерия оценки оптимального числа размерности d, определяющего длину по временным отсчетам входных векторов элементарных образов ^(г)} (/ = 1, 2, ..., п), введем требование «противоречивости». Здесь понятие оптимальности характеризует возможность наиболее лучшего описания искусственной нейронной сетью множества выходных векторов элементарных образов ^(¿)} на этапах структурного и параметрического синтеза. При этом требование «противоречивости» основывается на неоднозначности формирования вы-

ходных образов {У(/)} на совокупность одинаковых воздействий {Х(/)}. Это требование согласуется с условием, что для оптимального построения прогнозной модели ИНС на этапе структурного синтеза необходимо, чтобы наборы, входящие в состав обучающих входных и выходных множеств, не противоречили друг другу [4]. Таким образом, чем выше противоречивость, тем хуже качества прогнозной модели ИНС.

Противоречивость возникает, если два входных набора с одинаковым описанием ситуации имеют разные значения выходных наборов. Исходя из данного требования, оценка оптимального числа размерности на базе критерия противоречивости должна осуществляться по следующим этапам:

1. Этап выделения подмножеств Zk (к = 1, 2, ..., т), в которые входят идентичные друг другу входные элементарные образы (рис. 1).

На рис. 1 представлены два идентичных инвариантных элементарных оконных образа через определенный временной лаг I. Однако на практике вероятность нахождения идентичных образов достаточно низкая, поэтому введем понятие сходных образов.

Всякое измерение имеет определенную точность е. Элементарный образ Х(ф'+/)) является е-сходным с образом Х(г(7)), если точки образа Х(ф'+/)) попадают в окрестность точек образа Х(ф')), выполненную с точностью до е, что не позволяет различить две е-сходные величины [5, с. 45] (см. рис. 2).

При этом, чем меньше будет ширина окрестности е, тем более будут походить друг на друга сходные элементарные образы. В результате осуществления первого этапа в каждом подмножестве Zk образуется пк сходных образов Х(/к) (4 = 1,2,..., пк) при заданной ширине окрестности е.

2. Этап оценки противоречивости наборов.

На данном этапе необходимо ввести числовой критерий оценки непротиворечивых наборов для выделенных подмножеств Zk сходных элементарных образов. Будем считать набор сходных входных образов Х(7к)-^-Х(/к) (1к Ф ]к) из подмножества Zk противоречивым, если соответствующий им набор выходных образов У(7к)^У(/к) является несходным в границах окрестности е (рис. 3, б). Если набор выходных образов У(/к)^У(/к) является сходным в границах окрестности е, то соответствующий ему набор входных образов Х(7к)^Х(/'к) из подмножества Zk является непротиворечивым (рис. 3, а).

В результате оценки непротиворечивости в каждом подмножестве Zk будет выделено gk противоречивых и Нк непротиворечивых наборов:

§к + К = пк. (1)

Таким образом, на основании данного анализа можно сформировать числовой критерий непротиворечивости выделенных сходных образов в подмножестве Zk, характеризующий долю непротиворечивых образов:

С . (2)

Интегральный (общий) критерий непротиворечивости с учетом количества пк сходных образов Х(ф'к)) в каждом подмножестве Zk (4 = 1, 2,..., пк) и доли, которую они занимают в общем объеме совокупности сходных образов

т

Ё пк , можно определить по следующей формуле:

к=1

к=1

Ё Пк

V к=1

gk + К

к /

(3)

Как видно из формулы (3), если в каждом подмножестве будут существовать лишь противоречивые наборы (для всех подмножеств Zk: Кк = 0, к = 1, 2,..., т), то общий критерий непротиворечивости С будет равен нулю. В случае, если для всех наборов будут существовать лишь непротиворечивые наборы (для всех подмножеств Zk:

К

п

к

к

ИРКУТСКИМ государственный университет путей сообщения

Рис. 3. Оценка противоречивости наборов: ■ непротиворечивый набор; б - противоречивый набор

gk = 0, к = 1, 2,..., т), то общий критерий непротиворечивости ^ будет равен единице.

Сформированный критерий непротиворечивости косвенно характеризует возможность ИНС определять зависимость между входными и выходными выборками (построение оптимальной прогнозной модели). Оценивая изменение критерия С в зависимости от числа размерности входного вектора признаков d, можно найти оптимальную размерность do, при которой значение критерия непротиворечивости будет максимальным. Следовательно, для такой размерности d0 нейронная модель на этапах структурного и параметрического синтеза может выделить наиболее оптимальную зависимость Y = АХ).

Для расчета критерия противоречивости автором составлен компьютерный алгоритм расчета. Исходя из описанных выше этапов, алгоритм расчета критерия непротиворечивости также можно разделить на два частных алгоритма.

Алгоритм 1

Выделение сходных образов. Блок-схема алгоритма 1 представлена на рис. 4.

В представленном на рис. 4 алгоритме блок условия для определения сходных элементарных образов может быть выполнен несколькими способами:

1) На основании Евклидового расстояния.

В этом случае считается, что вектора X и X/ определяют в евклидовом пространстве пару точек, расстояние между которыми вычисляется по формуле:

ЦХ,, X,) = X, - X, =

Е X - )2 . (4)

«=1

Рис. 4. Алгоритм выделения сходных образов

а

Между величинами Х(Хг-, X^) и степенью

сходства существует обратно пропорциональная зависимость: чем меньше евклидово расстояние между векторами, тем выше степень сходства между двумя векторами.

2) На основании скалярного произведения векторов.

Скалярное произведение векторов определяется по формуле:

(X,, X,) = ХТ X ] = £

(5)

Результат деления скалярного произведения

XTX на произведение длин векторов IX, 11 • X

X:Т X,.

У =

X,.

X

(6)

ков (матрицы X и У - соответственно) может быть выполнено в одном блоке двойного цикла. Также в блоке определения сходных образов в матрице X (см. рис. 4) можно сразу выполнять проверку на непротиворечивость образов в матрице У (см. рис. 5).

равен косинусу угла между этими векторами. Таким образом, между степенью сходства элементарных векторов и величиной у существует прямо пропорциональная зависимость: чем ближе величина у к единице, тем выше степень сходства элементарных векторов.

3) На основании е-сходности. В этом случае осуществляется проверка модуля разности значений векторов до заданной ширины окрестности е: = М): |хй - х„| . (7)

Таким образом, между степенью сходства элементарных векторов и модулем разности значений векторов существует обратно пропорциональная зависимость: чем меньше модуль разности значений векторов, тем выше степень сходства между двумя векторами.

Замечание. Данный способ не основан на фундаментальных геометрических соотношениях, как рассмотренные выше два способа, но в расчетном плане он менее затратен, так как требует проведения на каждой итерации меньшего количества вычислительных операций. Поэтому использование третьего способа позволяет оптимизировать представленный на рис. 4 алгоритм.

Алгоритм 2

Определение критерия непротиворечивости.

Представленные алгоритмы 1 и 2 (см. рис. 4 и 5) ориентированы на большое количество вычислительных операций, так как в каждом алгоритме существует два блока двойного цикла, поэтому обработка больших выборок данных может занять значительное время. Одним из направлений оптимизации алгоритмов может стать их объединение для совместного выполнения блоков двойного цикла. Так, формирование элементарных образов для факторного и результирующего призна-

Рис. 5. Алгоритм определения критерия непротиворечивости

Проиллюстрируем возможности применения алгоритма 1 расчета критерия непротиворечивости на следующих примерах.

Пример 1

В качестве исходных данных были выбраны миллисекундные параметры состояния Харанор-

5=1

ской ГРЭС (активная мощность Р, напряжение V и частота Щ) за период времени с 13:35:36.000 по 13:38:55:960 на дату 12.01.07, полученные на основании регистраторов системы мониторинга переходных режимов [6]. Выборка данных по каждому параметру составила 10000 значений с дискретностью в 20 мс. Исследование параметров состояния энергетического объекта в указанном диапазоне времени представляет научный интерес. Так, в 13:37:33 произошло отключение энергоблоков на одном из объектов в многосвязной и многосложной энергетической системе, поэтому процессы исследуемых параметров носят ярко выраженный нестационарный характер (см. рис. 6).

Для исследуемых параметров был применен алгоритм нахождения количества сходных образов п в зависимости от ширины оконного образа d и величины окрестности е. В результате были получены графики, представленные на рисунках 79.

Анализ представленных графиков показал, что в среднем количество сходных образов п увеличивается с ростом величины окрестности е, что подтверждает сделанное ранее теоретическое предположение об увеличении вероятности нахождения сходных образов при увеличении ширины окрестности е. Для представленных графиков при е = 0,04 количество сходных образов превышает половину количества формируемых элементарных образов при исследовании всех параметров. Траектории нахождения количества сходных образов п в зависимости от ширины окна d характеризуют интересную динамику, которая особенно ярко проявляется при обработке выборки значений для параметра напряжения V. Видно, что при уве-п

Рис. 7. Характеристика количества сходных образов п для параметра напряжения и в зависимости от ширины окна й и величины окрестности ё

158,8 138,6 133,4 138,2 138 137,8 137,ь 137,4 137,2 137 135,8

£ЛкВ

1. 1

> АЛ КкьЛДОь Ш

м^^^ъп^ 1

г, X 20 мс

О 1003 2333 3000 4000 5000 6000 7000 3000 9000 10033

КгЦ

^ X 20 мс

3 1033 2333 3333 4000 5000 6000 7000 8000 9000 10333

Р, МВт

I.

...... ■ ■

1, X 20 мс

0 1333 2333 3000 4000 5000 6000 7000 3000 9000 10333

Рис. 6. Параметры состояния Харанорской ГРЭС за период времени с 13:35:36.000 по 13:38:55:960 на дату 12.01.07

личении ширины окна d количество сходных разов п снижается, однако при достижении некоторых значений ширины окна d происходит

Системный анализ. Моделирование. Транспорт. Энергетика. Строительство

Рис. 8. Характеристика количества сходных образов п для параметра частоты F в зависимости от ширины окна d и величины окрестности £

Рис. 9. Характеристика количества сходных образов п для параметра мощности Р в зависимости от ширины окна d и величины окрестности £

резкий скачок и количество найденных сходных образов п резко возрастает. Отсюда можно сделать вывод о том, что для некоторых значений длины окне d0 существует определенная автокорреляционная динамика.

Пример 2

Проиллюстрируем возможности применения алгоритма 2 для определения критерия непротиворечивости для пар параметров И—Б и И—Р. В результате работы алгоритма были получены графики (см. рис. 10 и 11), характеризующие значение критерия непротиворечивости для наборов эле-

ментарных образов в зависимости от ширины окна d и величины окрестности е.

Для каждой из траекторий, представленных на графиках (см. рис. 10 и 11), были выделены максимальные значения критерия непротиворечивости и построены характеристики, отражающие изменение значения максимума критерия непротиворечивости ^' в зависимости от роста величины окрестности е для параметров и—Е и и—>Р соответственно.

ИРКУТСКИМ государственный университет путей сообщения

Рис. 10. Расчет критерия непротиворечивости С при исследовании параметров и-^Т в зависимости от ширины окна й и величины окрестности ё

Рис. 11. Расчет критерия непротиворечивости С' при исследовании параметров и^Р в зависимости от ширины окна й и величины окрестности ё

Необходимо заметить, что при расчете критерия непротиворечивости учитывалась величина, отражающая долю сходных образов в общем объеме образов. С учетом этой величины критерий непротиворечивости рассчитывался следующим образом:

IК

к=1

I (gk + Кк )

к=1

(8)

На основании характеристик, полученных на графиках (см. рис. 12), и представленных выше теоретических рассуждениях о критерии непротиворечивости можно сделать вывод о том, что

при маленькой величине окрестности (в диапазоне от 0 до 2 %) может существовать детерминированная зависимость исследуемых параметров при малой ширине элементарного образа (5-6 точек), однако ее вероятность очень мала, так как критерий непротиверечивости принимает низкое значение (менее 2 %).

С ростом величины окрестности увеличивается вероятность существования стохастической зависимости, что отражает заметное увеличение значения критерия непротиворечивости . Так, при величине окрестности в диапазоне от 3 до 5 % наиболее вероятна зависимость при ширине окна в диапазоне от 47 до 50 точек.

Рис. 12. Изменение максимума значения критерия непротиворечивости С' при изменении величины окрестности ё для пар параметров и^Г и и^Р соответственно

При этом критерий непротиворечивости колеблет- 2. ся в диапазоне от 20 до 45 %. При величине окрестности диапазоне от 6 до 10 % наиболее вероятна зависимость при ширине окна в диапазоне от 33 3. до 41 точки, критерий непротиворечивости колеблется в диапазоне от 50 до 82 %. Отсюда можно сделать вывод о том, что для исследуемых параметров U, P, F при заданной нестационарной динамике (см. рис. 6) возможно построение стохастических нейросетевых моделей прогноза при больших значениях ширины окна. 4.

Таким образом, можно говорить о том, что сформированный критерий непротиворечивости оценивает возможность модели именно прогнозировать, а не моделировать поведение процесса, так как позволяет определить величину ширины эле- 5. ментарного нейросетевого образа, соотносящуюся с эффективным числом степеней свободы исследуемой динамической системы. 6.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Takens F. Detecting strange attractors in turbulence // Lectures Notes in Mathematics. Springer, 1985. P.99-106. 7.

Barnard, E Invariance and neural nets. / E. Barnard, D. Casasent // IEEE Trans. - Neural Networks, 1991. №2 (5). P. 498-507. Дойников, А.Н. Методика прогнозирования динамического состояния многосвязных систем макроэкономики на базе искусственных нейронных сетей / А.Н. Дойников, В.С. Кедрин, М.К. Сальникова // Современные технологии. Системный анализ. Моделирование. -Иркутск: ИрГУПС, 2006. №4(12). С. 120-124. Chaudhuri, B.B. Efficient training and improved performance of multilayer perceptron in pattern classification. / B.B. Chaudhuri, B.B. Bhatta-charya // Neurocomputing, 2000. №34 (1-4). P. 11-27.

Кузьмин О.В. Комбинаторные методы решения логических задач: учеб. пособие. М.:Дрофа, 2006. 187, [5] с. : ил. Аюев Б.И. Перспективные направления использования системы мониторинга переходных режимов ЕЭС/ОЭС./ Б.И. Аюев, Ю.А. Куликов // Информационно-аналитический журнал Энерго-info. 2007. URL: http://www.energo-info.ru/images/pdf/Rele/ Session_4/S4-2.pdf (дата обращения 21.07.2007).