CC BY
119
УДК 004.42; 519.85
Ишакова Е.Н., Зубкова Т.М.
Оренбургский государственный университет E-mail: en_ischa@mail.ru
МАТЕМАТИЧЕСКОЕ И АЛГОРИТМИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ПРОГНОЗИРОВАНИЯ РИСКОВ НА ОСНОВЕ НЕЙРОННОЙ СЕТИ
КОХОНЕНА
В статье рассматривается математическая и алгоритмическая модель прогнозирования рисков с применением искусственных нейронных сетей на примере образовательного процесса. Модель основана на картах самоорганизации (сети Кохонена) с различными вариантами обучения и использует метод главных компонент.
Ключевые слова: нейронные сети, сеть Кохонена, метод главных компонент, прогнозирование рисков.
Любой сфере деятельности человека присущ риск - неопределенная ситуация с одним или несколькими нежелательными последствиями (У. Бек) [1].
Современному обществу свойственно генерирование опасностей, неопределенность, нестабильность, отсутствие однозначных критериев поведения. В условиях «общества риска» опасностям подвергается конкретная образовательная организация, отдельный педагог и обучающий, и система образования в целом [2].
Образовательный риск закономерно отражает одно из современных научных направлений, в котором подчеркивается резкое увеличение вероятностных представлений в научном знании, признание случайности и неопределенности базовыми факторами развития личности и общества [3].
Целесообразно прогнозировать риски с использованием интеллектуальных методов, позволяющих снизить вероятность возникновения неблагоприятного результата и минимизировать его возможные потери.
Количественно «сбои» в образовательном процессе можно выразить числом обучающихся, которые не смогли достигнуть требуемого уровня развития компетенций. Для прогнозирования образовательных рисков в качестве инструмента можно использовать искусственные нейронные сети, которые сегодня достаточно часто применяются при обработке и прогнозировании данных.
Искусственная нейронная сеть - это модель биологических нейронов головного мозга человека. Являясь децентрализованной структурой, мозг состоит из миллиардов клеток-нейронов. Механизмы функционирования этой структу-
ры определяют сети, которые постоянно меняют во времени связи между нейронами. Биологические нейронные сети настолько эффективны, что их применяют в различных научных сферах, в том числе и в управлении рисками [4].
Задача прогнозирования образовательных рисков является особо сложной, но применение нейросетевых технологий открывает новые перспективы в ее решении, поскольку позволяет выявить, каким образом субъекты образовательного процесса могут взаимодействовать друг с другом и влиять на обучение. Использование нейросетевых технологий в управлении рисками позволяет с высокой степенью точности воспроизводить поведение субъектов, принимающих решения.
Базовой предпосылкой нашего исследования будет гипотеза о том, что образовательный процесс не является результатом случайного блуждания, а представляет собой агрегированный результат множества субъективных суждений отдельных индивидуумов. Поэтому лицо, принимающее решение, выдвигается на передний план при условии, что агрегированное развитие образовательного процесса представляется протоколами решений некоторого представительного агента, а не разнородными независимыми агентами.
При построении модели для прогнозирования «сбоев» в образовательном процессе используем карты самоорганизации (также называемые сетью Кохонена). Построение сети Ко-хонена основано на принципе конкуренции различных нейронов за право активации, подобно генетическим алгоритмам и механизмам естественного отбора в природе [5], [6], [7].
В картах самоорганизации различные исходные вектора-сигналы отображаются в пространстве выходного слоя, который имеет большую
размерность (рисунок 1). При работе в нейронной сети оптимизируются веса, в качестве которых карты самоорганизации обычно используют группы координат, задающие отображения исходного вектора в выходном пространстве.
Отображения в выходном слое строятся для получения систем координат (карты признаков) исходного вектора. При этом в каждом отображении должна быть значимая информация о каком-либо признаке исследуемого объекта. Применение построенной карты признаков позволяет сократить размерность данных из входного пространства.
Полученную карту признаков можно использовать как сигнальную систему в ходе прогнозирования образовательных рисков. Степень влияния конкретного признака на образовательный процесс будет определяться тем, какой нейрон на данной итерации победит (активируется). Далее на основе данной информации принимается управленческое решение.
Карты самоорганизации - это самообучающаяся нейронная сеть. Активизация одного из нейронов происходит в результате конкуренции между собой отображений исходного вектора (векторов). После активирования победившего нейрона вокруг него формируется упорядоченная топологическая область, содержащая значимую информацию исходного вектора.
При оптимизации нейронной сети Кохоне-на различные отображения встраиваются вокруг нейрона-«победителя» в топологическую область. Этот процесс дал название модели -карты самоорганизации.
Таким образом, в процессе кооперации формируется упорядоченная топологическая область для отображения-«победителя», а в процессе адаптации другие отображения подстраиваются под свойства полученной топологической области.
Сеть Кохонена при оптимизации отображений не сравнивает их с обучающим примером-эталоном (как, например, метод наименьших квадратов), а достигает эффективного функционирования вследствие конкуренции между несколькими векторами-отображениями.
Итеративный процесс оптимизации карт самоорганизации пошагово выглядит следующим образом.
1. Случайным образом задаются отображения исходного вектора X (веса для оптимизации). Чаще всего отображения вектора X оп-
ределяются случайным образом потому, что такой способ прост в практической реализации. Данный способ также используют в тех случаях, когда затруднительно обосновать задание начальных условий внутри самой модели детерминистски. В некоторых случаях это обусловлено желанием направленно внести элемент случайности в процесс. Но очевидным недостатком такого метода является наличие зависимости от генератора случайных чисел (в чистом виде его не существует), кроме того такая модель является потенциально чувствительной к начальным условиям.
2. Осуществляется поиск отображения-«по-бедителя» (процесс конкуренции). В выходном слое стремятся получить отображения исходного вектора X, содержащие его важные параметры. Следовательно, отличие исходного вектора X и его выходного отображения необходимо минимизировать. Оценить это отличие можно классическим способом, рассчитав Евклидово расстояние между двумя векторами (норму разности). Таким образом, отображение, обладающее наименьшим Евклидовым расстоянием для исходного вектора X, станет победителем:
тт(^) = , (1)
где т^ - вес г-й связи'-го нейрона; х - г-й элемент входного вектора X.
3. Строится топологическая окрестность вокруг отображения-«победителя», которая определяет, как должны измениться остальные отображения в зависимости от значения отобра-жения-«победителя». Топологическая окрестность формируется с помощью Евклидова расстояния между всеми векторами-отображениями и отображением-«победителем». Эти расстояния используются в качестве аргументов фун-
/слой выходных нейронов
входной вектор
Рисунок 1. Архитектура сети Кохонена
кции Гаусса (2), экспоненциально убывающей на каждой следующей итерации. Именно функция Гаусса обеспечивает в сети Кохонена нелинейное преобразование:
(2)
где хт - значение г-го веса т-го «нейрона - победителя»; х- значение г-го веса рассчитываемого ]-го нейрона; Ь - скорость обучения.
4. Производится процесс адаптации, т. е. другие отображения подстраиваются под ото-бражение-«победитель». Векторы весов для выходного «нейрона-победителя» и его соседей по окрестности обновляются:
С +1) = (t) + е(г) х 1 т) х (х, 0)) (3)
Схема алгоритма обучения сети Кохонена показана на рисунке 2.
После получения оптимизированного отображения вектора X, необходимо интерпретировать полученные данные. Результат работы сети можно использовать для прогнозирования «сбоев» образовательного процесса. В результате обучения и процесса адаптации под топологическую окрестность нейрона-«победителя» в выходном слое получается N векторов вместо одного ^мерного, т. е. № отдельных значений в N группах по N координат.
В картах самоорганизации после процесса оптимизации не возможно заранее идентифицировать отображение, которое в наилучшей степени характеризует исходный вектор X. То есть нельзя определить, какой из признаков надо использовать при прогнозировании.
Поэтому в данном случае целесообразно заранее не выделять какое-то отображение, а прогнозировать по всем группам координат. Таким образом, вычисляем сумму скалярных произведений Б (4) входного вектора X с каждым выходным отображением w. В этом случае для прогноза используется итоговое значение функционирования сети Y, которое получается подстановкой скаляра Б в функцию активации, заданную гиперболическим тангенсом (5). Этот процесс можно также рассматривать как добавление нового скрытого слоя в сеть.
S = X,
Y = -
е +е
(4)
(5)
где X - исходный вектор;
W - отображение исходного вектора X; ) - номер отображения вектора X; £ - количество отображений вектора X. Итак, искусственная нейронная сеть принимает вид, показанный на рисунке 3. X и W в этой модели являются не скалярными значениями, а векторами.
Таким образом, решена задача снижения размерности входного пространства: исходный вектор из N значений преобразован в одно скалярное значение. При этом не выполнено ранжирование и идентификация наиболее значимых характеристик вектора X, т. е. не отобраны отображения для прогнозирования на основе сети.
Чтобы адекватно оценить эффективность работы нейронной сети Кохонена, необходимо устранить или свести к минимуму зависимость
^ Возврат^
Рисунок 2. Схема алгоритма обучения сети Кохонена
]=1
результата оптимизации от случайных начальных условий. Значит нужно использовать не случайный способ определения начальных векторов-отображений, а детерминированный самой моделью.
Отображения исходного вектора X должны быть подобны ему и содержать его значимые признаки. Следовательно, детерминированными начальными векторами-отображениями могут быть эмпирические значения исходного вектора X с предварительной обработкой.
В данной ситуации имеет смысл использовать метод главных компонент, в силу его сходства с картами самоорганизации [8].
Метод главных компонент для отображения эмпирических данных в новом пространстве использует ковариационную матрицу -специальную кодирующую матрицу, из которой извлекаются собственные векторы.
Ключевое отличие данной модели от других исследований в области сетей Кохонена состоит в том, что для определения начальных векторов-отображений используется ковариационная матрица вектора X. Таким образом, исключается стохастический подход в определении начальной точки оптимизации, а также возможные дефекты в генераторах случайных чисел, встроенных в программном обеспечении.
Теперь начальные векторы-отображения задаются внутри модели эндогенно. Благодаря применению метода главных компонент получается карта признаков, которая фиксирует важные характеристики исходного вектора X в другом пространстве. Таким образом, решена задача устранения случайной составляющей при определении начальных отображений.
Далее повышение эффективности прогнозирования нейронной сети с детерминистски заданными начальными значениями возможно за счет усовершенствования процесса её обучения. Сеть, как минимум, должна предсказывать максимальный рост или падение неуспеваемости студентов (т. е. «выбросы» временного ряда) и позволять игнорировать «шумы».
В данной ситуации главное требование к модели прогнозирования - эффективное фиксирование всех выбросов каждого временного промежутка.
Для достижения этой цели надо изменить метод определения исходного вектора X, а именно, задать исходный вектор X, рассматривая
временной период за N контрольных точек до дня прогноза. При этом целесообразно использовать метод «скользящего окна», т. е. данный отрезок сдвигать вперёд во времени на каждом шаге прогноза.
Внутри промежутка из N контрольных точек находится точка с максимальным абсолютным ростом количества неуспевающих студентов, а затем формируется начальный вектор X, состоящий из N/2 последовательных значений до точки максимума. Далее проводится итеративная процедура обучения сети, описанная выше.
Данный этап обучения называется «обучением на максимуме». Затем можно перейти к следующему этапу - «обучению на минимуме». Исходный вектор X в данном случае формируется из N/2 значений до точки минимума - наименьшего абсолютного роста количества неуспевающих студентов на том же отрезке времени. При этом на втором этапе начальные векторы-отображения не формируются заново, а используются те, которые были получены в процессе «обучения на максимуме».
Сеть в процессе такого обучения будет извлекать информацию о формировании максимумов и минимумов в прошлом и затем на основе этой информации успешно прогнозировать «сбои» в будущем.
Таким образом, предложенная математическая модель и алгоритм реализации прогнозирования рисков в образовательном процессе с использованием искусственных нейронных сетей отличается от классического способа выбором начальных значений модели, которые, чаще всего, определяются случайно. В рамках
Рисунок 3. Модифицированная сеть Кохонена
ВЕСТНИК ОГУ №9 (170)/сентябрь '2014 185
рассмотренной модели начальные значения карт самоорганизации детерминированы спецификацией самой модели и являются обработанными с помощью метода главных компонент эмпирическими данными. Это позволяет свести к минимуму зависимость конечного результата работы сети от начальных значений. Применение различных подходов к обучению сети позволяет добиться приемлемых
результатов прогнозирования в долгосрочной перспективе.
Нейронные сети такого класса могут с достаточной точностью моделировать поведение и принятие решений субъектами образовательного процесса. Таким образом, карты самоорганизации являются эффективным инструментов для прогнозирования образовательных рисков.
20.07.2014
Работа выполнена при финансовой поддержке правительства Оренбургской области
и РФФИ грант №14-08-97031
Список литературы:
1. Бек, У. Общество риска. На пути к другому модерну / У. Бек. - М.: Прогресс-Традиция, 2000. - 384 с.
2. Ишакова, Е. Н. Методические основы идентификации и анализа рисков подготовки будущих программных инженеров / Е.Н. Ишакова, Ж.Г. Пискунова // Интеллект. Инновации. Инвестиции. - 2012. - №2. - С. 142-145.
3. Абрамова, И. Г. Теория педагогического риска: автореф. дис.... д-ра пед. наук / И.Г. Абрамова. - СПб., 1996. - 36 с.
4. Головачев, С.С. Использование искусственных нейронных сетей для прогнозирования американского фондового рынка в период кризиса / С.С. Головачев // Управление экономическими системами: Электронный научный журнал. - 2012. -№11 (47). - Режим доступа: http://www.uecs.ru/uecs-47-472012. - Дата доступа: 25.01.2014.
5. Круглов, В.В. Искусственные нейронные сети: Теория и практика / В.В. Круглов, В.В. Борисов. - М.: Горячая линия -Телеком, 2002. - 382 с.
6. Kohonen, Т. The self-organizing тар / T. Kohonen // Proceedings of the Institute of Electrical and Electronics Engineers. -1990. - V. 78. - P. 1464-1480.
7. Хайкин, С. Нейронные сети: полный курс, 2 издание : Пер. с англ. / С. Хайкин. - М.: Издательский дом Вильямс, 2006. -1104 с.
8. Jolliffe, I.T. Principal Component Analysis / I.T. Jolliffe. - New York: Springer-Verlag, 2002. - 489 p.
Сведения об авторах:
Ишакова Елена Николаевна, доцент кафедры программного обеспечения вычислительной техники и автоматизированных систем Оренбургского государственного университета, кандидат педагогических наук, доцент Зубкова Татьяна Михайловна, профессор кафедры программного обеспечения вычислительной техники и автоматизированных систем Оренбургского государственного университета,
доктор технических наук, профессор 460000, г. Оренбург, Шарлыкское шоссе, 5, ауд. 14405, е-mail: en_ischa@mail.ru; bars87@mail.ru
