CC BY
39
УДК 330.46
ПРИНЦИПЫ СИНТЕЗА АССОЦИАТИВНЫХ НЕЙРОМАШИН ИДЕНТИФИКАЦИИ СЛОЖНЫХ ЭКОНОМИЧЕСКИХ ОБЪЕКТОВ
ХМЕЛЁВ А. Г.
кандидат технических наук Донецк
Вопросам управления предприятиями с использованием искусственных нейронных сетей (ИНС) посвящены работы отечественных и зарубежных уче-ных: Ю. Г. Лысенко, А. В. Матвийчука, И. З. Батыршина, Д. А. Поспелова, Н. Дюбуа, М. Сугэно, и многих других. Теоретические основы аппарата искусственных нейронных сетей в задачах моделирования были исследованы в работах украинских и российских ученых: А. И. Галушкина, В. А. Головко, А. Н. Горбаня, Б. Б. Нестеренко, М. А. Новотарского, С. А. Терехова и др. Среди зарубежных авторов спектр работ по данному направлению представлен шире. В течение последних лет мировое научное сообщество наиболее часто отмечает, что весомый вклад в развитие математических основ данного направления внесли исследователи: С. Амари, С. Гросберг, С. Дуглас, Ф. Усармен, Б. Уидроу, Т. Кохо-нен, С. Холден, Р. Тьюринг, С. Хайкин, Д. Хеб., Р. Хехт-
Нильсен, Д. Хопфилд, Х. Янг и др. Практический аспект нашел свое отражение как в работах вышеназванных авторов, так и в публикациях В. В. Борисова, В. В. Круглова, Е. В. Харитонова, В. Г. Царегородцева и др.
Целью данной работы является анализ принципов синтеза возможных архитектур ассоциативных нейромашин в задачах экономико-математического моделирования. На рис. 1 показана типичная организация простейшей ассоциативной нейромашины - комитета или ансамбля ИНС. В простейшем случае комитет ИНС реализует функцию усреднения по ансамблю. Данная структура является базовой для всех ассоциативных нейромашин, обширная библиография по данному направлению исследований была приведена в работах [1, 2, 3].
Подводя итоги анализа, предложенного в фундаментальной работе [4], можно сделать вывод, что совокупность нейронных сетей эффективнее в смысле точности работы, чем одиночная ИНС. Причины этого явления следующие:
+ отдельные ИНС комитета обучаются быстрее, чем одиночная ИНС с тем же суммарным количеством настраиваемых параметров (весов), кроме того экземпляры ИНС возможно обучать параллельно;
ЕКОНОМІКА ЕКОНОМіКО-МАТЕМАТИЧИЕ МОДЕЛЮВАННЯ
ЕКОНОМІКА ЕКОНОМіКО-МАТЕМАТИЧНЕ МОДЕЛЮВАННЯ
Входной
сигнал
х(п)
Усреднение мнений экспертов
ЭКСПЕРТ 2 У2(п)
■ ■ ■
Выходной
сигнал
У(п)
Рис. 1. Ансамбль искусственных нейронных сетей с усреднением выходного сигнала
+ для одиночной ИНС, в которой число весов равно суммарному числу весов комитета, риск переобучения существенно выше за счет многократного увеличения размерности пространства поиска.
Очевидно, что некоторые из экспертов имеют более высокую точность прогноза, а некоторые, напротив, пониженную. Поэтому существует потенциальная возможность дополнительного улучшения качества работы ансамбля ИНС за счет изменения веса экспертов. Кроме того, процедура обучения отдельных экспертов и набор данных для обучения могут также отличаться. Эти особенности послужили толчком для развития структуры и методов обучения ИНС: в рамках парадигмы объединения нескольких нейросетей это возможно по нескольким основным направлениям. Рассмотрим данные направления подробнее.
Одним из способов улучшить эффективность ассоциативной нейромашины является фильтрация данных для обучения ИНС-экспертов. Общая идея состоит в том, чтобы усилить вес «неудобных» примеров из выборки. Сделать это можно двояко: либо искусственно увеличить вес, а, значит, и частоту подачи в цикл обучения этих примеров, либо формировать экспертов не на всех, а только на проблемных данных. Первое направление построения ассоциативных машин известно как метод AdaBoost [5, 6], изменения алгоритма работы кото-рого по сравнению с ансамблем ИНС, касается лишь данных, а потому структура практически совпадает с рис. 1, однако каждый эксперт обучается на адапти-рованной к ошибке выборке (распределение данных изменяется по итогам анализа работы предыдущего эксперта). Метод имеет два весьма значительных и принципиальных преимущества: ошибка обобщения всегда уменьшается с ростом числа экспертов; данные для обучения новых экспертов используются повторно, что несколько снижает требования к объему выборки. Серьезным недостатком AdaBoost является принципи-
альная невозможность распараллеливания вычислительных процессов для обучения отдельных экспертов, что сужает сферу применения алгоритма сравнительно малоёмкими задачами. Другое направление фильтрации [4], показанное на рис. 2, применяется в основном в классифицирующих ИНС и основано на вычленении из общей выборки двух дополнительных наборов: взвешенных по ошибке классификации примеров, и противоречивых примеров. Данное направление известно как метод усиления за счет фильтрации выборки [7].
Также существуют способы повышения точности ИНС, основанные на архитектурной модификации ансамбля ИНС. В этом случае обработка мнений экспертов носит апостериорный характер. На рис. 3 показана структура ассоциативной нейромашины смешения мнений экспертов. В отличие от рассмотренных методов усиления за счет фильтрации и изменения распределения данных в обучающей выборке, ассоциативная машина смешения мнений имеет отдельную управляющую ИНС шлюза, которая взвешивает полученные отдельными экспертами оценки выходного параметра. Важнейшим отличием является то, что классификационная (КИНС) сеть шлюза позволяет оценить, как именно распределить вес между отдельными экспертами на основе процедуры разделения исходной обучающей выборки на конечное число классов (равное числу экспертов), причем КИСН является 8в/Шах-сетью, у которой сумма выходных значений для нейронов выходного слоя всегда равна единице, поэтому отдельное значение каждой переменной на выходе сети фактически является искомым весом для соответствующего этому выходу эксперта.
Данная КИНС может быть сформирована несколькими способами:
+ автоассоциативная ИНС Кохонена формируется из исходного обучающего набора - в этом случае классификация выполняется до формирования экспертов (способ возможен лишь для высоких объемов выборки имеет недостаток -
N данных, статистика
N2 данных ЭКСПЕРТ 1 ^ которых отличается от
после примеров,
фильтрации использовавшихся для
экспертом 1 обучения 1 эксперта
Фильтрация данных, выполненная экспертом 1
N3 данных
после экспертов 1 и 2
N1 данных, статистика I которых отличается от | примеров обучения 1 и 2 экспертов
Фильтрация данных, выполненная экспертами 2 и 3 Рис. 2. Схема обучения нейромашины с усилением за счет фильтрации
Выходной сигнал У
Рис. 3. Структурная схема ассоциативной нейромашины смешения мнений
классификация основана на геометрии входных данных);
+ гетероассоциативная ИНС внешней классификации [9] - в этом случае ИНС шлюза является КИНС прямого распространения и обучается классифицировать входной вектор по итогам сторонней процедуры классификации данных для экспертов: метод А-средних; метод нечеткой кластеризации С-средних; графовые алгоритмы кластеризации; статистические ал-
горитмы кластеризации; алгоритмы семейства БОИЕЬ; иерархическая кластеризация или таксономия; ЕМ-алгоритм; метод просеивания; дискриминантный анализ и др.;
+ гетероассоциативная ИНС ошибок обучения -в этом случае ИНС шлюза является КИНС прямого распространения и обучается классифицировать входной вектор по итогам сторонней процедуры модификации данных для экспертов (AdaBoost или любой другой);
ЕКОНОМІКА ЕКОНОМіКО-МАТЕМАТИЧНЕ МОДЕЛЮВАННЯ
ЕКОНОМІКА економіко-математичне моделювання
+ гетероассоциативная ИНС ошибок обобщения - в этом случае ИНС шлюза является КИНС прямого распространения и обучается классифицировать входной вектор по фактическим ошибкам обобщения экспертов.
Дальнейшее совершенствование архитектуры ИНС возможно за счет экстенсивного развития предложенных методик и алгоритмов, поэтому сопряжено с существенным ростом вычислительной сложности. Среди интенсивных методов развития следует отметить иные архитектурные решения, которые ориентированы на строго определенный класс решаемых задач: сверточные ИНС, ИНС Хопфилда, сети на основе радиальных базисных векторов и др. Тем не менее в задачах экономикоматематического моделирования нередко возникает ситуация, когда производительности отдельных ИНС и даже их ансамблей может оказаться недостаточно.
Причинами такого явления могут быть:
+ разрывность аппроксимируемых пространств в силу дискретной природы процессов исследуемого объекта и часто, как следствие, высокая степень эмерджентности моделируемого экономического объекта;
+ повышенный уровень сложности протекающих процессов, который определяется различной природой взаимодействующих субъектов и поэтому может потребовать комбинированной кластеризации данных;
+ повышенный уровень емкости обрабатываемой информации, в условиях которого требуется иерархическая организация процесса моделирования.
Для подобных задач целесообразно использовать ассоциативные машины иерархического (рис. 4) смешивания мнений.
Приведенная структура является предпочтительной в тех случаях когда классические ИНС или, рассмотренные выше, ассоциативные нейромашины оказались неэффективны. Возможность комбинирования различных методов кластеризации для КИНС шлюза, а также различных подходов к обучению экспертов позволяет идентифицировать процессы в сложных экономических системах [8] на качественно новом уровне, а именно с учетом потенциальной возможности разрыва как самого гиперпространства состояний, так его производных. ■
Входной
вектор
Сеть шлюза второго уровня
x
Сеть шлюза первого уровня
Рис. 4. Ассоциативная нейромашина иерархического смешения мнений экспертов ИНС для двух уровней
иерархии
ЛИТЕРАТУРА
1. Perrone M. P. «Improving regression estimation: Averaging methods for variance reduction with extensions, to general convex measure optimization», Ph. D. Thesis, Brown University, Rhode Island, 1993.
2. Hashem S. «Optimal linear combinations of neural networks», Neural Networks, 1997, vol. 10, p. 599 - 614.
3. Wolpert D. H. «Stacked generalization», Neural Networks, 1992, vol. 5, p. 241 - 259.
4. Саймон Хайкин. Нейронные сети: полный курс = Neural Networks: A Compre-hensive Foundation.- 2-е изд.- М.: «Вильямс», 2006.- С. 1104. ISBN 0-13-273350-1
5. Freund Y. and R. E. Schapire. «Experiments with a new boosting algorithm», Machine Learning: Proceedings of the Thirteenth International Conference, 1996, p. 148 - 156, Bari, Italy.
6. Freund Y. and R. E. Schapire. «Game theory, On-line prediction and boosting», Proceedings of the Ninth Annual Conference on Computational Learning Theory, 1996, p. 325 -332, Decenzano del Garda, Italy.
7. Schapire R. E. «The strength of weak learnability», Machine Learning, 1990, vol. 5, p. 197 - 227.
8. Лысенко Ю. Г., Минц А. Ю., Стасюк В. Г. Поиск эффективных решений в экономических задачах.- Донецк: ДонНУ; ООО «Юго-Восток, Лтд», 2002.- 101 с.
9. Дюк В. А., Самойленко А. П. Data Mining: учебный курс.- СПб.: Питер, 2001.- 314 с.
ЕКОНОМІКА економіко-математичне моделювання
