CC BY
16
экономические науки
Аникин Валерий Иванович, Аникина Оксана Владимировна, Гущина Оксана Михайловна КВАНТИЛЬНАЯ ДИСПЕРСИОННАЯ МЕРА КАЧЕСТВА ОБУЧЕНИЯ НЕЙРОННОЙ ...
УДК 330:004.89
DOI: 10.26140/anie-2020-0902-0033
КВАНТИЛЬНАЯ ДИСПЕРСИОННАЯ МЕРА КАЧЕСТВА ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ КОХОНЕНА ПРИ РЕШЕНИИ ЭКОНОМИЧЕСКИХ ЗАДАЧ
© 2020
SPIN: 3803-0752 AuthorlD: 149093 ORCID: 0000-0002-6506-6997
Аникин Валерий Иванович, доктор технических наук, профессор кафедры «Информационный и электронный сервис» Поволжский государственный университет сервиса (445677, Россия, Тольятти, ул. Гагарина, 4, e-mail: anikin_vi@mail.ru)
SPIN: 4972-9776 AuthorlD: 770323 ORCID: 0000-0002-0676-0372
Аникина Оксана Владимировна, кандидат технических наук, доцент кафедры «Прикладная математика и информатика»
SPIN: 2503-0348 AuthorID 307236 ORCID: 0000-0003-2381-8537 ScopusID: 57204597843
Гущина Оксана Михайловна, кандидат педагогических наук, доцент, доцент кафедры «Прикладная математика и информатика» Тольяттинский государственный университет (445020, Росиия, Тольятти, ул. Белорусская, 14, e-mail: g_o_m@tltsu.ru) Аннотация. Одним из приоритетных направлений исследования в настоящее время являются нейронные сети, которые в решении экономических задач позволяют минимизировать риски возникновения множества проблем, связанных с отсутствием четкой методологии и математической модели. Наряду с классическими методами экономического моделирования и анализа нейросетевые технологии являются мощными инструментами для распознавания образов и прогнозирования в области финансов и экономики, предлагают генетические алгоритмы и естественные способы развития решений в компьютере, позволяют извлекать правила, выбирать входные данные, разрабатывать стратегии и оптимизировать финансово-экономические системы, нацеленные на достижение нескольких целей в различных условиях. Целью данного исследования являлась разработка критерия и методики оценки качества обучения искусственной нейронной сети Кохонена в задачах кластеризации и визуализации многомерных экономических данных, а также разработка сценария для исследования и сравнения качества разных алгоритмов обучения SOM. Основным методом, применяемым для оценки качества обученных SOM являлся критерий минимизации вычислительно эффективной интегральной квантильной меры дисперсии QDM. Исследование и сравнение качества алгоритмов обучения SOM с использованием QDM осуществлялось с помощью разработанного авторами сценария на языке программирования R. Результаты модельных экспериментов показали, что качество обучения SOM клеточным автоматом на использованной тестовой обучающей выборке данных существенно превышает качество ее обучения классическим пакетным алгоритмом Кохонена.
Ключевые слова: кластеризация, нейронная сеть, нейросетевые технологии, меры качества обучения, самоорганизующаяся карта Кохонена, интегральная квантильная дисперсионная мера, клеточный автомат
QUANTILE DISPERSION MEASURE OF QUALITY TRAINING OF THE KOHONEN NEURAL NETWORK IN SOLVING ECONOMIC TASKS
© 2020
Anikin Valerii Ivanovich, doctor of technical sciences, professor, professor of the cathedra "Information and electronic services" Volga State University of Service (445677, Russia, Togliatti, st. Gagarin, 4, e-mail: anikin_vi@mail.ru) Anikina Oksana Vladimirovna, candidate of technical sciences, associate professor of «Applied Mathematics and Computer Science» Gyshchina Oksana Mihailovna, candidate of pedagogical sciences, associate professor of «Applied Mathematics and Computer Science» Togliatti State University (445020, Russia, Togliatti, Belorusskaya st., 14, e-mail: g_o_m@tltsu.ru) Abstract. One of the priority areas of research at present is neural networks, which in solving economic problems can minimize the risks of many problems associated with the lack of a clear methodology and mathematical model. Along with the classical methods of economic modeling and analysis, neural network technologies are powerful tools for pattern recognition and forecasting in the field of finance and economics, they offer genetic algorithms and natural ways of developing solutions in a computer, they allow you to extract rules, choose input data, develop strategies and optimize financial and economic systems aimed at achieving several goals in different conditions. The aim of the work was to develop a criterion and methodology for assessing the quality of training of the Kohonen artificial neural network in the problems of clustering and visualization of multidimensional economic data, as well as developing a scenario for studying and comparing the quality of different SOM training algorithms. The main method used to assess the quality of trained SOM was the criterion for minimizing the computationally effective integrated quantile dispersion measure QDM. The study and comparison of the quality of SOM training algorithms using QDM was carried out using a script developed by the authors in the programming language R. The results of model experiments showed that the quality of SOM training by a cellular automaton on the test training data sample used significantly exceeds the quality of its training with the Kohonen classic batch algorithm.
Keywords: clustering, neural network, neural network technologies, training quality measures, Kohonen self-organizing map, integral quantile dispersion measure, cellular automaton.
ВВЕДЕНИЕ_Постановка проблемы в общем виде и ее связь с важ-
Anikin Valerii Ivanovich, Anikina Oksana Vladimirovna, Gyshchina Oksana Mihailovna QUANTILE DISPERSION MEASURE OF QUALITY TRAINING OF THE KOHONEN ..
economic sceinces
ными научными и практическими задачами.
Одним из приоритетных направлений исследования в настоящее время являются искусственные нейронные сети [1].
Они позволяют решать экономические задачи, такие как предсказание биржевых котировок, исследование спроса и предложения, оценка кредитных рисков, для которых существует множество проблем, обусловленных отсутствием четкой методологии и математической модели.
Как особый тип искусственных нейронных сетей, самоорганизующиеся карты (Self-Organizing Maps - SOM) Кохонена обучаются с использованием неконтролируемого конкурентного обучения для получения низкоразмерного дискретного представления входного пространства, называемого картой характеристик [2-5]. Данные с похожими характеристиками образуют в выходном пространстве кластеры, что упрощает корреляционный анализ.
Топологии SOM могут быть одно-, двух- и даже трехмерными, но наиболее распространенными являются двумерная прямоугольная или гексагональная решетка. Нейроны в решетке взаимодействуют друг с другом, используя функцию соседства (чаще всего гауссовскую или цилиндрическую).
Перед обучением узлы SOM предварительно инициализируют: 1) случайными значениями, 2) случайно выбранными обучающими образцами, 3) детерминированными значениями, учитывающими распределение обучающих данных.
Обучение SOM выполняется одним из двух алгоритмов: последовательным (online) или пакетным (batch). Для обеспечения стабильности и сходимости алгоритма скорость обучения и радиус окружения с каждой итерацией постепенно уменьшаются до 0.
SOM обладают четырьмя важными свойствами:
1) аппроксимация входного пространства и уменьшение размерности путем отображения многомерных данных на решетку их узлов,
2) топологическое упорядочение кодовых векторов (нейронов),
3) аппроксимация плотности распределения данных,
4) сохранение основных характеристик входного пространства данных, - которые делают SOM уникальными среди других искусственных нейронных сетей.
Общей фундаментальной особенностью нейронных сетей является их способность обучаться, что принципиально выделяет их в сравнении с системами, которые действуют по определенным правилам.
Во многих случаях точность расчетов в решении задач прогнозирования и планирования, полученная с помощью аппарата нейронных сетей, оказывается гораздо выше, чем при использовании классических методов. В связи с этим, качество обучения нейронной сети играет важную роль в получении результирующих показателей, поэтому важно выбрать наиболее эффективный алгоритм обучения сети на основе оценки качества ее обучения.
Анализ последних исследований и публикаций, в которых рассматривались аспекты этой проблемы и на которых обосновывается автор; выделение неразрешенных раньше частей общей проблемы. Достаточно полный обзор направлений и путей применения искусственных нейронных сетей разного типа в экономике можно найти в работах [6-11].
Что касается нейронных сетей Кохонена, то, как показывают результаты работ [12-17], основное применение в экономике они находят в задачах кластеризации и визуализации многомерных данных.
Разные авторы использовали SOM для анализа основных социально-экономических показателей административных районов Ставропольского края [12], исследования динамики инновационной деятельности регионов России [13], кластеризации компаний по управ-
лению активами [14], разработки кластерной структуры территориально-административных образований [15], кластеризации и рейтингования банков [16], динамики котировок фондового рынка [17].
К сожалению, ни в одной из этих работ не поднимается вопрос о качестве и критериях топологического отображения входного пространства обучающих данных на выходную решетку SOM.
МЕТОДОЛОГИЯ
Формирование целей статьи (постановка задания). Целью исследования является разработка методики оценки качества обучения искусственной нейронной сети Кохонена, а также разработка сценария для исследования и сравнения разных алгоритмов обучения SOM.
Постановка проблемы в общем виде и ее связь с важными научными и практическими задачами.
Одним из фундаментальных особенностей нейронных сетей является их способность обучаться, что делает их наиболее привлекательными в сравнении с системами, которые действуют по определенным правилам. Существует ряд алгоритмов обучения, но все они имеют как достоинства, так и свои недостатки.
Во многих случаях точность расчетов в решении задач прогнозирования и планирования, полученных с помощью аппарата нейронных сетей, оказывается гораздо выше, чем при использовании классических методов. В связи с этим, качество обучения нейронной сети играет важную роль в получении результирующих показателей, поэтому важно выбрать наиболее эффективный алгоритм обучения сети на основе оценки качества ее обучения.
РЕЗУЛЬТАТЫ
Изложение основного материала исследования с полным обоснованием полученных научных результатов. Самоорганизующуюся карту Кохонена можно рассматривать как нелинейное обобщение метода главных компонент. Аналогично классическим алгоритмам кластеризации, качество SOM сильно зависит от условий инициализации: начальных значений кодовых векторов, функции соседства, скорости обучения, последовательности подачи обучающих образцов, числа эпох обучения и другое [2-3].
Обычно качество SOM оценивается по тому, насколько хорошо она сохраняет топологию входных данных. Это означает, что образцы данных, соседствующие друг с другом во входном пространстве, в выходном пространстве должны проецироваться на соседние узлы решетки SOM.
Было предложено несколько количественных критериев оценки качества SOM [18]: ошибка квантования QE; топографическая ошибка TE; дисторсия DE.
Одной из важных особенностей дисторсии является то, что ее можно разложить на три составляющие [19]:
- локальная дисперсия данных - оценивает ошибку квантования;
- дисперсия функции соседства - оценивает качество топологического отображения;
- скос функции соседства - связывает два предыдущих компонента, интерпретируется авторами [19] как величина натяжения между ними.
Таким образом, именно дисторсию следует использовать для выбора SOM, наилучшим образом соответствующей обучающим данным. Главным недостатком дисторсии является вычислительная сложность алгоритма ее расчета.
Предлагаемая нами интегральная квантильная дисперсионная мера QDM (QDM - Quantile Dispersion Measure) оценки качества обученной SOM вычисляется по формуле:
QDM = i^I^jQ^-Q^vyf j
где Q^x®) - i-ая квантиль j-ой координаты (столбца) данных; Q^w®) - i-ая квантиль j-ой координаты кодовых векторов нейронов во входном пространстве раз-
экономические науки
Аникин Валерий Иванович, Аникина Оксана Владимировна, Гущина Оксана Михайловна КВАНТИЛЬНАЯ ДИСПЕРСИОННАЯ МЕРА КАЧЕСТВА ОБУЧЕНИЯ НЕЙРОННОЙ ...
мерностью ^ N - размер выборки обучающих данных. Заметим, что квантили координат Qi(x®) и мож-
но отобразить на одном графике и сравнивать их друг с другом, можно также вычислить квантильные дисперсионные меры QDM® по отдельным координатам кодовых векторов:
ÇDM» = S? J&fetf)-Q¡(w'j')] =
(2)
Благодаря простоте и эффективности алгоритма вычисления норму QDM можно определять в каждой эпохе обучения, что позволяет не только сравнивать между собой разные алгоритмы, но и наблюдать ее изменение динамически, непосредственно в процессе обучения SOM.
Исследование и сравнение алгоритмов обучения SOM с использованием критерия качества QDM осуществлялось с помощью разработанного нами сценария на языке программирования R.
Сценарий позволял в одной реализации опыта выполнять обучение нейронной сети Кохонена при разных параметрах ее инициализации последовательно двумя алгоритмами: классическим batch-алгоритмом Кохонена som.koh и клеточным автоматом som.ca в конфигурации init или far [20].
Оценка качества обученных SOM осуществлялась по критерию минимизации интегральной квантильной меры дисперсии QDM.
Обучение SOM клеточным автоматом [20] выполнялось за три фазы:
- разворачивание узлов SOM;
- обучение SOM клеточным автоматом с дополнительным поворотом карты на угол dalfa;
- дообучение SOM алгоритмом k-means (фаза WTA -Winner Takes All).
Для сравнения квантильных дисперсионных мер QDM использовались специальная двумерная обучающая выборка данных, содержащая N=4000 образцов, случайно распределенных в квадратной области, и прямоугольная решетка SOM размером 20*20 узлов.
Поворот карты на угол dalfa во 2-ой фазе обучения SOM алгоритмом som.ca возмущает состояние всех узлов сети, особенно периферийных, и, аналогично алгоритму имитации отжига, способствуют глобальной минимизации интегрального критерия качества QDM.
Из графика зависимости QDM от номера эпохи обучения epoch (рис.1) видно, что квантильная мера дисперсии монотонно убывает во 2-ой фазе (обучение клеточным автоматом), скачком уменьшается при повороте карты на угол dalfa и быстро приходит в конечное стационарное состояние в 3-ей фазе обучения SOM алгоритмом k-means.
Рисунок 1 - Зависимость QDM от числа эпох обучения
На графиках (рис.2) показана зависимость разности квантилей координат х, у кодовых и обучающих векторов x. от номера квантили во 2-ой и 3-ей фазах обучения (заметим, что в недостижимом идеале графики должны совпадать с прямыми ДQx=0, Д0у=0).
Хорошо видно, что в данных экспериментальных условиях качество обучения SOM клеточным автоматом (черные линии) существенно превышает качество ее обучения пакетным алгоритмом Кохонена (серые линии): результирующее отношение квантильных мер составляет QDMзom т . , 0.406._
Рисунок 2 - Разность квантилей обучающих данных и кодовых векторов по координатам x и y для som.ca (черная линия) и som.koh (серая линия)
Выводы исследования и перспективы дальнейших изысканий данного направления. Результаты модельных экспериментов, изложенные в статье, демонстрируют потенциал нейронных сетей Кохонена для обнаружения знаний и интеллектуального анализа данных в области финансов, экономики и маркетинга. СПИСОК ЛИТЕРАТУРЫ:
1. Шуравин А.П., Вологдин С.В. Применение нейронных сетей в экономических задачах // Социально-экономическое управление: теория и практика. 2018. №2(33). С. 64-66.
2. Кохонен Т. Самоорганизующиеся карты // М.: БИНОМ. Лаборатория знаний. 2008. 655 с.
3. Хайкин С. Нейронные сети: Полный курс / С. Хайкин. - М. : Вильямс. 2006. 1104 с.
4. CottrellM., OlteanuM., Rossi F., Villa-VialaneixN. Theoretical and Applied Aspects of the Self-organizing Maps //Advances in Self-Organizing Maps and Learning Vector Quantization. Houston, TX, United States. Springer International Publishing Switzerland. 2016. P. 3-26.
5. MiljkovicD. Brief review of self-organizing maps//40th International Convention on Information and Communication Technology Electronics and Microelectronics (MIPRO). 2017. P. 1061-1066.
6. Гареева Г.А., Григорьева Д.Р., Гилязеев Т.В. Применение нейронных сетей в экономике //Молодой ученый. 2018. №18. С. 306-309.
7. Шуравин А.П., Вологдин С.В. Применение нейронных сетей в экономических задачах // Социально-экономическое управление: теория и практика. 2018. №2(33). С. 64-66.
8. Курников Д.С., Петров С.А. Использование нейронных сетей в экономике // Juvenis scientia. 2017. № 6. С. 10-12
9. Бирюков А.Н. Нейросетевое моделирование в бюджетно-аналоговой системе регионального и муниципального уровней // Автореферат диссертации на соискание ученой степени доктора экономических наук. Пермь. 2011
10. Никифорова Н.А. Применение нейросетевого моделирования для прогнозирования финансового состояния предприятий / Н.А. Никифорова, Е.В. Донцов // Управленческий учет. 2011. № 4.
11. Макарова Н.А., Свистула И.А. Применение искусственных нейронных сетей для выявления возможностей искусственной интеграции АПК // Труды XVI Всероссийской конференции DICR-2017, Новосибирск, 4-7 декабря 2017 г. C. 128-134.
12. Мамаев И.И., Сахнюк П.А., Сахнюк Т.И. Применение карт Кохонена для анализа основных социально-экономических показателей административных районов Ставропольского края // Современные исследования социальных проблем (электронный научный журнал). 2012. № 12. С. 66
13. Петрова В.И., Зайцева К.В. Исследование динамики инновационной деятельности регионов России с применением нейросетевого моделирования // Экономический анализ: теория и практика. 2017. Т.16, Вып.5. С. 887-901
14. Путятина А.Е. Применение сетей Кохонена для кластеризации компаний по управлению активами // Радиоэлектроника и информатика. 2007. № 3. С. 96-100.
15. Родионов М.Г., Самарин А.М. Применение нейросетевых технологий для разработки кластерной структуры территориально-административных образований // Вестник СибАДИ. 2015. Вып.2(42). С. 150-157
16. Аникин В.И., Карманова А.А. Кластеризация и рейтингование банков с помощью нейронной сети Кохонена в среде MS Excel // Тезисы докладов XVВсероссийской конференции молодых ученых по математическому моделированию и информационным технологиям. Пермь. 2014. С.59
17. Beluco A., Bandeira D.L., Beluco A. Modeling NYSE Composite US 100 Index with a Hybrid SOM and MLP-BP Neural Model // Risk and Financial Management. 2017. V. 10. P. 1-13
18. Najet, A.. On the Search of Organization Measures for a Kohonen Map Case Study: Speech Signal Recognition / A. Najet, E. Noureddine // International Journal of Digital Content Technology and its Applications. 2010.V. 4, No. 3. P. 75-84
19. Vesanto, J. On the Decomposition of the Self-Organizing Map Distortion Measure / J.Vesanto, M. Sulkava, J. Hollmen // Proceedings of the Workshop on Self-Organizing Maps, Hibikino, Kitakyushu, Japan.
Anikin Valerii Ivanovich, Anikina Oksana Vladimirovna, Gyshchina Oksana Mihailovna QUANTILE DISPERSION MEASURE OF QUALITY TRAINING OF THE KOHONEN ..
economic sceinces
2003. Р. 11-16
20. Аникин, В.И. Кластеризация и классификация многомерных данных клеточной нейронной сетью Кохонена / В.И. Аникин, А.А. Карманова//Информационные технологии. 2015. Т.21. № 6. С.470-477
Статья поступила в редакцию 15.02.2020 Статья принята к публикации 27.05.2020
