Метод селекции обучающих примеров в нейросетевых классификаторах Текст научной статьи по специальности «Компьютерные и информационные науки»

Решетнеескцие чтения. 2015

Инициализация алгоритма - случайно, равномерно в пространстве поиска. Начальное распределение ресурсов - поровну между всеми алгоритмами. Схема перераспределения ресурсов - «лучший заменяет худшего». При этом для миграции индивидов используются решения, ранее определенные как центры областей притяжения (оценки локальных оптимумов). Критерий остановки - как в обычном ГА.

Результаты численных экспериментов. Для оценки эффективности подхода использовано 2 тестовых набора: 6 бинарных задач из [4] и 8 вещественных (требующих бинаризации) задач с конкурса по ММО в рамках конференции СЕС'2013 [5].

Результаты работы ЗеНММООА сравнены с результатами применения других известных алгоритмов. Все алгоритмы в сравнениях имели одинаковое

References

1. Das, S., Maity, S., Qub, B.-Y., Suganthan, P. N. Real-parameter evolutionary multimodal optimization: a survey of the state-of-the art. Swarm and Evolutionary Computation 1. 2011. Pp. 71-88.

2. Sopov E. A Self-configuring Metaheuristic for Control of Multi-Strategy Evolutionary Search. ICSI-CCI 2015, Part III, LNCS 9142. 2015. Pp. 29-37.

3. Preuss M., Wessing S. Measuring multimodal optimization solution sets with a view to multiobjective techniques. EVOLVE - A Bridge between Probability, Set Oriented Numerics, and Evolutionary Computation

ограничение на число вычислений целевой функции. Задачи CEC'2013 решались строго по правилам конкурса. Усредненные результаты для задач CEC представлены в табл. 2 и сравнены с подходами - участниками и победителями конкурса. Критерии оценки эффективности: PR (Peak Ratio) - процент найденных оптимумов, SR (Success Rate) - процент успешных запусков (все оптимумы найдены).

Заключение. В работе предложена самоконфигурируемая метаэвристика для решения задач ММО, позволяющая автоматизированно управлять работой многих ГА с различными стратегиями поиска. Подход показывает результаты, сравнимые с другими известными алгоритмами, но не требует привлечения дополнительных знаний о решаемой задаче и об используемых алгоритмах.

IV. AISC. Vol. 227, Springer, Heidelberg. 2013. Pp. 123137.

4. Yu E. L., Suganthan P. N. Ensemble of niching algorithms. Information Sciences. 2010. Vol. 180, No. 15. Pp. 2815-2833.

5. Li X., Engelbrecht A., Epitropakis M. G. Benchmark functions for CEC'2013 special session and competition on niching methods for multimodal function optimization. Evol. Comput. Mach. Learn. Group. RMIT University, Melbourne, VIC, Australia. Tech. Rep. 2013b.

© Сопов Е. А., 2015

Таблица 2

Сравнение подходов на тестовом наборе CEC'2013

Алгоритм Self MMOGA DE/nrand/ 1/bin cDE/rand/ 1/bin N-VMO dADE/ nrand/1 PNA-NSGAII

Критерий PR SR PR SR PR SR PR SR PR SR PR SR

Среднее 0,916 0,780 0,837 0,750 0,822 0,706 0,956 0,854 0,956 0,784 0,893 0,759

Ранг по PR 2 4 5 1 1 3

Ранг по SR 3 5 6 1 2 4

УДК 519.87

МЕТОД СЕЛЕКЦИИ ОБУЧАЮЩИХ ПРИМЕРОВ В НЕЙРОСЕТЕВЫХ

КЛАССИФИКАТОРАХ*

В. В. Становов1, Д. И. Хритоненко2, А. Шкраба3

1,2Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31

3Университет Марибора Словения, SI-4000, г. Крань, Кидричева цеста, 55а Е-таП: 1vladimirstanovov@yandex.ru, 2hdmitry.91@mail.ru, эаМге_|^кгаЬа(@от.ит-тЬ^

Рассматривается решение задач классификации искусственными нейронными сетями с использованием оригинального метода активной селекции обучающих примеров. Описывается основная идея метода. Работоспособность разработанного алгоритма демонстрируется на шести практических задачах классификации.

* Работа выполнена в рамках и при финансовой поддержке проекта RFMEFI57414X0037.

Математические методы моделирования, управления и анализа данных

Показано, что активная селекция обучающих примеров позволяет не только снизить время обучения классификатора, но и повысить качество классификации.

Ключевые слова: нейронные сети, классификация, селекция обучающих примеров, эволюционные алгоритмы.

INSTANCE SELECTION METHOD IN ANN-BASED CLASSIFIERS*

V. V. Stanovov1, D. I. Khritonenko2, A. Skraba3

1,2Reshetnev Siberian State Aerospace University 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation 3University of Maribor 55a, Kidriceva cesta, Kranj, SI-4000, Slovenia Е-mail: 1vladimirstanovov@yandex.ru, 2hdmitry.91@mail.ru, 3andrej.skraba@fov.uni-mb.si

In this article solving the classification problem with artificial neural networks using novel instance selection method is considered. The developed approach of workability is demonstrated on six real-world classification problems. It is shown, that introduced active instance selection allows not only reducing the classifier training time, but also increasing the classification quality.

Keywords: evolutionary algorithms, neural networks, instance selection, classification.

Классической проблемой при решении реальных задач классификации является необходимость обрабатывать большие объемы данных. Вследствие этого становится невозможным использование ряда методов машинного обучения. Одним из путей решения данной проблемы является использование методов селекции обучающих примеров (instance selection).

Основная идея предлагаемого метода селекции обучающих примеров [1; 2] заключается в формировании подвыборок ограниченного объема, которые формируются из обучающей выборки. Формирование подвыборок происходит следующим образом:

1. Каждому примеру из выборки назначается счетчик Ui, обозначающий число успешных использований данного примера. Изначально счетчики устанавливаются как Ui = 1, i = 1, ..., n.

2. Запускается процесс обучения на некоторое число итераций (период адаптации), в конце которого обновляются счетчики. Если пример j был классифицирован верно, то Ut = Ut + 1, иначе Ut = 1.

3. После обновления счетчиков формируется новая подвыборка с учетом новых значений счетчиков. При этом вероятность того, что пример i будет включен в новую подвыборку, рассчитывается по формуле (1). После формирования новой подвыборки осуществляется переход к шагу 2:

Сравнение значений точности классификации

Задача Обучающая Тестовая

Без селекции С селекцией Без селекции С селекцией

Australian 0,887 0,885 0,861 0,860

German 0,741 0,758 0,704 0,719

Phoneme 0,766 0,778 0,763 0,774

Ring 0,769 0,760 0,740 0,748

Twonorm 0,978 0,978 0,971 0,974

Magic 0,779 0,785 0,776 0,783

pi -rfW -

•¿-Jj —1, n j

При проведении численных экспериментов структура нейронной сети выбиралась вручную: задавалось по 20-25 нейронов в одном скрытом слое, в качестве функции активации была выбрана сигмоида. Для обучения нейросети использовался самоконфигурируемый генетический алгоритм (ГА) оптимизации [3-5]. Число индивидов задавалось равным 100, число поколений - 2000. Размер подвыборки устанавливался равным 20 % от исходной выборки, длина периода адаптации задавалась равной 100 поколениям ГА. В качестве метода классификации и алгоритма его обучения могут быть использованы и другие подходы, например метод опорных векторов, обучаемый алгоритмом PSO [6].

В качестве задач классификации были выбраны шесть задач из репозиториев UCI [7] и KEEL [8]. В таблице представлены результаты сравнения оригинального алгоритма (без селекции обучающих примеров) с модифицированным. Приводятся значения точности классификации на обучающей и тестовой выборках.

Решетневские чтения. 2015

По результатам сравнения можно заключить, что на тестовой выборке на 5 задачах из 6 селекция обучающих примеров позволила повысить точность классификации. При этом на задаче Australian разница между оригинальным и модифицированным методом незначительна. Также стоит отметить, что селекция обучающих примеров позволяет снизить разницу между точностью на обучающей и тестовой выборках, т. е. снизить эффект переобучения. При этом время, требуемое для обучения классификаторов, снижается в среднем в 5 раз.

References

1. Stanovov V., Semenkin E. Hybrid self-configuring evolutionary algorithm for automated design of fuzzy logic rule base // 11th Intern. Conf. on Fuzzy Systems and Knowledge Discovery (FSKD, Xaimen, China). 2014. No. 19-21. Pp. 317-321.

2. Stanovov V., Semenkin E., Semenkina O. Instance Selection Approach for Self-configuring Hybrid Fuzzy Evolutionary Algorithm for Imbalanced Datasets // ICSI-CCI 2015. Part I, LNCS 9140, 2015. Pp. 451-459.

3. Khritonenko D. I., Semenkin E. S. Distributed Self-Configuring Evolutionary Algorithms For Artificial

Neural Networks Design // Vestnik SibGAU. 2013. No. 4(50). Pp. 112-116.

4. Khritonenko D. I., Semenkin E. S., Sugak E. V., Potilitsina E. N. Solving the problem of city ecology forecasting with neuro-evolutionary algorithms // Vestnik SibGAU. 2015. Iss. 16, No. 1, pp. 137-142.

5. Brester C., Semenkin E. Development of adaptive genetic algorithms for neural network models multicriteria design // Vestnik SibGAU. 2013. No. 4(50), pp. 99-103.

6. Akhmedova S. A., Semenkin E. S., Gasanova T., Minker. W. Co-Operation of Biology Related Algorithms for Support Vector Machine Automated Design // Engineering and Applied Sciences Optimization (OPT-i' 14). 2014.

7. Asuncion A., Newman D. UCI machine learning repository / University of California, Irvine, School of Information and Computer Sciences. 2007.

8. Alcala-Fdez J. [et al.]. KEEL: A software tool to assess evolutionary algorithms for data mining problems. Soft Comput. 2009. Vol. 13, no. 3, pp. 307-318.

© GraHOBOB B. B., XpuTOHeHKO H., MKpa6a A., 2015

УДК 66.012

ФОРМИРОВАНИЕ ПОДСИСТЕМЫ МОНИТОРИНГА ЭФФЕКТИВНОСТИ ОРГАНИЗАЦИОННО-ТЕХНОЛОГИЧЕСКИХ КОМПЛЕКСОВ

E. В. Туева, E. В. Туев

Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31

E-mail: tueva@sibsau.ru

Одной из подсистем ОТК, предназначенной для информационного обеспечения управления, является подсистема мониторинга эффективности ОТК. В условиях повышения требований к автоматизированным системам управления производством эффективность ее работы во многом определяется эффективностью системы мониторинга как подсистемы ОТК.

Ключевые слова: подсистемы мониторинга, эффективность организационно-технологических комплексов, подсистемы мониторинга.

THE FORMATION OF THE SUBSYSTEM OF MONITORING THE EFFECTIVENESS OF ORGANIZATIONAL-TECHNOLOGICAL COMPLEXES

E. V. Tueva, E. V. Tuev

Reshetnev Siberian State Aerospace University 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation E-mail: tueva@sibsau.ru

One of organizational-technological complexes subsystems intended for information support of management is the subsystem of monitoring of effectiveness (SME) OTC. While increasing requirements of automated production control systems, its efficiency is largely determined by the effectiveness of the monitoring system, as a subsystem of the OTC.

Keywords: subsystem monitoring the effectiveness of organizational and technological systems, monitoring subsystem.