Разработка и исследование комплексного эволюционного подхода для проектирования коллективов нейронных сетей Текст научной статьи по специальности «Компьютерные и информационные науки»

Секция «Математическое моделирование управления и оптимизации»

VEGA более простой в реализации и менее ресурсоемкий.

Библиографические ссылки

1. Bentley P. J., Wakefield J. P. Finding Acceptable Solutions in the Pareto-Optimal Range using Multiob-jective Genetic Algorithms. In Proceedings of the 2nd On-Line World Conference on Soft Computing in Engineering Design and Manufacturing, 1997.

2. Holland J. H. Adaptation in natural and artificial systems. Ann Arbor. MI: University of Michigan Press, 1975.

3. Zitzler E., Thiele L. An evolutionary algorithm for multiobjective optimization: The strength Pareto approach. Technical report 43, Computer engineering and Networks Laboratory (TIK), Swiss Federal Institute of Technology (ETH) Zurich, 1999.

4. Schaffer J. D. Multiple Objective Optimization with Vector Evaluated Genetic Algorithms. Proceedings of the 1st International Conference on Genetic Algorithms. L. Erlbaum Associates Inc. Hillsdale, NJ, USA, 1985.

© Бураков К. В., Семенкин Е. С., 2010

УДК 519.68

В. В. Бухтояров Научный руководитель - Е. С. Семенкин Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева, Красноярск

РАЗРАБОТКА И ИССЛЕДОВАНИЕ КОМПЛЕКСНОГО ЭВОЛЮЦИОННОГО ПОДХОДА ДЛЯ ПРОЕКТИРОВАНИЯ КОЛЛЕКТИВОВ НЕЙРОННЫХ СЕТЕЙ

Рассматривается вопрос автоматического проектирования коллективов нейронных сетей. Предлагается комплексный подход для проектирования коллективов нейронных сетей, включающий в себя методы формирования структуры нейронных сетей и их обучения, а также метод автоматического определения способа и параметров формирования общего решения. Предлагаемый подход был использован для решения ряда тестовых и практических задач.

Актуальность систем анализа данных, в основе которых лежат интеллектуальные информационные технологии (ИИТ) неуклонно растет. Возрастают требования к масштабам таких систем. В связи с этим все чаще ставится вопрос о разработке методов автоматического проектирования и адаптации ИИТ под конкретные задачи. Такие методы могли бы позволить отказаться от масштабного использования для проектирования ИИТ дорогих, в основном человеческих, ресурсов и сократить время, необходимое для разработки интеллектуальных систем.

Одной из наиболее широко используемых и востребованных интеллектуальных технологий являются искусственные нейронные сети. Спектр задач, решаемых с помощью нейронных сетей необычайно широк, что обусловлено целым рядом преимуществ систем, основанных на их использовании. Одним из подходов повышения эффективности систем, в основе которых лежит использование нейронных сетей, является использование коллективов нейронных сетей. Решение задач с помощью коллективов нейронных сетей предполагает одновременное использование конечного числа предварительно обученных нейронных сетей. Этот подход впервые был предложен в работе [1], в которой было показано, что способность к обобщению системы на основе нейронных сетей может быть значительно повышена за счет их объединения в коллектив. В общем случае решение задачи с помощью коллектива нейронных сетей включает в себя два этапа, связанных непосредственно с формированием коллектива.

Первый этап предполагает формирование структуры и обучение нейронных сетей, которые будут

включены в коллектив или предварительный пул. Для автоматического формирования структуры нейронных сетей предлагается новый вероятностный метод. Этот метод в ходе работы накапливает и обрабатывает статистическую информацию о структуре проектируемой нейронной сети аналогично хорошо зарекомендовавшему себя в качестве средства проектирования нейронных сетей методу, использующему генетический алгоритм. Однако обработка информации происходит в явном виде, без использования генетических операторов и кодирование структуры сети в бинарные строки. Это позволило отказаться от процедуры настройки большинства параметров, характерных для генетического алгоритма, весьма затруднительной при решении реальных задач проектирования структуры нейронных сетей.

Второй важнейший этап формирования коллектива нейронных сетей включает в себя отбор тех сетей, с помощью решений которых будет сформировано итоговое решение, а так же определение способа и параметров формирования общего решения. Для повышения эффективности выполнения этого этапа был разработан метод, позволяющий автоматически выбирать из сформированного предварительно пула те нейронные сети, которые будут участвовать в принятии коллективного решения, и формировать это коллективное решение в виде различных преобразований и комбинаций (линейных и нелинейных) решений отдельных участников коллектива нейронных сетей.

Предлагаемый метод основан на методе генетического программирования [2], который используется для решения задач символьной регрессии, и относит-

Актуальные проблемы авиации и космонавтики. Информационные технологии

ся к группе технологий, называемых эволюционными алгоритмами. Основная идея предлагаемого метода заключается в адаптации и использовании операторов генетического программирования для автоматического формирования решения, представляющего собой формулу (программу) для вычисления общего решения коллектива нейронных сетей на основе решений полученных от его отдельных членов.

Для исследования эффективности разработанного комплексного подхода формирования коллективов нейронных сетей был проведен ряд численных экспериментов на наборе тестовых задач, включающем в себя задачи аппроксимации функций одной и нескольких переменных различной сложности. В качестве тестовой задачи также были использован набор данных тестов по прогнозированию прочностных характеристик бетона из репозитория UCI Machine Learning Repository [3]. Предлагаемый метод был исследован в сравнении с методом GASEN и двумя другими методами, использующими генетический алгоритм для формирования коллектива и распространенный подход взвешенного усреднения [5] для формирования общего решения (GA-based1 и GA-based2). В [4] показано, что метод GASEN превосходит по эффективности большинство других методов конструирования общего решения в коллективах нейронных сетей, поэтому выбор его, а так же двух подобных методов, для сравнительного исследования позволит судить об эффективности предлагаемого метода в сравнении с большинством других методов, оставленных за рамками проведенного исследования.

В целом, результаты показывают, что разработанный комплексный подход к формированию кол-

лективов нейронных сетей демонстрирует высокую эффективность на всех использованных тестовых задачах. Для задачи прогнозирования прочностных характеристик бетона относительное превосходство предлагаемого составило около 15 %. Для других тестовых задач превосходство метода над другими использованными в ходе тестирования методами находилось в пределах от 50 до 10 %.

Таким образом, можно говорить о том, что разработанный комплексный метод формирования коллективов нейронных сетей не уступает по эффективности другим методам, а для некоторых задач позволяет существенно повысить качество их решения.

Библиографические ссылки

1. Hansen L. K., Salamon P. Neural network ensembles, IEEE Trans. Pattern Analysis and Machine Intelligence 12 (10) (1990). P. 993-1001.

2. Koza J. R. The Genetic Programming Paradigm: Genetically Breeding Populations of Computer Programs to Solve Problems. Cambridge, MA : MIT Press, 1992.

3. URL : http://archive.ics.uci.edu/ml/datasets/Con-crete+Slump+Test.

4. Zhou Z. H., Wu J., Tang W. Ensembling neural networks: Many could be better than all. Artif. Intell. Vol. 137. № 1-2. 2002. Р. 239-263.

5. Perrone M. P., Cooper L. N. When networks disagree: ensemble method for neural networks, in: R. J. Mammone (Ed.), Artificial Neural Networks for Speech and Vision, Chapman & Hall, New York, 1993. Р. 126-142.

© Бухтояров В. В., Семенкин Е. С., 2010

УДК 519.8

Т. О. Гасанова Научный руководитель - Е. С. Семенкин Сибирский федеральный университет, Красноярск

СИНТЕЗ УПРУГИХ КАРТ ЭВОЛЮЦИОННЫМИ АЛГОРИТМАМИ

В биоинформатике для анализа многомерных данных широко используется метод упругих карт, использующий модель обучения без учителя. Метод упругих карт обладает большей регулярностью и предсказуемостью, чем карты Кохонена, и способен решать те же задачи. В основе метода лежит минимизация «энергии упругой деформации» карты.

Несмотря на то, что модели, использующие обучение с учителем, способны решать многие прикладные задачи, в реальности мы редко знаем требуемый выход, поэтому в биологических системах более обоснованной является модель обучения без учителя. Такая модель использует только предъявляемые ей входные векторы, выделяет статистические свойства объектов и группирует их так, чтобы похожие объекты оказались в одном классе, а непохожие - в разных. В настоящее время в биоинформатике для анализа многомерных данных широко используется метод, получивший название «упругие карты» [1]. Метод упругих карт обладает большей регулярностью и предсказуемо-

стью, чем карты Кохонена, и способен решать те же задачи.

Основа метода «упругих карт» - минимизация «энергии упругой деформации» карты, погружённой в пространство данных. После построения сетки остаются неопределенными два параметра, которые можно интерпретировать как упругость карты по отношению к растяжению и упругость по отношению к изгибу. С одной стороны, более упругая сетка является более гладкой моделью данных, обладает большей обобщающей способностью, но, как следствие, хуже описывает отклонения от предполагаемого закона. С другой стороны, менее упругая карта точнее описывает данные, но и воспроизводит при