CC BY
59
6. Kureichik V.M., Negodenko O.N., Zinchenko L.A.. Application of CAD Tools in Tasks of Transistor Devices' Designing with the Multiple-Valued Characteristics. Proceeding of DATE Conference. Users' Forum. Paris, France, 27-30 March, 2000, P.311.
7. Devaney M. and Ram A.. Visualisation as an Exploratory Tool in Artificial Intelligence. Proceedings of the World Conference on Systemics, Cybernetics and Informatics, 1998. P. 161164.
8. Goel A.K., Gomez G. de Silva Gazza, S. Gazza, N. Grue, Yw. Murdock, MM. Recker and T.Govidaraj. Explanatory Interface in Interactive Design Environments, Proceedings of the 4th International Conference on AI in Design, 1996, P.58-62.
9. Wybo YL., Gefraye F. and Russeil A.. A PROFIL: A Decision Support Tool for Metallic Sections Design using CBR Approach Proceedings of the 1st International Conference on Case-Based Reasoning, Spring Verlag, 1995. P.25-32.
10. Ласло M.. Вычислительная геометрия и компьютерная графика на С++. 1997. C.264-288.
УДК 658.512
В.И. Божич, Л.А. Гладков, В.М. Курейчик, Ю.Л. Шницер1
РАЗРАБОТКА СИСТЕМНЫХ ПРИНЦИПОВ ПОСТРОЕНИЯ ЭВОЛЮЦИОННЫХ ИНСТРУМЕНТАЛЬНЫХ СРЕДСТВ ФОРМИРОВАНИЯ И ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ
Генетические алгоритмы позволяют одновременно анализировать различные области пространства решений задачи и находить решение с лучшим значением .
достигается за счет объединения квазиоптимальных решений из разных популя-.
В настоящее время развивается направление эволюционного поиска, который базируется на объединении генетического глобального поиска с локальным поис-.
и кроссинговера управляется посредством знаний о проблемно-ориентированной информации [1-5].
Целесообразность применения генетических алгоритмов для решения задач синтеза и обучения нейронных сетей можно обосновать следующим:
1. первая цель - это разработка инструмента конструирования нейросетей;
2. - ,
.
Применение идеологии эволюционного поиска позволит определять необходимый класс нейронных сетей и ответить на вопрос, какие типы сетей выживут при заданных начальных условиях. Результатом ее применения является организация взаимодействия между множеством нейронов и множеством соединений, а не определение свойств каждого соединения в отдельности. Иными словами, такой подход является прагматичным с точки зрения конечного результата. Для понимания причин получения конечного результата, необходимы дополнительные инст-
1 Работа выполнена при поддержке РФФИ, гранты № 99-01-0050, 00-01-00125.
рументальные средства, работающие в сочетании с генетическими алгоритмами [6-10].
Взгляд на эволюционное конструирование нейронных сетей с позиции систем принятия решений позволит учесть «человеческий фактор» как на уровне понимания сути отбора полезных особей, так и на уровне управления этим процессом.
, -
ческих алгоритмов формирования и обучения нейронных сетей, учитывающих нюансы архитектур и параметров сетей.
Задача сравнения хромосом является одной из первопричин появления таких .
методы решения задач размещения, сравнения и изоморфного вложения графов и, , -
.
На рисунке 1 показана примерная схема использования эволюционных методов для настройки параметров нейросети [6].
Рис.1.Пргшенение эволюционного моделирования для настройки параметров
нейросети
Как видно из рисунка, в блок моделирования эволюции входят два блока: блок самоорганизации и блок генетических алгоритмов. Использование генетических алгоритмов в данном случае соответствует традиционным представлениям. Добавление же блока самоорганизации позволяет не только повысить качество работы всей схемы, но и вносит в работу элемент интеллектуальности.
В состав блока самоорганизации могут входить различные элементы из арсенала теории эволюционного моделирования, например: управляющие элементы на основе гомеостатики, синергетики, синектики; элементы накопления и использования знаний; элементы, обеспечивающие обратную связь с объектом управления; адаптационные блоки и элементы [7].
Расширение набора генетических операторов для конструирования нейронных сетей с учетом различных методов теории графов приведет к целенаправлен-
ному перераспределению генетического материала. Это даст возможность быстрее
получить решение в сравнении с известными генетическими алгоритмами.
,
уровне оценки популяций. В качестве дополнительного критерия целесообразно вводить количественные и качественные оценки, отражающие не только глобальные процессы эволюционного программирования, но и локальные процессы, связанные с фрагментацией набора базовых особей по тем или иным функциональным свойствам с целью получения популяции с более совершенными индивидами.
Рассмотрим системные принципы построения инструментальных средств формирования и обучения нейронных сетей в рамках эволюционной парадигмы:
1. Инструментальные средства должны использовать генетические алгоритмы для поиска решений относительно заданных требований в пространстве возможных архитектур нейронных сетей.
2. Система начинает работу с популяции случайно сгенерированных сетей либо с некоторых базовых фрагментов сети.
3. Структура каждой нейронной сети представляется в виде хромосомы, состоящей из множества генов, представляющих анатомические свойства сетевой структуры и параметрические значения обучающих алгоритмов. Хромосомы популяции данного поколения дают потомство согласно репродуктив-
, . Представление хромосомы должно позволять изменять ее размеры с целью
рассмотрения более широкого круга различных архитектур в процессе поиска. Не, ,
требованиям, может иметь достаточно много разновидностей. Представление хромосомы должно учитывать взаимосвязь между параметрами пространств и проекций для производства достаточно сложных сетевых архитектур следующим обра.
1. Процесс обучения сети, определение значения критерия и применение генетических операторов для получения новой популяции повторяются много.
для улучшения ряда признаков последующего поколения. Параметры генетических алгоритмов очень важны для эффективного функционирования системы. Генетические алгоритмы должны учитывать спектр параметров, напри:
, , -
ров глобального и локального поиска и другие параметры. Инструментальные средства должны обладать свойством изменения и наращиваемости набора
.
2. Для эффективной работы инструментальных средств необходим модифицированный оператор кроссинговера, который эффективно обменивает гомологичные сегменты хромосомы двух сетей из данного поколения для создания хромосомы нового поколения. Модифицированный кроссинговер должен выявлять и использовать фрагменты нейронной сети, которые повторяются для различных популяций из поколения в поколение. Такое выделение фрагментов может быть достаточно ценным качеством по следующей причине: параметры пространств или проекций, которые показали свою полезность в одном
случае, могут оказаться полезными и в другом. Оператор кроссинговера должен массово копировать такие фрагменты из одного места хромосомы в дру-
, , , -
.
3. Инструментальные средства должны реагировать на ситуацию, связанную с возникновением и устранением ненужных образцов сети, так как генетические операторы могут генерировать такие виды сетей, которые окажутся неприемлемыми. Кроме того, инструментальные средства должны позволять управлять процессом принятия решений относительно сохранения в хромосоме фрагментов нейронной сети, которые на некотором этапе заинтересова-
, . учета указанных обстоятельств следует предусмотреть две стратегии: вначале репродуктивный механизм отбирает нейронные сети, которые являются представителями сетей с фатальными недостатками. Затем хромосомы с незначительными отклонениями «очищаются» так, чтобы эти дефекты далее не про.
4. Обучение нейронной сети может быть прервано по одной из четырех причин,
:
♦ необходимо изменить критерий анализа результатов формирования и обучения нейронной сети;
♦ количество периодов обучения соответствует максимальному значению;
♦ количество изменений весов соединений соответствует числу, которое является ограничением дальнейших преобразований сети;
♦ время обучен ия сети исчерпано.
5. -ции. Фитнессом является обобщенная оценка решения проблемы, которая может учитывать такие параметры, как скорость и точность обучения размер и сложность сети и другие параметры.
6. - - -ки принятия решений. Она должна обеспечить автоматизацию процесса решения задач формирования и обучения архитектур нейронных сетей, а также тестирование нейронных сетей с целью определения функционального качества отобранного варианта сети. Интерфейс должен содержать панель управления параметрами системы, а также набор различных технических средств для проведения экспериментов в рамках рассматриваемой проблемно.
должно удовлетворять современному уровню развития мультимедиа и предоставлять пользователю возможность графической визуализации промежуточных и конечных результатов синтеза и обучения нейронных сетей.
, -
бой замкнутый цикл эволюционного поиска. Кооперирование генетических операторов с локальными операторами сравнения и размещения фрагментов сети позволит организовать процедуру поиска так, чтобы разумно сужать пространство поиска с целью уменьшения значимости проблемы выбора между производительно-
стью инструментальных средств и эффективностью решений по синтезу и обучению нейронных сетей.
ЛИТЕРАТУРА
1. Handbook of Genetic Algorithms. Edited by Lawrence Davis, Van Nostrand Reinhold, New York, 1991. pp. 72-90.
2. Practical Handbook of Genetic Algorithms. Applications. Volume 1. Edited by Lawrence D. Chambers. - CRC Press. Boca Raton, London, New York, Washington, D.C., 1995. p.555.
3. Practical Handbook of Genetic Algorithms. New Frontiers. Volume 2. Edited by Lawrence D. Chambers. - CRC Press. Boca Raton, London, New York, Washington, D.C., 1995. p.435.
4. Practical Handbook of Genetic Algorithms. Coding Systems. Volume 3. Edited by Lawrence D. Chambers. - CRC Press. Boca Raton, London, New York, Washington, D.C., 1999. p.572.
5. Курейчик B.M. Еенетические алгоритмы. Монография. Таганрог: Изд-во ТРТУ, 1998. 242 .
6. Вороновский Г.К.,Махотило К.В.,Петрашев С.Н.,Сергеев С.А. Еенетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. Харьков: ОСНОВА, 1997. 112с.
7. Курейчик В.В. Эволюционные методы решения оптимизационных задач. Монография.
, , 1999. 95 .
8. Гор бань А.Н.Обуче ние нейро иных сетей. М.: ПараЕраф, 1990.
9. Беркульцев М.В.,Дьячук А.К.,Оркин С.Д. Применение генетического алгоритма к построению минимально допустимой обучающей выборки для нейросетевой системы принятия решений. // Известия Академии Наук. Теория и системы управления, № 5, 1999. С.172-176.
10. Harp Steven A., Samad Tariq. Genetic Synthesis of Neural Network Architecture. // Handbook of Genetic Algorithms. Edited Lawrence Davis. Van Nostrand Reinhold. New York, 1991. pp. 202-221.
