Научная статья на тему 'Эволюционная адаптация в обучении нейронных сетей'

Эволюционная адаптация в обучении нейронных сетей Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
457
52
i Надоели баннеры? Вы всегда можете отключить рекламу.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Курейчик В. М., Лебедев Б. К., Божич В. И.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Эволюционная адаптация в обучении нейронных сетей»

Задача синтеза заключается в поиске механизма нечеткого выбора по реализуемой им функции нечеткого выбора.

Функция нечеткого выбора С(Х) описывается экспертами как множество правил вывода решений, удовлетворяющих совокупности нечетких критериев cp,,<p2,...,(pd .

При построении функций нечеткого выбора С(Х) эксперты основываются на процессах принятия решений, отвечая на вопросы, что предпочтительнее в тех или иных гипотетических ситуациях.

Как правило задачи синтеза не приводят к единственному решению в традиционных аналитических задачах. Этот недостаток формально преодолевается при нечетком выборе. Функция нечеткого выбора представляет собой набор правил, сформулированных экспертами, которым могут соответствовать разные механизмы выбора из рассматриваемого класса.

С механизмом выбора связывают [5] численные величины 1(М), характеризующие сложность. Задача оптимального синтеза состоит в построении механизма минимальной сложности, реализующего функцию нечеткого выбора.

К задаче оптимального синтеза тесно примыкает и задача оптимизации механизма

нечеткого выбора. Суть ее состоит в следующем. Две функции нечеткого выбора См,(Х) и

См,(Х) назовем нечетко эквивалентными, если получаемые в результате их действия множества вариантов равны. Механизм нечеткого выбора будет называться минимальным, если он имеет наименьшую сложность среди всех эквивалентных ему механизмов из класса М.

Как показала практика решения задач выбора на бинарных отношениях [5], данные задачи практически не имеют решения.

ЛИТЕРАТУРА

1. Ляпунов A.A., Яблонский С.В. Теоретические проблемы кибернетики // Проблемы кибернетики. Вып. 9. - М.: Физматгиз, 1963. - С. 5-22.

2. Финаев В.И., Бесшапошников В.В. Формализация нечеткого вывода. Деп. ВИНИТИ N 1501-В98 от 19.05.98 г.-46 с.

3. Ахо А., Хопкрофт Дж., Ульман Дж. Построение и анализ вычислительных алгоритмов.

- М.: Мир, 1979.

4. Гэри М., Ждонсон Д. Вычислительные машины и труднорешаемые задачи. - М.: Мир, 1982.

5. Шоломов Л.П. Логические методы исследования дискретных моделей выбора. М.: Наука, 1989-288 с.

УДК 621.382.82

В.М. Курейчик, Б.К. Лебедев, В.И. Божич1 ЭВОЛЮЦИОННАЯ АДАПТАЦИЯ В ОБУЧЕНИИ НЕЙРОННЫХ СЕТЕЙ

В настоящее время в большинстве промышленно развитых стран ведутся активные разработки вычислительных систем шестого поколения - нейрокомпьютеров, которые состоят из большого числа парапельно работающих простых вычислительных элементов нейронов. Элементы связаны между собой, образуя нейронную сеть [1]. Нейрокомпьютеры с высокой эффективностью решают традиционно “интеллектуальные задачи”: распознавания образов, адаптивного управления, прогнозирования, диагностики и т. д. Отличительными особенностями нейронной сети являются: быстродействие; решение слабо зависит от

' Данная работа выполнена за счёт финансовой поддержки гранта РФФИ ГР № 98-01-01-022

неисправности отдельного нейрона, что делает их высоко надёжными; отсутствие программирования в традиционном понимании. Место программирования занимает обучение: нейрокомпьютер учится решать задачи. Обучение корректировка весов связи между нейронами. При переходе от программирования к обучению повышается эффективность решения “интеллектуальных задач”.

С конструктивной точки зрения нейрон, являющийся основным элементом нейросети, это устройство для получения нелинейной функции нескольких переменных X с возможностью настройки его параметров [2]. Традиционно нейрон описывается в терминах заимствованных из биологии. Согласно этим представлениям нейрон имеет один выход и несколько входов (синапсов). Синапсы осуществляют связь между нейронами, умножают входной сигнал Х| на вес синапса \\\. Сумматор осуществляет сложение взвешенных входов, а нелинейный преобразователь реализует нелинейную функцию от выхода сумматора. Эта функция называется функцией активации.

Математическая модель нейрона:

У=Ф),

N

*■*/ +ь,

! = \

где Ь - значение смещения.

Существуют три типа нейронных сетей (НС): многосвязная, многослойная и слабосвязная.

Возможны различные комбинации этих типов.

На рис. 1, а представлена многосвязная НС, а на рис. 1, б многослойная.

а) б)

Рис. 1

Обучающая выборка имеет вид:

<с^

где сц и ^ элементы входного и выходного сигнала соответственно, к = 1, 2, р, р -число обучающих примеров.

Если в необученную НС ввести входной сигнал одного из примеров обучающей выборки, то выходные сигналы будут отличаться от требуемых, которые определены в обучающем примере. Функция ошибки определяет степень близости выходных сигналов при решении всей совокупности примеров обучающей выборки:

1 р м

о--‘Х’В/з;->>,")

^ ЛГ=1 у=1

Многие задачи распознавания образов (зрительных, речевых и т. д.), выполнения функциональных преобразований при обработке сигналов управления, прогнозирования, идентификации сложных систем и т. д. сводятся к следующей постановке. Необходимо построить отображение Х=>У такое, чтобы на каждый возможный входной сигнал X формировался правильный выходной сигнал У.

Для того, чтобы НС приобрела способность решать конкретную задачу, т. е. на каждый входной сигнал выдавать необходимый выходной сигнал, надо провести настройку параметров

С математической точки зрения обучение нейронных сетей - это многопараметрическая задача нелинейной оптимизации. Можно выделить две большие группы алгоритмов градиентные и стохастические. Градиентные алгоритмы обучения сетей основаны на вычислении частных производных функции ошибки по параметрам сети. В стохастических алгоритмах поиск минимума функции ошибки ведётся случайным образом. Наиболее эффективным алгоритмом первой группы является алгоритм обратного распространения ошибки [3]. Среди алгоритмов второй группы наибольшее распространение получили алгоритмы моделирующие реализацию процессов протекающих в природе. К ним относятся алгоритмы на основе параметрической и альтернативной адаптации, методов моделирования отжига, методов генетической адаптации [4, 5].

Механизмы генетической эволюции для обучения НС разрабатываются по аналогии с моделями мозга и реализуют некоторые его особенности, появившиеся в результате биологической эволюции.

При генетическом подходе процесс настройки НС рассматривается как адаптивный процесс, связанный с максимизацией эффективности функционирования НС, т. е. с минимизацией функции ошибки О. Структура процесса эволюционной адаптации показана на рис. 2, где: ОВ - обучающая выборка, НС - нейронная сеть, ГА - генетический алгоритм, и управляющее воздействие вырабатываемое ГА, под действием которого осуществляется построение НС.

Рис. 2

Разработка генетического алгоритма включает три основных компоненты:

1. Разработка принципов кодирования и декодирования хромосомы.

2. Разработка основных генетических операторов.

3. Разработка общей структуры и процесса генетического поиска.

Для фиксированной архитектуры НС хромосома представляется в виде вектора Н = (№, В), хранящего значения семантических весов (АУ), и смещений (В).

Приведём модифицированную структуру ГА, ориентированную на работу в конгуре управления (рис. 2.) [5].

1 °. Конструирование начальной популяции.

2°. Оценка хромосом в популяции и построение целевой функции (ЦФ).\

3°. Выбор пар хромосом из популяции.

4°. Применение оператора кроссинговера (ОК) с вероятностью Р (ОК). Если все пары проанализированы, то переход к 5°, иначе к 6°.

5°. Применение оператора мутации (ОМ) к каждой новой хромосоме с вероятностью Р (ОМ). После окончания переход к 6°.

6°. Применение оператора инверсии (ОИ) к каждой новой хромосоме с вероятностью Р (ОИ). После окончания переход к 7°.

7°. Применение оператора сегрегации (ОС) к каждой новой хромосоме с вероятностью Р (ОС) и переход к 8°.

8°. Конец работы алгоритма.

Обучение нейронных сетей в основном использует базу знаний, в которой хранится набор примеров с известными правильными ответами. Каждый пример это пара вход известный выход. В этой связи получаемые выходные сигналы сравниваются с эталонными и строится оценка работы НС. Основная проблема это процесс пошаговой минимизации (максимизации) функции оценки НС. Эти задачи решаются в основном методом градиентного спуска [4, 6]. Отметим, что операторы ГА представляют собой переборные процессы, связанные с перераспределением генетического материала. Это даёт возможность быстрее получить минимум или максимум функции, чем в методах пошаговой оптимизации. Применение описанного ГА позволяет анализировать большое число решений практически паралельно и за счёт моделирования процесса, “выживают сильнейшие” получают оптимальное или близкое к нему решение.

В заключение отметим, что комбинированное использование нейронных сетей и генетических алгоритмов позволяет создавать новое программное обеспечение для параллельного решения широкого класса задач, что повышает эффективность, качество и сокращает время решения.

ЛИТЕРАТУРА

1. Уоссермен Ф: - Нейрокомпьютерная техника - М., Мир, 1992 г.

2. Neural Computing: Neural Works Proffessional. II / Plus and NeuralWorks Explorer, Neural Ware, Inc., 1991. 355 p.

3. Muller B., Reinhardt J. Neural networks. Springer - Verlag 1990. 267 p.

4. Горбань A. H.: - Функции многих переменных и нейронные сети. СОЖ, № 12, 1998, с. -105-118.

5. Курейчик В. М. Генетические алгоритмы. Таганрог, изд-во ТРТУ, 998,240 с.

6. Горбань A. H.: - Обучение нейронных сетей - М.,: СП Параграф. 1991 г.

УДК 519.15

В.П. Карелин, В.И. Кодачигов МОДЕЛИ УПОРЯДОЧЕНИЯ ВЕРШИН ГРАФА В ЗАДАЧАХ СТРУКТУРНОГО АНАЛИЗА И ПРИНЯТИЯ РЕШЕНИЙ.

При исследовании сложных систем, исходная информация о которых имеет как количественный, так и качественный характер, наряду с количественными методами анализа большую роль играют также и качественные методы. Под качественным описанием систем понимается представление системы в виде совокупности подсистем, классификации элементов систем, упорядочение ее элементов, формирование структуры системы, выявление основных существенных связей между элементами системы и т.п. Подобные задачи качественного описания систем известны как задачи структурного анализа и синтеза систем, декомпозиции системы на подсистемы, укрупненного представления систем, обобщения ситуаций и формирования понятий, классификации и распознавания образов, согласованности предпочтений и т.д. [1]. Качественное описание проводится с целью исследования систем на ранних этапах их проектирования, при исследовании и обработке экспертной информации и эмпирических данных структурными методами, при исследовании процессов принятия решений человеком с целью формирования обобщенных понятий, классов ситуаций, соответствующих принимаемым решениям [2, 3].

При качественном анализе больших систем исходная информация имеет качественный вид, если она носит семантический характер, задана в виде классов взаимосвязанных элементов системы, представляется в виде отношения или взвешенного графа связей между элементами системы. Однако информация о системе может быть задана и в количественном виде, когда элементы системы описываются набором количественных признаков, связи между элементами носят функциональный характер или измеряются в количественных шкалах. В

i Надоели баннеры? Вы всегда можете отключить рекламу.