Научная статья на тему 'Использование генетических алгоритмов для обучения сетей обратного распространения ошибки'

Использование генетических алгоритмов для обучения сетей обратного распространения ошибки Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
437
48
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
генетический алгоритм / нейронные сети / процесс обучения сети / обратное распространение ошибки / слой нейронов / выходной вектор / входной вектор / the genetic algorithm / neural network / the process of learning network / backward errors expansion / the neurons / the output vector / the input vector

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — М. Б. Муниб

Обучение сетей обратного распространения ошибки происходит с использованием генетических алгоритмов. Представлена нейронная сеть обратного распространения ошибки. Приведен метод применения генетического алгоритма для обучения нейронной сети, предложена блок-схема работы алгоритма, описан процесс обучения, получен положительный результат минимизации ошибки.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Using genetic algorithms for learning networks backward error propagation

The training of back propagation of error comes from the use of genetic algorithms. Provides neural network back propagation of error. Is a method of use of the genetic algorithm for neural network training, offered a block diagram of the algorithm, described the process of learning, we have received positive result of error minimization.

Текст научной работы на тему «Использование генетических алгоритмов для обучения сетей обратного распространения ошибки»

7. Про затвердження "Правил рубок головного користування в ripcbKMX умовах Карпат. " / Постанова Кабiнету Мiнiстрiв Украши вiд 22.10.2008 р., № 929-И. // Урядовий кур'ер. - 12 листопада 2008 року.

8. Собко Н.М. Оцшка роботи системи машин на люозагсшвлях в прських умовах на осжта комплексних показнигав / Н.М. Собко // Науковий вюник НЛТУ Украши : зб. наук.-техн. праць. - Львiв : РВВ НЛТУ Украши. - 2011. - Вип. 21.8. - 136/145.

9. Коржов В. Аналiз роботи пщвюних канатних систем в Украшських Карпатах та шляхи пiдвищення 1х ефективностi / В. Коржов, Н. Собко // Теорiя та практика рацюнального проекту-вання, виготовлення i експлуатацiï машинобудiвельних конструкцiй : тези доповщей. - Львiв : НУ "Львiвська полiтехнiка", 2012. - С. 120.

10. Синякевич 1.М. Люова полiтика: теорiя i практика у контексп економiчних, еколопч-них та сощальних проблем лiсокористування / 1.М. Синякевич. - Львiв : Вид-во "Пiрамiда". -2008. - 612 с.

11. Юндрацький Б.1. Ращональне проектування машинобудiвельних конструкцiй / Б.1. Юн-драцький, Г.Т. Сулим. - Львiв : Вид-во "Кiнпатрi ЛТД". - 2003. - 280 с.

12. Сабан О.Я. Про техшку i технолопю групово - вибiркових рубок / О.Я. Сабан // Вико-ристання лiсових багатств. - Ужгород : Вид-во "Карпати". - 1966. - С. 245/252.

13. Адамовський М.Г. Пiдвiснi канатнi люотранспортш системи / М.Г. Адамовський, М.П. Мартинщв, Й.С. Бадера. - Львiв : Вид-во 1ЗМН, 1997. - 156 с.

Коржов В.Л., Собко Н.М. Эколого-економические критерии выбора альтернативных вариантов канатных лесотранспортных установок

Предложены схемы классификаций рубок и технологические схемы освоения лесосек на базе подвесных канатных установок, которые являются основой для выбора типа канатной установки. Определено, что оценку эффективности работы канатных установок целесообразно производить по комплексным и эколого-економическим показателям. Приведено зависимости для определения комплексного критерия конкурентоспособности. Предложен алгоритм для выбора альтернативного варианта канатной установки с использованием прикладной программы TURBO-BASIC.

Ключевые слова: канатные лесотранспортные установки; альтернативные варианты, экономические и экологические показатели, комплексный критерий конкурентоспособности, алгоритм выбора.

Korzhov V.L., Sobko N.M. Ecological-Economic criteria for selecting alternatives timber transport cable installations

A classification scheme and cutting technology development schemes felled by a suspended cable installations which is the basis for selecting the type of cable installation. Set -Leno, who assess the effectiveness of cable installations should be performed by complex economic and environmental - tech indicators. Dependences for determination integrated test competitiveness. proposed algorithm for selecting an alternative cable installation using the application TURBO-BASIC.

Keywords: timber transport cable installation, alternative variants, economic and environmental performance, integrated criterion competitiveness selection algorithm.

УДК 518.9+681.51.011 Соискатель М.Б. Муниб -

Таврический национальный университет им. В.И. Вернадского

ИСПОЛЬЗОВАНИЕ ГЕНЕТИЧЕСКИХ АЛГОРИТМОВ ДЛЯ ОБУЧЕНИЯ СЕТЕЙ ОБРАТНОГО РАСПРОСТРАНЕНИЯ ОШИБКИ

Обучение сетей обратного распространения ошибки происходит с использованием генетических алгоритмов. Представлена нейронная сеть обратного распространения ошибки. Приведен метод применения генетического алгоритма для обучения нейронной сети, предложена блок-схема работы алгоритма, описан процесс обучения, получен положительный результат минимизации ошибки.

Ключевые слова: генетический алгоритм, нейронные сети, процесс обучения сети, обратное распространение ошибки, слой нейронов, выходной вектор, входной вектор.

1. Введение. Применение нейронных сетей для решения различных задач стало актуальным в последние несколько лет. Это, в первую очередь, задачи классификации образов, кластеризации/категоризации, аппроксимации функций, предвидения/прогнозирования, формирование памяти с содержательно зависимой адресацией, управления и оптимизации. Так, решая ту или иную задачу нейросети, прежде всего, конструируют и, в обязательном порядке, данную сеть обучают. Обучают приему правильного, точнее адекватного, приема решения. Однако за много лет применения нейронных сетей, актуальность их работы заключается в выборе топологии нейросети, алгоритма обучения, акти-вационных функций нейронов и ряда числовых параметров для каждой практической задачи. Обучение сети может осуществляться при помощи различных алгоритмов. Выбор необходимого подхода основывается на критериях скорости и качества обучения.

Генетические алгоритмы обучения являются достаточно мощным средством и могут с успехом применяться для широкого класса прикладных задач, включая те, которые трудно, а иногда и вовсе невозможно, решить другими методами. Хотя такие алгоритмы, как и другие методы эволюционных вычислений, не гарантируют выявление глобального решения за определенно короткое время. Генетические алгоритмы не гарантируют и того, что глобальное решение будет найдено, однако они хороши для поиска адекватного решения задачи за довольно короткие сроки. Одним из преимуществ таких алгоритмов является то, что они могут применяться даже на сложных задачах, там, где не существует никаких других, эффективных методов решения. Все же, на сегодняшний день, вопрос исследования генетических алгоритмов для обучения сетей обратного распространения ошибки остается открытым, что и послужило выбором темы исследования.

Останавливаясь на изучении сетей обратного распространения ошибки, на первый план выходит проблема обучения данных сетей для решения той или иной задачи, поставленной перед пользователем. Научная литература раскрывает массу трудов известных ученых, которые исследуют и применяют различные алгоритмы и методы для обучения нейросетей, говоря о достоинствах и недостатках каждого из них. Однако, механизм правильного и точного обучения сетей обратного распространения ошибки не найден. Мало того, из всех предложенных методов, большинство из них малоэффективны и требуют достаточно длительного времени на обучение. Основываясь на этом, возникает вопрос об исследовании генетического алгоритма как основного метода для обучения сетей обратного распространения ошибки.

В научных трудах по теме исследования освещены различные аспекты проблематики применения генетического алгоритма для обучения сетей. В то же время, заметим, что исследованием проблем обучения нейронных сетей на протяжении многих лет занимались такие отечественные и зарубежные ученные, как: Р. Каллан [1], Ф. Уоссермен [2], С. Осовский [3], R. Lopez [4], О.И. Федяев, Ю.И. Соломка [5], С. Короткий [6], И.В. Заенцев [7] и другие. Хотя с момента появления известных трудов И.В. Заенцева нейронных сетей прошли десятки лет, однако методики составления и обучения нейронных сетей продолжают развиваться достаточно бурно. Хотя в Украине практически отсут-

ствуют исследования, которые могли бы успешно быть реализованы на практике обучения сетей. Требуют дальнейшего усовершенствования и развития методы обучения сетей обратного распространения ошибки.

Отметим, что начало изучению и усовершенствованию нейронных сетей было положено Мак-Каллоком и Питтсом, которые первыми ввели понятие "порогового логического нейрона" и описали логическую модель нейросетей [8]. Вопросом обучения нейронных сетей долгое время занимался российский ученный А.Н. Горбань [9], чему и посвятил свою работу "Обучение нейронных сетей" вышедшую в 1990 году. Этот сборник стал толчком к последующим открытиям.

2. Цель работы. Обучение сетей обратного распространения ошибки с использованием генетических алгоритмов. Исследование нейронной сети обратного распространения ошибки. Предложение метода применения генетического алгоритма для обучения нейронной сети, составление блок-схемы работы алгоритма, описание процесса обучения, получение положительного результата минимизации ошибки.

3. Обсуждение результатов. Нейронная сеть обратного распространения включает в себя нескольких слоев нейронов, при этом каждый нейрон i-го слоя связан с каждым нейроном i+1 слоя.

Рассматривая общий случай обучения нейронных сетей, следует отметить, что этот процесс сводится к нахождению функциональной зависимости у = fix), где х - входной, а у - выходной векторы. Однако такая задача будет иметь бесконечно огромное множество решений.

Рассмотрим возможность использования генетического алгоритма для обучения сетей обратного распространения ошибки. В общем случае, генетические алгоритмы используются для оптимизаций во многих технических проблемах, хотя одним из самых популярных применений является использование генетических алгоритмов для оптимизации многопараметрических функций. Задача обучения нейросети это, в общем случае, задача оптимизации. Использование для обучения сетей обратного распространения ошибки генетических алгоритмов или комбинированных методов с генетическими алгоритмами позволяют выполнить обучение быстрее, однако не гарантируют оптимальных результатов.

Анализируя исследования использования генетических алгоритмов для обучения нейросети, следует отметить, что данные алгоритмы ускоряют работу обучения, однако не являются точными. При потребности более точного решения задачи необходимо разрабатывать комбинированные методы, способные быстро закрыть пробелы сети. Рассмотрим нейросистему, которая состоит из одного нейрона заданного функцией активации [10]:

Out = —i—. (1)

1 + V У

Структура нейронной сети представлена на рис. 1.

Рис. 1. Структура нейронной сети [10]

При решении задачи необходимо найти такие значения весов ш1, ю2, w3, для которых при подаче на вход сети сигналов x1 и x2, на ее выходе появлялись бы значение "0" или "1" в соответствии с таблицей истинности для данной логической функции. Исходя из рис. 1, очевидно, что для выбранной функции активации выход нейросети Out приобретает значение "0" или "1" только при |_у| ^да. Исходя из этого, примем, что обучение проведено успешно, при условии, что выход сети Out больше 0,5 при желаемом выходе T = 1 и меньше 0,5 -при желаемом выходе T = 0 для всех случаев. Функция активации нейросети представлена на рис. 2.

Рис. 2. Функция активации нейросети

Точками на рис. 3 показано положение входных векторов обучающих пар. По условию задачи для точки (1,1) значение выхода сети Out должно быть больше 0,5, а для точек (0,0), (0,1) и (1,0) - меньше. При заданной функции активации, выход сети Out равный 0,5, корда

Рис. 3. Разграничение входных векторов обучающих пар на две категории

У = Х\Щ + Х2Ю + Х3Ю3 = Х\Щ + Х2Ю + Ю = 0 . (2)

Таким образом, процесс обучения заключается в таком изменении весов ш1, ш2, ш3, чтобы прямая у=0 разделяла точки на плоскости аналогично, как это показано на рис. 3. Все точки, что выше прямой, будут отвечать желаемому выходу 7=1, а все, что ниже - 7=0. Тогда значение весов ш1, ю2, ю3 является решением поставленной задачи. Из рисунка видно, что таких прямых можно провести огромное множество. Следовательно, существует множество решений для данной задачи. Однако, для того, чтобы определить это множество решений, необходимо воспользоваться следующими утверждениями: 1. Для точек, лежащих ниже прямой у = 0, у < 0.

2. Для точек, лежащих выше прямой у = 0, у > 0.

Исходя из этого, следует отметить, что если применить описанное утверждение для каждой из четырех точек, показанных на рис. 3, то можно записать следующие неравенства [7]:

соз < 0; 1Г аз < 0

+ аз < 0; а + а3 < 0 а + а > 0\а2 < -аз; а < -аз; а + а2 > -аз

Описанные неравенства приводят область в пространстве весов, внутри которой все точки (ш1, ю2, ю3) являются решениями поставленной задачи.

Поскольку в пространстве труднее графически изобразить точки, чем на плоскости, зафиксируем одну из весов (например, ю3) и перейдем к области решений на плоскости:

аз = -1 [а < 1; а1 < 1; а + а > 1 На основании этого получим область решений, которая представлена на рис. 4.

Таким образом, каждая точка на рис. 4 будет графическим представлением одного из вариантов решения задачи. Далее применим генетический алгоритм, для обучения нейросети. Блок-схема работы алгоритма представлена на рис. 5. При использовании генетического алгоритма для обучения сетей обратного распространения ошибки, каждая особь будет описываться двумя хромосомами: а1 и а2.

Рис. 4. Область решения задачи а = -1

Рис. 5. Блок-схема работы генетического алгоритма

Теперь для оценки качества полученного решения зададим значение функционала погрешности в виде

E = 1 / 2(Out - T )2,

(3)

где: Out - выход сети, T - желаемое значение выхода. Исходя из условия, следует заметить, что количество обучающих пар равно четырем.

Согласно этому функционал погрешности по всем обучающих парам будет равен [7]

Основной задачей генетического алгоритма является минимизация погрешности Е4. Основываясь на проведенном исследовании, максимально умным значением функционала погрешности для каждой обучающей пары будет значение Етах=0,125. Тогда Е4 тах=0,5.

4. Выводы. Обучение сетей обратного распространения ошибки является достаточно важным этапом в работе с нейросетями для решения задач. Исследовав нейронную сеть обратного распространения ошибки, в работе предложен метод применения генетического алгоритма для обучения нейронной сети, его суть состоит в обучении сети и получении положительного результата минимизации ошибки.

Генетический алгоритм является сочетанием градиентного и стохастического методов оптимизации функций. Регулируя вероятности кроссинговера и мутации, можно достичь того, что алгоритм быстро найдет минимум. Однако этот минимум не гарантированно будет глобальным. Или же наоборот: алгоритм будет медленно спускаться к минимуму, но найдет глобальный минимум. Основным преимуществом генетического алгоритма является относительная простота его реализации, недостатком - большое количество переменных параметров для управления его работой.

Предложенный в работе генетический алгоритм обучения сетей обратного распространения ошибки позволяет быстро произвести обучение системы с максимально умным значением функционала погрешности для каждой обучающей пары Етах=0,125.

1. Каллан Р. Основные концепции нейронных сетей / Р. Каллан. - М. : Изд. дом "Вильямс", 2001. - 236 с.

2. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика : пер. на рус. Ю.А. Зуев, В.А. Точенов, 1992. [Електронний ресурс]. - Доступний з http://neuroschool.narod.ru/books/ nntech.html.

3. Осовский С. Нейронные сети для обработки информации : пер. с польского И.Д. Рудин-ского. - М. : Изд-во "Финансы и статистика", 2002. - 434 с.

4. Lopez R. Neural Networks for Variational Problems in Engineering, PhD Thesis, Technical University of Catalonia, 2008. [Electronic resource]. - Mode of access http://www.cimne.com/ flo-od/docs/PhDThesis.pdf.

5. Федяев О.И. Применение генетических алгоритмов для обучения нейронных сетей / О.И. Федяев, Ю.И. Соломка // Свгг молодi - молодь свггу : матер. четверге! Мiжнар. студ. наук.-практ. конф., 15-17 квггня 2004 р. : матер. конф. - Ч. 1. - Вшниця : В1 МАУП, 2004. - 85-90. [Електронний ресурс]. - Доступний з http://masters.donntu.edu.ua/2004/fVti/solomka/library/ artic-le2.htm.

6. Короткий С. Нейронные сети: алгоритм обратного распространения / С. Короткий, 1996. [Электронный ресурс]. - Доступный с http://www.gotai.net/documents/doc-nn-003.aspx.

7. Заенцев И.В. Нейронные сети: основные модели / И.В. Заенцев. - Воронеж, 1999. - 76 с.

E4 = 1/2X4=1(Out, - Т)

,2

(4)

Литература

8. McCulloch W. S. A logical calculus of the ideas immanent in nervous activity / W.S. McCul-loch, W. Pitts // Bulletin of Mathematical Biophysics. - 1943. - № 5. - 115-133 p.

9. Горбань А.Н. Обучение нейронных сетей / А.Н. Горбань. - М. : СП Параграф, 1990. -

324 с.

10. Круглов В.В. Искусственные нейронные сети. Теория и практика / В.В. Кру-глов, В.В. Борисов. - М. : Изд-во "Горячая линия - Телеком", 2001.

Мутб М.Б. Використання генетичних алгоритм1в для навчання мереж зворотного поширення помилки

Навчання мереж зворотного поширення помилки вщбуваеться з використанням генетичних алгорш^в. Представлено нейронну мережу зворотного поширення помилки. Наведено метод застосування генетичного алгоритму для навчання нейронно!' мережу запропоновано блок-схему роботи алгоритму, описано процес навчання, отримано позитивний результат мiнiмiзацiï помилки.

Ключовг слова: генетичний алгоритм, нейронш мереж^ процес навчання мереж^ зворотне поширення помилки, шар нейрошв, вихщний вектор, вхщний вектор.

Munib M.B. Using genetic algorithms for learning networks backward error propagation

The training of back propagation of error comes from the use of genetic algorithms. Provides neural network back propagation of error. Is a method of use of the genetic algorithm for neural network training, offered a block diagram of the algorithm, described the process of learning, we have received positive result of error minimization.

Keywords: the genetic algorithm, neural network, the process of learning network, backward errors expansion, the neurons, the output vector, the input vector.

УДК 539.3 Доц. В.М. Онишкевич, канд. ф1з.-мат. наук;

доц. Б.М. Гтдецъ, канд. фЬ.-мат, наук; доц. 1.Ф. Солтис, канд. фЬ.-мат, наук - НЛТУ Украши, м. Лъвгв

МОДЕЛЮВАННЯ ТЕПЛОВОГО КОНТАКТУ В ТРИБОЛОГ1ЧНИХ ЗАДАЧАХ

Розглянуто рiзнi умови теплового контакту пари тертя. Проанатзовано адекват-шсть !х застосування тд час моделювання теплових процешв в елементах конкретно! трибосистеми з максимальною точшстю. ОбГрунтовано доцшьшсть застосування умов нещеального теплового контакту в рiзних формах. Встановлено необхщшсть урахуван-ня контактного термоопору у постановщ та розв'язуванш триболопчних задач.

Ключовг слова: теплоутворення, термоошр, нещеальний контакт.

Вступ. Тепловий анал1з е невщ'емною частиною проектування сучасних вузл1в тертя. Тому теплова задача тертя - визначення температурних пол1в у контактуючих тшах за !х вщносного ковзання е одшею з важливих задач трибо-логп та триботехшки.

Температури тш тертя значною м1рою впливають на процеси, як вщбу-ваються в обласп контакту, адже теплов1 стани тш ютотно впливають на меха-шку !х контактно! взаемодп. Це виражаеться у вигляд1 термопружних перемь щень точок поверхонь контактуючих тш, що призводить до змши областей взаемодп 1 перерозподшу контактних напружень. 1стотно залежать вщ температури коефщент тертя 1 ф1зико-мехашчш властивосп, таю як модуль пружносп, границя мщносп та ш. Не можна нехтувати впливом теплових пол1в 1 на ф1зи-ко-х1м1чш процеси - змша структури будови тш, утворення оксидних пл1вок на

i Надоели баннеры? Вы всегда можете отключить рекламу.