CC BY
329
Раздел VI. Вычислительные комплексы нового поколения и нейрокомпьютеры
УДК 007.52:611.81
А.В. Чижков, С.В. Сеитова КЛАССИФИКАЦИЯ ИЕЙРОСЕТЕВЫХ АРХИТЕКТУР*
В статье представлены различные виды классификаций нейронных сетей. Описаны типы нейронов в зависимости от выполняемых ими функций. Подробным образом рассмотрены существующие на сегодняшний день парадигмы нейросетевых архитектур. , , .
, .
Нейронная сеть; нейрон; нейросетевая архитектура; обратная связь; сигнал; слой;
.
A.V. Chizhkov, S.V. Seitova CLASSIFICATION OF NEURONETWORK ARCHITECTURES
Different kinds of neural network classifications are presented in this article. Types of neurons are described depending on functions they implements. The paradigms of neural networks architectures, existing nowadays are examined in details. Especially fully connected, multi-layer and loosely-coupled neural networks. Situations, influencing on the choosing of this or that architecture decision are searched.
Neural network; neuron; neural network architecture; reverse connection; signal; layer; classification.
Введение. Графическая информация (такая как бумажные чертежи схем и их графические эквиваленты с применением растровой или векторной графики) составляет основной объем проектной и конструкторской документации систем ав.
проектировщиком возникает задача преобразования информации из бумажной формы в электронный вид с идентификацией графических примитивов. Как следствие, актуальной становится задача разработки новых направлений, алгоритмов и методик автоматизации этих процессов.
Задача классификации графических примитивов, выполненных в растровом формате в процессе преобразования растрового формата в векторный, заключается в отнесении имеющихся статических образцов к определенным классам. Обычно образец представляется в виде вектора. Компоненты этого вектора представляют собой различные характеристики образца, которые влияют на принятие решения о том, к какому классу можно отнести данный образец.
Среди существующих методов решения задачи классификации необходимо , . -
*
Работа выполнена при поддержке: РФФИ (грант № 09-07-00318), г/б № 2.1.2.1652. 220
ные сети наиболее успешно применяются в задачах классификации, поскольку работают даже в условиях неполной информации и могут решать поставленные задачи с некоторой долей вероятности.
Применяя концепцию искусственных нейронных сетей для решения задачи классификации графических образцов, в первую очередь, необходимо выбрать , . -личества слоев сети и нейронов в каждом слое, так и определение необходимых связей между слоями.
Рассмотрим и приведем классификации некоторых существующих нейросе-тевых архитектур для того, чтобы затем подобрать наиболее подходящую из них для решения задачи классификации графических образов.
Классификация нейронных сетей. Под нейронной сетью понимают совокупность нейроподобных элементов, которые определенным образом соединены как друг с другом, так и с внешней средой с помощью связей, которые определяются весовыми коэффициентами. В зависимости от выполняемых функций в сети, можно выделить три разновидности нейронов:
♦ входные нейроны, на которые подается сигнал, кодирующий входное воздействие или же образ внешней среды; входной слой обычно не выполняет никаких вычислений, а лишь распределяет входные сигналы [1];
♦ выходные нейроны, значения которых представляют выходы нейронной сети; преобразования в них осуществляются по заранее заложенным математическим функциям [1,2];
♦ промежуточные нейроны - составляют основу нейронных сетей; в них также выполняются преобразования.
В большинстве существующих нейросетевых моделей тип нейрона зависит от его расположения в сети. Если нейрон имеет только выходные связи, то это вход, - . ,
выход внутреннего нейрона рассматривается как часть выхода сети.
В процессе функционирования сети осуществляется преобразование входного сигнала в выходной посредствам некоторой переработки информации. Конкретный вид выполняемого сетью преобразования данных зависит не только от характеристик отдельных нейроподобных элементов, но и от особенностей всей архитектуры. Среди таких особенностей можно выделить: топологии связей между нейронами, задачи выбора определенных подмножеств нейроподобных элементов, как для ввода, так и для вывода информации, различные способы обучения сети, факторы наличия или отсутствия конкуренции между нейронами, а так же направления и способы управления и синхронизации передачи информации между нейронами [2,3].
Классификацию существующих парадигм нейронных сетей по топологии можно представить в следующем виде (рис. 1).
, , , -рованных на основе нейроподобных элементов, можно выделить три основных типа [3]:
♦ полносвязные сети;
♦ многослойные или слоистые сети;
♦ слабосвязные сети (нейронные сети с локальными связями).
Полносвязные нейронные сети. В полносвязных нейронных сетях каждый
нейрон передает свой выходной сигнал остальным нейронам, включая самого себя. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети. Все входные сигналы подаются всем нейронам [4].
Рис. 1. Классификация нейронных сетей по топологии На рис. 2 изображена полносвязная нейронная сеть.
. .
является входом для последующего слоя [5]. Каждый такой слой содержит совокупность нейронов с едиными входными сигналами. Число нейронов в слое может быть любым и не зависит от количества нейронов в других слоях. В общем случае сеть состоит из N сл оев, которые нумеруются слева направо, начиная с 0. Внешние сигналы подаются на входы нейронов входного слоя (его часто нумеруют как ну), [3].
На рис. 3 приведена структура трехслойной сети.
Рис. 3. Многослойная нейронная сеть В свою очередь, среди многослойных нейронных сетей выделяют следующие
.
1) Сети прямого распространения (feedforward networks) - это сети без об-
. -правлении от входа к выходу [6]. Сигналы поступают на нейроны входного слоя, который преобразует их и передает далее последовательно на каждый скрытый слой, пока не будет достигнут выходной слой, который уже выдает сигналы пользователю. Таким образом, что в зависимости от способа соединения слоев, сигнал n-ro слоя подается на входы (n+1)-m слоя, либо на входы нейронов (n+m)-m слоя.
Среди нейронных сетей прямого распространения выделяют два типа: однослойные и многослойные сети прямого распространения.
Однослойная сеть пряного распространения представляет собой простейший случай прямонаправленной многослойной сети. Она включает в себя слой входных нейронов и слой выходных. Нейроны входного слоя просто передают сигналы на , . -налов и формирование реакции сети. В отличие от принятой методики обозначения, такие нейронные сети называются однослойными, а не двухслойными. Этим подчер-
[7].
Многослойная сеть пряного распространения. Особенностью такой сети является наличие кроме входного и выходного слоев одного или нескольких скрытых слоев (hidden layer) или скрытых элементов (hidden unit). Они представляют собой нейроны, которые не имеют непосредственных входов, а связаны лишь с выходами входного слоя и с входом выходного слоя. Функция скрытых нейронов заключается в посредничестве между внешним входным сигналом и выходом нейронной сети [8].
и привносят в модель нелинейности.
2) . , ( ), состоит из двух блоков: возбуждающего и тормозящего. Связи между блоками тоже разделяются на тормозящие и возбуждающие. Если от нейронов блока А к нейронам блока В ведут только возбуждающие связи, то это означает, что любой выходной сигнал блока В является монотонной неубывающей функцией любого выходного сигнала блока А. Если же эти связи только тормозящие, то любой выходной сигнал блока В является невозрастающей функцией любого выходного сигнала
.
выходного сигнала нейрона от параметров входных сигналов [3].
3) (recurrent networks) -
,
, , , .
В отличие от нейронных сетей прямого распространения, в рекуррентных се, , , имеется две группы входов. Первая группа входов /'-го нейрона соединена синаптическими связями с m сенсорными элементами, а вторая - соединена с выходами элементов, вносящих задержку выходных сигналов на один такт, i = 1,..., m. Конфигурация подобной сети (рис. 4) определяется числом входов m и числом нейронов скрытого слоя.
Входной слой Скрытый слой Выходной слой
>
>
Рис. 4. Простая сеть с обратными связями
Среди сетей с обратными связями, в свою очередь, выделяют следующие:
♦ слоисто-цимические, отличающиеся тем, что слои замкнуты в кольцо: последний слой передает свои выходные сигналы первому; все слои равноправны и могут как получать входные сигналы, так и выдавать выход;
♦ ело исто-полносвязанные состоят из слоев, каждый из которых представляет собой полносвязную сеть, а сигналы передаются как от слоя к слою, так и внутри слоя; в каждом слое цикл работы распадается на три части: прием сигналов с предыдущего слоя, обмен сигналами внутри слоя, выработка выходного сигнала и передача к последующему слою;
♦ полносвязанно-слоистые, по своей структуре аналогичные слоистополносвязанным, но функционирующим по-другому: в них не разделяются фазы обмена внутри слоя и передачи следующему, на каждом такте нейроны всех слоев принимают сигналы от нейронов, как своего слоя, так и последующих [2].
Наличие обратных связей и элементов временной задержки сигналов придает рекуррентным сетям собственные нелинейные динамические свойства.
Слабосвязные сети. В слабосвязных нейронных сетях (рис. 5) нейроны располагаются в узлах прямоугольной или гексагональной решетки. Каждый нейрон в
( ), ( -лея) или восемью (область Мура) своими ближайшими соседями [2].
Рис. 5. Слабосвязная нейронная сеть
Известные на сегодняшний день нейронные сети можно также разделить по типам структур нейронов на гомогенные (однородные) и гетерогенные. Гомогенные сети состоят из нейронов одного типа с единой функцией активации, а в гетерогенную сеть входят нейроны с различными функциями активации.
Рассматривая возможные классификации нейронных сетей, важно отметить существование классификации нейронных сетей по типу сигнала. Так, нейросети разделяются на бинарные и аналоговые. Первые из них оперируют только двоичными сигналами и выход каждого нейрона может принимать в качестве входного значения логический ноль ("заторможенное" состояние) или логическая единица
(" " ).
способны принимать непрерывные значения [2].
Еще одна классификация делит нейронные сети на синхронные и асинхронные [9]. В первом случае, в каждый момент времени свое состояние меняет лишь . - ,
, .
Сети можно классифицировать также по числу слоев [2]. Теоретически число слоев и число нейронов в каждом слое может быть произвольным, на практике же оно ограничено ресурсами аппаратной базы, на которой реализуется нейронная сеть. Чем сложнее сеть, тем более сложные задачи она может решать.
.
особенностями и сложностью задачи. Для решения отдельных типов задач уже существуют оптимальные конфигурации. Если же задача не может быть сведена ни к одному из известных типов, приходится решать сложную проблему - синтеза .
Для решения задачи классификации графических образцов в САПР хорошо подходят сети прямого распространения, так как они являются универсальным средством аппроксимации функций. Простейшие однослойные нейронные сети прямого распространения способны решать только линейно разделимые задачи, поэтому необходимо использовать архитектуру с дополнительными скрытыми слоями. Для более конкретного определения числа слоев, необходимого для реше-, - -структивный. При использовании первого из них берется сеть минимального размера, и постепенно увеличивается до достижения требуемой точности. При деструктивном методе построения нейронной сети вначале берется сеть завышенного объема. Затем из нее удаляются узлы и связи, мало влияющие на решение. Так же для повышения достоверности классификации можно ввести избыточность путем выделения каждому классу одного или нескольких нейронов в выходном слое, каждый из которых обучается определять принадлежность образа к классу со своей степенью достоверности [10].
Правильный выбор архитектуры нейронной сети имеет большое значение. Но качество идентификации и классификации объектов также зависит и от процесса обучения. Чем быстрее и более точно нейронная сеть будет обучена работе с гра, .
БИБЛИОГРДФИЧЕСКИЙ СПИСОК
1. Заенцев КВ. Нейронные сети: основные модели: Учебное пособие к курсу «Нейронные сети». - Воронеж, 1999. - 24 с.
2. Круглов В. В., Борисов В. В. Искусственные нейронные сети. Теория и практика. - М.: Горячая линия - Телеком, 2001. - 382 с.
3. . ., . ., . . .
- М.: Физматлит, 2001. - 224 с.
4. . ., - . ., . . . . - -
бирск: Наука. Сибирское предприятие РАН, 1998. - 296 с.
5. Яхъяева Г.Э. Нечеткие множества и нейронные сети: Учебное пособие. - М.: Интернет-
; . , 2006.
- 157 с.
6. . . - .: , 2002. - 46 с.
7. . .
систем управления / Диссертация на соискание ученой степени канд. техн. наук. - Харьков, 1998. - 189 с.
8. Хайкин С. Нейронные сети: полный курс. - М.: Издательский дом «Вильямс», 2006. - 55 с.
9. Итоги науки и техники: физические и математические модели нейронных сетей, том 1.
- М.: Изд-во ВИНИТИ, 1990.
10. . .
сетей для задач визуализации в САПР-К / Диссертация на соискание ученой степени канд. техн. наук. - Таганрог, 2003. - 136 с.
Чижков Александр Васильевич
Технологический институт федерального государственного образовательного учреждения высшего профессионального образования «Южный федеральный университет» в г. Таганроге.
E-mail: [email protected].
347928, г. Таганрог, пер. Некрасовский, 44.
Тел.: 8(8634)371-651.
Кафедра систем автоматизированного проектирования.
Аспирант.
Сеитова Светлана Владимировна
Технологический институт федерального государственного образовательного учреждения высшего профессионального образования «Южный федеральный университет» в г. Таганроге.
347928, . , . , 44.
Тел.: 8(8634)371-606.
Кафедра высшей математики.
Аспирант.
Chizhkov Aleksandr Vasilievich
Taganrog Institute of Technology - Federal State-Owned Educational Establishment of Higher Vocational Education “Southern Federal University”.
E-mail: [email protected].
44, Nekrasovskiy, Taganrog, 347928, Russia.
Phone: 8(8634)371-651.
Department of Computer Aided Design.
Post-graduate student.
Seitova Svetlana Vladimirovna
Taganrog Institute of Technology - Federal State-Owned Educational Establishment of Higher Vocational Education “Southern Federal University”.
44, Nekrasovskiy, Taganrog, 347928, Russia.
Phone: 8(8634)371-606.
Department of Higher Mathematics.
Post-graduate student.
УДК 681.518
B.A. Литвиненко, C.A. Ховансков, O.P. Норкин
ОПТИМИЗАЦИЯ МУЛЬТИАГЕНТНОЙ СИСТЕМЫ РАСПРЕДЕЛЕННЫХ
ВЫЧИСЛЕНИЙ*
Современные темпы развития средств вычислительной техники не удовлетворяют требованиям предъявляемых ростом сложности решаемых в настоящее время задач. Для решения задач исследовательского характера, моделирования,
*
Работа выполнена при поддержке: РФФИ (грант № 09-07-00318), г/б № 2.1.2.1652. 226
