CC BY
121
ШЫ 1810-0198. Вестник ТГУ, т.19, вып.2, 2014
УДК 519.85
БЛОЧНЫЙ МЕТОД ДЕКОМПОЗИЦИИ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ С ПРЯМЫМ РАСПРОСТРАНЕНИЕМ СИГНАЛА
© В.Ю. Маркеев, А.А. Крючков, А.А. Арзамасцев
Ключевые слова: искусственные нейронные сети; декомпозиция; блочный перцептрон.
Приводится метод декомпозиции искусственной нейронной сети с прямым распространением сигнала на блоки, представляющие собой прототип нейрона со сложной функцией активации.
Обучение искусственных нейронных сетей (ИНС) является одной из главных проблем при их практическом применении, т. к. требует значительное количество временных и аппаратных ресурсов. Большинство алгоритмов обучения имеет высокую степенную сложность относительно количества нейронов и связей в сети. Понижение сложности алгоритмов обучения в данное время является актуальной задачей. Понизить степенную сложность алгоритма удается очень редко, но можно применить разбиение большой нейронной сети на части. Известно для степеней, больших 1, что степень суммы чисел больше, чем сумма степеней этих чисел. Именно поэтому можно применять разбиение нейронной сети на подсети. Обучая нейронную сеть, можно сэкономить временные и машинные затраты при обучении небольших фрагментов исходной сети. Обучая по очереди такие фрагменты, можно воспользоваться данным математическим правилом и понизить сложность обучения искусственных нейронных сетей.
Для упрощения этой задачи, в частности для использования возможностей параллельных вычислений, можно осуществить декомпозицию структуры ИНС-модели, выделив независимые фрагменты сети. Данные фрагменты, являющиеся результатом декомпозиции, будем называть структурными блоками, или просто блоками.
Блок - участок нейронной сети, принимающий один или несколько входных импульсов, но возвращающий строго единственный выходной импульс.
Данное определение проводит аналогию между блоком и нейроном: блок можно представить как сложно-структурированный нейрон. Следует отметить, что как в случае со всей сетью, так и в случае с отдельным блоком понятие слоев нейронов не принципиально: единственным условием является отсутствие обратных связей. Причем конкретный входной импульс может поступать в любой из нейронов блока. Блок - это прототип нейрона, обладающий сложной функцией активации. Рассматривать блоки, состоящие из единственного нейрона, не имеет смысла.
ДЕКОМПОЗИЦИЯ ИСКУССТВЕННОЙ ЕЙРОННОЙ СЕТИ НА БЛОКИ
В процессе декомпозиции используется рабочее понятие псевдоблока, который изначально состоит из
единственного нейрона, шаг за шагом расширяется в сторону против движения импульса и в момент трансформации превращается в полноценный блок или так и остается одиночным нейроном. Трансформация блока наступает в момент, когда ему уже некуда расширяться.
Процесс начинается с того, что каждый выходной нейрон сети назначается псевдоблоком. Если сеть имеет единственный выход, то псевдоблоками назначаются нейроны, встретившиеся при возникновении первого ветвления по направлению против движения импульса (от выхода к входам).
На каждом шаге анализируется примыкающее множество еще не обработанных нейронов, непосредственно передающих импульс хотя бы в один из псевдоблоков. Каждый нейрон примыкающего множества может быть охарактеризован следующим образом:
- нейрон, непосредственно передающий импульс исключительно членам одного и того же псевдоблока, -однополярный;
- нейрон, непосредственно передающий импульс хотя бы в два различных псевдоблока, - многополярный;
- в ином случае нейрон, передающий импульс хотя бы в один из еще не обработанных нейронов, имеет неясную полярность - неясный.
Каждый однополярный нейрон включается в псевдоблок, которому он передает импульс.
Каждый многополярный нейрон приобретает статус нового самостоятельного псевдоблока.
Каждый псевдоблок, к которому не примыкает ни один неясный нейрон, а также на данном шаге не был включен ни один однополярный нейрон, подлежит трансформации. Действительно, в данном случае псевдоблоку уже некуда расширяться.
Данный процесс продолжается до тех пор, пока каждый псевдоблок не будет трансформирован.
Таким образом, по завершении данного процесса декомпозиции внутри нейронной сети выделятся независимые блоки.
ОСОБЕННОСТИ ПРИМЕНЕНИЯ БЛОЧНОГО ПОДХОДА
Можно выделить следующие преимущества декомпозиции нейронной сети на блоки:
ISSN 1810-0198. Вестник ТГУ, т.19, вып.2, 2014
- возможность блочного обучения (по частям, замораживая остальные блоки);
- упрощение обучения нейронных сетей, используя алгебраические преобразования сложной функции активации внутри замороженных блоков;
- возможность параллельных вычислений и параллельного обучения блоков, стоящих в одном слое;
- возможность упрощения структуры после обучения для мгновенного просчета сети, используя алгебраические преобразования;
- исследование и применение новых принципов и подходов к обучению блочной нейронной сети.
Разумеется, что не каждая сеть (например, полносвязная) может быть подвержена декомпозиции данным методом. Основным семантическим критерием блока является тот факт, что все нейроны, принадлежащие данному блоку, сосредоточивают свое влияние непосредственно на его выходе, что позволяет абстрагироваться от содержимого блока.
Так как блоки - это сложные нейроны, то они также могут быть объединены в слои. Слои блоков абсолютно идентичны слоям нейронов, и можно ввести понятие блочного перцептрона. Сеть может и не быть перцептроном, но быть блочным перцептроном (внут-
ри блока находится нарушенная структура слоев нейронов, но сами блоки структурированы по слоям).
Принцип блочного перцептрона позволяет работать с ИНС-моделями, не относящимися к классу перцеп-тронов, как с перцептронами в общем случае, а содержимое блоков обучать отдельными методами. Данный подход позволяет по-новому взглянуть на обучение сложных структур простыми способами.
ЛИТЕРАТУРА
1. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2004. 344 с.
Поступила в редакцию 20 ноября 2013 г.
Markeev V.Y., Kryuchkov A.A., Arzamastsev A.A. BLOCK DECOMPOSITION METHOD OF ARTIFICIAL NEURAL NETWORKS WITH DIRECT SIGNAL PROPAGATION
The decomposition method of artificial neural network with forward signal into blocks representing the prototype with a complex neuron activation function is considered.
Key words: artificial neural networks; decomposition; block perceptron.
Маркеев Вадим Юрьевич, Тамбовский государственный университет им. Г.Р. Державина, г. Тамбов, Российская Федерация, аспирант, кафедра компьютерного и математического моделирования; программист управления информационно-технического обеспечения, e-mail: [email protected]
Markeev Vadim Yuryevich, Tambov State University named after G.R. Derzhavin, Tambov, Russian Federation, Postgraduate Student, Computer and Mathematical Simulation Department; Programmer of Information-Technical Supply Management, e-mail: [email protected]
Крючков Алексей Александрович, Тамбовский государственный университет им. Г.Р. Державина, г. Тамбов, Российская Федерация, студент института математики, физики и информатики, программист учебно-методического управления, e-mail: [email protected]
Kryuchkov Aleksey Aleksandrovich, Tambov State University named after G.R. Derzhavin, Tambov, Russian Federation, Student of Mathematics, Physics and Informatics Institute, Programmer of Study and Methodical Management, e-mail: [email protected]
Арзамасцев Александр Анатольевич, Тамбовский государственный университет им. Г.Р. Державина, г. Тамбов, Российская Федерация, доктор технических наук, профессор, зав. кафедрой компьютерного и математического моделирования, e-mail: [email protected]
Arzamastsev Alexander Anatolyevich, Tambov State University named after G.R. Derzhavin, Tambov, Russian Federation, Doctor of Technics, Professor, Head of Computer and Mathematical Simulation Department, e-mail: [email protected]
