CC BY
187
КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНИЕ
РЕШЕНИЕ СИСТЕМ ЛИНЕЙНЫХ АЛГЕБРАИЧЕСКИХ УРАВНЕНИЙ С ИСПОЛЬЗОВАНИЕМ НЕЙРОСЕТЕВЫХ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ
Н И КОРСУНОВ В статье рассматривается архитектура и обучение нейронной
сети решению систем линейных алгебраических уравнений мето-Белг0р0дский дом обратного распространения ошибки.
государственный
университет Ключевые слова: задача оптимизации, нейронная сеть.
Решение разнообразных задач вычислительной математики во многих случаях сводится к решению систем линейных алгебраических уравнений [1]. Известны аналитические и численных методы решения этих уравнений. Если аналитические методы мало применимы к решению систем большой размерности, то численные методы используют итерационные процедуры, в которых вектор решения системы
АХ = ^ (1)
формируется в виде суммы [2]
Хт+1 = Хт +Ахт ,
8 X
где Ах определяется по вычислительной невязке т решения т из уравнения
Ф(Ахт )=8т . (2)
В этих выражениях А — квадратичная матрица постоянных коэффициентов
XX
а , X — вектор решений, F — вектор свободных членов, т+1, т — решения системы (1) на т + 1 и т шагах, соответственно, Ах = ф1 \£ )= I—1 \£ ) — х*.
т I \ т / ^ \ т /
Применительно к системе (1)
8 т = Ахт — I (3)
и ф(х) = ААх .
В вычислительном отношении очень важен выбор функции ф, которую для обеспечения для обеспечения скорости сходимости представляют [3]
ф(Ах ) = / (х* + Ах) при / (х * )= 0.
Так как р(^ ) найти представляется возможным, то задачу решения систем
линейных алгебраических уравнений сводится к оптимизационной задаче минимизации ошибки (з).
Решение данной оптимизационной задачи средствами вычислительной техники обеспечивается при максимальном быстродействии проведения вычислений и достигается распараллеливанием вычислений.
Для решения задачи оптимизации воспользуемся нейросетевыми технологиями обучения с минимализацией среднеквадратической ошибки. Использование нейросете-вых технологий обусловлено целью работы — обеспечеие максимального параллелизма вычислений при решении систем линейных алгебраических уравнений.
Для решения задачи воспользуемся сетью прямого распространения, которую необходимо обучить по известной матрице А и выходному вектору f находить входной вектор X, обеспечивающий минимум функции стоимости
Е (х ) =1 е2 • (4)
V/ 2 »
Использование непосредственно (2) при поиске вектора X, минимизируещего (4) в нейронной сети, матрица весов которой представляется вектором решений X при входном векторе, задаваемом матрицей А, приводит к некорректной задаче, так как требуется обучить сеть при одних и тех же весовых коэффициентах у всех нейронов выдавать правильный вектор F.
Для решения задачи представим (1) в виде
вглх = ^, (5)
Ь11 • •• Ьц • •• Ь1п У1
В = ьи • •• ьп • •• ьп У = Уі
где матрица Ьп1 • •• К • •• ьпп ; вектор Уп
(6)
, компоненты которого
у = 1, і = 1, п, А, X соответствуют их значениям в (2). В этом случае нейронная сеть
представляется в виде, приведенном на рис. 1, и оптимизационная задача (4) сводится к поиску функции
Е (И = 11 е],
2 і=і
минимизирующей среднеквадратическую меру отклонения ошибки.
Ошибка Єі определяется из ней-росетевых уравнений
е = И - /і = Ґ* - ^ 1т2.
Полученный на выходе нейронов слоя В вектор X представляет решение системы (1).
Рис.
64
НАУЧНЫЕ ВЕДОМОСТИ
Воспользуемся градиентным методом оптимизации и будем корректировать веса в направлении максимального уменьшения функции E (Ж1 )• Тогда
Ж1 (п +1) = Ж1 (п )+АЖ1 (п), (7)
где п — положительная константа, задающая скорость обучения.
Принимая матрицу Ж2 = А неизменной и компоненты у (п) = 1, г = 1, п от известного вектора свободных членов рт =1 { { ... {|т, решение системы линей-
|«/ 1 «/ 2 * * * «/ п |
ных алгебраических уравнений (1) сводится к обучению нейронной сети минимизации среднеквадратичной ошибки (6) путем адаптации коэффициентов матрицы Ж1.
Для обучения сети воспользуемся методом обратного распространения ошибки [4], когда функциональный смысл — на i входе нейрона Ь на итерации п равен
3
У] (п )=Ф ] (х] (п )).
В этом случае коррекция весового коэффициента
АЦг-(п )= п§ ] (п )У1(п )
и так как у (п) = 1, то
АЧ'(п ) = п6 /(п ) = е!(п V/ (хг(п ))
(8)
(9)
Нейрон i слоя В является скрытым слоем мети и
5(п) = р;(х(п ))^5к (п (п) ■
к
В случае решения системы (1) корректируется только скрытый слой сети, и алгоритм обучения сети представляется в виде:
Шаг 1. Случайным образом задаются коэффициенты матрицы В или весовые
М
коэффициенты ], j указывает нейрон слоя В.
Шаг 2. Вычисляются входные и выходные сигналы нейронов слоя В по соотношениям
$ 1=£ м,у, и х/=р(5;).
г=1
р($1) — функция активации нейрона.
Шаг з. Вычисляются входные и выходные сигналы слоя f по соотношениям
=Т.Кх1 и /к =^($к2) ■
Шаг 4. Выходной сигнал нейронов f слоя сравнивается с вектором свободных
Шаг 5. Шаг 6.
членов F и вычисляется ошибка ек (п) для к-го выходного нейрона.
Шаг 7.
Проверяется условие останова, и если они не выполняются, то выполняется следующий шаг, а при выполнении прекращается обучение сети. Вычисляется локальный градиент 5 (п) скрытого нейрона j слоя В в соответствии с (9).
Вычисляется приращение весовых коэффициентов Ам1 нейронов слоя В
в соответствии с (8) и согласно (7) корректируются весовые коэффициенты нейронов слоя В.
Шаг 8. Переход к шагу 2.
Шаг 9. Останов.
Условия останова: достижение заданной точности вычислений.
Примечание. Для повышения быстродействия вначале задаются грубой точностью решения и высшим параметром скорости обучения. Получив грубое решение,
Серия История. Политология. Экономика. Информатика. 2010. № 1 (72). Выпуск 13/1
уменьшают погрешность решения и обучающий коэффициент. Функция активации нейронов скрытого слоя выбирается сигмоидальной, а выходного слоя — линейной.
Проверка решения системы (1) с использованием нейросетевых технологий осуществлялось на примере решения систем с известными решениями и показало, что нейронная сеть дает аналогичные решения с наперед заданной точностью.
Таким образом, рассмотренный метод решения систем линейных алгебраических уравнений с использованием нейросетевых технологий за счет присущего параллелизма вычислений позволяет более эффективно использовать возможности супер-ЭВМ при решении задач большлй размерности по сравнению с известными итерационными алгоритмами последовательного выполнения большого количества элементарных арифметических операций.
1. Фильчаков П.Ф. Численные и графические методы прикладной математики. Справочник. - Киев: Наукова думка, 1970.
2. Гутер Р.М., Овчинский Б.В. Элементы численного анализа и математической обработки результатов опыта. - М.: Наука, Физматлит, 1970.
3. Пухов Г.Е., Кулик М.Н. Гибридное моделирование в энергетике. - Киев: Наукова думка, 1977.
4. Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. - М.: ООО «И.Д. Вильямс», 2006.
Литература
SOLVING LINEAR ALGEBRAIC EQUATION SYSTEMS USING NEURONIC INFORMATIONTECHNOLOGIES
N.I. KORSUNOV
Belgorod State University
The article is considered neurocomputer and neural network training to solve linear algebraic equation systems by back propagation method.
Key words: optimization problem, neutral network.
