CC BY
160
ИНФОРМАТИКА
УДК 519.68:007.5; 512.5
АЛГЕБРАИЧЕСКИЕ СВОЙСТВА АБСТРАКТНЫХ НЕЙРОННЫХ СЕТЕЙ
И. И. Слеповичев
Слеповичев Иван Иванович, старший преподаватель кафедры теоретических основ компьютерной безопасности и криптографии, Саратовский национальный исследовательский государственный университет имени Н. Г. Чернышевского, [email protected]
Современный уровень развития нейроинформатики позволяет использовать искусственные нейронные сети для решения различных прикладных задач. Однако многие применяемые на практике нейросетевые методы не имеют строгого формального математического обоснования, являясь эвристическими алгоритмами. Это накладывает определенные ограничения на развитие ней-росетевых методов решения задач. В то же время существует широкий класс математических моделей, хорошо изученных в рамках таких дисциплин, как теория абстрактных алгебр, теория графов, теория конечных автоматов. Возможность использовать результаты, полученные в рамках этих дисциплин, применительно к нейросетевым моделям может быть хорошим подспорьем в изучении искусственных нейронных сетей, их свойств и возможностей. В данной работе даны формулировки и определения нейросетевых моделей с точки зрения универсальной алгебры и теории графов. Приведены основные теоремы универсальной алгебры в нейросетевой трактовке. В статье также предлагается способ формального описания нейросети граф-схемой, которая позволяет использовать результаты теории графов для анализа нейросетевых структур.
Ключевые слова: нейронные сети, гомоморфизм, конгруэнция, граф-схема ней-росети, вычисления на графе.
РО!: 10.18500/1816-9791 -2016-16-1-96-103
1. ОПРЕДЕЛЕНИЕ АБСТРАКТНОЙ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ
В [1-5] приведены различные определения искусственной нейронной сети, в которых нейронная сеть рассматривается как некая вычислительная система, получающая на вход значения и преобразующая их в процессе своего функционирования в выходные значения. Такой подход эффективен при рассмотрении прикладных нейросете-вых задач, однако он неудобен для изучения математических свойств нейронных сетей, так как не универсален и часто не основан на строгих формализованных понятиях математики. Эти недостатки можно преодолеть, определив дополнительно понятие абстрактной нейронной сети как алгебраической системы, которая при уточнении определения становится неотличимой от искусственной нейронной сети, определённой традиционным способом.
Абстрактной нейронной сетью (абстрактной нейросетью) будем называть алгебраическую систему (А,^), в которой носитель алгебры
А = ЯхХхУ, (1)
— непустое множество, определяемое декартовым произведением
множества векторов состояний, входных векторов и выходных векторов, ¥ — набор операций на этом множестве, который включает операцию д, вычисляющую выходное значение, и операцию Л, вычисляющую новое состояние:
д : 5 х X ^ У, Л : 5 х X х У ^ (2)
Можно говорить, что абстрактная нейронная сеть является трёхосновной алгеброй [6, с. 212]
N = (5,Х,У,д,Л), (3)
где множества 5, X, У — основные множества, а д, Л — операции из ¥, которые мы в дальнейшем будем называть функциями. Множество ¥ может содержать и другие операции. Например, нам может понадобиться функция, осуществляющая некую «оценку» результата работы нейросети: од(у), у £ У, или функция, осуществляющая «оценку» текущего состояния нейросети: о^(з), 5 £ 5, или нам могут понадобиться нульарные операции, фиксирующие некоторое входное значение х0 и начальное значение состояния з0. Такие операции могут быть определены при необходимости для уточнения понятия абстрактной нейросети.
Определение абстрактной нейросети как трёхосновной алгебры позволяет ввести аналоги конструкций универсальной алгебры. Например, непосредственным переносом мы можем определить для абстрактной нейросети понятие устойчивости системы подмножеств, подсети, пересечения подсетей.
Пусть N = (5, X, У, д, Л) — абстрактная нейросеть с непустыми множествами допустимых состояний, входных и выходных векторов нейросети. Система подмножеств С 5, X * С X, У * С У называется устойчивой в нейросети, если для функций д и Л и V з* £ 5 *, х* £ X *, у* £ У * элементы д(з*,х*) £ У *, Л(з* , х*, у*) £ 5 *. Ограничивая функции д, Л для нейросети N на подмножествах 5 *, X *, У * получаем подсеть N * = (5 * ,У * ,д,Л).
Пересечением подсетей N1 = (515X1, У1, д, Л), N2 = (525X2, У2, д, Л) абстрактной нейросети N = (5, X, У, д, Л) будем называть абстрактную нейросеть N П N = (51 П 52, X1 П X2, У1 П У2, д, Л), функциями которой являются функции из N, ограниченные на соответствующих множествах.
Легко доказывается, что пересечение любого семейства подсетей снова будет абстрактной нейро-сетью, и, следовательно, совокупность ) всех подсетей нейросети N будет полной решёткой1,
при условии, что её наименьшим элементом будет нейросеть с пустыми множествами и пустыми операциями. Действительно, если Ni = (5,Xi, У, д, Л) — подсеть N = (5, X, У, д, Л), то
д(з,х) £ Уг&Л(з,х,у) £ Бг ^ д(з,х) £ ПУг&Л(з,х,у) £ П5г. (4)
Замыканием множеств 5 * £ 5, X * £ X, У * £ У относительно функций д, Л называется множество всех элементов (включая элементы из 5*, X *, У *), которые можно получить из этих множеств, применяя функции д, Л.
Пусть N = (51 ^ьУ^дь^), N = (52,У2,д2,Л2) — две нейросети. Семейство отображений
Г = (Гя, Гх, Гу), Гз : 51 ^ 52, Гх : X! ^ X2, Гу : У1 ^ У2 (5)
будем называть гомоморфизмом абстрактной нейросети N в абстрактную нейросеть N¡2, если оно согласовано с операциями д^ и hi, г = 1, 2, в том смысле, что
Гз (Л1(з, х, у)) = Л2 (Гя (з), Гх (х), Гу (у)), (6)
Гу (д1 (з,х)) = д2(Гз(з), Гх(х)), V з £ 51, V х £ V у £ У1. (7)
Нейросеть являющаяся гомоморфным образом абстрактной нейросети N, можно представить как некоторую огрублённую модель абстрактной нейросети N. Сохраняя принципы функционирования своего прообраза, нейросеть N теряет часть информации о входных векторах, векторах состояний и выходных векторах.
'Полная решётка — частично упорядоченное множество, в котором всякое непустое подмножество имеет точную верхнюю и точную нижнюю грань [6, с. 157]
Так как д отображает 5 х X исключительно в У, а Н отображает 5 х X х У в 5, то пару отображений (д, Н) мы можем рассматривать как отображение F : 5 х X х У ^ 5 х У:
F(5, х, у) = (Н(5, х, у), д(5, х)), V 5 е х е X, у е У. (8)
Такие обозначения позволяют нам использовать более короткую запись определения гомоморфизма нейросети N в N:
Г(^1 (5,х,у))= ^2(Г(5,х,у)), V (5,х,у) е 5 х X х У, (9)
или в префиксной операторной форме записи (Го^)(5,х,у) = (^2оГ)(5,х,у). Из такой записи видно, что для поиска гомоморфизмов нейросети N в N2 нужно решить операторное уравнение Го^ = оГ относительно параметров отображения Г.
Гомоморфизм Г называют инъективным, сюръективным, биективным, если соответствующим свойством обладает каждая его компонента Г5, ГХ, Гу. Биективный гомоморфизм абстрактной нейросети будем называть изоморфизмом. Выходные значения и значения состояний, вычисленные изоморфными нейросетями, совпадают при одинаковых входных значениях и начальных состояниях. При этом внутренняя структура и способ вычисления значений этими нейросетями могут различаться.
Если Г : N ^ N и Е : N ^ N3 — гомоморфизмы нейросетей, то можно определить композицию (произведение) этих гомоморфизмов, полагая
Г о Е := (Г1 о Еь Г2 о Е2, Г3 о Е3). (10)
Без труда можно перенести все алгебраические свойства гомоморфизмов многоосновных алгебр, связанные с произведением, на случай абстрактных нейросетей. Докажем теорему о связи между подсетями и гомоморфизмами.
Теорема 1. Пусть Г : N ^ N — гомоморфизм нейросети N в нейросеть N. Если N1 = (51 ,У/, д1, Н1) — подсеть в N1, то Г(^) := (Г^(51), Гх(XI), Гу (У/),д2, Н2) — подсеть в N. Если N2 = (525X2, У2',д2,Н2) — подсеть в N, то подсетью в N будет Г-1 (N2) := (Г-1(52), ГХ1 (X2), Г-1(У2'),д1,Н1).
Доказательство. Пусть N1 — подсеть N и 52 е Г5(51 ),х2 е ГХ(X1 ),у2 е Гу(У) — произвольные элементы. Тогда найдутся 51 е 51 и х1 е X! такие, что 52 = Г5(51 ),х2 = ГХ(х1). Так как д1 (51 ,х1) е У/ и Н1 (51,х1 ,у1) е 51, то поскольку Г — гомоморфизм, имеем: д2(52,х2) = = д2(Г^(51), Гх (х1)) = Гу (д1 (51 ,х1)) е Гу (У/), Н2 (52,х2,у2) = Н2(Г^(51), Гх(х1), Гу (у1)) = = Г5(Н1 (51 ,х1 ,у1)) е Г5(51), и, значит, Г(^) — подсеть N.
Пусть теперь N2 — подсеть N. Если хотя бы одно из множеств Г-1 (52), Г^1 ^2), Г-1(У2') пусто, то Г-1 (N2) — подсеть N. Допустим, что Г-1 (52) = 0, Г^1^) = 0,Г-1(У2/) = 0. Используя то, что N2 подсеть N, а Г — гомоморфизм из N в N, получаем:
Гу(д1 (51,х1)) = д2(Гз(51), Гх(х^) е У^, Гз(Н1 (51, х1, у1)) = Н2(Гз(51), Гх(х1), Гу(у1)) е 52,
откуда д1(51 ,х1) е Г-1 (У2') и Н1(51,х1,у1) е Г-1 (52) и, значит, Г-1 (N2) — подсеть □
Конгруэнцией абстрактной нейросети N = (5, X, У, д, Н) будем называть семейство 8 = 85 с 5 х 5, 8х С X х X, 8у с У х У эквивалентностей на множествах 5, X, У, обладающее свойством устойчивости относительно операций д и Н:
Н : 5 х X х У ^ 5 : (51,52) е 85&(хьх2) е 8х&(у1 ,у2) е 8у ^ (Н(51 ,х1 ,у1 ),Н(52,х2,у2)) е 85, д : 5 х X ^ У : (51,52) е 85&(х1, х2) е 8х ^ (д(51,х1 ),д(52,х2)) е 8у. (11)
Факторсеть N/8 мы определим как абстрактную нейросеть (5/85, У/8у, д, Н), операции которой выражаются через одноимённые операции нейросети N по формуле
Н(8з(5), 8х(х), 8у (у)) := 85(Н(5, х, у)), д(8з(5), 8х(х)) := 8у (д(5, х)).
Непосредственным переносом из теории многоосновных алгебр мы можем получить следующие важные теоремы.
Теорема 2. Пусть Г = (rs, Гх, Гу), Г5 : Si ^ S2, Гх : Xi ^ X2, Гу : Yi ^ Y2 -
гомоморфизм нейросети Nl = (S1 ,X1 , Yl, g, h) e N2 = (S2, X2,Y2,g, h). Тогда его ядро2 КегГ := {КегГ^, КегГх, КегГу} яеляется конгруэнцией нейросети Nl. С другой стороны, если В = {BS, BX, BY} — конгруэнция на N1, то семейстео отображений {nat BS, nat BX, nat BY} будет гомоморфизмом нейросети N1 на факторсеть N1 /В.
Теорема 3 (теорема о гомоморфизмах нейросети). Если Г : N1 ^ N2 — сюръектиеный гомоморфизм нейросети, то факторсеть N^KerT изоморфна нейросети N2.
Доказательства этих теорем получаются непосредственным переносом соответствующих рассуждений из [6, § 2.1].
Пусть N1 = (S1,X1 , Yl,g1, h1), N2 = (S2,X2, Y2,g2, h2) — две абстрактные нейросети. Их прямым произведением называется абстрактная нейросеть N1 х N2 := (S1 х S2,X1 х X2, Yl х Y2,g, h), где
g((s1 ,s2), (x1 ,x2)) := (gi(sL,xL),g2(s2,x2)), h((s1, s2), (x1, x2), (y1, y2)) := (hi(s1, x1, y1), h2(s2, x2, y2)),
для любых (s1 ,x1,y1) G Sl х Xl х Yl , (s2 ,x2 ,y2) G S2 х X2 х Y2.
2. ОПИСАНИЕ НЕЙРОСЕТИ С ПОМОЩЬЮ ГРАФ-СХЕМ
Определение абстрактной нейросети, приведённое выше, даёт нам наиболее общий класс математических моделей нейросетей. Это позволяет без существенных усилий перенести аналогичные алгебраические понятия в теорию нейросетей. Однако для решения прикладных задач нейросеть используется как устройство, вычисляющее выходное значение по входным значениям и текущему состоянию. При таком подходе понятие нейросети необходимо уточнить, определив свойства множеств S, X, Y и способ задания функций g, h из (2).
Основные множества нейросети могут быть дискретными или непрерывными. Если множества S, X, Y — конечные непустые множества состояний, входных и выходных символов соответственно, а h и g задают функции переходов и выходов, то нейросеть N = (S, X, Y, g, h), по сути, является автоматом Мили, свойства которого хорошо изучены и могут быть применены к такой нейронной сети. В случае непрерывности множеств S, X, Y, некоторые вопросы требуют особого рассмотрения с переосмыслением ряда важных свойств нейросети.
Для решения прикладных задач наиболее востребованы нейросети с множествами S С Rn, X С Rm, Y С где Rn, Rm, — линейные векторные пространства размерности n, m и p соответственно над полем действительных чисел. Одна из таких задач — распознавание образов. В этой задаче необходимо по набору внешних признаков некоторого объекта определить, к какому классу он относится. В более общем смысле задача распознавания образов заключается в поиске системы правил, которая позволила бы в полностью автоматическом режиме (т. е. без участия эксперта) распознавать входные образы. Нейросетевое решение этой задачи предполагает построение нейросе-ти, которая по входному вектору признаков объекта вычисляет вектор значений, идентифицирующий распознаваемый объект, или определяет его принадлежность некоторому классу. Для такой нейросе-ти S — это множество допустимых внутренних параметров, X — множество допустимых векторов признаков распознаваемых объектов, а Y — множество возможных ответов (классов). Функция g из определения выступает в роли решающего правила, а функция h используется для настройки параметров нейросети под конкретные условия задачи. В силу непрерывности к множествам S, X,
Y неприменимы многие из методов дискретной математики (например, булевозначные матрицы для описания переходов между состояниями).
Ещё один класс нейросетей — нейросети, моделирующие нечёткий вывод [3]. Основная задача таких нейросетей — вычисления нечёткого вывода для некоторых фиксированных значениях нечётких переменных. В таких нейросетях множества носителя обычно следующие: S С Rn, X С Rm,
Y С [0,1]p , где [0,1]p — векторы с действительными значениями на единичном кубе размерности p.
2Ядро отображения f : A ^ B — это отношение Ker f := |(ai, 02) Е A х A\f (ai) = f (0-2)} [6, c. 60].
Есть много других задач, где используется модель нейросети как основной метод построения вычислений. Общим для большинства таких задач является применение методов условной или безусловной оптимизации, а также численных методов решения уравнений для поиска оптимальных параметров нейросети. Это накладывает на множества 5, X, У условие непрерывности, а на функцию д(з,х) — условие непрерывности и дифференцируемости по всем аргументам.
Рассмотрим теперь способы представления функций нейросети. Функция д задаёт выход нейросети и может быть задана различными способами. Наиболее популярно определение д в виде формулы векторно-матричных операторов или граф-схемы функциональных элементов. Первый вариант удобен при моделировании работы нейросети на компьютере при заранее известной функции д. Второй способ удобен на стадии решения задачи синтеза нейросети из заданных «простых элементов».
Граф-схему функциональных элементов для функции выхода определим в два этапа: на первом этапе приведём структурную часть этого понятия, на втором этапе — функциональную. Для начала определим понятие набора базовых операций — элементарных «блоков», из которых будет строиться вычислительная модель нейросети.
Предположим, что у нас имеется набор операций В = {във2,..., в?}. Это могут быть операции, вычисляющие сумму, произведение, возведение в квадрат значений или любые другие операции от любого числа переменных, не превосходящего г := п + т + р3. Обычно набор операций определяется рядом конкретных требований, однако он должен быть достаточным для реализации любой из возможных функций нейросети. Например, в данном наборе должны быть нульарные операция присвоения значения переменным. Для обозначения операции присвоения мы можем использовать символ переменной, которой присваивается значение. Кроме того, полезной может оказаться тождественная функция скалярного аргумента: в(х) := х. Базовая операция может быть вектор-функцией, т.е. функцией, значениями которой являются векторы размерности более 1. Например, это может быть унарная операция, которая формирует вектор, используя некоторое скалярное входное значение (рис. 1): в(х) := (х, х,..., х).
4-V-'
п раз
Доказана теорема [7], согласно которой для реализации любой непрерывной действительной функции многих переменных достаточно бинарной операции умножения, сложения, определённых стандартным образом над полем действительных чисел, а также некоторой нелинейной унарной операции. В общем случае подбор минимального набора базовых операций является сложной задачей и выходит за рамки данной статьи. Перейдём к определению структуры нейросети.
I этап. Определение граф-схемы из функциональных элементов с точки зрения её структуры. Структуру граф-схемы можно задать, используя понятие ориентированного графа [6, с. 227].
Граф-схемой функции выхода нейросети (схемой функционирования нейросети)4 над базисом В = (във2, ...,в?} будем называть ориентированный граф5 Ед = (Уд, Ед), между вершинами которого и множеством переменных {з1 ,з2,...,зп,х1 ,х2,...,хт,у1 ,у2,...,ур} существует взаимно однозначное соответствие. При этом вершины и дуги графа помечаются следующим образом:
1. Каждая вершина помечена символом операции вi £ В. Количество и порядок дуг, заходящих в вершину V, должен соответствовать количеству и порядку аргументов функции вi, г = 1, 2, ...,п + т + р. При этом источники графа не могут быть помечены символами операций присвоения выходных переменных ук.
2. Каждая дуга ) £ Ед помечена символом переменной о^.
3г := п + т + р — это размерность множества Б х X х У.
4В литературе, посвящённой нейросетям, часто используют другой термин — «структура» или «архитектура» нейросети. Термин «схема» порождён аналогиями нейроинформатики с дисциплинами, изучающими схемы функциональных элементов [8,9], а термин «структура» обычно используется в системном анализе [10].
5В общем случае граф-схема нейросети может содержать циклы, но в данной статье такие нейросети с обратными связями рассматриваться не будут, поэтому далее будем рассматривать только ациклические графы
Рис. 1. Вершина графа ы, помеченная символом операции в (а^г ,а12г, ■ ■ ■ г) и символом переменной гг
Кортеж всех переменных граф-схемы будем обозначать
г = (^1, 52, . . . , 5П,Ж1 ,Х2 ,...,Хт , У1,У2, • • • , Ур) := (¿1, ¿2, . . . , П + Ш + р)). (12)
Отдельная вершина графа Ед изображена на рис. 1 прямоугольником.
Другими словами, граф-схема Ед = (V,, ) — ориентированный граф, который состоит из вершин V := (гг,вг) е и дуг е^ = (V, V, о^-) е Ед, г, ^ = 1, 2,..., п + ш + р.
II этап. Определение вычислений на граф-схеме Ед. Граф-схеме Ед сопоставим в соответствие систему функций
«г^ = вгк («¿1 г, «Ы, - - - , «1«г),
г = 1, 2, ...,п + ш + р, к = 1, 2,...,(г>г), и = й- (г>г))
(13)
где п, ш,р — размерности 5,X, У соответственно, (г>г,г^, ), (^, V, г) е , вгк — значение к-й компоненты результата функции в(«¿1 г, «г2г,..., «г«г). Вычисления на этом графе определим по индукции.
Базис индукции. Сначала вычисляются значения для вершин V, помеченных нульарными операциями присвоения значений переменных в е {51, 52,..., 5П ,х1,х2 ,...,хт} е В. По определению это будут источники графа, так как количество входящих в вершину дуг равно количеству аргументов операции, приписанной этой вершине. Вычисленные по формулам (13) значения присваиваем переменным , аг^2,..., , которыми помечены исходящие из вершин V дуги:
а,3ь = вгк, к = 1, 2, (V), V г таких, что й-(г>г) = 0. (14)
Индуктивный переход. Если для некоторой вершины г>г определены все значения переменных г,
г, ..., г для дуг, заходящих в эту вершину, то вычисляем значение соответствующей операции в этой вершине. Полученное значение присваиваем переменным а^, а^, ..., а^, которыми помечены исходящие из V дуги:
«г^ = вгк («¿1 г, «¿2 г , ..^«¿„г), к = 1, 2,..., (^), V г таких, что й- (^) > 0. (15)
Данное определение задаёт естественный порядок вычислений на графе: вычисления начинаются для вершин источников с присвоения значений переменных х и 5. Далее вычисляются значения для тех вершин, все заходящие дуги которых являются окончанием маршрутов от источников единичной длины. Потом вычисляются значения в вершинах, все заходящие дуги которых являются окончанием маршрутов от источников длины 2 и т.д. Очевидно, что если в графе нет циклов, то вычисления заканчиваются в вершинах с максимальной длиной маршрута от источников (рис. 2). В случае наличия циклов для остановки вычислений на графе необходим дополнительный критерий, который будет проверяться на каждой итерации вычислений.
Аналогичным образом задаётся граф-схема функции переходов к, с тем лишь отличием, что начальными значениями в вычислениях могут быть также и значения выходных переменных у.
Граф-схемой функции переходов (схемой обучения нейросети) над базисом В = {в1 , в2,..., в?} будем называть ориентированный упорядоченный граф Е^ = (Уй,, Е,), между вершинами которого и множеством переменных {51, 52,..., 5П, х1, х2,..., хт, у1, у2,..., ур} существует взаимно однозначное соответствие. При этом вершины и дуги графа помечаются следующим образом.
1. Каждая вершина помечена символом операции вг е В. Заходящие в вершину V дуги упорядочены в соответствии с порядком аргументов вг. Количество и порядок аргументов вг соответствует количеству и порядку заходящих в вершину V дуг.
2. Каждая дуга (г^,-^) е Е помечена символом переменной .
Вершины-источники граф-схемы функции перехода могут быть помечены любыми операциями множества В. Граф-схему, не меняющую вектор выхода или вектор состояния, будем обозначать единицей. Такая граф-схема соответствует тождественным функциям выхода и перехода (рис. 3):
1д : у(5,х) := х;
1й : Л(з, х) := 5.
Как видно из определения, граф-схемы нейросети характеризуются структурой — графом определённого вида и функционированием — законом преобразования входных векторов и векторов состояния в выходные. Это позволяет нам для определения нейросети использовать следующие обозначения:
N =(5,^ У, Ед, Е^,В),
(16)
Рис. 2. Граф-схема функции выхода д(а,Ь) = 2а2 + Ь. В вершинах указана формула для получения результата операции над значениями переменных а, Ь
Рис. 3. Две различных граф-схемы, вычисляющие одну и ту же функцию выхода д(х) = х2
где 5, X, У — множества состояний, входных векторов и выходных векторов соответственно, Ед и Е^ — граф-схемы функционирования и обучения соответственно, а В = {в1,в2, • • • ,вд} — базисный набор операций. При этом вычисления на графах Ед, Е^ производятся по правилам (13)-(15).
Пример. Пусть у нас есть нейросеть, вычисляющая квадрат аргумента N = (0, Д, Д, д(а, Ь) = 2а2 + Ь, ). Переменные состояния у этой нейросети отсутствуют, а граф-схему функции выхода можно определить, как показано на рис. 2.
Задание функций нейросети граф-схемами более конструктивно, чем через формулы в том смысле, что даёт удобное представление порядка вычислений в нейросети. Однако такое описание нейросети не равнозначно определению (1)-(3), так как одна и та же функция может быть задана несколькими различными способами (граф-схемами).
Например, функцию выхода, заданную формулой д(х) = х2, можно определить двумя разными графами вычислений (рис. 3). Первый способ использует базис В = {х2,х} и граф с одной дугой и двумя вершинами, а во втором — В = {*,х} и граф с двумя дугами и двумя вершинами.
Ещё один важный вопрос — любое ли отображение в определении абстрактной нейросети представимо с помощью граф-схем? Ответ на этот вопрос утвердительный. Действительно, если у нас есть нейросеть N = (5, X, У, д, Л), то мы можем выбрать базисный набор операций В = {д, Л, 51, 52,..., 5п, х1, х2, •..,хт,у1 ,у2, ...,ур} и определить граф-схемы, как показано на рис. 4.
Рис. 4. Тривиальные граф-схемы для реализации функций д и К Таким образом, мы доказали
Утверждение. Для любой нейросети N = (5, X, У, д, Л) функции д, Л можно задать с помощью граф-схем Ед, Е^ соответственно, однако такое представление может быть не единственным.
Библиографический список
1. Головко В. А. Нейронные сети : обучение, организация и применение. Кн. 4 : учеб. пособие для вузов / общ. ред. А. И. Галушкина. М. : ИПРЖР, 2001.
2. Горбань А. Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей // Сиб. журн. вычисл. матем. 1998. Т. 1, № 1. С. 11-24.
3. Круглов В. В., Дли М. И., Голунов Р. Ю. Нечёткая логика и искусственные нейронные сети. М. : Физматлит, 2001.
4. Тархов Д. А. Нейронные сети. Модели и алгоритмы. М. : Радиотехника, 2005.
5. Хайкин С. Нейронные сети : полный курс. М. : Издат. дом «Вильямс», 2006.
6. Богомолов А. М., Салий В. Н. Алгебраические основы теории дискретных систем. М. : Наука, 1997.
7. Колмогоров А. Н. О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одной переменной и сложения // Докл. АН СССР. 1957. Т. 114, № 5. С. 953-956.
8. Горбань А. Н. Обучение нейронных сетей. М.. : СП «Параграф», 1990.
9. Алексеев В. Б., Ложкин С. А. Элементы теории графов, схем и автоматов. М. : Издат. отдел ф-та ВМиК МГУ, 2000.
10. Митрофанов Ю. И. Системный анализ. Саратов : Науч. кн., 2000.
Algebraic Properties of Abstract Neural Network
1.1. Slepovichev
Slepovichev Ivan Ivanovich, Saratov State University, 83, Astrakhanskaya st., Saratov, Russia, 410012, [email protected]
The modern level of neuroinformatics allows to use artificial neural networks for the solution of various applied problems. However many neural network methods put into practice have no strict formal mathematical substantiation, being heuristic algorithms. It imposes certain restrictions on development of neural network methods of the solution of problems. At the same time there is a wide class of mathematical models which are well studied within such disciplines as theory of abstract algebras, graph theory, automata theory. Opportunity to use results received within these disciplines in relation to neural network models can be a good help in studying of artificial neural networks, their properties and functionality. In this work formulations and definitions of neural network models from the point of view of universal algebra and the theory of graphs are given. The main theorems of universal algebra are provided in neural network treatment. In article is also offered the way of the formal description of a neuronet by graph-schemes which allows to use results of graph theory for the analysis of neural network structures.
Key words: neural net, homomorphism, congruence, graph-scheme of a neural network, computation on a graph.
References
1. Golovko V. A. Nejronnye seti : obuchenie, orga-nizacja i primenenie [Neural networks: training, and organizing your application]. Book 4 : Manual for High Schools / ed. A. I. Galushkina, Moscow, IPRZhR, 2001 (in Russian).
2. Gorban A. N. Generalized approximation theorem and computational capabilities of neural networks. Sib. Zh. Vychisl. Mat., 1998, vol. 1, no. 1, pp. 11-24 (in Russian).
3. Kruglov V. V., Dli M. I., Golunov R. U. Nechjotka-ja logika i iskusstvennye nejronnye seti [Fuzzy Logic and Artificial Neural Network]. Moscow, Fizmatlit, 2001 (in Russian).
4. Tarhov D. A. Nejronnye seti. Modeli i algorit-my [Neural network. Models and Algorithms]. Moscow, Radiotehnika, 2005 (in Russian).
5. Haykin S. Neural Networks. A Comprehensive Foundation. Hamilton, Ontario, Canada, 1999.
6. Bogomolov A. M., Salii V. N. Algebraicheskie os-novy teorii diskretnykh sistem [Algebraic foundations of the theory of discrete systems]. Moscow, Nauka, 1997 (in Russian).
7. Kolmogorov A. N. On the representation of continuous functions of many variables by superposition of continuous functions of one variable and addition. Dokl. Akad. Nauk SSSR, 1957, vol. 114, no. 5, pp. 953-956 (in Russian).
8. Gorban A. N. Training neural networks. Moscow, USSR-USA JV "Paragraph", 1990 (in Russian).
9. Alekseev V. B., Lozhkin S. A. Elementy teorii grafov, skhem i avtomatov [Elements of the theory of graphs, charts and machines]. Moscow, Izdat. otdel fakulteta VMiK MGU, 2000 (in Russian).
10. Mitrofanov Yu. I. System analysis. Saratov, Nauch-naia kniga, 2000 (in Russian).
