Научная статья на тему 'Разделяющая мощность слабосвязанных нейронных сетей'

Разделяющая мощность слабосвязанных нейронных сетей Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
577
114
i Надоели баннеры? Вы всегда можете отключить рекламу.
i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Разделяющая мощность слабосвязанных нейронных сетей»

3. Васильев А.Н., Тархов Д. А. «Нейросетевой подход к решению краевых задач в составных областях // «Искусственный интеллект. Интеллектуальные и многопроцессорные системы-2004», Материалы Международной научной конференции, Таганрог: Изд-во ТРТУ. Т.1. 2004. С.475-478.

4. Simon S.Haykin, “Neural Networks: A Comprehensive Foundation”, Macmillan, New York, 696 p., 1994.

5. Ивахненко А.Г., Юрачковский Ю.П., «Моделирование сложных систем по экспериментальным данным». М.: Радио и связь, 1987. 120с.

А.Ю. Дорогов, А.А. Алексеев, М.Ю. Шестопалов РАЗДЕЛЯЮЩАЯ МОЩНОСТЬ СЛАБОСВЯЗАННЫХ НЕЙРОННЫХ СЕТЕЙ

1. Введение

Определяющей оценкой качества нейронных сетей прямого распространения является их способность к распознаванию образов. Любая система распознавания обладает конечной информационной емкостью, поэтому зависимость ошибки распознавания от числа образов, как правило, имеет выраженный пороговой уровень. Число образов, соответствующее порогу, называют разделяющей мощностью [1].

Существует проблема выбора тестового набора образов для оценки качества систем распознавания. Когда образы представлены точками векторного пространства, то стандартно используют в качестве тестового набора образы в виде подмножеств точек «общего положения». По определению [1] множество, состоящее из N точек n - мерного пространства называют множеством общего положения, если ни одно из его подмножеств, состоящее из n +1 точек не лежит на (n -1) -

мерной гиперплоскости. Или иначе: любое подмножество из n +1 точек, образует n - мерный репер. Если N < n , то множество точек общего положения образует (N -1) - мерный репер.

Будем говорить, что система распознавания обладает разделяющей мощностью уровня к, если она способна распознать любой к -мерный репер. Факт распознавания к -мерного репера заключается в том, что в выходном пространстве образов ему можно однозначно сопоставить любой к -мерный репер. Для полного класса линейных решающих правил данная оценка совпадает с размерностью Вапника-Червоненкиса [2].

Вектора репера часто интерпретируют как ребра объемной фигуры с плоскими гранями (симплекса). Размеры симплекса могут быть сколь угодно малыми, поэтому в пределе можно считать, что множество операторов нейронной сети локально представимо множеством линейных аффинных отображений:

f (*)-f (*0) = (*- *0)W , где вектор х0 определяет позицию репера во входном аффинном пространстве.

При условии произвольного выбора к -мерных реперов на входе и выходе сети, множество линейных отображений W изоморфно тензорному произведению векторных пространств размерности к . Отсюда следует, что множество операторов нейронной сети с разделяющей мощностью к должно покрывать операторное пространство размерности к 2 и, следовательно, число степеней свободы нейронной сети должно удовлетворять неравенству SW > к2. Далее, если преобразова-

ние V е Ж отображает к -мерный репер в к -мерный репер, то гапк (т^) > к. Используя данные рассуждения, можно получить следующую аналитическую оценку для разделяющей мощности нейронной сети:

к < шт , гапк (Ж)).

Точность оценки определяется степенью выполнения достаточных условий операторного покрытия. Необходимым условием применимости оценки является связность операторного множества. Для нейронной сети это означает, что каждый рецептор входного слоя сети должен быть связан с аксоном выходного слоя. Для однослойного персептрона с полным набором связей данное требование автоматически выполняется. Более того, в однослойном персептроне все синаптические веса независимы и их число однозначно определяет число степеней свободы сети. В многослойных сетях ситуация меняется. В силу последовательного характера обработки данных синаптические веса различных нейронных слоев оказываются взаимозависимыми, и их число уже не определяет однозначно разделяющую способность нейронной сети.

При обработке данных высокой размерности с целью экономии вычислительных ресурсов и обеспечения приемлемого быстродействия применяются многослойные сети с прореженными связями. Прореживание связей и многослой-ность приводят к тому, что разделяющая мощность оказывается зависимой не только от набора синаптических весов, но и от топологии сети. Общее решение задачи оценки разделяющей мощности для сетей с произвольной топологией в настоящее время неизвестно. В данной работе рассматривается метод оценки разделяющей мощности для одного из классов многослойных сетей, называемых слабосвязанными. Данный класс сетей обладает морфологическим инвариантом, существенно упрощающим решение поставленной задачи. Класс слабосвязанных сетей является достаточно объемным и включает в себя структуры, широко используемые в приложениях.

2. Морфология слабосвязанных сетей

Слабосвязанные нейронные сети принадлежат классу модульных нейронных сетей прямого распространения. Можно указать ряд причин определяющих практическую значимость исследования сетей данного типа:

• к классу слабосвязанных сетей принадлежат быстрые нейронные сети (БНС) [3], обладающие структурным подобием с алгоритмами быстрого преобразования Фурье и наследующие от последних высокое быстродействие.

• обычные многослойные топологически полносвязанные сети также принадлежат к классу структурно слабосвязанных сетей;

• при реализации нейронных сетей на суперкомпьютерах структура нейронной сети подчиняется структуре вычислительной системы. Такие известные структуры как «Banyan», «Омега», «Обобщенный куб» и др. [4] являются слабосвязанными сетями или строятся на основе слабосвязанных сетей;

• в слабосвязанных сетях реализуется принцип генетического подобия структуры, что по заключению нейрофизиологов явилось основным порождающим механизмом в эволюции коры головного мозга [5];

• в классе слабосвязанных нейронных сетей достаточно просто реализуются регулярные структуры любой размерности [6], пригодные для реализации в технологии больших интегральных схем.

На рис 1. приведен пример регулярной слабосвязанной нейронной сети. Вершины графа соответствуют нейронным модулям. В предельном случае (для БНС) нейронному модулю отвечает однослойный персептрон малой размерности (нейронное ядро). Характерной особенностью слабосвязанных сетей является отсутствие параллельных путей между вершинами.

Рис. 1. Слабосвязанная многослойная нейронная сеть

На рис. 2 приведено модульное представление многослойной полносвязанной нейронной сети прямого распространения, где каждому модулю соответствует один нейронный слой. На представленных структурных моделях отображены размерности модулей и операторные ранги связей.

(рУ) (рУ) (рУ) (рп-У-1) (р1^11)

Рис. 2. Структурная модель многослойной полносвязанной нейронной сети

Морфологическое понятие слабой связанности было введено в работе [7] и в дальнейшем исследовалось в работах [8,9]. Рассмотрим эту парадигму более детально. Обозначим через Н (А, Г) ориентированный граф структурной модели

сети, где множество вершин А - составляет набор нейронных модулей, а множество дуг Г - определяет межмодульные связи. Введем необходимые определения.

Множество вершин сети, воспринимающих внешний входной вектор, назовем афферентом сети. Множество вершин, формирующих внешний выходной вектор, назовем эфферентом сети. Афферент и эфферент будем называть также

терминальными подмножествами и обозначать далее Л/г (Н) и Е/г (Н) соответственно.

Пусть В - некоторая вершина сети. Назовем афферентом вершины В (обозначается далее Л/г (В)) подмножество вершин афферента сети связанных дугами с вершиной В . Подобным образом эфферентом вершины В назовем подмножество вершин эфферента сети (обозначается - Е/г (В)), связанных дугами с

вершиной В . Афференты и эфференты вершин будем также называть её терминальными проекциями.

Определение. Модульная сеть называется слабосвязанной, если для любой вершины сети терминальные проекции вершин любой ее окрестности не пересекаются. Морфологический инвариант слабосвязанных сетей может быть выражено парой симметричных условий:

Л/г (В)= £ Л/г (Л),

ЛеГ-1 (В)

Е/г (В) = £ Е/г (С),

СеГ(В)

где Г-1 (В) - рецепторная окрестность вершины В , Г (В) её аксоновая окрестность, символ £ обозначает прямую сумму соответствующих множеств. Первое

выражение устанавливает, что в слабосвязанной сети для любой вершины В аф-ферентые проекции вершин её рецепторной окрестности не пересекаются. Второе выражение устанавливает аналогичное условие для эфферентных проекций. Можно показать [10], что оба выражения двойственны друг другу и если выполняется одно из них, то обязательно будет выполнено и другое.

Теорема. В слабосвязанных сетях отсутствуют параллельные пути. Доказательство. Предположим противное. Пусть два параллельных пути сходятся в вершине В , проходят через ее окрестные вершины Л1 и Л2 . По условию параллельности пути имеют точку пересечения в некоторой вершине Л, предшествующей вершинам Л1 и Л2 . Следовательно, афференты вершин Л1 и Л2

пересекаются так, что Л/г (Лг) п Л/г (Л2) = Л/г (Л'), но это противоречит условию

слабой связанности. Поскольку утверждение справедливо для любой вершины, включая терминальные, то отсюда следует невозможность параллельных путей для всей сети ■.

Хоо Х01 Х02 Х03 Х 04 X 05 ------->

У30

У31

Уз2

Узз

Уз4

Уз5

Рис. 3. Слабосвязанная сеть с транзитивными связями

Слабосвязанные сети могут иметь транзитивные связи между несмежными слоями. Пример подобной сети показан на рис. з.

3. Параметрическая пластичность нейронных сетей

Обозначим через E -пространство признаков, а через D - пространство образов. Нейронная сеть, заданная на векторных пространствах E, D реализует отображение E ^ D. Класс операторов нейронной сети, порождаемый изменением ее синаптических весов, образует многомерную поверхность в пространстве операторов. Размерность этой поверхности определяется максимальной размерностью ее касательного пространства. Эту характеристику далее будем использовать как количественную оценку параметрической пластичности нейронной сети. Степень параметрической пластичности является прямым математическим эквивалентом известного из механики понятия «число степеней свободы» материальной точки.

В пределах малой окрестности касательного пространства все операторы нейронной сети можно рассматривать как линейные, поэтому исходная нелинейная задача сводится к исследованию пластичности перестраиваемых линейных операторов. В общем случае операторная поверхность нейронной сети неоднородна и может иметь различные размерности касательного пространства вдоль поверхности. Понятно, что для каждой нейронной сети существует минимальное объемлющее операторное многообразие [11] (далее оно называется эквифиналь-ным многообразием), которое целиком содержит операторное множество нейронной сети. Размерность этого многообразия, очевидно, равна максимальному значению размерности касательного пространства. Таким образом, для оценки степени пластичности нейронной сети необходимо определить размерность ее экви-финального многообразия. В процессе обучения нейронная сеть дрейфует по операторному пространству, и в каждой точке траектории набор параметров можно рассматривать как текущее состояние сети. Будем говорить, что сеть находится в общем положении, если ее операторная точка принадлежит эквифинальному многообразию. При исследовании потенциальных возможностей нейронных сетей достаточно ограничиться моделями общего положения.

Эквифинальные операторные многообразия нейронных модулей. Как было отмечено выше, в контексте оценки пластичности нейронной сети можно полагать, что нейронный модуль описывается линейным оператором. Пусть Е и D - ассоциированные пространства для модуля Л с размерностями M и N. Ограничиваясь моделью общего положения будем считать, что при варьировании параметров операторное множество модуля совпадает с многообразием линейных отображений Аг : Е ^ D ранга г . В [12] было показано, что множество матриц ранга г имеющих размерности М, N, образуют многообразие размерности

Лг = N + Мг - г2. Далее этот результат будет получен применительно к операторному множеству вне зависимости от выбора базисов.

По теореме о структуре линейного отображения [1з] для каждого оператора ранга г существуют такие прямые разложения пространств:

Е = Е0 © Е1 » D1 © D0 = D, (1)

что D1 изоморфно Е1 и имеет размерность, равную г; Е0 составляет ядро отображения. Подпространство D0 называют коядром, оно характеризует степень неопределенности (неоднозначности) оператора.

Множество разложений вида (1) разделяется на подмножества, отличающиеся выбором пары Е1, D1. Рассмотрим подмножество операторов Лг сАг, для которого пара подпространств Е1, D1 фиксирована. Из разложения (1) нетрудно видеть, что подмножество Лг представляет собой объединение подмножества операторов ранга г, осуществляющих отображение из пространства Е в D1, и под-

множества операторов ранга r, осуществляющих отображение из Е1 в D . На языке тензорных произведений это можно записать так:

Ar =(Е®D1)u(Е1 ® D) . (2)

Откуда, следуя правилу вычисления размерности объединения подпространств [13], получим:

dim Ar = dim (Е ® D1) + dim (E1 ® D)- dim (E ® D1 )n( E1 ® D). (3)

Пересечением множеств является подмножество операторов, осуществляющих отображение из подпространства Е1 в D1 , поэтому

dim (Е ® D1 )^(Е1 ® D) = r2. Поскольку dim Е = N, dim D = M ,

dimЕ1 = dimD1 = r , то из (3) следует:

dim Ar = Nr + Mr - r2.

Выражение (2) задает отображение каждой фиксированной пары (D1 , Е) в пространство размерности dim Ar. Иначе говоря, множество Ar являют собой многообразие, для которого подмножества Ar представляют собой карты, составляющие атлас многообразия [11]. Размерность карты многообразия равна размерности касательного пространства и, следовательно, определяет степень пластичности для нейронного модуля.

Модуль двойственного функционирования. Обозначим A# : D ^ Е как множество всех операторов ранга r, действующих из пространства D в пространство Е. Разложение (1) симметрично для класса прямых и двойственных отображений, поэтому A# также представляет собой многообразие, и существует естественный изоморфизм Ar = A#, который задается совпадением пар (Е1, D1) для карт Ar и A# . Данный изоморфизм является выражением двойственности в представлении модуля. В режиме прямого и обратного функционирования размерность выходного сигнального пространства модуля не может быть больше r . Поэтому модуль может реализовать не более чем Nr степеней свободы при прямом функционировании, и не более чем Mr степеней свободы при двойственном функционировании. Если модуль находится в составе сети, то размерности входных сигнальных пространств X с Е и Y с D в прямой и двойственной сети в общем случае меньше физических размерностей терминальных полей модуля. Это ограничивает возможности по реализации степеней свободы модуля. Действующее число степеней свободы модуля в составе сети будет равно

S (Ar ) = sr + cr - r2, (4)

где s, c - фактические размерности входных подпространств в прямой и двойственной сети; r = min (r, s, О) - действующий операторный ранг нейронного модуля. Будем говорить, что модуль A нормален относительно окружения X, Y , если выполнено условие r > min (s, с). В этом случае r = min (s, c), и тогда из (4) нетрудно получить, что S (Ar ) = sc . Будем говорить, что модуль нормален (без наречия «относительно»), если он имеет ранг, максимально возможный для его размерности. Т.е. для нормального модуля r = min (N,M). Очевидно, что нормальный модуль всегда нормален относительно своего окружения, поскольку s < N, О < M . Условие нормальности устанавливает границу применимости известного принципа коннекционизма: «характеристики нейронной сети полностью определяются ее связями».

Влияние модулей. Эквифинальное операторное многообразие модульной сети слагается из связанных операторных многообразий нейронных модулей. Выделим в сети некоторый модуль Л двойственного функционирования ранга г, и будем полагать, что его параметры варьируются, в то время как параметры всех остальных модулей зафиксированы в «общем положении», т.е. с набором параметров, при котором обеспечивается максимальная размерность пространств окружения для модуля Л . Обозначим через 5Л, СЛ размерности сигнальных пространств окружения на входах прямого и двойственного модуля. Реально, действующее число степеней свободы модуля равно £(Л) = Иг + ~л? - г2, где

г = 5Л о с'Л о г - действующий ранг (здесь и далее символом « о » обозначена операция вычисления минимума). Подобным образом, выделяя и поодиночно варьируя параметры модулей получим, что вклад всех модулей в общее число степеней свободы сети будет определяться суммой £ £ (Л).

Влияние связей. В отличие от модулей параметры связей фиксированы и не изменяются при обучении. Объединяя операторные многообразия модулей, каждая связь уменьшает общее число степеней свободы нейронной сети. Не теряя общности, можно считать, что все межмодульные связи в сети линейны и инъективны. Инъективные связи устанавливают точное и однозначное отображение между терминальными зажимами нейронных модулей. Выделим одиночную связь ранга гЛВ, действующую между модулями Л и В . Обозначим через $В и сЛ размерности сигнальных пространств на выходах прямой и двойственной связи. Поскольку размерность пространства - образа при отображении не превышает ранга связи, то имеет место $В = сА о гЛВ и СЛ = 7В о гЛВ . Каждая фиксированная межмодульная связь уменьшает общее количество степеней свободы сети на величину, равную

Поскольку связи независимы, то общее уменьшение числа степеней свободы за счет действия связей будет суммироваться по всем связям. Таким образом, окончательная формула расчета числа степеней свободы для модульной сети будет иметь вид

Роль слабой связанности. Полученное выражение показывает, что расчет степени пластичности модульной нейронной сети сводится к вычислению размерностей сигнальных пространств окружения нейронных модулей. В слабо связанной сети отсутствуют параллельные пути между вершинами, поэтому для любого модуля сигнальные подпространства окружения (порождаемые конусом связей) независимы между собой и образуют прямую сумму подпространств. Отсюда следует, что эквивалентная размерность любого пространства окружения будет равна сумме размерностей сигнальных подпространств по конусу связей. Это условие дает возможность определить размерности пространств окружения для любого модуля сети. Методика расчета степени пластичности для слабосвязанных сетей различной структуры приведена в работе [14].

Экспериментальная оценка разделяющей мощности может быть получена проведением испытаний нейронной сети по распознаванию точек произвольного ^-мерного репера входного пространства. Реальная нейронная сеть определяет компактное эквифинальное многообразие операторов. Поэтому тестовые реперы также должны быть ограничены некоторым многомерным кубом. Наиболее удоб-

£ (Я ) = £ £ (Л)-££( сЛ о гЛВ)(7В о гЛВ).

Л

4. Результаты эксперимента

но использовать ортонормированные реперы. Условие ортогональности не является обязательным, но ускоряет процесс обучения сети. Ниже представлены результаты экспериментального исследования для двух типов нейронных сетей.

Вариант обучающего множество нейронной сети при экспериментальной оценке разделяющей мощности

Входной вектор Выходной вектор

1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0

1 -1 1 -1 1 -1 1 -1 0 1 0 0 0 0 0 0

1 1 -1 -1 1 1 -1 -1 0 0 1 0 0 0 0 0

1 -1 -1 1 1 -1 -1 1 0 0 0 1 0 0 0 0

1 1 1 1 -1 -1 -1 -1 0 0 0 0 1 0 0 0

1 -1 1 -1 -1 1 -1 1 0 0 0 0 0 1 0 0

1 1 -1 -1 -1 -1 1 1 0 0 0 0 0 0 1 0

1 -1 -1 1 -1 1 1 -1 0 0 0 0 0 0 0 1

1. Полносвязанная двухслойная сеть с размерностью по входу и выходу, равной 8, обучалась к набору примеров, представленных в таблице. Каждая строка таблицы (пример) содержит входной и выходной вектор данных. Набор входных векторов образует ортогональный базис Адамара, а набор выходных векторов -ортогональный унитарный код. Начальные точки реперов соответствовали нулевым векторам и определяли дополнительный пример при обучении сети. Для полносвязанной двухслойной нейронной сети формула расчета числа степеней свободы имеет вид: £ = МБ + БМ - Б2, где N,М - размерности сети (в данном случае N = М = 8), Б - число нейронов в первом слое. Операторный ранг сети также равен Б . В эксперименте использовалась нейронная сеть с сигмоидными функциями активации в первом слое и линейными во втором.

В процессе эксперимента для каждого значения Б - определялась позиция фронта резкого возрастания ошибки. Результаты эксперимента, представленные на рис. 4 показывают хорошее согласие с теорией.

Разделяющая мощность сети 8:0:8

123456789

Число независимых примеров

Рис. 4. Экспериментальная оценка разделяющей мощности двухслойной полносвязанной нейронной сети

Рис. 5. Структурная модель БНС

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

2. На рис. 6 показаны результаты экспериментальной оценки разделяющей мощности для быстрых нейронных сетей [15,16] размерностей N = 4,8,16 (с размером нейронных ядер 2 х 2). Структурная модель БНС для размерности N = 8 показана на рис. 5. Экспериментальные оценки соответственно равны 3,5,8. Формула для расчета числа степеней свободы БНС получен в работе [14] и имеет вид:

Разделяющая мощность БНС

Я 0,450 ю 0,400 І 0,350 5 0,300 х 0,250 5 0,200 Л 0,150 і 0,100 5 0,050

0,000

1 23456789 10 11

Число независимых примеров

Рис. 6. Экспериментальная оценка разделяющей мощности БНС £ = Ё Рт8тК -12 Вт ,

т= 0 т=0

где рт, gm - структурные характеристики нейронных ядер, кт - число ядер в слое т, Бт - число связей между слоями т и т +1. Операторный ранг данных сетей равен их размерности, разделяющая мощность вычислялась как максимальное целое, удовлетворяющее неравенству к < >/£ . Расчетные оценки соответственно равны 3,5,8 и в данном случае совпадают с экспериментальными.

5. Заключение

При использовании нейронных сетей для распознавания образов высокой размерности возникает проблема эффективного использования вычислительных ресурсов. Предложенные в данной работе методы оценки разделяющей мощности позволяют выбрать структуру нейронной сети, адекватную поставленной задаче при минимальных вычислительных затратах. Разделяющая мощность характеризует способность нейронной сети распознавать образы общего положения. Эта оценка определяет нижнею границу и может быть превышена за счет нелинейных свойств нейронной сети на конкретном наборе образов.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Гонсалес Р., Дж. Ту. Принципы распознавания образов. М.: Мир, 1978. 411с.

2. Вапник В.П., Червоненкис А.Я. Теория распознавания образов (статистические проблемы обучения). М.: Наука, 1974. 415 с.

3. Дорогов А.Ю. Структурный синтез быстрых нейронных сетей // Нейроком-пютеры: разработка и применение. №1, 1999. С.11-24.

4. L.Uhr. Algorithm-Structured Computer Arrays and Networks: Parallel

Architecturts for Perception and Modelling / Academic Press, New York, 1984.

5. Дж. Эдельман, В.Маункасл. Разумный мозг: Кортикальная организация и селекция групп в теории высших функций головного мозга / Пер. с англ. Н.Ю.Алексеенко; под ред. Е.К.Соколова. М.: Мир. 1981. 133 с.

6. Дорогов А.Ю. Порождающие грамматики быстрых нейронных сетей // Нейрокомпьютеры: разработка и применение. №9? 10, 2002. С.10-25.

7. Дорогов А.Ю. Структурный анализ слабосвязанных нейронных сетей // Управление в социальных, экономических и технических системах. Кн.3. Управление в технических системах: Труды Межреспубликанской научной конференции, г. Кисловодск, 28 июня-2 июля 1998г. С.75-80.

8. Дорогов А.Ю. Генезис слабосвязанных нейронных сетей // Всероссийская научно-техническая конференция “Нейроинформатика-99”, г. Москва, 20-22 января 1999г. Сб. науч. тр. Часть 1. М.: 1999. С.64-70.

9. Дорогов А.Ю. Структурный синтез модульных слабосвязанных нейронных сетей. Часть 1. Методология структурного синтеза модульных нейронных сетей // Кибернетика и системный анализ. №2, 2001. С.34-42.

10. Дорогов А.Ю. Фракталы и нейронные сети // Проблемы нейрокибернетики (материалы Юбилейной международной конференции по нейрокибернетике посвященной 90-летию со дня рождения проф.А.Б.Когана 23-29 октября 2002г. Ростов-на-Дону). Том 2. Ростов-на-Дону. 2002. С.9-14.

11. Фоменко А.Т. Наглядная геометрия и топология. Математические образы в реальном мире. М.: Изд-во Моск. ун-та ЧеРо,1998. 416с.

12. Борисович Ю.Г., Близняков Н.М., Израилевич Я.А., Фоменко Т.Н. Введение в топологию. М.: Наука: Физматлит, 1995. 416с.

13. Кострикин А.И., Манин Ю.И. Линейная алгебра и геометрия: Учеб. пособ. для вузов.- 2-е изд., перераб. М.: Наука, 1986. 304с.

14. Дорогов А.Ю., Алексеев А.А. Пластичность многослойных слабосвязанных нейронных сетей // Нейрокомпьютеры: разработка и применение, №11, 2001. С.22-40.

15. Дорогов А.Ю. Быстрые нейронные сети. СПб.: Изд-во С.Петерб. ун-та, 2002. 80с.

16. Дорогов А.Ю. Быстрые нейронные сети: Проектирование, настройка, приложения // Лекции по нейроинформатике. Часть 1. Материалы школы семинара «Современные проблемы нейроинформатики», 6 Всерос. научн. техн. конф. «Нейроинформатика 2004». М.: МИФИ, 2004. С. 69-134.

i Надоели баннеры? Вы всегда можете отключить рекламу.