CC BY
71
ИСХОДНОГО ЗАПРОСА SQL
На основании результатов, сформулированных в предыдущих разделах, можно получить ПЛС времени выполнения исходного запроса (3).
Теорема 5
ПЛС времени выполнения исходного запроса (3) имеет вид:
n n - 1
*) = п s) П j(s), (27)
i = 1 j = 1
где T{(s) - ПЛС времени выполнения подзапроса Q, которое определяется выражением (13); (s) - ПЛС
времени j -го соединения промежуточных таблиц, которое определяется одним из выражений (19), (22) и (26) (тип соединения назначается оптимизатором для каждого j -го соединения); n - число подзапросов в (3).
Доказательство теоремы 5 следует из свойств преобразования Л.-С. и теорем 1, 2, 3, 4, приведенных в предыдущих разделах. Используя выражение (27), можно оценивать различные моменты (среднее, дисперсию и др.) времени выполнения запросов SQL.
Важно подчеркнуть, что полученные выражения для ПЛС времени выполнения подзапросов (13) и соединений (19), (22), (26), а также для производящих функций числа кортежей в исходных и результирующих таблицах (см. формулы (10) и (16)) могут быть использованы не только для расчета характеристик времени выполнения
запросов SQL (27), но и для оценки параметров функций распределений при подготовке исходных данных моделей массового обслуживания, к которым часто прибегают при анализе показателей качества распределенных систем обработки данных на макроуровне.
Предложенный математический аппарат был применен при разработке комплекса инструментальных средств анализа моделей доступа к базам данных распределенных систем обработки данных. Этот комплекс относится к классу экспертных систем и предназначен для вычислительных экспериментов с целью анализа временных показателей систем, основу которых составляют распределенные базы данных и приложения.
ПЕРЕЧЕНЬ ССЫЛОК
1. Du W., Krishnamurthy R., Shan M.-C.. Query Optimization in a Heterogeneous DBMS // Proc. of 18th Intern. Conf. on Very Large Data Bases, August 23-27, 1992. Vancouver, Canada. - P. 277-291.
2. Gardarin G., Gruser J.-R., Tang Z.-H. Cost-based Selection of Path Expression Processing Algorithms in Object-Oriented Databases // Proc of 22th Intern. Conf. on Very Large Data Bases (VLDB'96), September 3-6, 1996, Mumbai (Bombay), India. - P. 390-401.
3. Gardarin G., Sha F., Tang Z.-H. Calibrating the query optimizer cost model of IRO-DB, an objectoriented federated database system // Proc. of 22th Intern. Conf. on Very Large Data Bases (VLDB'96), September 3-6, 1996, Mumbai (Bombay), India. - P. 378-389.
4. Graefe G. Query Evaluation Techniques for Large Databases // ACM Computing Surveys. - 1993. - Vol. 25, № 2. - P. 73-170.
5. Mishra P., Eich M.H. Join Processing in relational databases. // ACM Computing Surveys. - 1992. - Vol. 24, № 1.
6. Harris E. P., Ramamohanarao K. Join algorithm costs revisited // The VLDB Journal. - 1996. - Vol. 5, № 1. - P. 64-84.
7. Ульман Дж. Основы систем баз данных. - М.: Финансы и статистика, 1983. - 334 с.
8. Чаудхари С. Методы оптимизации запросов в реляционных системах // Системы управления базами данных. - М. 1998. - № 3. - С. 22-36.
УДК 004.97:007.53:681.32
НЕЙРОСЕТЕВАЯ РЕАЛИЗАЦИЯ БЫСТРЫХ СПЕКТРАЛЬНЫХ
ПРЕОБРАЗОВАНИЙ1
А.Ю.Дорогов
В статье рассматривается использование нейронных сетей для реализации быстрых алгоритмов спектральных преобразований. Показано, что быстрые алгоритмы являются частным вариантом быстрых нейронных сетей (БНС). Предложены методы параметрической настройки БНС к аналитически заданной системе базисных функций. Построены нейросетевые реализации быстрых преобразований Уолша, Виленкина-Кристенсона, Фурье, Хаара, быстрого Вейвлет-преобразования. Приведены примеры.
In the article the application of neural network for realisation of fast algorithms of spectral transformations is considered. It is shown, that the fast algorithms are special variant of fast neural networks (FNN). The methods of parametric learning of
1.Работа поддержана грантом Минобразования РФ.
the FNN to an analytically specified systems of basis functions are offered. Neural network realisations so fast transformations as Walsh, Vilenkin-Chrestenson, Fourier, Haar, Wavelet-transformation are constructed. Examples are indicated.
1. ВВЕДЕНИЕ
Нейросетевая технология в настоящее время широко применяется в различных областях цифровой обработки данных [1,2]. Прогнозирование временных рядов,
аппроксимация функциональных зависимостей, классификация и распознавание состояний объектов, цифровая обработка сигналов - вот неполный перечень приложений, которые определяют сферу распространения и успешного использования новой технологии. Существует множество парадигм нейронных сетей, различающихся между собой по архитектуре и способам функционирования. В прикладных областях в настоящее время доминируют нейронные сети прямого распространения. Это объясняется исключительной простотой алгоритмов из реализаций и наличием развитых методов обучения. Сети прямого распространения обычно обучаются по известному набору входных и выходных данных. Например, в задаче классификации входными данными является набор информативных признаков, а выходными - верифицированные образы. Информативными признаками могут быть прямые выборки из таблиц экспериментальных наблюдений, но чаще всего множество признаков получают путем промежуточной (предварительной) обработки первичных данных. На этапе предварительной обработки, кроме стандартных средств, связанных с преобразованием шкал и масштабированием, часто используются методы устранения избыточности исходных данных. Эти методы обычно называют алгоритмами выделения информативных признаков. К этому классу принадлежат и алгоритмы спектральной обработки данных. Неоспоримым достоинством спектральных методов является наличие быстрых алгоритмов известных для большого числа различных спектральных преобразований. Прямое спектральное преобразование - определяемое умножением вектора данных на матрицу - является неэффективным по вычислительным затратам и используется только при малых размерностях данных.
В настоящее время известно большое число нейросете-вых программных пакетов для универсальных и специализированных вычислительных машин [3]. Как правило, все программные пакеты поддерживают класс нейронных сетей прямого распространения. Нейронные сети данного класса представляют собой последовательные комбинации линейных матричных преобразований и нелинейной обработки промежуточных векторов. Класс нелинейных функций варьируется в широких пределах и обычно содержит также линейные функции. Поэтому в рамках нейросетевого пакета в принципе, возможно, выполнить любое линейное преобразование, в том числе и спектральное (в простейшем варианте в виде прямого умножения вектора на матрицу) для этого достаточно использовать однослойную сеть. Многослойность, присущая данному классу сетей, формально позволяет реализовать факторизацию спектрального преобразования в произведение слабо заполненных матриц (матриц с большим количеством нулевых значений), соответствующих быстрому алгоритму. Однако этот вариант нейросетевой реализации "быстрого алгоритма" будет в вычислительном отношении существенно хуже, чем прямое преобразование, поскольку в классе полносвязанных многослойных сетей все нулевые значения матриц будут обрабатываться как обычные вещественные числа, и поэтому с увеличением числа слоев. число вычислительных операций будет только возрастать.
Для многослойных сетей прямого распространения основным фактором, ограничивающим их использование, является "проклятие размерности". В сетях большого масштаба процедура обучения и последующая обработка данных сопряжены со значительными вычислительными затратами. На этом фоне выигрыш от использования быстрых преобразований на этапе предварительной обработки не существенен. В работах [4,5] автором был рассмотрен класс быстрых нейронных сетей (БНС) обладающих высоким быстродействие при больших размерностях обрабатываемых данных. Парадигма БНС реализует принцип структурного подобия с алгоритмом быстрого преобразования Фурье. Поэтому в этом классе нейронных сетей реализация быстрых спектральным преобразований является вполне естественным. Совместное использование быстрых спектральных преобразований на этапе предварительной обработки и БНС на этапе классификации в данном случае обосновано, поскольку оба этапа имеют один порядок оценки по быстродействию.
В данной работе рассматриваются методы параметрической настройки быстрых нейронных сетей к различным видам спектральных преобразований с аналитической формой представления базиса. Показано, что в рамках БНС с одной и той же структурой возможна реализация таких видов спектральных преобразований как Уолш, Хаар, Вейвлет, преобразование Виленкина-Кристенсона, Фурье и множества промежуточных видов. Таким образом, показывается, что БНС является адекватным средством построения быстродействующего обобщенного спектрального анализатора. Следует отметить, что первый шаг в этом направлении был сделан достаточно давно. Еще в исторической работе Гуда [6] было приведено аналитическое описание быстрых алгоритмов для обобщенных спектральных преобразований. В последующие годы тема обобщенных спектральных преобразований развивалась в работах Г.Эндрюса, А.И.Солодовникова, В.Г.Лабунца и других авторов [7,8,9,10,11].
2. БЫСТРЫЕ НЕЙРОННЫЕ СЕТИ
Идеология БНС основана на представлении структуры алгоритма нейрообработки в виде слабосвязанного многослойного графа. Каждая вершина графа называется нейронным ядром, и определяют базовую операцию над векторной компонентой. На рис. 1 показана структурная модель БНС для размерности 8 X 8 с размером нейронных ядер 2 X 2 . Базовая операция нейронного ядра для данной сети задается матричным линейным преобразованием:
(^1 ^2 )
(1)
(здесь и далее вектор записывается слева от матрицы) и парой нелинейных функций активации нейронов: У\ = /() , У2 = /(s2 ) . Поскольку спектральные преобразования является линейными, то в дальнейшем будем
^11 ^12
^21 ^22
считать все функции активации линейными функциями с единичной передачей и нулевым смещением аргумента. В общем случае базовая операция нейронного ядра задается матрицей размерности X gi (синаптической картой нейронного ядра).
У^( Ух) = 14( «х) «х ^ •
(3)
(2,2)
(2,2)
Хо(
Хо;
Хо:
Хо:
(2,2)
I-► У20
(2,2)
^-► У21
(2,2)
О-► У22
(2,2) 3 )-► У23
Iх О'^"'- 1гк- 1гк-2••• гх + 1> .
1 =<1211> 0
1
2
3 11
I =<]012> 3 11
1=<Зо]1> 0 00 1 01 2 10 3 11
Рисунок 1 - Пример структурной модели быстрой нейронной сети
Характерной особенностью структурной модели БНС является отсутствие параллельных путей между вершинами графа [12,13]. Это свойство позволяет представить преобразование данных в БНС как совокупность преобразований векторных компонент вдоль путей связывающих вершины терминальных слоев сети. Обозначим через г номер вершины входного слоя и через' номер вершины в выходном слое и представим эти числа в позиционной многоосновной системе счисления:
г = <гк- 1гк- 2 • Ч> , ' = </0/1 •к- 2> .
где г'х7хе 0, 1, • .., (рх - 1) . В работе [4] было показано, что для структурной модели БНС существует
х
порождающая схема, связывающая номер ядра г в скрытом слое X с разрядными переменными чисел г,'. Эта схема имеет следующий вид:
(2)
Изменяя в (2) значения X от 0 до к - 1 , можно последовательно построить структурную модель БНС следуя правилу: вершины смежных слоев соединяются дугой, если в поразрядном представлении номеров вершин общие одноименные разрядные числа имеют совпадающие значения. На рис. 2 показан принцип построения структурной модели БНС по данной порождающей схеме. Обозначим элементы синаптической
карты ядра гх через wX.(«х, Ух) , где «X' ^х е 0, 1, •.., (рх - 1) - индексы элементов в матрице нейронного ядра. Матричному выражению (1) соответствует система уравнений
Рисунок 2 - Графическая иллюстрация правила построения структурной модели БНС
Пусть г0г1, •.., гк 1 последовательность вершин, определяющая путь между терминальными слоями. Будем
полагать, что ядро г х принадлежит выбранному пути и выражение (3) будем рассматривать как последовательность уравнений описывающих преобразование сигнала вдоль пути. Следуя терминологии нейронных сетей, входы нейронных ядер назовем рецепторными полями, а выходы аксоновыми полями. Каждому рецептору соответствует координата х?х( «х), а аксону координата
Ухх( Ух). Для БНС характерно, что все операторы межъядерных связей являются одноранговыми точными и однозначными. Межъядерные операторы такого типа
отождествляют координаты у^( Ух) и х^ +11( «х + 1) смежных слоев.
Топологии БНС
Обозначим через их , Vх номера рецепторов и аксонов в пределах слоя и назовем их глобальными номерами.
Любые точные, однозначные соответствия (гх, «х) ^ их
и (гх, Ух) ^ Vх определяют топологию нейронного слоя. Для одной и той же структурной модели можно построить множество различных топологий, среди них существует подмножество регулярных топологий (т.е. обладающих некоторой внутренней симметрией). Регулярные топологии являются наиболее экономным вариантом, как при программной, так и аппаратной реализации нейронной сети. Следующее выражение может служить примером регулярной топологии для аксонового поля.
Vх = <Iх Ух> = </У1-./'х- 1Ухгк- 1гк-2"Л + 1>. (4)
(Другие варианты приведены в работе [4].) Межслой-ные связи устанавливают взаимно однозначное соответствие между глобальными номерами Vх и их+1 смежных слоев. Выберем наиболее простой вариант, положив
их + 1 = Vх . При условии Ух = 'х и «х = ¿х , выраже-
ние (2) приводится к виду:
Iх = < У0У1 ••• Ух - 1«к - 1 «к - 2-«х + 1>,
(5)
«
к
а из (4) получим:
поразрядные соответствия
Vх = <у0у. —V
0 у1 — уХ - 1 ухик - 1ик - 2 — иХ + 1
> ,
(6)
их = ^ 1 = <у0у1—ух- 2ух - 1 ик- 1ик-2 — их> . (7)
Выражение (7) определяет порождающую схему для топологий БНС. Последовательность межслойных топологий формируемых выражением (7) при последовательном изменении X назовем траекторией топологий. Существует множество различных порождающих схем, показательными примерами могут служить схемы Кули-Тьюки [14] "с прореживанием по частоте" и "с прореживанием по времени", а также схема Гуда [6,15]. Строго говоря, выбор той или иной порождающей схемы является предметом синтеза и должен быть подчинен условиям задачи. Мы не будем дальше погружаться в этот вопрос, и ограничимся в данной работе только двумя вариантами порождающих схем, считая их априорно заданными.
Топологии терминальных полей сети не обязаны подчиняться выражению (7), но это целесообразно сделать для сохранения регулярности алгоритма. Полагая X = 0, и X = к - 1 из (7) и (6) получим:
Ц0 = <ик
0
> , Ук- 1 = <У0У1...ук 1> . (8)
Подчеркивая особый статус терминальных полей, будем использовать для обозначения переменных и Vк - 1 символы и (без верхних индексов). Выражения (7) и (8) описывают топологию сети через внутренние локальные переменные и{, , но реализация сети всегда связана с внешним представлением, где переменными являются позиции координат обрабатываемых векторов. Прежде всего, это относится к терминальным полям. Любое взаимно однозначное отображение поразрядных форм (8) на множество позиционных номеров терминальных полей является допустимым вариантом перехода к внешнему представлению. Однако, следуя требованиям регулярности, будем представлять индексы координат входного и выходного векторов сети также в поразрядной форме, тогда с учетом (8) получим:
Ц = < ик- 1ик- 2 — и0> = <ик- 1 ик- 2 —и0> , V = < ^-1> = <У0У1 — Ук-1>. (9)
Откуда имеем следующие поразрядные соответствия:
их = Цх , Ух = ^. (10)
Выражения (9) можно рассматривать как граничные условия для траектории топологий, а (10) как результат их выполнения. Для сравнения приведем еще один вариант граничных условий:
Ц = < ик- 1ик- 2 — и0> = <ик- 1 ик- 2 — и0> , V = < П- 1Vk-2 — V0> = <У0У1—Ук- 1> . (11)
Результатом их выполнения, очевидно, являются
их = их, УХ = Vk - X - 1. Матрица преобразования
Сигнальную передачу рецептор-аксон между терминальными слоями можно определить частной производной:
дукк-1 ( Ук - 1)
Н (и, V) = ' 0
дх00 (и0)
Множество элементов Н (и, V) образуют матрицу
передач Н. Последовательно дифференцируя вдоль выбранного пути цепочку уравнений (3), получим:
Н (и, V) = w 0 (и0, У0) (и1, У1) — wkk-11 (ик -1, Ук -1 ).(12)
При выполнении граничных условий (9) данное выражение во внешнем представлении примет вид
Н(и, V) = wг00(Ц, Vo)м;}1 (и 1, Vl)-wkk-/(ик_ х, Vk_ 1),
где Iх = < V0 V1 — Vх- 1ик- 1ик- 2 — ^ + 1> . (Последнее следует из (5)). При выполнении граничных условий (11) выражение (12) трансформируется к виду:
Н ( Ц V) = w0o ( Ц0, ^ -1)wг1l ( Ц1, ^ - 2 ) — ^к-1 ( Цк -1. У0),
где = < ^ - 1 ^ - 2 — ^ - х Цк 1 Цк - 2—Цх + 1>.
Полученные выражения устанавливает связь элементов матрицы Н оператора нейронной сети с элементами ядер. Поскольку сеть линейна, то матричное уравнение У = ХН полностью определяет преобразование данных в нейронной сети.
Алгоритм быстрого преобразования и внешняя топология сети
БНС представляет собой многослойную структуру, в которой обработка данных выполняется последовательно по слоям от начального слоя к конечному. Обозначим
через Хх , Ух входной и выходной векторы слоя х . Тогда алгоритм преобразования запишется следующим образом:
ух = ххнх, Xх +1 = ух , х = 0, 1, —, к - 1 ,
где Нх матрица преобразования в слое х . Эта матрица является слабо заполненной и состоит из непересекающихся блоков, каждый из которых содержит синаптическую карту нейронного ядра. Преобразование в ядре локально описывается выражением (3). Для построения алгоритма достаточно сделать "привязку" ядер к глобальным
переменным Цх , Vх слоя х . С этой целью представим глобальные переменные слоя в поразрядной форме:
и
х
= < Цх- 1 Цх-2 — Цх> , ^ = < 1>
Таблица 1
и = ^0 Ч - 1 «к - 1 «к - 2 «к + 2 «к + 1 «
и = ик -1 ик - 2 ик -к ик-к- 1 ик-к-2 и2 и1 и0
У = v1 ^к - 1 ^к «к - 1 «к + 3 «к + 2 «к + 1
У = У0 У1 УЯ - 1 У УЯ + 1 У 3 Ук - 2 Ук - 1
(Возможны и другие варианты.) Используя выражения (6) и (7), можно получить взаимнооднозначные соответствия между локальными и глобальными разрядными числами, как показано в таблице 1. Подставляя в (3) глобальные переменные получим:
ук = (¿Я ук) = гя, ик)™^ и1, у£), (13)
где ¿к = < и\_ 1 и\_2 ...и\) . Соответствия
(¿к, ики (¿к, у\)^Ук определяются топологией слабо заполненной матрицы Нк. Анализируя таблицу 1, нетрудно получить аналитическую форму для поэлементного представления данной матрицы.
Поскольку в ненулевых позициях матрицы
Н
одноименные локальные разрядные числа первой и третьей строки таблицы совпадают по значениям, то через них устанавливается равенство между разрядными глобальными переменными второй и четвертой строк. В ненулевых позициях матрицы размещаются элементы нейронных ядер. Таким образом, из таблицы непосредственно следует, что в поэлементном виде
матрица Н описывается выражением:
Нк(ик, vя) = ик, Ук)5(ик_ 1, Ук)... •5(ик-к Ук-1 )5(ик-к-1> Ук + 1 )• •5( ик -к- 2' Ук+2 ).5(ик Ук-1), (14)
где 5(,) - обозначает символ Кронекера.
3. НАСТРОЙКА БНС НА БАЗИС УОЛША
Функции базиса Уолша в упорядочении Пэли задаются на интервале длиной N = 2к следующим выражением [16]:
к - 1
ра1(и, У) = П(-1)и'кУ'к , (15)
к = О
где и = < Щ - 1 Щ - 2 • ио) и У = < уо У1 • • • Ук - 1) . Все
разрядные числа принимают только два значения: {О, 1} . Переменная и соответствует дискретному
времени, а переменная У - порядковому номеру функции. Построим нейросетевую реализацию быстрого спектрального преобразования Уолша так, чтобы функции базиса располагались вдоль столбцов результирующей матрицы. В процессе настройки необходимо определить параметры нейронных ядер. Будем полагать, что траектория топологий задана выражением (7) при выполнении граничных условий (9).
Элементы результирующей матрицы спектрального преобразования будут определяться выражением (12) а элементы слабо заполненных матриц выражением (14). Сравнивая (12) с определением базиса Уолша, получим
«к, \) = (-1), «к = ия , Vк = Ук . (16)
Выражению (16) соответствует следующая матрица нейронного ядра:
.1 -1
Очевидно, что все слои сети имеют одинаковые ядра. На рис. 3 показано матричное представление алгоритма спектрального преобразования Уолша-Пэли для размерности N = 23 . В поле рисунка показаны также поразрядные представления номеров строк и столбцов матриц. Все пустые элементы матриц считаются равными нулю. Матрица преобразования факторизуется в произведение трех матриц: Н = Н0Н1Н2 . Поразрядное представление строк и столбцов матрицы Н записываются в виде и = < и0 и1и2) , У = < У0У1У2) . На основании (14) имеем, что слабо заполненные матрицы по слоям определяются выражениями:
Слой 0. Н0( и0, У0) = м00(и0, У0)5(и0, У0)5( и0, У0). Слой 1. Н1( и1, У1) = (и<1, У|)5( и2, У1 )5( и|, У2).
Слой 2. Н1(и2, У2) = м>22(и§, У|)5(и|, У2)5(и2, У2),
где номер ядер определен выражением (13), которое в данном случае примет вид:
¿к = < и\, ик).
Ч "у7
0
---1
0
---I
0
Ио
00
00 о~|Т "По"
I---1----к
о !
ТТ
0 Г 1
"Гро
I
Т ___
-1! —I—1._ I I
о ! ---1-о !
0
I----
1
1 ! о
1
о 1 1
оо 'оПТ
о1 1---+
1о
1о
1
____!._
1о
1---1---
1
00
01 о1 1о
1
---1
I I
---1.—
1
---1- —
1
---Г —
1
-1 I 1 I
1
1
I----
1
-1 I----
I I
-i----1-
---,--,----Г---
11
I I I
-1
1
-1-— I I
I---4- —
1
--+ —
-1!
I—1-—
1
-н---
I
-1---
I I
10
11
11
1
1 I 1-11
1
-1
1
.J___
1
-1
1
1
о
1
1
и, и
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
Рисунок 3 - Факторизованное представление быстрого преобразования Уолша-Пэли
Перемножив матрицы факторизованного представления, получим матрицу базисных функций:
1 1 1 1 1 1 1 1
1 1 1 1 -1 -1 -1 -1
1 1 -1 -1 1 1 -1 -1
Н= 1 1 -1 -1 -1 -1 1 1
1 -1 1 -1 1 -1 1 -1
1 -1 1 -1 -1 1 -1 1
1 -1 -1 1 1 -1 -1 1
1 -1 -1 1 -1 1 1 -1
Эта же матрица может быть получена также из определения (15).
4. НАСТРОЙКА БНС НА БАЗИС ВИЛЕНКИНА-КРЕСТЕНСОНА
Обобщенная система ненормированных функций Виленкина-Кристенсона в упорядочении Пэли [16] определяется выражениями:
уеп
к -1 . 2_л
(и, V) = П (юх)иЛ, ®х = ер% , х = 0
где и = ик- 1ик-2 — и0 , V = < V0 ^ — П- 1> , их, Vх £ 0, 1, —Рх - 1 . Система функций задана на интервале длиной N = Р0Р1 —Рк- 1. Поворачивающий множитель Юх является комплексным числом,
выраженным в экспоненциальной форме. Переменная и соответствует дискретному времени, а переменная V -порядковому номеру функции. Построим нейросетевую реализацию быстрого спектрального преобразования так,
чтобы функции базиса располагались вдоль столбцов результирующей матрицы. Будем полагать, что траектория топологий задана выражением (7) при выполнении граничных условий (9). Сравнивая (12) с определением функций базиса, получим
wXх(их Ух) = (Юх)ихУх, их = их , Ух = ^х. (17) Очевидно, что в пределах слоя все ядра одинаковы. Пример
Пусть N = 32 . Матрица преобразования факторизуется в произведение двух матриц: Н = Н0Н1 .
Поразрядное представление строк и столбцов матрицы у х
можно записать в виде и = < и 1 , V = < V! . На
основании (14) имеем, что слабо заполненные матрицы по слоям определяются выражениями:
Слой 0. н0(и0, V0) = ™00(и0, ^)§(и0, v0) ,
Слой 1. Н1 (и1, V1) = w|1( и1, V11 )5( и1, V¿) .
Для рассматриваемого примера поворачивающие множители совпадают для обоих слоев, поэтому все нейронные ядра сети одинаковы и имеют вид:
Ж =
1 1 1 1 ю Ю 2
1 Ю2 Ю
, где Ю = е
2 п
. У
На рис. 4 показано факторизованное представление построенного спектрального преобразования.
V; 0 00 1 1 1 1 1 2 1 1 2 2 00 0 1 1 1 1 1 2 1 1 2 2
--- 0 12 0 ----1 1 2 4 1 1 0 41 1 1 ---- 2 0 —\ 1 2 + 1 1 0 1---- 1 ----1 2 0 + 1 1 1 1---- 2
и"Г ~и7 ---1 1 1 —+— 1 1 1---- 1 1 ----1 1 1 + 1 1 ■11 1 -I---- I I " -I I I т 1 1 т 1 1 г 1 1 т 1 1 т 1 1 г I I
0 0 1 1 1 1 1 1 1_ 1 1 J 1 1 1 1 1 1 1 I I !_ 1 . J 1 1 1 1 1 1 1 1 1 1 л 1 1 1 I I 1-
0 1 1 ! и 1 -1 1 ю 1- 1 и 1 Л ю2 1 1. I !- 1ю - -I -1 ю2 1 X 1 и 1 -1 1 X 1 1-
0 2 1 1 1 ! ю2 1---- 1 1 1 1 ----1 1 1 1 ю 1 1 I I 1 ! ю2 ! ю 1 1 1 1 1 1 1 1 1 1
1 0 1 1 1 1 1 1 1 1 I I 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 ---1 1 1 —+— 1 1---- 1 1 ----1 ю ■+ 1 1 1-I I ю2 -I---- I I —1— 1 1 —> 1 1 + 1 1 1 1---- ю ю2 + 1 1 1---- 1 1
1 2 -1 1 т 1 г 1 ю2 т 1 Г I ю Г I - -1 1 т 1 т 1 1 ю2 ю т 1 г 1
2 0 п 1 1 1 1 г 1 1_ п 1 J 1 1 1 1 I I I 1 - п 1 . J 1 1 1 1 1 1 г 1 1 1 л 1 1 1 1 1 1 1-
2 1 1 1 1 1 1 1---- 1 1 1 1 ----1 1 1 ю 1 1 I I 2 ю 1 1 1 1 1 1 1 1 1 1 1 1 1 ю 2 ю
2 2 1 1 1 ю2 1 1 I I ю 1 1 1 1 1 1 1 1 1 1 1 1 1 ю2 ю
Рисунок 4 - Факторизованная форма преобразования Виленкина-Кристенсона
Перемножив матрицы факторизованного представления, получим следующую матрицу базисных функций:
Н =
1 1 1 1 1 1 1 1
1 1 Ю Ю Ю Ю2 Ю2 Ю2
1 1 Ю2 Ю2 Ю2 Ю Ю Ю
Ю Ю 2 1 Ю Ю2 1 Ю Ю 2
Ю Ю 2 Ю Ю 2 1 Ю2 1 Ю
Ю Ю 2 Ю2 1 Ю Ю2 1 Ю
Ю2 Ю 1 Ю2 Ю 1 Ю2 Ю
Ю2 Ю Ю 1 Ю2 Ю2 Ю 1
Ю2 Ю Ю 2 Ю 1 Ю 1 Ю2
= (Х»ХГ)
-% Юд
нат векторов компактно упорядочиваются в один вектор, так что в последовательности координат за вещественной компонентой числа непосредственно следует его мнимая компонента;
2) каждый элемент Ю = Юд + jЮJ слабо заполненной матрицы заменяется матрицей вида:
ЮК ЮJ
Преобразование Виленкина-Кристенсона является комплекснозначным. Нейронные сети, как правило, реализуют обработку данных только в поле вещественных чисел. Поэтому при использовании нейросетевой технологии необходимо заменить все комплексные операции сложения и умножения комбинациями вещественных операций. Рассмотрим принцип подобной замены. Пусть Х = Хд + jХJ и Ю = Юд + jЮJ комплексные числа. Тогда их произведение будет равно:
2 = + jzJ = ХЮ = (ХдЮд -Х^) + j(xRЮJ + ).
Операцию комплексного умножения можно записать также в матричном виде:
= (ХдЮд - ХJЮJ - ХRЮJ + ХJЮR) .
Данное выражение позволяет сформулировать следующие правила перехода от комплексной формы к вещественному эквиваленту:
1) вещественные и комплексные составляющие коорди-
5. РЕАЛИЗАЦИЯ БЫСТРОГО ВЕЙВЛЕТ-ПРЕОБРАЗОВАНИЯ
Дискретный вейвлет-базис на интервале длиной N = р(р ■■■Рк- 1 может быть задан выражением:
н (и, V) = Фт( ик т, гк т )8(тт, < ик и - 2-ик - т+1»,(18)
где и = ( ик - 1^к - 2--и0» номер временного отсчета, V = ( V0Vl■Vk - 1» - номер вейв лет-функции (предполагается, что вейвлет-функции расположены вдоль столбцов матрицы базиса), фт(ик-т, Vk-т) набор образующих импульсов в частотной локализации номера т , 8(,) - символ Кронекера, Тт - порядковый номер вейвлет-функции в частотной локализации т .
Множество функций вейвлет-базиса принадлежащих одной частотной локализации в дальнейшем будем называть поликадой. Функции в пределах одной поликады обладают одними и теми же частотными свойствами, но отличаются позициями образующих импульсов. Число функций в каждой поликаде (при т > 0) равно
(Рк-т - 1 )Рк-т + 1Рк-т + 2-Рк- 1. Нулевая поликада
(т = 0) состоит из единственной функции, которая имеет единичное значение на всем временном интервале. При упорядочении базисных функций по частотным локализациям каждая поликада в базисной матрице занимает
подмножество столбцов:
V=< 0001 — 0к - т 1Vk- тП-т + 1—1>, где V- т >0.(19)
Единственная функция нулевой поликады (т = 0 ) размещается в нулевом столбце. По свойствам вейвлет-функций, образующий импульс имеет нулевое среднее на интервале определения:
I Фт ( Цк- m, П- т) = 0 для всех ^ т >0.
Цк - т
Если энергия импульса нормирована к единице:
I (Фт( Цк- m, П- т))2 = 1 ,
Цк - т
то можно показать, что все базисные функции поликады т обладают энергией (весом) 0т = рк- трк- т - 1—р0. Для нулевой поликады при единичном значении постоянной функции ее вес будет равен 00 =Рк- 1 Рк-2 —Р0. Для ортогонального вейвлет-базиса образующие импульсы в поликаде также ортогональны:
I Фт(ик- т, Vk- т)Фт(1]к- т, 7к- т) = 0 , когда
и
Vk - т ф ^к - т
1 — Vх - 1 ик - 1 ик - 2 —Цх + 1 > определяются из условия wX(Цх, Vх) = 8(Цх, Vх) , т.е. эти ядра представляют собой единичные матрицы размерности Рх X Рх .
Резюмируя данные правила можно прийти к следующим выводам: для слоя X все ядра с номерами
^ < Цк- 1Цк-2—Цх + 1>
(20)
Упорядочим функции в каждой поликаде правилом Тт= <vk-1V, - 2— vk- т +1>. При таком упорядочении функцию Кронекера в выражении (18) можно разложить в произведение одноименных функций, в результате получим:
Н(u, ^ = фт( Щ- m, П- т)5( Цк т + ^ П- т + 1 ) — — 5( ик 2, Vk- 2)8( Цк 1 ^- 1).
Сравнивая данное выражение с выражением (12) для матрицы передач БНС и учитывая (19), можно получить следующие правила настройки нейронных ядер:
1) Для X = к - т при Vk - т > 0, элементы матриц
ядер с номерами Iх = <0001 — 0к- т - 1 ик- 1ик- 2 — — Цх + 1> определяются из условия wX( Цх, Vх) = ' = фт(ик- т, Vk- т) , т.е. в матрицах этих ядер все столбцы, начиная с первого, будут заполнены образующими импульсами поликады т .
2) Для всех х< к - т , из выражения (19) имеем Vх = 0 элементы матриц для ядер с номерами
Iх = <0001 — 0х- 1 Цк- 1 Цк- 2 — Цх + 1> , определяются выражением wXх(0) = 1 , но с учетом условия 1) это означает, что для всех поликад фт( Цк- т, 0) = 1 . Т.е. для каждой поликады весь нулевой столбец матрицы образующих импульсов заполнен единицами.
3) Для х> к - т элементы матриц для ядер с
номерами Iх = < %01 — 0к - т - 1 Vk - mVk - т + 1 —
представляют собой матрицы образующих импульсов поликады т =к - X, все остальные ядра слоя X представляют собой единичные матрицы размером Рх XРх . Из (20)
следует, что для последнего слоя (X = к -1) только нулевое ядро будет содержать матрицу образующих импульсов поликады т =1, все остальные ядра будут единичными матрицами. Для начального слоя ( X = 0 ) все ядра содержат матрицу образующих элементов поликады т=к.
6. БАЗИС ХААРА
Преобразование Хаара [17] является простейшим вейвлет-базисом, который определен на интервале длиной
2к. Базис порождается одиночным двуполярным импульсом с временной базой равной двум. По частотным локализациям функции базиса разбиваются на октавы. Матрица образующих импульсов для каждой октавы и имеет вид:
Ф
1 1 1 -1
Рассмотрим в качестве примера построение базиса Хаара
для размерности N = 23. Базисные функции разбиваются на три октавы, а матрица преобразования факторизуется в произведение трех матриц: Н= Н0НН2. Поразрядное представление строк и столбцов матрицы Н имеет вид:
и = < и2и1и0>, V = < .
Слой 0. В этом слое все матрицы нейронных ядер равны матрице образующих импульсов. Матрица синапти-ческой карты слоя определяется выражением:
Н0(и0 V0) = wI0o(Ц0, v0жц0, v0)5( Ц0, v0) ,
где !0 = < Ц20, и0> , w0o( и0У0) = ф( и0 V0) .
Слой 1. Матрица слоя в поэлементном представлении записывается в виде:
Н1(и1 V1) = w!l(Ц1, V11 )5(и2, Vl)5(Ц1, V]).
Ядра с матрицей образующих импульсов будут занимать позиции г1 = < 0и;|>, остальные ядра представляют собой единичные матрицы.
Слой 2. Матрица преобразования в аналитической форме записывается в виде:
Н1 (и2 V2) = w22 (Щ, VI)5( V2)5(и2, V2).
V,
т
V"
и2 и и0
0 0 0
0
—I 0
—I 0
00 о|Т
"П0"
0
I---1
1
—I 1
—I
1
0
0
----г
1
(----
1
1----
0
1
____!._
00 -I----1----
11
I 1 I 1
Т---1---
01
I 1 I 1
11
1
0] 0М
I
о]Т[0
___1
I I I I I_I
00 01 10
1---11
1— 1
1
I
0 0
I I
_I
01 10
00 01 01
I---1
-1!
-1
I
-1
1
00
—^— 1
—I-— 1
I---1
I---1
-1
1 1
■+---н----
-1
1----
1
I
I I I I
+ --Н---
I
I
01
1
---Г--1---
10
01"
1
I
—г 1
0
I
0
10 11 11
-1
1
1
I___I
I I
I I ___
I I I I
1 1 1 1
1
_J___
-1
Рисунок 5 - Факторизованное представление преобразования Хаара
0
1
1
1
1
1
1
1
0
1
1
0
0
0
1
1
0
1
В этой матрице только нулевое ядро совпадает с матрицей образующих импульсов, все остальные ядра равны единичной матрице. На рис. 5 приведены все три матрицы послойных преобразований, построенные по указанным правилам. Результирующая матрица преобразования имеет следующий вид:
Н=
1 1 -1 -1
1 -1
1 -1
1 1 -1 -1
1 -1
1 -1
Нетрудно заметить, что функции Хаара располагаются вдоль столбцов матрицы Н .
7.РЕАЛИЗАЦИЯ БЫСТРОГО ПРЕОБРАЗОВАНИЯ ФУРЬЕ
Функции базиса Фурье задаются выражением:
1 * .2л,
(21)
где и - временной отсчет, V - частота (или номер)
базисной функции, ) = «/-1 , N = РоР^.-Рк - 1 -размерность преобразования.
Топология быстрого алгоритма
Для построения траектории топологий выберем следующую порождающую схему:
у-Х = и% + 1 = <и% + и + 2„.^- 1 - 1„.У(» . (22)
Основное преимущество данной схемы в том, что она позволяет построить быстрое преобразование Фурье с естественным упорядочениям функций по частотам следования. Значения переменных и и V для терминальных полей в многоосновной позиционной системе счисления можно записать следующим образом:
к -1
и = < ик - 1 ик - 2 ■ ио» = I иаРа - 1-Ра - 2-Р0,(23)
а = 0
к - 1
V = < - 1» = I ^в + 1Рв + 2 ■ "Рк- 1 ,(24)
в = о
где разрядные числа принадлежат интервалам иа, Vаe[ 0, —, (Ра - 1)] . Из выражений (23), (24) получим следующие граничные условия:
и = < ик- 1 ик- 2 - и0» = <и0и1 - ик- 1» , V = < V0V1-Vk - 1» = < - V - 2-^0»
Откуда непосредственно следуют поразрядные
соответствия:
^ - 1 = ^0, ^ - 2 = v1'- , ^ + 1 = - 1, ^ = ^Х' - , ^ = Vк - 1 , ик - 1 = и0, ик - 2 = и1' - , иа + 1 = иХ - ^ иа = иХ'- , и0 = ик- ^ (25)
где а + Х = к - 1 . Номера ядер для выбранной порождающей схемы определяются выражением:
1Х = < их + 1-ик - V - 1- 2-у0».
Для построения слабо заполненных матриц представим числа в поразрядной форме:
иХ = < иХ-1 иХ- 2- иХ», vХ = < V) VХ- ^1».
Таблица 2
и = «я «я + 1 «к - 2 «к - 1 Уя - 1 У2 У1 У0
и = икя 1 икя - 2 ия + 1 ия ия - 1 ия ия ия
У = «я + 1 «я + 2 «к - 1 Уя Уя - 1 У2 У1 У0
У = уя уя Ук - я - 2 ук - я -1 ук - я ук 3 ук - 2 ук -1
Сопоставляя эти представления с порождающей схемой, получим таблицу соответствий (см. таблицу 2). Откуда непосредственно имеем аналитическую форму матриц факторизованного представления:
Ах( = укк_ х _ 1 )5( 2,
• 5(и1_3, ф.„5(и1 уЯ-я-2)5(и£- 1. У£-я)-■ 5(и0, УЯ- 1).
гя = < и
ия
к - 2ик-3
ия>
Параметры нейронных ядер
Подставив (23) в (21), получим к - 1
1
Ы и, У) = П 4= ехР
а = 0 ^ а
4Ра
2п У
и
Рк - 1Рк - 2 ■■■Рс
У
I Рк - 1Рк - 2 ■' 'Р<
'иа - =
(27) соответствует ядру в некотором слое Я. Таким образом, используя (28), можно записать:
wЯ(«я, Уя) = -рехр(-у2пI +
4Ра & & Ра
(26)
+ иа
< Уа + 1 Уа + 2 ■ " " Ук- 1> рк - 1рк - 2 ■ • 'Ра
В данном произведении цепочка 5 функций Кронекера обрывается, если индексы разрядных переменных выходят за пределы допустимого диапазона. Номер ядра, выраженный через глобальные разрядные числа, будет иметь вид:
Аргумент экспоненты следует рассматривать как априорно заданные ограничения на параметры ядер и топологическую траекторию быстрого алгоритма. В частности, порождающая схема выбрана так, чтобы удовлетворять данным ограничениям. Используя поразрядные соответствия (25), последнее выражение можно переписать в следующем виде:
и л 1 ( . 2п
Кя( «я, уя) = - ехр & -у-«я у
(27)
«¡Рк- я - 1 & Рк-я - 1
( < У а + 1 У а + 2 ■ ' ' У к-1>Л ехр& -у 2 п-
рк - 1рк - 2 —ра
я Уя' •
(29)
Ввиду периодичности комплексной экспоненты в последнем выражении достаточно учитывать только дробную часть периода 2 п в аргументах экспоненциальных множителей. Обозначим дробную часть числа фигурными скобками, тогда, поставляя в аргумент экспоненты выра-жение(24), получим:
Полученная формула определяет правила определения элементов нейронных ядер. В данном выражении первый сомножитель представляет собой элемент матрицы преобразования Фурье для размерности рк - я - 1 , которое
обозначим Р (ш, щ) . Введем также обозначения рк-я - г я я
2п
для поворачивающего множителя Ю = ехр&-у —' и
компоненты номера ядра = <Уя- 1 У я-2■•• у0> . Тогда выражение (29) приводится к виду:
к -1
иа Е УРРР + 1Рв + 2 ■ "Рк- 1
в = 0_
Рк - 1Рк - 2-Ра
«я Уя) = РРк-я-1(«я, Уя)Ю2(«я^, где показатель степени поворачивающего множителя равен
2(«я, ^ = «я]яРк- я - 2Рк- я - 3 -Ро. Пример
(28)
Каждый экспоненциальный сомножитель в произведении
Пусть N = 23
Р0 = Р1 = Р2 = 2 , тогда
2п
Ю = ехр&-у—' . Определим элементы ядер.
и
и, и, и
о о
О | 1
"Г|о" ""То"
~Г
1 I 1
7|Т "о ¡т
т
1 ! О
1 ! О
I 1
оо "о~"Т" "о~"Т" Т"~"о"
11
1 ! 1
! -1
1 о
-1
1
-1
1
-1
1 ! -1
Рисунок 6 - Матричная форма алгоритма быстрого преобразования Фурье 00
Слой 0. Jо = 0, г = < «1«2>, ^00 («0, У0) = ^2 («0' У0) . Матрица базиса Фурье для размерности, равной двум, имеет вид:
Г0 = =
_1_ 72
1 1 1 -1
Слой содержит четыре одинаковых ядра. Слой 1. Jl= 0, 01 = < «2У0 > ,
= Р2(«1, У1)Ю2«1У0 .
Для 01 = <«20> = {0, 2} ядра будут иметь вид
< = = Р2 =
72
1 1 1 -1
Для 01 = <«21> = {1, 3} ядра будут иметь вид:
= ^3 = =
__1_ 72
1 1
Ю2 -Ю2
Г2 = =
^ "Л
__1_ 72 1 1
Ю2 -Ю2
1 1 1 -1
^2 =
__1_ 72
1 1
Ю -Ю 1
Ю3 -Ю3
быстрого преобразования Фурье для данного примера (множители 1 /72 с целью упрощения графики не показаны).
Факторизованному представлению соответствует сигнальный граф, представленный на рис. 7. Стрелками на графе отмечены отрицательные значения весов. Перемножив матрицы факторизованного представления, получим следующую матрицу базисных функций:
wг1l ( «1, У1) = ^
Н =
1
Ю Ю
Ю
-1 -Ю
111111 Ю2 Ю3 -1 -Ю -Ю2 -Ю3
2 -1 -Ю2 1 Ю2 -1 -Ю2
3 -Ю2 Ю -1 -Ю3 Ю2 1 -11 -1
Ю2 -Ю3 -1 Ю -Ю 2 1 -Ю2 -1 32
-Ю2 -1 Ю2
-Ю3 -Ю2
Слой 2. Jl = <У1 У0>, о2 = <У1 У0>,
w22 («2, У2) = Р2(«2, У2)Ю«2 <У1У0> .
Подставляя значения переменных, получим, что ядра матриц будут иметь вид:
Из выражения (26) получим следующие аналитические представления для слабо заполненных матриц
Слой 0. Н0(и0У0) = м>00(и0, У20)5(и0, У0)5(и§, У0).
Слой 1. Н1(и1 У1) = 1 (и2, и})5(и}, У1 )5(и}, У2).
Слой 2. Нх(и2 У2) = (и|, У2)5(и2, У2)5(и2, У|),
где 0я = < ия ия> .
На рис. 6 показано факторизованное представление
Ю2 -Ю
1 -1
2 Ю3
Ю2
-Ю -1 Ю3 Ю2 Ю
Эта же матрица может быть получена из определения (21). При нейросетевой реализации быстрого Фурье преобразования, переход от комплексных операций к операциями над вещественными числами выполняется по тем же правилам, что и для преобразования Виленкина-Кристенсона.
8. ЗАКЛЮЧЕНИЕ
Применение быстрых нейронных сетей позволяет одновременно решить две практически важные задачи: первое -расширить область использования многослойных нейронных сетей для систем высокой размерности и систем реального времени, и второе - объединить эффективные методы спектральной обработки данных с нейросетевой технологией на основе однородных программных средств. Быстрые спектральные преобразования являются частным, но важным для практических приложений, вариантом использования быстрых нейронных сетей. В данной работе показано, что идеология БНС обобщает быстрые алгоритмы линейных и нелинейных преобразований. Погружение быстрых спектральных преобразований в класс БНС позволяет, кроме всего прочего, глубже понять их природу, внутренние строение и построить на этой основе новую методологию их синтеза. Примеры использования новой методологии показаны в настоящей работе.
V
V
о
о
1
1
1
1
1
1
1
ш
- ш
ш
- ш
ш
ш
ш
ш
ш
-ш
Рисунок 7 - Полный граф восьмиточечного БПФ с упорядочением по частотам следования
ПЕРЕЧЕНЬ ССЫЛОК
1. Галушкин А.И. Современные направления развития нейрокомпьютерных технологий в России. // Открытые системы №4.- 1997.- С.25-28.
2. Хехт-Нильсен Р. Нейрокомпьютинг: история, состояние, перспективы. // Открытые системы № 4-5 (30-31). - 1998. -С.23-28.
3. Галушкин А.И. Нейрокомпьютеры. Кн.3.: Учеб. пособие для вузов/ Общ. ред. А.И. Галушкина. - М.: ИПРЖР. - 2000. -528с.
4. Дорогов А.Ю. Структурный синтез быстрых нейронных сетей. // Нейрокомпютер. №1, 1999. - С. 11-24.
5. DorogovA.Yu. Structure Synthesis of Fast Neural Networks // Neurocomputers Design and Application. (New York) Vol.1, Issue 1. 2000, p 1-18.
6. Good I.J. The Interaction Algorithm and Practical Fourier Analysis // Journal of Royal Statistical Soseity. Ser.B.- 1958.-Vol.20, No.2.- P.361-372.
7. Andrews H.C., Caspari K.L. A General Techniques for Spectral Analysis // IEEE. Tr. Computer.- 1970.-Vol C-19, Jan, No 1.-P.16-25.
8. Эндрюс Г. Применение вычислительных машин для обработки изображений: Перевод с англ. / Под ред. Б.Ф.Курьянова. М. 1977. - 160с.
9. Солодовников А.И., Канатов И.И., Спиваковский А.М. Синтез ортогональных базисов на основе обобщенного спектрального ядра. // Вопросы теории систем автоматического управления: Межвуз. Сб. Ленингр. Гос.
Ун-т,- Л., 1976. - Вып.2.-С. 99-112.
10. Лабунец В.Г. Единый подход к алгоритмам быстрых преобразований // Применение ортогональных методов при обработке сигналов и анализа систем: Межвуз. Сб. Уральск. Политехн. Ин-т.- Свердловск, 1980. - С.4-14.
11. Дорогов А.Ю., Солодовников А.И Перестраиваемые ортогональные базисы для адаптивных спектральных преобразований // "Методы и средства обработки пространственно-временных сигналов": Межвуз. Сб. Уральск. Политехн. Ин-т.-Свердловск, 1988. - С. 18-26.
12. Дорогов А.Ю. Структурный синтез модульных слабосвязанных нейронных сетей. 1. Методология структурного синтеза модульных нейронных сетей. // Кибернетика и системный анализ. 2001.-№2.-С.34-42.
13. Dorogov A.Yu. Structural Synthesis of Modular Weakly Connected Neural Networks. I. Methodology of Structural Synthesis of Modular Neural Networks. /Cybernetics and Systems Analysis 37 (2): 175-181, March - April, 2001.
14. Рабинер Л., Гоулд Б. Теория и применение цифровой обработки сигналов: Пер. с англ. - М.: Мир, 1978. - 848с.
15. ГудИ.Дж. О взимоотношении между двумя быстрыми преобразованиями Фурье.// В кн. Маккеллан Дж.Х., РедерЧ.М. Применение теории чисел в цифровой обработке сигналов.-М.: Радио и связь. - 1983. - 264с.
16. Трахтман А.М., Трахтман В.А. Основы теории дискретных сигналов на конечных интервалах.- М.: Сов.Радио, 1975. - 207с.
17. Ярославский Л.П. Введение в цифровую обработку изображений. - М.: Сов. Радио. 1979. - 312с.
УДК 004.93:007.52
МЕТОДИКА СИНТЕЗА И ОБУЧЕНИЯ МНОГОСЛОЙНОЙ НЕЙРОННОЙ
СЕТИ КЛАССИФИКАЦИИ ОБРАЗОВ
В.И.Дубровин, С.А.Субботин
Проанализированы основные показатели качества методов построения нейросетевых моделей многомерных зависимостей. Разработана методика синтеза и настройки весовых коэффициентов многослойной нейронной сети для построения нейросетевых моделей по точечным данным.
Проанал1зовано основт показники якост1 метод1в побудо-ви нейромережевих моделей багатовим1рних залежностей. Розроблено методику синтезу та налагоджування вагових коеф1ц1ент1в багатошаровоЧ нейронноЧ мереж1 для побудови нейромережевих моделей за точковими даними.
The main parameters of quality of methods of construction of neural network models of many-dimensional relations are analysed. The technique of synthesis and evaluation of weight coefficients of a multilayer neural network for a construction of neural network models on the dot data is developed.
ВВЕДЕНИЕ
В настоящее время при построении распознающих и диагностических систем широкое распространение получили искусственные нейронные сети (НС), которые являются удобным инструментом для построения численных моделей типа "черный ящик".
Однако при построении нейросетевых моделей на основе большинства известных методов возникает ряд проблем, таких, как необходимость задания пользователем топологии и параметров НС, инициализация весов НС [1], медлительность и итерационность процесса построения нейросетевых моделей, а также избыточность и сложность интерпретации полученных моделей.
