CC BY
19
Технические науки
109
5. Pearcey Н.Н. Indication of boundary-layer transition on aerofoils in the N.P.L. 20 in. by 8 in. highspeed tunnel // A.R.C. C.P., 10, 1950.
6. Потапчик А.В. Экспериментальное исследование поля течения вблизи профиля при околозвуковых скоростях // Труды ЦАГИ. - 1979. -Вып. 2010. - С. 22-35.
СООТНОШЕНИЕ ТЕОРИИ БЫСТРЫХ СПЕКТРАЛЬНЫХ ПРЕОБРАЗОВАНИЙ И МОДУЛЬНЫХ НЕЙРОННЫХ СЕТЕЙ
© Костин Н.С.*
Омский государственный технический университет, г. Омск
В работе рассматриваются принципы технической реализации модульных нейронных сетей, а также способы их представления. Выделены основные этапы развития модульных нейронных сетей, как направления. В заключении рассматривается соотношение теории быстрых спектральных преобразований и модульных нейронных сетей.
Ключевые слова: модульные нейронные сети, перестраиваемые преобразования, матрицы Гуда.
Введение
В нейрофизиологии ведутся активные исследования по структурной организации мозга. Накопилось ряд экспериментальных фактов представляющих значительный интерес для технических приложений. В 80-х годах нейрофизиологи пришли к выводу, что основным организующим принципом мозга является модульное строение и распределенная обработка информации [1]. Наиболее выраженная модульная организация обнаружена в новой коре головного мозга, которая главным образом ответственна за мышление, речь и другие формы высшей нервной деятельности.
Модульные нейронные сети
Принципы технической реализации модульных нейронных сетей обсуждались рядом авторов в середине 80-х годов [2]. Принцип модульности в предложенных сетях [3] был основан на аналогии с коллективом экспертов.
K
Выходной вектор модульной сети может быть представлен как Y = Z SiYi,
i=1
* Аспирант 3-го года обучения кафедры Информатики и вычислительной техники. Научный руководитель: Потапов В.И., профессор кафедры Информатики и вычислительной техники, доктор технических наук.
110
ФУНДАМЕНТАЛЬНЫЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
где gt - уровень активности выходного нейрона управляющей сети. Для
K
управляющей сети выполняется условие ^ g = 1. Коэффициенты gt трак-
14
туются как априорные вероятности мнений экспертов. В простейшем случае модулем является однослойный персептрон.
Перестраиваемые спектральные преобразования и ядерные нейронные сети
Историческим толчком для развития теории перестраиваемых преобразований послужила работа Гуда [4] (Good I.J.), в которой была рассмотрена матричная структура специального вида, порождающая быстрый алгоритм линейного преобразования (рис. 1а). По такой схеме может быть построено быстрое преобразование Фурье.
а)
б)
Рис. 1. Топология матриц Гуда
На рис. 1 сплошным контуром выделены подматрицы, которые в дальнейшем Эндрюс (Andrews) в работе [5] назвал спектральными ядрами, а символом «1» отмечены элементы, которые можно варьировать при настройке преобразования (остальные элементы в матрице нулевые). В нейросетевой интерпретации данной матрице соответствует однослойная сеть, показанная на рис. 1б. Линейное преобразование Гуд определил как произведение слабо заполненных матриц и доказал теорему, устанавливающую связь между элементами матрицы Н и элементами ядер матриц Gt.
H=GiG2... Gn. (1)
Число матриц в произведении оказалось связанным с размерностью преобразования следующим соотношением:
Технические науки
111
N=plp2...pn, (2)
где pi - размерность ядер в слое i (все ядра слоя должны иметь одинаковую размерность). В этой же работе Гуд показал, что в случае, когда все ядра в пределах слоя одинаковы по значениям коэффициентов, матрица Н может быть представлена кронекеровским произведением матриц ядер W:
H= Wl х W2 х. X Wn.
(3)
Вторым шагом в теории перестраиваемых преобразований явились работы Эндрюса [6, 7]. Основываясь на возможности представления линейных преобразований кронекеровским произведением матриц Эндрюс построил класс быстрых преобразований, включающий в себя преобразование Уолша-Адамара. Рассматривая только ортогональные линейные преобразования, результатом применения которых является спектр сигнала, Эндрюс ввел понятие обобщенного спектрального анализатора.
Дальнейшее развитие это направление получило в работах Г. С. Колмогорова, В.Г. Лабунца [8, 9], где также исследовались методы настройки преобразований. В этих работах использовались слабозаполненные матрицы с топологией отличной от топологии Гуда и больше соответствующими известному алгоритму БПФ Кули-Тьюки [10]. На рис. 2 показана топология алгоритма в форме Кули-Тьюки (с прореживанием во времени) для преобразования размерности N = 8.
1 ill!
1
1 Mil
1j ! i l
1 l;
1 гиг
1 1 ! ! l
ii''] Г l
l l
l l L__
l l
l l ]
! i ii
1 i... l
! i ii
11 l
l l
l l
l i
l l
l 1
T 1
1 1
1 1
Рис. 2. Топология перестраиваемого преобразования по Кули-Тьюки
Таким образом, было установлено, что разные формы топологического представления порождают преобразования одного и того же вида (Фурье, Уолша-Адамара, Виленкина-Крестенсона и пр.), различающиеся может быть только перестановкой базисных функций. Это обстоятельство привело к выводу, что топология и структура алгоритма хотя и связаны между собой, но не тождественны друг другу. Впервые явно разделены данные понятия
112
ФУНДАМЕНТАЛЬНЫЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
были Ю.А. Дороговым в работе [11], введя понятие структурной модели для перестраиваемого преобразования.
Новое понятие позволило разделить исследования архитектуры преобразования на две относительно независимые части: исследование структуры и исследование топологии. Свойство модульности, унаследованное от перестраиваемых преобразований, имело решающее значение в идеологической концепции методов структурного синтеза нейронных сетей.
Список литературы:
1. Маункасл В. Организующий принцип функции мозга - элементарный модуль и распределенная система / Дж. Эдельман, В. Маункасл // Разумный мозг. - М.: Мир, 1981.
2. Hrycej T Modular Learning in Neural Networks (A Modulariced Approach to Neural Network Classification). - USA, JOHN WILEY&SONS. INC 1992. -235 p.
3. Jacobs R.A., Jordan M.I. A cjmpettitive modular connectionist architecture // In Advances in Neural Information Processing Systems 3. - San Mateo, CA: Morgan Kauf-mann, 1991. - P.767-773.
4. Good I.J. The Interaction Algorithm and Practical Fourier Analysis // Journal of Royal Statistical Soseity. Ser. B. - 1958. - Vol. 20, No 2. -
P. 361-372.
5. Andrews H.C. Walch Function Selection and Pattern Recognition // SAWF, IEEE, Tr. on EMC-13. - 1971. - No 3. - P. 115-119.
6. Andrews H.C., Caspari K.L. A General Techniques for Spectral Analysis // IEEE. Tr. Computer. - 1970. - Vol. C-19, Jan., No 1. - P. 16-25.
7. Andrews H.C., Kanl J. Kronecker Products Computer Implementation and Generalized Spectra // J. ACM. - 1970. - Vol. 17, apr. - P. 260-268.
8. Колмогоров Г.С. Алгоритмы быстрых преобразований в базисах классических ортогональных полиномов // Применение ортогональных методов при обработке сигналов и анализе систем: межвуз. сб. - Свердловск: Уральск. Политех. Ин-т, 1981. - С. 39-44.
9. Колмогоров Г.С., Лабунец В.Г. Стратегия настройки многопараметрических преобразований // Применение ортогональных методов при обработке сигналов и анализе систем: межвуз. сб. - Свердловск: Уральск. Политех. Ин-т, 1983. - С. 4-16.
10. Рабинер Л., Гоулд. Теория и применение цифровой обработки сигналов: пер. с англ. - М.: Мир, 1978. - 848 с.
11. Дорогов А.Ю. Структурные модели и топологическое проектирование быстрых нейронных сетей / А.Ю. Дорогов // Информационные средства и технологии: междунар. конф. Москва, 21 -23 окт. 1997. Докл. - Т. 1. -С. 264-269.
