CC BY
1УДК 004.032.26 DOI:10.25729/ESI.2024.34.2.002
Быстрые преобразования и самоподобные нейронные сети глубокого обучения.
Часть 3. Пирамидальные нейронные сети с глубокой степенью обучения Дорогов Александр Юрьевич
ПАО «Информационные телекоммуникационные технологии» («Интелтех»), Санкт-Петербургский государственный электротехнический университет, Россия, Санкт-Петербург, [email protected]
Аннотация. В работе рассматривается класс быстрых нейронных сетей с пирамидальной структурой. Приведены методы топологического построения одномерных и двумерных пирамидальных сетей. Сети рассматриваемого класса представимы линейными операторами, имеют самоподобную структуру и являются частным случаем алгоритма быстрого преобразования Фурье. Предложены топологические модели пирамидальных нейронных сетей прямой и обратной ориентации. В работе показано применение пирамидальных нейронных сетей быстрого обучения для реализации корреляционной цифровой обработки сигналов и изображений, комбинационной логики и элементов памяти. Рассмотрены примеры построения шифратора и дешифратора бинарных кодов. Отмечено, что пирамидальная сеть памяти обеспечивает хранение и точное восстановление образов подобно хранению данных в компьютерной памяти произвольного доступа. Доказано, что быстрая пирамидальная сеть является нейронной сетью глубокого обучения, а самоподобная структура позволяет дообучать сеть к новым данным без необходимости полного переобучения сети. Данная работа является третьей частью обобщающей статьи «Быстрые преобразования и самоподобные нейронные сети глубокого обучения», опубликованной в этом журнале. В первой части рассмотрены стратифицированные модели самоподобных нейронных сетей, во второй части рассмотрены алгоритмы обучения быстрых нейронных сетей и обобщённых спектральных преобразований.
Ключевые слова: быстрое перестраиваемое преобразование; нейронная сеть; пирамидальная структура; глубокое обучение, дешифратор кодов, шифратор кодов, нейросетевая память, пластичность нейронной сети, степени свободы
Цитирование: Дорогов А.Ю. Быстрые преобразования и самоподобные нейронные сети глубокого обучения. Часть 3. Пирамидальные нейронные сети с глубокой степенью обучения / А.Ю. Дорогов // Информационные и математические технологии в науке и управлении. - 2024. - № 2(34). - С. 19-32 -DOI:10.25729/ESI.2024.34.2.002.
Введение. Как было отмечено в предыдущих частях статьи [1, 2], быстрые нейронные сети (БНС) имеют глубокую связь с алгоритмом быстрого преобразования Фурье и обобщённых быстрых преобразований. Методы обучения БНС, рассмотренные в Части 2 статьи, отличаются высокой скоростью и гарантируемой сходимостью. Тем не менее, было показано, что информационная ёмкость БНС используется не полностью, остаются степени свободы, которые не могут быть непосредственно использованы для обучения. В данной работе будет предложено решение, устраняющее этот недостаток. Ключевая идея заключается в изменении топологии БНС таким образом, чтобы выделить сетевые компоненты, информационная ёмкость которых используется полностью, и отсечь сетевые компоненты, информационная ёмкость которых не используется при обучении. В результате нейронная сеть упрощается, быстродействие её увеличивается, и глубина обучения становится максимально-возможной. Оказалось, что результат может быть достигнут за счёт изменения структурных характеристик сети, при сохранении топологических схем построения БНС. Последовательная реализация данной идеи приводит к построению особого типа нейронных сетей, размерность слоёв в которых изменяется подобно размеру пирамиды при движении от основания к вершине, отсюда появилось название - пирамидальные сети.
Название не новое, интерес исследователей к пирамидальным сетям возник в конце нулевых годов текущего столетия и был мотивирован работами по представлению
изображений в виде иерархических пирамид в задачах декомпозиции, сегментации и сжатия изображений [3]. В работе [4] была предложена архитектура пирамидальной нейронной сети PyraNet, предназначенной для визуального распознавания образов. Пирамидальная сеть PyraNet имеет иерархическую многослойную структуру, обрабатывающую 2D образы. Выходами сети является Ш слой, представляющий категории входных образов. Архитектура пирамиды сети подбирается экспериментально, каких-либо методов целесообразного выбора не предложено. Пирамидальная нейронная сеть данного типа для своего обучения использует тот же арсенал методов обратного распространения ошибок, что и классические многослойные нейронные сети. Общий недостаток этих методов - не гарантируемая сходимость по ошибкам обучения к глобальному минимуму и значительные вычислительные затраты, особенно для глубоких нейронных сетей [5]. Суждение о полезности применения сетей данного типа основано на ряде успешно решенных задач. Количественно информационная емкость пирамидальных нейронных сетей никогда не оценивалась.
В данной работе будут рассмотрены пирамидальные сети с регулярной самоподобной структурой. Как было показано в Части 2, эти сети обладают быстрыми алгоритмами обучения с гарантированной сходимостью к целевой функции. Архитектура пирамиды определяется фиксированным правилом, которое не изменяется и подобрано так, чтобы обеспечить максимальное использование информационной ёмкости сети. Рассмотрены сети с прямой и обратной ориентацией пирамиды. Будет показано, что сети пирамидального типа могут быть использованы для реализации многоканальных корреляторов, сложной комбинационной логики, для хранения и точного восстановления образов. Для самоподобных нейронных сетей существуют количественные оценки информационной емкости сети в зависимости от ее структуры. Будет показано, что предложенный вариант пирамидальных нейронных сетей полностью использует свой потенциал обучения.
1. Построение пирамидальной нейронной сети. В работе [6] (см. также Часть 1) показано, что модель алгоритма быстрого преобразования в топологии «Гуда» определяется кортежами:
ит =(V у ~...упи м п...и ),
\ т-1 т-2 0 п-1 п-2 т / ?
Ут ={УтУт-1■■ • У0ип-Мп-2- • • Мт+1) >
^ =(Ут-1" ■У0Мп-1Мп-2•• 'О- (1)
Здесь т - номер слоя, а локальные переменные ит, уи определяют позиционные номера
рецепторов и аксонов базовых операций в слое т . Кортежи используются для поразрядного представления чисел в позиционной системе счисления. Например, для системы счисления с основанием 2 имеем:
и = (ип-1ип-2" -ЩМ) = ип-12"~1 + ип-22"~2 + — + и12 + и0
Из выражения (1) следует, что для нулевого слоя номер базовой операции (далее -нейронного ядра) определяется выражением:
20 =(ип-1ип-2- -и)
а глобальный номер рецептора нулевого нейронного слоя выражением:
и0 =(ип-1ип-2" и) (2)
Локальные переменные и0, у0 определяют позиционный номер рецептора и позиционный номер аксона в пределах каждого ядра нулевого слоя (нумерация рецепторов и аксонов начинается с нуля). Будем полагать, что значение р0 определяет число рецепторов
ядра нулевого слоя, а значение - число аксонов. Аналогичные обозначения , ^, где
т = 0,1,..., п — 1, будем использовать для обозначения размерностей рецепторных и аксоновых полей остальных слоёв сети.
Выберем значения gm= 1 для т = \,2,...,п — \, а для т = О сохраним произвольное
значение £0. В этом случае из (1) следует, что аксоны последнего слоя получат глобальные позиционные номера:
V-1 = ( 0п _1ои _ 2..А V„).
Таким образом, нейронная сеть будет иметь ровно выходов, а из (2) следует, что число входов будет равно N = р0 ■ рх ■... ■ рп , . Построенная сеть является пирамидальной, с размерностью N по входу и £0 по выходу. На рис. 1 приведён пример трёхслойной пирамидальной сети для структуры (р0, р, р2) = (4,2,2), (, ^, ) = (3,1,1) .
.........
— 0
................ 1 ..........
...........
................... 2
Рис. 1. Трехслойная пирамидальная БНС с регулярной топологией Детали построения топологического графа БНС изложены в работе [6]. Для БНС доказана обобщённая теорема факторизации (см. Часть 2), согласно которой элементы матрицы преобразования представимы через произведение элементов нейронных ядер:
Н(и, V) = М>°0 О'оЛ'о)^ ("', I'1'« |) (3)
Здесь элементы матриц нейронных ядер обозначены через (ит, \т ), где , -
определяют номер строки и номер столбца матрицы, т - номер слоя, и 1т - номер нейронного ядра в пределах слоя т .
В Части 2 приведён алгоритм мультипликативной декомпозиции произвольной функции, заданной на дискретном интервале длиной N = р(1рг • • ■ рп_х. Мультипликативное представление имеет вид:
/ (и) = /о ( ип-1Ып-2.. Мо) = фф (ио ) Ф 1 (и1 )... фф _ 2 (ип-2 ) 1 (и„-1), (4)
где гт = (ип_{и^2..мт+1). Аргумент функции представляется в виде числа в многоосновной системе счисления:
и = (ип-1ип-2" -ио) = ип-1Рп-2Рп-3'-- Ро + • • • + ип-2Рп-зРп-4'-' Ро + • • • + иР + и0.
Здесь ui е [0,1 ,...р1 -1] - разрядные переменные. Нетрудно заметить, что выражения (3) и (4) подобны, учитывая, что для построенной пирамидальной сети
^ = (от-1 ' ' • о1 ^оип-1ип-^ • • ит+1)
можно записать следующее правило обучения нейронных ядер к эталонным функциям:
(и0, у0 ) = $ (и0 ) , т = О,
/« = 1,2.....»-к
m zm
= (0 ,.. Д vu м
\ m-1 1 0 и-1 «-2 wî+1 /
где к - номер эталонной функции. Взаимно-однозначное соответствие к — у0 определяет
упорядочение эталонных функций по их привязке к нейронам выходного слоя.
2. Многоканальные корреляторы на пирамидальных нейронных сетях. Один из основных способов распознавания сигналов при корреляционных измерениях состоит в сопоставлении сигнала с эталоном. Если сходство между неизвестным сигналом и эталоном велико, то сигнал помечается, как соответствующий эталонному. Простейшей мерой сходства является линейный дискриминант Фишера [7]. В частном случае этот дискриминант представляет собой меру взаимной энергии сигналов и выражается через нормированное скалярное произведение
Л = (х, е)Ц(х, х)(е, е) >а
,
где х - неизвестный сигнал, представленный вектором, е - вектор эталонного сигнала, скобки (,) - обозначают скалярное произведение векторов, скаляр а определяет пороговый
уровень различения сигналов. В многоканальном дискриминаторе используются несколько эталонов. Будем полагать, что входной и эталонные сигналы нормированы к энергии, так что (х, х) = 1 и (е, е) = 1. В этом случае дискриминант определяется скалярным произведением
Л = (х, е)
Скалярное произведение можно рассматривать как произведение вектора-строки х на одно-столбцовую матрицу Н = е'. Для многоканального дискриминатора матрица Н будет состоять из £0 столбцов и вычисление дискриминантов будет определяться выражением:
Л (к) = Ех(и)к(и,У)
и
Будем полагать, что матрица Н является матрицей быстрого пирамидального преобразования с топологией Гуда. Поскольку сеть имеет £0 выходов, то
V-1 =( 0п -А - 2..А у„).
На каждом выходе будет формироваться значение скалярного произведения, отвечающего эталонному сигналу. Пирамидальная сеть, показанная на рис. 1, может быть обучена к трём сигнальным функциям, заданным на интервале длинной 16.
Замечание. Поскольку для предложенной архитектуры пирамидальной сети выполняются условия: gm = 1 для всех т = 1,2,...,п — 1, то из (1) следует
ит =/0 ,0 ,...0,ум м ....и ),
\ т-1 т-2 1 0 п-1 п-2 т / ?
Ут =( 0 0 ,...0 ум м п..м ^ ),
\ т т-1 1 0 п-\ п-2 т+1 / ?
^ = (0т-1 * * * 01 У0ип-1ип-2" -ит+^-
При варьировании разрядных переменных и при фиксированном значении разряда у значения кортежей выделяют в сети множества рецепторов, аксонов и нейронных ядер, помеченных разрядом у . Подчеркнём, что в БНС рецепторные поля нейронных ядер не пересекаются, и каждый нейрон слоя имеет точно один аксон [6], отсюда следует, что
пирамидальная нейронная сеть предложенной архитектуры распадается на независимые группы нейронов, индексированных разрядом v0. Каждая такая группа нейронов способна
обучаться независимо от других групп. Таким образом, пирамидальная нейронная сеть рассматриваемого типа обладает уникальной возможностью последовательного дообучения к эталонам без потери ранее накопленных знаний.
3. Пластичность пирамидальной нейронной сети. В биологии термин пластичность используется, как качественная характеристика способности нейронной сети обучаться при воздействии внешних факторов. Для искусственных нейронных сетей адекватной количественной оценкой может служить число независимых настроек, называемое также числом степеней свободы. Это значение, как правило, меньше полного количества настраиваемых синаптических весов нейронной сети. Для БНС получены точные формулы расчёта числа степеней свободы [6]. Исходными данными для расчёта является структурная модель нейронной сети. Структурная модель - это взвешенный граф, вершинами которого являются нейронные ядра. Вес каждого ядра определяется парой чисел, представляющих размерность по входу и выходу ядра, а вес дуг определяется рангами операторов межъядерной связи. На рис. 2 представлена структурная модель для топологической модели сети, показанной на рис. 1.
С4,3/Sir—^ -^^^^
С4,3 -
(4,зУ—-—^-—[2,1 ) ^^
Рис. 2. Структурная модель пирамидальной нейронной сети Для БНС ранги операторов межъядерных связей равны 1 и на графе структурной модели условно не показаны. Формула расчёта числа степеней свободы для БНС имеет вид:
п—1 п 2
£ (Н) = £ РтётЧ т / < т
т=0 т=0 (5)
где , ^ размерности рецепторного и аксонового поля ядра в слое т , дт - число ядер в слое, Эт - количество одноранговых связей в межслойном переходе с номером т . Для структурной модели, представленной на рис. 2, непосредственным подсчётом получим £ (Н) = 4 • 3 • 4 + 2 -1- 6 + 2 -1- 3 —12 — 6 = 48 . Напомним, что данная сеть может обучиться к
трём эталонным функциям, заданным на интервале длиной 16. При произвольном выборе трёх функций необходимо задать 48 значений, что совпадает с числом степеней свободы пирамидальной сети. Таким образом, рассматриваемая сеть является глубокой в том смысле, что её потенциал обучения используется полностью, и покрывает все допустимое многообразие эталонных сигналов.
4. Многомерные пирамидальные сети. Архитектура быстрой пирамидальной нейронной сети легко обобщается на многомерный случай [6]. Выражения (1) для топологии сети в этом случае примут вид:
т TYYI / л* /л* л* * * * * \
U. - (0 о ...0* v*u u о..м ),
* \ m-l m-2 1 0 п-\ п-2 m /'
Vm - (0*0* ...о!v*u* м'..u* ),
* \ m m-1 1 0 п-1 и-2 w+1 j'
• / /л* * * * * \
/» - (0 ,0 ■,„...0, v*u м ... м
* \ ш—1 m-2* 1 U и-1 и-2 i7i+l j '
Звездочки «*» в верхнем индексе заменяют обозначения пространственных координат х, y . Из последнего выражения следует правило обучения нейронной сети:
m ; vymvxm ) - fm m (Uym, uxm ), m - 0, w„m (uyuX;0y0X) - fkm (<,uX), m > 0,
• ffl / Л* Л* л* * * * * \
i - (0 ,0 vru м n...u ).
* \ m-1 m-2* 1 0 n-1 f?-2 w+1 j
Здесь w^ («; vymvxm) - двумерные нейронные ядра, f^^ (uym, um) - множители мультипликативного разложения эталонного изображения, х, y - пространственные координаты. Взаимно-однозначное соответствие k vym, vxm) определяет упорядочение
эталонных функций в выходной плоскости. На рис. 3 представлен топологический граф корреляционной пирамидальной сети для изображения N х N - 23 х 23 со структурными параметрами gX - 4, gy - 2. Сеть способна выполнять корреляционную обработку для восьми изображений.
Рис. 3. Топология регулярной пирамидальной 2D сети 5. Реализация комбинационной логики на нейронных сетях. Простые логические элементы комбинационной логики «И», «ИЛИ», «НЕТ» легко реализуются на одиночных нейронах с пороговой активационной функцией. Немного сложней реализуется элемент «Исключающее ИЛИ», который требует несколько нейронов в двухслойной сети. Для реализации сложных логических функций возможен путь, повторяющий схемотехнику логических устройств, но это решение исключает потенциал нейронных сетей, связанный с обучением. Альтернативным вариантом является реализация сложной логики через обучение нейронной сети. Однако в этом направлении возникают проблемы целесообразного выбора структуры нейронной сети так, чтобы она была достаточной и не избыточной для реализации логических функций. Кроме того, классические методы обучения нейронных сетей, построенные на основе алгоритма с обратным распространением ошибки, не гарантируют сходимость, что добавляет неопределённость в выборе сети.
Использование пирамидальных самоподобных сетей, позволяет эффективно решить эти вопросы. Рассмотрим для примера построение логического дешифратора на основе пирамидальной нейронной сети. Как было показано ранее, пирамидальные сети быстрого обучения могут быть точно настроены на произвольные эталонные функции. Количество эталонов определяется выбранной топологией сети. Будем полагать, что настройка сети выполнена к эталонным функциям, нормированным по энергии к единице и представляющим собой логические коды по основанию 2. В рабочем режиме сеть выполняет вычисление скалярных произведений входной вектор-функции с эталонными функциями. Если входная функция нормирована по энергии к единице и совпадает с эталоном, то на соответствующем выходе нейронной сети получим единичное значение, в то время как остальные выходы будут иметь значения меньше единицы. Это обстоятельство можно использовать для построения дешифраторов логических кодов.
Рассмотрим, например, построение дешифратора для четырёхбуквенных кодовых слов. Для кода с основанием 2 дешифратор должен иметь 4 входа и 16 выходов. Нейронная сеть должна иметь такие же размерности по входу и выходу. Выберем одномерную пирамидальную двухслойную нейронную сеть, топология сети показана на рис. 4.
Сеть обучается к кодам, представленным в таблице на этом же рисунке. Коды рассматриваются, как вектор-функции. Обучающие эталонные функции формируются из кодов нормированием по энергии к единице. Сеть имеет структурные характеристики: по рецепторным полям Р = [р0р1 ] = [2,2], по аксоновым полям - О = [] = [16,1]. Результаты
классификации входных кодов показаны на рис. 5. Максимальный уровень выхода при классификации ближайшего кода, отличного от собственного, не превышает значения 0.886. Компараторы логического нуля на выходах сети должны быть настроены на значения из интервала [0.886+,1.000-].
Рис. 4. Дешифратор логических кодов на пирамидальной нейронной сети Проблемным является входной код [0000]. Скалярное произведение этого кода с эталоном будет равно нулю, в то время как в классическом дешифраторе оно должно равняться единице.
Решением является видоизменение нулевого кода, например, замена одного из нулей кодового слова [0000] значением (-1). Более радикальным вариантом является замена во всех кодовых словах значения (0) на значение (-1), т.е. использование двух-полярного бинарного кода со значениями (-1,+1). Результаты классификации входных кодов для этого случая показаны на рис. 6. Выходные компараторы логического нуля должны быть настроены на
уровень 0.5+. Подобным образом могут быть построены дешифраторы кодов с основанием больше двух.
Классификация эталонов
I Собственный эталон ] Ближайший эталон
Классификация эталонов
I I I I I I
I Собственный эталон I Ближайший эталон
10 11 12 13 14 15 16
7 8 9 10 11 12 13 14 15
Рис. 5. Классификация логических кодов пирамидальной нейронной сетью
Рис. б. Классификация двух-полярных бинарных кодов
lln-\Un-2 '
* Um+1UmVm-1Vm-2 * * 'V1V0/
n-1 n 1 m 1 m ni—1 m-2 1 0 j
6. Реализация элементов памяти на нейронных сетях. К нейронным сетям, реализующим память, относится большой класс нейронных сетей с обратными связями, такие, как сети Элмана [8], Хопфилда [9], Хэмминга [10], АРТ [11] и другие. Эти сети решают задачи восстановления искажённых образов, ассоциативной памяти, кратковременной динамической памяти. Нейронные сети данного типа, как правило, используются в контексте распознавания образов, задача точного восстановления образа при этом не ставится.
Рассмотрим построение элементов памяти на обратно-ориентированных пирамидальных нейронных сетях. Возьмём за основу топологическую модель «Кули-Тьюки с прореживанием по времени» (см. Часть 1).
Выберем структурные характеристики следующим образом:
размерности рецепторных полей сети положим равными рп = р] = ■■■ = рп ; = 1, рп , ф 1 , в этом случае размерность сети по входу будет равна N = р,1р] ■ ■ ■ рп , = рп ,; размерности аксоновых полей сети зададим произвольными натуральными целыми числами gn,gl,■■■,gn_l, размерность сети по выходу в этом случае будет равна
M = g0gl—gn_l.
Топологическая модель при данных структурных характеристиках будет иметь вид:
ит = <
Vм =1 и ,<
Um = {Un_1 Vm ={ Un_1
= ( Un-1
z"' = < Un-1Un-2 '
'Um+1Vm-1Vm-^' 'V1V0i
ri— I П-/.
,0И V ! m- 1V^2-V1V0
V m lV»-2-VlVo]
V m- -1 Vn, -2" 'V1V^.
2 =\ ип-
Топология сети для структурных параметров [рррРз] = [Ш2], [] = [2222]
показана на рис. 7. В соответствии с обобщенной теоремой факторизации (см. Часть 2) элементы матрицы БНС представляются в виде
к (и, V) = ^ V! ) w"z;22 (0п_2, )■■ -^о (Оо, V ) . (6)
0
0 < / X 2 4
1 3 \
2 ч 3 5/ — / 7_\
\ 4 4 5 —{ 9 ) 10 11
6 12
\ 13
7 14 15
4 \/у —
10 11 12
Л! 15
Рис. 7. Обратно-ориентированная пирамидальная сеть для реализации памяти Пусть запоминаемые образы ук (V) представляют собой набор, состоящий из рп_х
дискретных функций, заданных на интервале длинной М. Выполним мультипликативную декомпозицию каждой функции по переменным у, начиная со старшего разряда (см. Часть 2), в результате получим:
где ¡т =( , к - порядковый номер функции. Сравнивая выражения (6) и (7),
получим правило обучения нейронной сети:
(ип-1, Уп-1) = <Рк--1 (Уп-1 ) дЛЯm = п - 1, ^ (0т , Ут ) = Ррт (Ут ) m < П - 1,
^ = {ип-1 0п-2 " ■ • 0т+1 Ут-^т-г' ',
1 = У-Ут-1" '^0
Предварительно, для упорядочивания хранимых функций, должно быть установлено взаимно-однозначное соответствие к — миЧ между порядковым номером функции и
разрядной переменной ми-1. Считывание памяти реализуется установкой на входе нейронной сети унитарного кода, в котором только один из разрядов равен 1, а остальные нули. Для сети, показанной на рис. 7, это будут комбинации [01] или [10]. При использовании кодов [11] хранимые образы складываются, а при кодах [1 -1] из первого образа вычитается второй. На
рис. 8 показаны результаты считывания образов, представляющих собой дискретные функции синуса, отличающиеся по частоте в два раза.
На рис. 9 показана структурная модель для нейронной сети, представленной на рис.8. Каждая вершина структурной модели является нейронным ядром, пара цифр, записанных в вершине, определяют размерность рецепторного и аксонового поля нейронного ядра, все связи между вершинами имеют ранги, равные единице.
Используя формулу (5) для расчёта числа степеней свободы из структурной модели, непосредственно получим £ (Н) = (1- 2)-14 + (2 • 2)- 8 - 28 = 32. Данная нейронная сеть
обеспечивает хранение двух произвольных дискретных функций, заданных на интервале длиной М = 16. Для задания двух функций требуется определить 32 значения. Таким образом,
сеть полностью использует свой потенциал для хранения функций и поэтому относится к категории сетей глубокого обучения.
Х=[1 0]
ж х=[01]
10 15 20
Рис. S. Результаты считывания памяти, реализованной на пирамидальной БНС
Рис. 9. Структурная модель обратно ориентированной пирамидальной нейронной сети В памяти на основе БНС могут храниться двумерные и многомерные образы. В отличие от кристаллов цифровой памяти с последовательным хранением данных, где восстановление образа происходит за счёт последовательного опроса ячеек, в памяти на БНС все пиксели образа восстанавливаются одновременно, что потенциально обеспечивает сверхвысокое быстродействие при считывании памяти.
Рассмотрим для примера построение логического шифратора на основе пирамидальной нейронной сети для двоичного четырехразрядного кода. Шифратор выполняет операцию обратную дешифрированию, т.е. преобразует унарный код в кодовые слова. Эту операцию можно выполнить на элементе памяти образов. Разместим в памяти матрицу кодовых слов, тогда логическую функцию шифратора можно реализовать, как умножение унарного вектора-строки длиной 16 на матрицу кодовых слов размерностью 16*4:
^сюост 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1111
OUT = [V3V2V1V ] = [UoUlU2U3U4U5U6U7UsU9UloUuUl2Ul3Ul4Ul5 ]
где только один элемент вектора-строки равен единице, а остальные равны нулю.
Покажем реализацию памяти образов на основе БНС. Каждую строку матрицы кодовых слов будем рассматривать как функцию /к (V) = /к {уп_{?п_2 ■ ■ ■ г0), где к - номер строки, Уг -
разрядные переменные. Выполним мультипликативную декомпозицию (см. Часть 2) каждой функции по переменным , начиная со старшего разряда, в результате получим:
где /т =(. Возьмём для примера модель БНС с топологией Кули-Тьюки «с прореживанием по частоте» (см. Часть 1)
ит =( V V п...ум м .... и ),
\ т-1 т-2 0 п-1 п-2 т / ?
ут =Ы V М .,..М ,V
\ т т-1 0 и-1 и-2 ш+1 / ?
гт =(V м ....и ^V
\ т-1 0 и-1 и-2 т+1 /
Выберем структурные характеристики БНС следующим образом:
- размерности рецепторных полей сети положим равными рГ1 = /?,=••• = р„ = 1, р„ , ^ 1 , в этом случае размерность сети по входу будет равна N = р0рг ■ ■■ рп_х = рп_х; размерности аксоновых полей сети зададим произвольными натуральными целыми числами go■>g\■>^^^,gn-\, размерность сети по выходу в этом случае будет равна М = g{)gl■■■gn_l.
Топологическая модель при данных структурных характеристиках будет иметь вид:
ит =Ь V т-^м ,0 ,...0 ),
\ т-1 т-2 0 п-1 п-2 т / ?
V" =0^.. ^ои„_10„^...0т+^, (8)
^ = ( Vm-1" V ип-10п-2---0т+1)-
Сравнивая выражения (6) и (7) с учётом (8), получим правило обучения нейронной сети:
^ (ип-1 , V1) = ф 1 (V1) для = п-1,
^ (0т , vm ) = ф (Vm ) ^ m < П- \
гт = (Vт-1 Vm-2 ■ ■ • V1V0Un-1 0п-2 ' ' ' 0т+1 ) ,
г" = ^т- 1Vm-2"
Иначе его можно назвать правилом записи образа в нейро-сетевую память. Предварительно, для корректного упорядочивания хранимых функций, должно быть установлено соответствие к — миЧ между порядковым номером функции и разрядной
переменной миЧ. Данная сеть памяти способна хранить риЧ произвольного образов. Считывание памяти реализуется установкой на входе нейронной сети унарного кода, в котором только один из разрядов равен 1, а остальные равны нулю.
Для построения шифратора 16*4 выберем двухслойную нейронную сеть со структурными характеристиками Р = [р0,р] = [1,1б] и О = [,g] = [2,2]. Граф топологической модели сети показан на рис. 10.
— 111 l==zz — '/ /Г~——-
161 |-1 23 -/ / /--- 1, I
"'■■■■,. ""■■■■■■■..... 1121 --щ.
" - '"'■■■■,, 1131 --;2в. ,
" - _ 1141--88 К
Ms] 30 - 31
Рис. 10. Нейронная сеть памяти реализующая шифратор 16*4 Двухслойная нейронная сеть по входу имеет размерность 16, а по выходу 4. Ядра нулевого слоя имеют размерности [1, 2], а выходного - [16, 2]. Для сети памяти уровни логических значений могут быть стандартными: 0 и 1.
Заключение. Пирамидальные регулярные нейронные сети можно рассматривать, как частный случай быстрых нейронных сетей, которые, в свою очередь, относятся к широкому классу самоподобных многослойных нейронных сетей. Самодобные сети с регулярной структурой обладают уникальным свойством аналитического представления графа топологической модели, что позволяет разработать быстрые абсолютно сходящиеся алгоритмы обучения с конечным числом вычислительных операций. Кроме того, процесс обучения для каждого эталона может выполняться независимо от других, т.е. пирамидальная сеть данного типа обладает важным качеством накапливать знания, без необходимости переобучения сети при добавлении новых данных.
Пирамидальные сети обладают минимально-достаточной структурой для обучения к заданному многообразию функций. В статье показано, что их информационная ёмкость используется полностью. Сети данного типа удовлетворяют принципу двойственности, они в равной степени могут быть использованы как для реализации многоканальных корреляторов, так и для создания элементов памяти образов. В данной работе этот принцип продемонстрирован на примере построения шифраторов и дешифраторов бинарных кодов. Подобным образом могут быть реализованы другие сложные логические функции, в том числе функции многозначной логики. Последовательное соединение нейросетевого дешифратора и шифратора можно использовать для построения преобразователей кода, например, равномерного двоичного кода в код Грея. Эта же модель может быть легко перенастроена для выполнения обратного преобразования. Более того, регулярный лес пирамидальных сетей позволяет реализовать быстрые нейронные сети глубокого обучения с расширенными возможностями по информационной ёмкости [12].
В памяти, реализованной на основе пирамидальных БНС, могут храниться двумерные и многомерные образы. В отличие от кристаллов цифровой памяти с последовательным хранением данных, где восстановление образа происходит за счёт последовательного опроса ячеек, в памяти на БНС все пиксели образа восстанавливаются одновременно, что потенциально обеспечивает сверхвысокое быстродействие для памяти образов.
Список источников
1. Дорогов А.Ю. Быстрые преобразования и самоподобные нейронные сети глубокого обучения. Часть 1. Стратифицированные модели самоподобных нейронных сетей и быстрых преобразований / А.Ю. Дорогов // Информационные и математические технологии в науке и управлении, 2023. - №4 (32). - С. 5-20.
2. Дорогов А.Ю. Быстрые преобразования и самоподобные нейронные сети глубокого обучения. Часть 2. Методы обучения быстрых нейронных сетей / А.Ю. Дорогов // Информационные и математические технологии в науке и управлении. - 2024. - № 1(33). - С. 5-19. - DOI:10.25729/ESL2024.33.L001.
3. Gonzalez R.C., Woods R.E. Digital image processing. Englewood Cliffs, NJ, Prentice-Hall, 2002.
4. Phung S.L., Bouzerdoum A. A pyramidal neural network for visual pattern recognition. IEEE Transactions on Neural Networks, 2007, vol. 18, no. 2, pp. 329-343.
5. Ullahy Ihs., Petrosinoy A. About pyramid structure in convolutional neural networks. arXiv:1608.04064v1 [cs.CV], 2016.
6. Дорогов А.Ю. Теория и проектирование быстрых перестраиваемых преобразований и слабосвязанных нейронных сетей / А.Ю. Дорогов. - СПб.: «Политехника», 2014. - 328с.
7. Фишер Р.А. Статистические методы для исследователей. Москва, Госизадат, 1958. - 267с.
8. Elman J.L. Finding structure in time. Cognitive science, 1990, pp. 179-211.
9. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities. Proceedings of National academy of sciences, 1982, vol. 79, no. 8, pp. 2554-2558.
10. Lippmann R. An introduction to computing with neural nets. IEEE Assp magazine, 1987.
11. Carpenter G.A., Grossberg S. ART 2: Self-organization of stable category recognition codes for analog input patterns. Applied Optics, 1987, vol. 26, no. 23.
12. Дорогов А.Ю. Быстрые нейронные сети глубокого обучения. / А.Ю. Дорогов // Сборник докладов III Международной научной конференции по проблемам управления в технических системах (CTS'2019). Санкт-Петербург. 30 октября - 1 ноября 2019 г. СПб.: СПбГЭТУ «ЛЭТИ». С. 275-280.
Дорогов Александр Юрьевич. Доктор технических наук, доцент, профессор кафедры «Автоматики и процессов управления» Санкт-Петербургского государственного электротехнического университета (СПбГЭТУ) «ЛЭТИ», главный научный сотрудник ПАО «Информационные телекоммуникационные технологии». Основные направления исследований автора связаны с интеллектуальным анализом данных, цифровой обработкой сигналов, проектированием быстрых преобразований и нейронных сетей быстрого обучения, разработкой аналитических платформ, моделированием радио-телекоммуникационных систем. AuthorID: 17611, SPIN: 8645-5873, ORCID: 0000-0002-7596-6761, [email protected], г. Санкт-Петербург, ул. Попова, 5.
UDC 004.032.26 DOI:10.25729/ESI.2024.34.2.002
Fast transformations and self-similar deep learning neural networks. Part 3. Pyramidal neural networks with a deep degree of learning Alexander Yu. Dorogov
PJSC "Information Telecommunication Technologies" ("Inteltech"), St. Petersburg State Electrotechnical University, Russia, St. Petersburg, [email protected]
Abstract. The paper considers a class of fast neural networks with a pyramidal structure. Methods of topological construction of one-dimensional and two-dimensional pyramidal networks are given. Networks of the class under consideration are representable by linear operators, have a self-similar structure, and are a special case of the fast Fourier transform algorithm. Topological models of pyramidal neural networks of direct and reverse orientation are proposed. The paper shows the use of pyramidal neural networks of fast learning for the implementation of correlative digital signal and image processing, combinational logic and memory elements. Examples of the construction of an encoder and a decoder of binary codes are considered. It is noted that the pyramidal memory network provides storage and accurate recovery of images similar to storing data in random access computer memory. It is proved that a fast pyramid network is a deep learning neural network, and a self-similar structure allows the network to be trained to new data without the need for a complete retraining of the network. This work is the third part of the generalizing article "Fast transformations and self-similar neural networks of deep learning". In the first part, stratified models of self-similar neural networks are considered, in the second part, algorithms for training fast neural networks and generalized spectral transformations are considered.
Keywords: fast tunable transformation; neural network; pyramid structure; deep learning, code decoder, code
encoder, neural network memory, neural network plasticity, degrees of freedom
References
1. Dorogov A.Yu. Bystrye preobrazovanija i samopodobnye nejronnye seti glubokogo obuchenija. Chast' 1. Stratificirovannye modeli samopodobnyh nejronnyh setej i bystryh preobrazovanij [Fast transformations and self-similar deep learning neural networks. Part 1. Stratified models of self-similar neural networks and fast transformations]. Informacionnye i matematicheskie tehnologii v nauke i upravlenii [Information and mathematical technologies in science and management], 2023, no. 4 (32), pp. 5-20.
2. Dorogov A.Yu. Bystrye preobrazovanija i samopodobnye nejronnye seti glubokogo obuchenija. Chast' 2. Metody obucheniya bystrykh neyronnykh setey [Fast transformations and self-similar deep learning neural networks. Part 2. Methods of training fast neural networks]. Informacionnye i matematicheskie tehnologii v nauke i upravlenii [Information and mathematical technologies in science and management], 2024, no. 1 (33), pp. 5-19.
3. Gonzalez R.C., Woods R.E. Digital image processing. Englewood Cliffs, NJ, Prentice-Hall, 2002.
4. Phung S.L., Bouzerdoum A. A pyramidal neural network for visual pattern recognition. IEEE Transactions on Neural Networks, 2007, vol. 18, no. 2, pp. 329-343.
5. Ullahy Ihs., Petrosinoy A. About pyramid structure in convolutional neural networks. arXiv:1608.04064v1 [cs.CV], 2016.
6. Dorogov A.Yu. Teorija i proektirovanie bystryh perestraivaemyh preobrazovanij i slabosvjazannyh nejronnyh setej [Theory and design of fast tunable transformations and loosely coupled neural networks]. Spb. Publ "Politehnika", 2014, 328p.
7. Fisher R. A. Statistical methods for research workers. Paperback - January 1, 2017, 267p.
8. Elman J.L. Finding structure in time. Cognitive science, 1990, pp. 179-211.
9. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities. Proceedings of National academy of sciences, 1982, vol. 79, no. 8, pp. 2554-2558.
10. Lippmann R. An introduction to computing with neural nets. IEEE Assp magazine, 1987.
11. Carpenter G.A., Grossberg S. ART 2: Self-organization of stable category recognition codes for analog input patterns. Applied Optics, 1987, vol. 26, no. 23.
12. Dorogov A.Yu. Bystryye neyronnyye seti glubokogo obucheniya. [Fast Deep Learning Neural Networks]. Sbornik dokladov III Mezhdunarodnoy nauchnoy konferentsii po problemam upravleniya v tekhnicheskikh sistemakh (CTS'2019) [Proceedings of 2019 3rd International Conference on Control in Technical Systems, CTS 2019]. Saint Petersburg, LETI, 2019, pp. 275-280.
Dorogov Alexander Yurievich. Doctor of technical sciences, associate professor, professor of the department of automation and control Processes of St. Petersburg state electrotechnical university (SPbETU) "LETI", Chief researcher of PJSC "Information telecommunication technologies". The main directions of the author's research are related to data mining, digital signal processing, the design of fast transformations and neural networks of fast learning, the development of analytical platforms, modeling of radio and telecommunications systems. AuthorID: 17611, SPIN: 8645-5873, ORCID: 0000-0002-7596-6761, [email protected], St. Petersburg, st. Popova, 5.
Статья поступила в редакцию 13.06.2023; одобрена после рецензирования 03.05.2024; принята к публикации 30.05.2024.
The article was submitted 06/13/2023; approved after reviewing 05/03/2024; accepted for publication 05/30/2024.
