Быстрые преобразования и самоподобные нейронные сети глубокого обучения. Часть 2. Методы обучения быстрых нейронных сетей Текст научной статьи по специальности «Математика»

Методы и приложения искусственного интеллекта

УДК 004.032.26 Б01:10.25729/Б81.2024.33.1.001

Быстрые преобразования и самоподобные нейронные сети глубокого обучения. Часть 2. Методы обучения быстрых нейронных сетей Дорогов Александр Юрьевич

ПАО «Информационные телекоммуникационные технологии» («Интелтех»), Санкт-Петербургский государственный электротехнический университет, Россия, Санкт-Петербург, [email protected]

Аннотация. В работе отмечено, что быстрые нейронные сети (БНС) автомодельны алгоритму быстрого преобразования Фурье (БПФ). Представлен метод построения матричной формы алгоритма быстрого преобразования. Доказана факторизуемость элементов матрицы БНС по элементам нейронных ядер. Предложен метод мультипликативной факторизации произвольных одномерных образов. Показано, что благодаря своей структуре быстрые нейронные сети обладают особыми алгоритмами обучения, которые принципиально отличаются от классического ErrorBackPropagation отсутствием механизма обратного распространения ошибки. Рассмотренные алгоритмы обучения БНС основаны на предложенных в работе методах мультипликативной факторизации образов и быстрых преобразований. Показаны примеры настройки сети к ортогональному базису Адамара, базису Фурье, а также БНС-реализации квазифракталов Кантора и Серпинского. Описан метод настройки быстрых преобразований на эталонную функцию, основанный на методе фрактальной фильтрации сигналов. Предложен метод настройки ортогональных приспособленных преобразований. Приведены примеры. Данная работа является второй частью обобщающей статьи «Быстрые преобразования и самоподобные нейронные сети глубокого обучения». В первой части рассмотрены стратифицированные модели самоподобных нейронных сетей.

Ключевые слова: быстрые преобразования, быстрые нейронные сети, топологические матрицы, ортогональность, приспособленные преобразования

Цитирование: Дорогов А.Ю. Быстрые преобразования и самоподобные нейронные сети глубокого обучения. Часть 2. Методы обучения быстрых нейронных сетей / А.Ю. Дорогов // Информационные и математические технологии в науке и управлении. - 2024. - № 1(33). - С. 5-19. -Б01:10.25729/Б81.2024.33.1.001.

Введение. Традиционно для обработки сигналов и изображений используются ортогональные преобразования, обладающие быстрыми алгоритмами выполнения (Фурье, Уолша-Адамара, Хаара и др. [1,2]). Как было отмечено в Части 1 настоящей статьи [3], быстрые алгоритмы относятся к классу регулярных самоподобных сетей и могут быть представлены четырёхуровневой стратифицированной моделью. Цель обработки обычно заключается в фильтрации или сжатии образов. В обоих случаях необходимы некоторые априорные знания, которые касаются либо вида образа, либо помехи. В зависимости от этой информации выбирается тип используемого преобразования. Для задач классификации априорная информация задаётся в виде матриц рассеивания точек классов, в этом случае оптимальным является ортогональное преобразование Карунена-Лоэва [4], образованное собственными векторами матриц рассеивания. К сожалению, это преобразование не имеет быстрого алгоритма, и поэтому не используется при больших размерностях данных.

Принцип оптимальности можно распространить и на быстрые перестраиваемые преобразования, поставив перед собой цель - настроить значения коэффициентов базовых операций таким образом, чтобы учесть априорную информацию и сохранить при этом условие ортогональности. Быстрые преобразования имеют меньшее число степеней свободы, чем оптимальное преобразование Карунена-Лоэва, поэтому возможности обучения будут ограничены. Тем

не менее, их достаточно для того, чтобы настроиться, по крайней мере, на одну главную компоненту преобразования Карунена-Лоэва, и уже это позволяет решать целый класс задач, связанных с эффективным сжатием, адаптивной фильтрацией и распознаванием образов. Условие ортогональности не является определяющим, во многих случаях задача классификации образов решается обученными нейронными сетями. БНС покрывают оба случая: с одной стороны, они позволяют реализовывать алгоритмы быстрых спектральных преобразований, а с другой, нейронные сети, обученные к эталонным образам.

В Части 1 статьи была представлена стратифицированная модель модульных самоподобных нейронных сетей, где модулями являются нейронные ядра. На параметрическом уровне нейронные ядра можно задать линейными матрицами небольшой размерности. Переход от одного преобразования к другому происходит за счёт изменения параметров нейронных ядер. В этом случае модульная самоподобная нейронная сеть является представлением линейного перестраиваемого преобразования, обладающего быстрым алгоритмом. Исторически процедура обучения перестраиваемого преобразования называется настройкой на заданную систему функций. В статье будет показано, что предложенный метод настройки покрывает известные виды алгоритмов быстрых спектральных преобразований и может быть также использован для порождения фрактальных последовательностей. Метод основан на теореме о мультипликативной факторизации элементов матрицы быстрых преобразований, и матричной факторизации с которой мы и начнём.

1. Матричная форма быстрого алгоритма. В графе быстрого алгоритма модулями являются базовые операции (нейронные ядра), представимые в виде матриц небольшой размерности. Для алгоритма быстрого преобразования в базовой операции 2т слоя т выполняется линейная обработка компонентов входного вектора слоя:

ут (^ )=£ хт (ит) ^ (ит, Ут), (1)

ит

где х™ и Ут - входной и выходной векторы базовой операции; - матрица весов базовой

операции. Для построения алгоритма преобразования необходимо перейти от локальных переменных ядра к глобальным переменным слоя. Этот переход реализуется на основе топологической модели. Параметрическое описание базовых операций вместе с топологической моделью образует параметрическую модель быстрого преобразования. Выберем для определённости топологию Кули-Тьюки «с прореживанием по времени». Топологическая модель этого типа имеет вид (см. Часть 1):

ит = {ип_хип_2' •" ■ ■ ■ ),

Vм = {ип_хип_2 ■ ■ ■ ип+1упуп_хуп_2 ■ • • V!у0 >, (2)

. *и-1"и-2 ' Um+\VmVm-\Vm-2 "'V\V0 /

zñ = (и , •■■tt„inv , ч •■■v1vn).

п-1 п-2 т+1 т-1 т-2 1 0 /

Для конкретной сети топологическая модель может быть представлена в виде графа, где к вертикальным контактным площадкам подсоединены нейронные ядра. На рис. 1 показан пример графа топологической реализации для сети с характеристиками Р = [ РРР ] = [3,2,2] и О = [ ] = [2,2,2], здесь числа рт определяют размерность рецепторных полей нейронного ядра в слое с номером т , а числа - размерности аксоновых полей.

В описаниях алгоритмов быстрых спектральных преобразований вместо графа алгоритма часто используется матричная форма, когда алгоритм представляется в виде произведения слабозаполненных матриц, где каждая матрица соответствует одному слою преобразования:

я = я0я1---я„_1.

Рис. 1. Граф топологической модели с выделенными базовыми операциями

Такую форму называют факторизованным представлением быстрого алгоритма. Структура и параметры слабозаполненных матриц при этом определяются соответствующей теоремой факторизации спектрального преобразования. Таких теорем придумано великое множество, БПФ с топологиями Кули-Тьюки являются типичным примером. Для каждого нового алгоритма быстрого преобразования до недавнего времени доказывали собственную теорему факторизации [1, 2, 5] (другие ссылки приведены в Части 1 статьи). Покажем, что структура слабозаполненных матриц непосредственно следует из топологической модели, и поэтому многообразие топологических моделей покрывает все возможные реализации быстрых алгоритмов, что исключает необходимость какого-либо доказательства новых теорем факторизации.

Для матричного представления алгоритма введём топологические матрицы Гт , состоящие из нулей и единиц, обозначив их элементы

Тт (и™ ,Ут ), где ит - номер строки матрицы,

а Ут - номер столбца. Топологическая матрица по структуре подобна слабо заполненной матрице Нт и отличается от неё только тем, что в позициях ненулевых элементов размещаются единицы. Для каждой топологической матрицы можно задать свои правила нумерации строк и столбцов, для регулярных преобразований удобно использовать поразрядные представления вида:

т тт _ /г тт т тт т тт \ ]/т _/Т/т ]/т ]/т \

и 0 /> * )->

которые назовём внешними в отличие от внутренних, заданных топологической моделью (2).

Соответствие между внешними разрядными переменными и внутренними можно задать таблицей, например, для рассматриваемой топологической модели таблица будет иметь следующий вид:

Таблица 1. Соответствия между внешними и внутренними разрядными переменными

ит = ип-1 ип-2 ит+1 ит Vm-1 ^т-2 V V0

ит = ит ит и п-2 ит и т+1 ит т ит и т-1 ит ит-2 и™ ит и0

Vт = ип-1 ип-2 ит+1 V т Vm-1 ^т-2 v1 V0

ут = Vт %-1 Vт 'п-2 Vт т+1 Vт т Vm у т-1 Vт г т-2 ут Vт у 0

Единицам топологической матрицы Гт слоя т в слабозаполненной матрице соответствуют элементы ядер (базовых операций) с номерами:

г'" =(и Ли ,•••?/ . , • • • V,, \ .

\ /7-1 /7-2 //7+1 ///-1 ///-2 1 0 /

Это означает, что для каждого единичного элемента топологической матрицы ^ (ит ,ут ) пара разрядных переменных и™ ,Угт из внешних представлений должна соответствовать одной из разрядных переменных внутреннего представления ядра 2т . Следуя данному правилу и используя таблицу соответствий, можно записать аналитическое представление структуры топологической матрицы в виде:

где 8 (•) - дельта функция Кроиекера, равная единице, если значения аргументов совпадают,

и нулю в противном случае. Добавив к последнему выражению элементы ядер слоя, получим полное аналитическое представление слабозаполненной матрицы:

Номер ядра также может быть выражен в разрядных переменных внешнего представления:

т _ /г гт т тт т тт 1/т 1/'г1 тттттт \

2 — \ип-\ип-2 " 'ит+У т-У т-2 " \ У0 /'

Для графа, показанного на рис. 1, топологические матрицы и номера ядер будут определяться следующим выражениями:

Т (и0,У0) = 8(и°2,¥2°), Т (и \У1 ) = *(и1,у1 )з(их), Т (и 2,у 2) = ¿)(и12,у12 )$(и2,У02)

На рис. 2 показано матричное представление топологии для данной сети. В последней матрице вместо единичных элементов для наглядности показаны номера ядер.

= (U20Uio),

z1 = UTVo1

z2 = V V

V2o

~~v°.....

~"K.....

vm

... i¡i

""-"•......"ГГТГ

...11.

ооо "ooT 002" "ото" "off ' 0"l2_

loo

--10-Г---4-+--"102" "Tio"

"112

0i0i0i0iii1i1i1

0 : 0

----J. .. _ J.. ..

0 ! 1

----1- - - )■- -

i ! i .. .1.. _ {.____

i

----f - - f----

i

1 ! o

----¡. .. _ j.. ..

1 ! 0

----h - - )■- -

-j-¡-

-----L i

1 ! 1 T]T

----г - - Г.....I.....Г - - Г.....I----Г---

......Ч1

о

i ; i ö"]T

-j--[-

-]-.. i...

-VT...__ л!

тЛ n '

V1 V

U1UU

ооо 001" 0T0 oTT Too" ToT TTo TfT

ofo" "Y!

Л 1 1 1

оТо"

о ; о

о ; i

oloTT"

-T!T!Ô-

____i - — i____

о ; 1 ; о

i i i

-o-1ïï 'По"

ггт IT!"

•4 - - -I- -'i - - Г -

! !

.i .. .. 1

"0 T"oT0" T

Vi2 ZVLl U 2U 2U2 U 2U1 U 0 0 ; 0 ; 1 ____L .. .. {_____ 0 ; 1 ; 0 ----h - -1----- ! ! 1 1 1 ; 0 ; 0 ____L .. .. {_____ 1 ; 0 ; 1 ----h - -1----- ! ! 1 1 1 "0" 1 T

000 001 010 01 1 ----¡..... i----- ! 1 ! ____L.... ¡_____ i ¡2 .. i.... ! .... loi ----¡..... i----- ! ! 1 ____L „ „ ¡_____ ! ! 1 1 .. i.... ! .... 2 ....

oil 100 101 110 ill ! ! 1 1 ! ! .. _ T....,----- 0 ! ! ----¡..... j----- ! 1 ! ----¡..... i----- ! ! 2 ____L „ „ i_____ ! ! 1 1 ! ! - ! ! 3 ! ! —г "V" i----- ¡o ! ----¡..... j----- ! ! 1 ----¡..... i----- ! ! ! ! ____L „ „ i_____ 3! i ¡ ¡ — 2 3 3

Рис. 2. Матричное представление топологии самоподобной сети 2. Факторизация элементов матриц быстрых преобразований. Обозначим через Н = Н0Н1 ■ ■ ■ Нп | матрицу быстрого преобразования, полученную, как результат произведения

слабозаполненных матриц нейронных слоёв. Обозначим через к (и,У) элементы этой матрицы, где и = и0 и У = у""1 - номера рецепторов и аксонов терминальных слоёв. Преобразование Н переводит входной вектор х = х0 в выходной вектор у = у""1. Для линейного преобразования элементы матрицы Н можно выразить как частные производные:

i

i

i

i

i

i

i

i

i

, ч 1 (vn 1) h(UV)=~^ ■ (3)

Дифференцируя (3) по правилу дифференцирования сложной функции получим:

ду-1 (V"-1) ду-1 (V"-1) ах"-1 (и"-1) дх1 (и1) (v°) h(U'V* = 8х°(и°) = дх-1 (и-1) ду-2 {у-2) '' ду° (v°) дх° (и0) ' (4)

Поскольку для межслойного перехода выполнено хт+ {цт+1 ) = ут {ут ) , то для всех

дхт+1 (ит+1) дут (Ут) = '

а из выражения (1) следует:

дут (Ут )

= ^ (Um > Vm ) •

дхт {ит )

Подставляя значения частных производных в (4), получим:

к{иу) = м?-1 (и^г^-2 (и„_2,г„_2)---м>°0 (и0,г0). (5)

Таким образом, элементы матрицы быстрого преобразования представимы в виде произведения элементов ядер. Следует отметить, что ещё в 1958 г. в работе Гуда [5] впервые было показано, что элементы матрицы быстрого преобразования Фурье можно представить в виде произведения элементов матриц базовых операций, которые также являются преобразованиями Фурье, но малых размерностей.

3. Настройка на базис Адамара. Функции базиса Адамара задаются на интервале длиной N = 2п следующим выражением:

had (U,V) = П (-l)UmVm ,

т=О

где U = {и„_1ип_2...и0} и V = {vn_1vn_2...voy Все разрядные числа принимают значения {0,1}.

т-0

[ип_,ип_2... щ ) и К = {Уп_,уп_2 ...V," -

Сравнивая (5) с определением функций Адамара, непосредственно получим правило настройки ядер:

m / \ (л \umvm

Wm (Um , m ) = (-1)

Этому выражению соответствует матрица ядра W =

Г1 1 ^

очевидно, что все ядра пре-

ч1 -1у

образования одинаковы. Выберем для определённости топологию Кули-Тьюки «с прореживанием по времени»:

ит = (и ,и -•••и ^и V

\ п-1 п-2 т+1 т т-1 т-2 1 0 / '

V" = (и ,и п---и V

\ п-1 п-2 т+1 т т-1 т-2 1 0 / '

п-1 п-2 т+1 т т-1 т-2 1 0 /

ш+1 ш-1 т-2 1 01

На рис. 3 показано матричное представление быстрого алгоритма преобразования Адамара для размерности N = 23.

V" V2

Vi"

Vo"

U" U" U"

o ; o ; o ; o ; 1

____j......i.____i.....j_____

o ! o ! 1 ! 1 jo

— -i-.....V — :.....-!—

o ¡ 1 ¡o¡ 1 jo

----+.....Y----t.....H—

lili I I

Thi-T-í-

"í-lri-l-í"

- - X_____L - - 1_____J____

! ! 1 ! - 1 !

----+.....Y----+.....H----

I I I 11

— +.....Y — í.....-Η

! ! ! ! 1

1 j 1

o"ÍT

T7o"

4

o!o!o!o!l!l!l ! 1

o o I 1 1 I o I o olTT'oTTTraiT

_____L - - L_____J______L - - L____

1 ! ! 1 ! ! !

......Y----Y.....4.....+----Y----

; 1 ; ; 1 ; ;

......Г----Г.....1.....T----r----

1 ! ! -1 ! ! !

TrrXlTT

I—!--Ь-"!""!ТМ

1

- í-.....4.....-Î- -

----u----{......д.....-I-----u----

----y----Y----

! 1 !

------,------|x(-----Г--Г--

l

o I o I 1

_____L - - L____

-l

o ! o i o ! o ! 1 ! 1 ! 1 ! 1

-H htt

; 1 ; —i. — i.—

! ! 1

----U----u----

1 I o I o ïtotï

.....Y-----\.....

! ! 1

.....r-----i.....

tt

.....i------i.....

.....!"-----1.....

1 ! !

-l

Рис. 3. Матричное представление быстрого преобразования Адамара Перемножив матрицы факторизованного представления, получим следующую матрицу базисных функций:

1 ^ р р р 1 ! X I X I X I X I X

H = -

1 I-1 !

тттт; rt-rh

____X______L .

1 ! 1 !

—+—¡__.

1 1 :l 1

1 ! 1 !

-----_¡_------I -

l 1 l 1 -

I I

-----т------Г ■

1 ! -1 ! ;

i-1 i 1 I-

тттт_г

I 1 I 1 ! -

.J_______L______L -

1 1 1 1 1 ¡ 1 |-l i -

__!-------1.------

I : 1 I : 1 I

I 1 I 1 I

_J-------L------j..

1 -1 ; -1 1

"1-------Г------Г ■

! 1 : -1 :

4. Аппроксимация фракталов. Рассмотрим быстрое преобразование размерности N = 32 и выберем все ядра преобразования в виде:

Г1 1 Л

Ж =10 1 V1 1 I

Факторизованное представление алгоритма в той же топологии будет иметь вид (рис. 4): [Т

Ш oji 1Î1

I'M

îio-lî-íÜi

Ч-f-

M4î

i¡o¡ i

—r__t—

111

1 '

н-га-

l

l

l

l

l

tr

1

l

ht

ill ¡raí 111 ill >101 ill ill Ä0! ill

111 Ш ill 0 1 0 1 0 ----1---1---- 000 - Г Г - - 000 ill T01 ill

ill ¡0? ill ill лЩГ ill ill 101 1 1 1 ! 1 ! 1

Рис. 4. Аппроксимация фрактала Кантора Нетрудно видеть, что результирующая матрица представляет собой итерацию фрактала Кантора (см. рис. 4). Рассмотрим быстрое преобразование размерности N = 23 и выберем все ядра преобразования в виде матрицы:

Г1 1 ^ 1 о

W=

l

l

i

l

l

l

l

l

l

l

l

i

l

l

l

l

l

o

l

_

l

0

l

l

l

l

l

l

l

l

l

l

Факторизованное представление быстрого алгоритма показано на рис. 5. В этом варианте параметрической настройки результирующая матрица представляет собой итерацию фрактала Серпинского.

1!1

1|0 -И—

111

По

-4 — I----1-

I I I

-------

I I I ""!---~ f

\ \ \

"Г""Г"Т

1|1

Т|о

—\—

1\ !1

!1!

1ТТо

.¿иии.1

I I I —---!-- + -

11111

■~Т"Г_"Г~Т_

■

111 I 01 I I I I I I и I I

1 1

-4 — I---1---к—I---1 — 4- --

! ! ! ! ¡1! !1

1;

1И ! ¡1

~ 1 "" ""I---I"" ~ 1---

I 1 I \ \

т-т-т-г-

I

I I I 11 1111.

• 1.1

I

I

1!

т_г

I

! ¡1 I I

.. -1--4... ¡0! !

- I---1 - - 4- -

!1!

¡0

.._!---)--)----!-- + ---1---1 - -

1! !1! ! 1! ! 1!

тг1ггг[!тгг

11 I I I 1 I I I и и и I I I I

-I—■—I—I— —I— I—I-I III I I I I

ШИШ

- -I—1--

1 ¡1

—I—

11

Рис. 5 Аппроксимация фрактала Серпинского Наращивание размерности преобразования позволяет получить другие итерации фракталов. Эти примеры подтверждают фрактальные свойства быстрых алгоритмов.

5. Настройка на базис Фурье. По определению, функции базиса Фурье задаются выражением:

р (и, Кехр(-,

(6)

где и - временной отсчёт; V - частота (или номер) базисной функции; у = V-!; N = РпРх ■ ■ ■ Р„ 1 - размерность преобразования (для быстрых преобразований размерность всегда является составным числом). Выполним настройку быстрого алгоритма для базиса Фурье с естественным упорядочением функций по частотам следования. Для построения алгоритма воспользуемся топологической схемой:

ит = \11т11т+\ ' ' ■и 41 .V п-2 п 1 т 1

Кт = {ит+\1,т+2 ' ■11 .V V п-1 т т- 1V

хт = < \ит+1 ' "Ип 4/ .V , V -2 п-1 т-1 т- -2 ' ' •1;11;о>-

Откуда для входного слоя следует:

л—1

и = и" = (и0щ • • ■ и„_2и„_х) = X 1,тРт+хРт+2 —Р.

л-1 '

Подставив последнее выражение в (6), получим:

п-1 1 (

п-1 1

Р (и, v ) = п-7=ехр

т=0 V Рт

2жК

- и,.

V Р п-\Р п-2 ' ' ' Рт ) Для выходного слоя из топологической схемы следует:

У = г^=(уп_хуп_2уп_ Для любого т последнее выражение можно записать в виде:

V = 21', • = 2 • • •,'н1)А„А„ , УтРт-,Рт-2 ■■■Ро+ (,'„ Л

(7)

Подставляя в (7) и учитывая периодичность комплексной экспоненты по периоду 2ж после преобразований, получим:

п-1 1

р (и, v ) = ^-=ехр

т=0 у/ рт

-]2ж

"„Л, | и \У1У2-уо

Л

Рт РоР-'-Рт .

Каждый сомножитель в этом произведении соответствует элементу базовой операции. Таким образом, базовые операции алгоритма БПФ определяются выражением:

1

1

1

0

т=0

I-7

К,v" ) =

í

exp

. 2ж

J —

v P"

uv

""

exp

-j 2™„

Vm-XVm-2"-V0

PoPl-P:

m J

Кроме разрядных переменных Ут_хУт_2 ...у0 , выражение для номера ядра гт содержит переменные ит+1 ■ ■■ип_2ип_1, это означает, что базовые операции в пределах слоя будут повторяться.

На рис. 6 показано факторизованное представление алгоритма БПФ для размерности N = 8.

^ о!о!о!о!1!1!1!1 о|о|о| о НИМ 1 о!о!о!о!1!1! 1 ! 1

ТТоТо^ТТТ' i"То ГТТоТТ

____L.. _ L......J .... J._____

0~¡~0"¡T"¡T["0 оТГТТ ГГ! "о"

____j.....j......л......j_____

о I о I i

o i o i i

1

^ о I i I i

. ■ L

o ! i h"

1

o \ i ! o

o i i i o

o i i i o i i

i ! o

u u2

ooo

---Q— -

i ; i

4......1-----

! ! 1

-----h - - J-......H -

1 ! ! !

-----r - - r......1 -

; i ; i ;

i I ; i

-----h.....H......-4......-i-.....

-----1.....i......-r......r.....

ТТ"-;7ТТ

' i i

' i '

o

-Í-Y-Í-

--!-.....t

_J-----J-------L------f

i о о

i ; - i

-

-

o

_ -у—-i i i

; i

;"i T- i --;--j---

-

Рис. 6 Факторизованное представление алгоритма БПФ На рисунке множители 1/л/2 с целью упрощения не показаны, использовано также обозначение о = ехру . На рис. 7 приведены вещественные и мнимые компоненты функций базиса Фурье, полученные перемножением матриц факторизованного представления. Следует подчеркнуть, что для данной топологической схемы, в отличие от классической схемы Кули-Тьюки, выходные спектральные коэффициенты упорядочены по возрастанию частот.

2 4 6 8 10 12 14 160 2 4 6 8 10 12 14 16 Рис. 7. Функции базиса Фурье с естественным упорядочением по частотам следования

v

1

1

v

2

u

1

1

1

1

1

1

о

о

о

1

2

2

о

-о

о

6. Мультипликативное представление сигнальных функций. Будем полагать, что сигнал задан функцией / (и) на дискретном интервале длиной N = р{)рх. ..рп_ г, где рт - произвольные целые числа. Представим аргумент функции в позиционной многоосновной системе счисления с основаниями р0,рг,..., рп ,. Формула перехода, как известно, имеет вид:

и = {ип 2•■•«<>) = и„ ,/?„ 2р„ ,...р0+ и„ 2р„ ,р„ 4...р0 + ... + щр0+и0, где ui е [0,1,...pi -1] - разрядные переменные. В результате данного преобразования сигнал представляется, как многомерная функция f(un)un2... ?/0) . Каждый аргумент функции определяет некоторый масштабный срез сигнала. Зафиксируем все аргументы функции, кроме um . Варьируя свободный аргумент um , получим выборку Sm (с числом элементов рт ). Фрактальным фильтром [6] частотной локализации т называется произвольный функционал F (), определённый на выборке .

Операцию фрактальной фильтрации можно записать в виде:

f ли м п...и ,,и л...иЛ= J^y f- (и м т.мЛ).

J out \п-\ п-2 m+l т-1 О / _L inp \ п-l п-2 О / J

"т

В простейшем варианте фрактальный фильтр может, например, выполнять суммирование значений функции по аргументу um . Если m = 0 , то такой фильтр генерализует сигнал,

сглаживая мелкие детали. Фрактальная фильтрация по аргументу um приводит к сокращению интервала определения сигнала в рт раз. Рассмотрим цепочку фрактальных фильтров, показанную на рис. 8.

f0 fi

тр

F u0 F Щ

F.

Рис. 8. Цепочка фрактальных фильтров Выходные сигналы для фильтров цепочки определяются рекуррентным соотношением:

(и ,...и )= ( /" Ли ,...и и Л).

л т \ п-1 т / ± т-1 \ п-1 т т-1 /)

Введём функции-сомножители:

Фгт (Um ) =

f (

_ J т \

1А л U -ч • • • 1А

п-1 п-2 т

)

уи = 0,1,...И-2,

(8)

/т+1 (ип-\ип-2 ■ ■ ■11 т+1)

где гт = {ип_^ип_2. Используя данное определение функций, можно записать

Л (ип-1ип-2 ■ ■ ■ит) = ФГ Ы/„1 {К-гК-2 ■ • ГП = 0,1, .. М ~ 2.

Из рекуррентных соотношений (8) непосредственно следует:

/(и) = /0(?/„ ,?/„ 2...и0) = ф, (и^ф, (?/,)...фгг {ип_2)фг1 (и„ ,). (9)

Полученное выражение позволяет утверждать, что любая функция, заданная на дискретном интервале, может быть представлена в мультипликативной форме в виде конечного произведения функций-сомножителей, равного числу множителей в разложении целочисленной длины интервала в произведение целых чисел.

т-2

u

m-1

Замечание 1. Как будет показано в Части 3 настоящей статьи, для элементов памяти декомпозицию функций необходимо выполнить по разрядным переменным Уг, начиная со старшего разряда уи_! . В этом случае получим разложение:

/0) = ./о {Уп-Уп-г •••,о) = (РГ1 (V! ) (ргп-г () • • • ^ (V! ) <рг, (\'0), -т /,, ,, ,, ,, \ 1 /,, \ \ 'п-пг^7п-т-1 * * ' / 1 о ,,

где г ={Ут_1Ут_2...У1У0)., ф (у ) = -Чг, т = 1,2,...щ

Т (V V V )

т+1 \ п-т-1 п-т-2 ' ' * 0 /

Замечание 2. При вычислении функций-сомножителей р ( ) в выражении (8), возможно

появление нулевого значения в знаменателе, проблема решается за счёт возможности неоднозначного представления произведения сомножителей. Детали процедуры цензурирования нулей рассмотрены в работе [7].

7. Алгоритм обучения быстрых приспособленных преобразований. Перестраиваемые спектральные преобразования, настраиваемые к одиночной функции, получили названия приспособленных [2]. Это название мы будем в дальнейшем использовать к любым перестраиваемым преобразованиям, не обязательно спектральным. Выберем для определённости нейронную сеть, заданную топологией Кули-Тьюки «с прореживанием по времени». Топологическая схема данного типа описывается следующей моделью:

^ = ("„А-2 ' " " ит+1ипУт-^т-2 ' ' ■ ) ,

={ип_1ип_2---ит+1утут_1ут_2---у1у0), (10)

гт=1и ,и т-'-г/мУ

\ п-1 п-2 т+1 т-1 т-2 1 0 /

Обучающим множеством являются одна или несколько функций, представленных в мультипликативной форме, которые назовём опорными функциями. Цель обучения состоит в том, чтобы настроить нейронные ядра таким образом, чтобы результирующая матрица преобразования содержала опорные функции в виде столбцов. Номер столбца, содержащего опорную функцию, назовём точкой приспособления. Точки приспособления относятся к координатному пространству V"'1. Сравнивая выражение (5) с (9), непосредственно получим правило обучения нейронных ядер:

^ (ит , ) = фкг К ) .

Здесь к - номер опорной функции. Зададим точку приспособления числом, представленным в поразрядной форме:

х = {хп-\хп-2 •••-х'о)>

Тогда, в соответствии с (10), номер настраиваемых ядер по слоям будет определяться выражением:

2 = (Мя-1Мя-2 ' ' ' ит+\Хт-\Хт-2 ' ' ' ^Л ) '

Для т = 0 имеем = {ип_1ип_2 - это означает, что независимо от выбора точки приспособления, все ядра слоя будут настраиваться, причём номер ядра определяется из условия: г0 = 10. Настройка элементов ядер этого слоя выполняется по правилу:

(и„,) = ффк (и„) , (11)

Очевидно, должно быть задано взаимно-однозначное соответствие к — у0 между номером опорной функции и разрядной переменной у0 . Эта разрядная переменная принимает значения ОД, • • •, -1. Отсюда следует вывод, что число точек приспособления не может быть больше, чем £0, и для данной топологии точки приспособления размещаются в соседних столбцах, т.е. принимают значения:

X ■

Далее, для т = п-1 имеем г"'^ = (хп_2хт_ъ ■ ■ , /й1=( ), т.е. в последнем слое настраиваться будут £0 ядер, да и то, только по одному столбцу. Для внутренних слоёв настраиваемые ядра также будут заполнены частично. На рис. 9 показано факторизованное представление быстрого преобразования в топологии Кули-Тьюки, приспособленного к двум функциям, размещённым в двух первых столбцах матрицы преобразования.

у2 0 !0 ¡0! 0 !1 1! 1 I1 0! 0 ¡0! 0 : 1 ! 1 ! 1 : 1 0! 0 !0! 0!1 I1 ! 1 I1

у1 0 ¡0 ¡1 ! 1 ¡0 0! 1 ¡1 0! 0 ¡1 ! 1 : ! 0 ¡0! 1 : ! 1 0! 0 ¡1 ! 1 ¡0 ¡0! 1 ¡1

у0 0 ! 1 ¡0! 1 ¡0 1 ! 0 11 01 1 ¡0! 1 ! : 0 И ! 0 ! : 1 -:— ; О 1 ¡0! 1 ¡0 И ! 0 !Т

1 :_____1 1_____ _____1 1_____ ______[ 1._____: 1 1._____: ! ______1. 1._____: _____1. __ __ 1.____J ± - -

и2 и1 и0 ! : : : : : ! : : : : : : : : : : : : :

0 0 0 1 ! 1 : : ! ! : ! : ! : ! 1 ! : * : ! ! : ! : : ! ! : ! 1 ! : : ! ! : * ! : : ! ! : !

0 0 1 1 1 1 : : 1 | : 1 : 1 : 1 : 1 1 : : 1 | * : 1 : : 1 | : 1 : 1 1 : : 1 | : 1 : * : 1 | : 1

------ ------ -------- — ,— :-----1 — ,----- -----, — ,----- ------г — г-----: ---- "Г — г-----: - - "Г ----- ------г — г-----: г-----1 - — т —

0 1 0 ! ; 1 ; 1 ! ! ! 1 ; ! * ! ! ! ! ! ! ! * ! ! ! ! * !

------ 1 1 ! Г""! 1 ,----- -----т ,----- ------г 1 Г-----! * ! Г-----! ! ------г Г-----! - - г—1 Т " ~

0 : | 1 1 : : : : : : : : : : : : : * : : :

! !_____] !_____ ! I_____ ______! !_____! ! !_____! ! ______! [_____! _____! __ __ !_____! _! __ __

1 0 0 : : : : : : ; 1 1 ; : : : : : : : : : : 1 : : : : * : : 1 ; : : : : : * : : : : : :

1 0 1 : : : : : : ! 1 1 ! : : : : : : : : : : ! 1 ! : : * : : 1 : : : : : : : * : : : : :

------ ------ -------- — 4---- !-----4 — 4----- -----4 — 4----- ------1. — (.-----1 ---- 4 — (.—| _ __ + ----- ------1. — (■-----! -----1. — (.---- _ __ 4-----

1 1 0 : ! : : ! ! : ! : ! 1 ! 1 : ! : : ! ! : ! 1 : : ! ! * : ! : ! : * : ! ! : ! : : ! ! * : !

1 1 1 1---- :-----1 1----- -----д. 1 1— ; 1 ------ -----1 -1- -----1 ! 1 ! -1- * ------ )------: * -----1 -1------ : *

Рис. 9. Свободные параметры быстрого преобразования, приспособленного к двум функциям. Символом «*» выделены элементы ядер, которые выбираются произвольно

Свободных параметров недостаточно, чтобы приспособиться ещё к одной функции, их можно доопределить различными способами [6]. Кардинальным решением является изменение структурных параметров сети так, чтобы оставить только значимые настраиваемые элементы, в этом случае мы приходим к пирамидальным нейронным сетям глубокого обучения. Пирамидальные нейронные сети будут рассмотрены в третьей части статьи.

8. Алгоритм обучения спектральных приспособленных преобразований. Для спектральных преобразований удобно использовать определение условия приспособленности через ортогональность, которое можно сформулировать следующим образом. Ортогональное преобразование, заданное матрицей к (и, у), приспособлено к функции / (и) по столбцу х, если выполнены условия:

V к (и, у) / (и) = 1 при V = х,

' (12)

V к (и, V) / (и) = 0 при V Ф х.

^ и

Предполагается, что опорная функция нормирована условием: V12 (и) = 1- Подставив

и

в левую часть (12) выражение (5), после преобразований получим:

Х/7("'=1Х» (мо> уо М» ("о)Хи'г' ("и ^ ('О х • • ■х Xй'- ("« (»„ ,)•

Из данной формулы очевидно, что приспособленность спектрального преобразования обеспечивается, когда настраиваемые ядра любого слоя т приспособлены к соответствующим компонентам мультипликативного разложения опорной функции:

Z Wm ("m > vm ("m ) = 1 ^ vm = Xm >

"m

Z ("m > vm )^m ("m ) = 0 ^ vm * Xm ■

Соответствие между индексами 2т и ¡т определяется выбором точки приспособления. Таким образом, задача настройки быстрого приспособленного спектрального преобразования сводится к построению приспособленных ортогональных ядер. Для ортогональных ядер одна из функций определяется по правилу (11), а остальные находятся через процедуру ортогона-лизации Грамма-Шмидта [7].

Мультипликативное разложение опорной функции для спектрального преобразования отличается тем, что фрактальные множители должны быть нормированы к единице. Ортогональное приспособленное преобразование не полностью использует степени свободы, которыми оно располагает. Если функция приспособления совпадает с нулевым столбцом результирующей матрицы, то будут настроены только ядра с номерами гт =(и„ ¡и„ 2..л//н |0/н ,0/н 2...0о) (для топологии Кули-Тьюки с прореживанием по времени).

На рис. 10 приведено факторизованное представление ортогонального преобразования, приспособленного к одной функции, размещённой в нулевом столбце. Символом «*» отмечены элементы незаполненных ядер. Если точка приспособления задана кортежем:

Х = (Хп-\Хп-2 "'хо)>

тогда номер настраиваемых ядер по слоям будет определяться выражением:

Z'={Un-lUn-2'

'Um+lXm-lXm-2 ' '

а) •

В каждом ортогональном ядре только один столбец совпадает с фрактальным множителем опорной функции, остальные столбцы выбираются ортогональными к нему, следуя процедуре Грамма-Шмидта, поэтому они не могут быть произвольными. Это означает, что ортогональное приспособленное преобразование может быть настроено только на одну опорную функцию (не считая постоянной составляющей).

0I0I0I0I1I1I1I1

о:ОТГГПОТ0ТГ:Г

0I0I0I0I1I1I1I1 о:ОТГ:Т;ОТ0ТТ!Т

0 ! 0 ! ! !

oloï

öV 0 ! 1 !

.....L .. .. L

0 I 0 I 1 I ÏTÏToT

1 И I1

~"TTT ■QÍT

____L...

: :

—i—

itoti

____L.... 1.....:

oTïïo

_____L.... L.....:

lto+l

____L.... L.....:

1 ! 0 ! ____L .. .. L

о ; l

_____i.

: :

-i-

! 0 1.....:

о ; l

_____L...

о ; l

.. - -L - -

0

"2 "0

-i-

-i-

-i-

-i-

-i-

-I-

000

0.....0.....1

о.....Г"о

0.....Y.....Г

1.....

"Ï.....0.....1

1.....Г"о

i.....Г.....Г

i ¡1 ï;T

-1— i 1

ÏÏ

! ! ! !

----1- - - t----

! ! ! ! ----Г - " f—

1 ! !

TT"

: :

.....V -

: :

.....f -

: :

:

1 : : 1 —i- - -1-— : * : ! ! ----r -- - r----

1 ! I1

: : : :

-----1- — t-.....:

* : : : : -----r — r: : : :

: :

+ -

: :

-----!--

: :

1 1 1 1 ! !

----1-----|-

: * : ! ! ----f----f.

! ! ! !

ï"1

: 1 : + — (_.

! ! : ! !

.....t — r- -

! ! ! !

: :

.....^ -

: :

vr :

.....г

*

*

:

:

*

:

*

-t-H-

ÎÏTÏ

. .L .. .. 1____

: 1 : . .L____L. .

T--Í-

-Тт-Ь-! 1 ! . .L____L -

■i"

:

1 ;

____L.

1 ! _____L

:

:

.. .L .. .. : :

-~i.....'r- -

* ! !

-I.....h- -

! ! * J_i_

1 1

.. ----j.----

J_i_L

: i : . 4.... j.— ! ! ! !

- -h - -1.....:.....V - -

: : i 1 i 1 J_I_i i

1 ! 1

! ! ! ! . 4 .. .. .. ! ! ! !

- -h - - ^.....!

! ! ! J_i_L

: : * : : * ! ! ! ! .....i- — 'r.....:-----1--1 1 1 1 1 1 I 1 I ! 1 !

.....h — V.....:-----!----

: : * : : * i_i_i_i_

: * :

! !

----1.----(..

! ! ! ! ----L----j..

! ! _i_L

! !

! !

- -i.....'r----(■-

! !

! !

■i.....^----!-

: * : :

J_i_L

Рис. 10. Свободные параметры быстрого ортогонального преобразования, приспособленного к одной функции Для того, чтобы преобразование в целом было ортогональным, достаточно заполнить свободные ядра элементами любых ортогональных матриц соответствующих размеров. В практических алгоритмах можно либо заполнить свободные ядра единичными матрицами

<

^ "m

v

2

v

v

0

вида: W =

Г1

vo 1,

либо повторить ядра, уже найденные для текущего слоя. В первом случае

будут получены вейвлет-подобные ортогональные преобразования с явно выраженными свойствами пространственной локализации, во втором - все столбцы преобразования будут содержать примерно равное число ненулевых элементов.

На рис. 11 приведены базисные функции быстрых ортогональных преобразований, приспособленных к линейно изменяющейся опорной функции.

=Ь

5678 2 3 4 5 6 7 8

а б

Рис. 11. Базисные функции приспособленных ортогональных преобразований: а) - с доопределением ядер единичными матрицами; б) - с приспособлением к фильтрованным образам опорных функций Заключение. Отличительной особенностью рассмотренного метода обучения БНС является абсолютная устойчивость, поскольку, в отличие от градиентных методов, отсутствует контур параметрической обратной связи по ошибке. Кроме того, алгоритм обучения всегда имеет конечное число шагов, которое кратно числу слоёв быстрого преобразования. Точность обучения не ограничена используемым методом и определяется только разрядной сеткой процессора. Рассмотренный метод обучения не полностью реализует степени свободы перестраиваемого БНС, оставшаяся часть может быть использована для придания преобразованию дополнительных свойств, например, пространственной чувствительности, характерной для вейвлет-преобразований. Алгоритмы обучения не ограничиваются одномерным случаем, в работах [8-11] рассмотрены варианты алгоритмов обучения для двумерных БНС, и подобным образом алгоритмы могут быть построены для многомерных сетей.

Обучаемые быстрые ортогональные преобразования могут быть эффективно использованы для сжатия информации, например, при передаче по каналам связи изображений высокой размерности, с малыми отличиями от эталонного образа. Вместо передачи всего изображения в этом случае достаточно передать всего несколько спектральных коэффициентов приспособленного спектра, несущих отличия от эталонного образа, и восстановить отличия на приёмной стороне, используя быстрый алгоритм.

Список источников

1. Трахтман А.М. Основы теории дискретных сигналов на конечных интервалах / А.М. Трахтман, В.А. Трах-тман. - М.: Сов. Радио, 1976. - 208 с.

2. Солодовников А.И. Основы теории и методы спектральной обработки информации / А.И. Солодовников, А.М. Спиваковский. - Л., 1986. - 272 с.

3. Дорогов А.Ю. Быстрые преобразования и самоподобные нейронные сети глубокого обучения. Часть 1. Стратифицированные модели самоподобных нейронных сетей и быстрых преобразований / А.Ю. Дорогов // Информационные и математические технологии в науке и управлении, 2023. - №4 (32). - С. 5-20.

4. Айвазян С.А. Прикладная статистика. Классификация и снижение размерности / С.А. Айвазян, В.М. Бух-штабер, И.С. Енюков, Л.Д. Мешалкин. - М.: Финансы и статистика, 1989. - 607 с.

5. Good I.J. The interaction algorithm and practical fourier analysis. Journal of Royal statistical soseity. Ser.B, 1958, vol. 20, no.2, pp. 361-372.

6. Дорогов А.Ю. Теория и проектирование быстрых перестраиваемых преобразований и слабосвязанных нейронных сетей. / А.Ю. Дорогов. - СПб.: «Политехника», 2014. - 328с.

7. Белман Р. Введение в теорию матриц / Р. Белман. - М.: Наука, 1976. - 352 с.

8. Дорогов А.Ю Программный комплекс фрактальной фильтрации и адаптивной настройки двумерных быстрых преобразований. Свидетельство о государственной регистрации программ для ЭВМ №2013614431 / А.Ю. Дорогов // Заявка №2013610130 дата поступления 15 января 2013. Зарегистрирована в Реестре программ для ЭВМ 07 мая 2013.

9. Дорогов А.Ю. Фрактальный метод настройки быстрых перестраиваемых спектральных преобразований на эталонное изображение / А.Ю. Дорогов // Международная научно-техническая конференция, приуроченная к 50-летию МРТИ-БГУИР (Минск, 18-19 марта 2014 года): материалы конф. В 2 ч. - Ч. 1. - Минск : БГУИР, 2014. - С.284-285. - ISBN 978-985-543-037-8 (ч. 1).

10. Дорогов А.Ю. Фрактальное обучение двумерных ортогональных нейронных сетей. / А.Ю. Дорогов // Материалы международной научно-практической конференции «Информационные технологии и информационная безопасность в науке, технике и образовании «ИНФОТЕХ-2015» Севастополь 07-11 сентября 2015 г., СевГУ. - С. 59-60.

11. Dorogov A.Yu. Two-Dimensional fast orthogonal neural networks. Advances in neural networks - ISNN 2016, 13th International symposium on neural networks, ISSN 2016, St. Petersburg, Russia, July 6-8, 2016, Proceedings, Lecture notes in computer science. Springer international publishing Switzerland 2016, pp. 204-210.

Дорогов Александр Юрьевич. Доктор технических наук, доцент, профессор кафедры «Автоматики и процессов управления» Санкт-Петербургского государственного электротехнического университета (СПбГЭТУ) «ЛЭТИ», главный научный сотрудник ПАО «Информационные телекоммуникационные технологии». Основные направления исследований автора связаны с интеллектуальным анализом данных, цифровой обработкой сигналов, проектированием быстрых преобразований и нейронных сетей быстрого обучения, разработкой аналитических платформ, моделированием радио-телекоммуникационных систем. AuthorID: 17611, SPIN 8645-5873, ORCID 0000-0002-7596-6761, [email protected], г. Санкт-Петербург, ул. Попова, 5.

UDC 004.032.26 DOI:10.25729/ESI.2024.33.1.001

Fast transformations and self-similar deep learning neural networks. Part 2. Methods of training fast neural networks Alexander Yu. Dorogov

PJSC "Information Telecommunication Technologies" ("Inteltech"),

St. Petersburg State Electrotechnical University,

Russia, St. Petersburg, [email protected]

Abstract. It is noted in the paper that fast neural networks (FNN) are self-similar to the fast Fourier transform (FFT) algorithm. A method for constructing a matrix form of a fast transformation algorithm is presented. The factorizability of the elements of the FNN matrix by the elements of neural cores is proved. A method of multiplicative factorization of arbitrary one-dimensional images is proposed. It is shown that due to their structure, fast neural networks have special learning algorithms that are fundamentally different from the classic ErrorBackPropagation by the absence of a mechanism for error back propagation. The considered algorithms for teaching FNN are based on the methods of multiplicative factorization of images and fast transformations proposed in the work. Examples of network tuning to the orthogonal Hadamard basis, Fourier basis, as well as the FNN implementation of the Cantor and Sierpinski quasifractals are shown. A method of tuning fast transformations to a reference function based on the method of fractal filtering of signals is described. A method for tuning orthogonal adapted transformations is proposed. Examples are given. This work is the second part of the generalizing article "Fast transformations and self-similar neural networks of deep learning". In the first part, stratified models of self-similar neural networks are considered.

Keywords: fast transformations, fast neural networks, topological matrices, orthogonality, adapted

transformations.

References

1. Trahtman A.M., Trahtman V.A. Osnovy teorii diskretnyh signalov na konechnyh intervalah [Fundamentals of the theory of discrete signals at finite intervals]. M., "Sov. Radio", 1976, 208 p.

2. Solodovnikov A.I., Spivakovskij A.M. Osnovy teorii i metody spektral'noj obrabotki informacii [Fundamentals of the theory and methods of spectral information processing]. Leningrad, 1986. 272 p.

3. Dorogov A.Yu. Bystrye preobrazovanija i samopodobnye nejronnye seti glubokogo obuchenija. Chast' 1. Strati-ficirovannye modeli samopodobnyh nejronnyh setej i bystryh preobrazovanij [Fast transformations and sef-simi-lar deep learning neural networks. Part 1. Stratified models of self-similar neural networks and fast transformations]. Informacionnye i matematiceskie tehnologii v nauke i upravlenii [Information and mathematical technologies in science and management], 2023, no. 4 (32), pp. 5-20.

4. Ajvazjan S. A., Buhshtaber V. M., Enjukov I. S., Meshalkin L. D. Prikladnaja statistika. Klassifikacija i snizhenie razmernosti [Applied statistics. Classification and dimensionality reduction]. M., Finansy i statistika [Finance and Statistics], 1989, 607 p.

5. Good I.J. The interaction algorithm and practical fourier analysis. Journal of Royal statistical soseity. Ser.B, 1958, vol. 20, no.2, pp. 361-372.

6. Dorogov A.Yu. Teorija i proektirovanie bystryh perestraivaemyh preobrazovanij i slabosvjazannyh nejronnyh setej [Theory and design of fast tunable transformations and loosely coupled neural networks]. Spb. Publ "Politehnika" [Polytechnic], 2014, 328p.

7. Bellman R. Introduction to matrix analysis. Moscow, Nauka [Science],1976. - 352 с.

8. Dorogov A.Yu. Programmnyj kompleks fraktal'noj fil'tracii i adaptivnoj nastrojki dvumernyh bystryh preobrazovanij [A software package for fractal filtering and adaptive adjustment of two-dimensional fast transformations]. Certificate of state registration of computer programs No №2013614431, 07 May 3013.

9. Dorogov A.Yu. Fraktal'nyy metod nastroyki bystrykh perestraivayemykh spektral'nykh preobrazovaniy na etalon-noye izobrazheniye [Fractal method for setting fast tunable spectral transformations on a reference image]. Mezhdunarodnaya nauchno-tekhnicheskaya konferentsiya, priurochennaya k 50-letiyu MRTI-BGUIR (Minsk, 18-19 marta 2014 goda): materialy konf. V 2 ch. Ch. 1. [International scientific and technical conference dedicated to the 50th anniversary of MRTI-BSUIR (Minsk, March 18-19, 2014): materials of the conference. In 2 parts. Part 1], Minsk, BSUIR, 2014, pp. 284-285, ISBN 978-985-543-037-8 (part 1).

10. Dorogov A.Yu. Fraktal'noe obuchenie dvumernyh ortogonal'nyh nejronnyh setej [Fractal training of two-dimensional orthogonal neural networks]. Materialy mezhdunarodnoj nauchno-prakticheskoj konferencii "Informacionnye tehnologii i informacionnaja bezopasnost' v nauke, tehnike i obrazovanii "INF0TEH-2015" [Information technologies and Information security in science, technology and education "INF0TECH-2015"], Sevastopol 07-11, September 2015, SevSU, pp. 59-60.

11. Dorogov A.Yu. Two-Dimensional fast orthogonal neural networks. Advances in neural networks - ISNN 2016, 13th International symposium on neural networks, ISSN 2016, St. Petersburg, Russia, July 6-8, 2016, Proceedings, Lecture notes in computer science. Springer international publishing Switzerland 2016, pp. 204-210.

Dorogov Alexander Yurievich. Doctor of technical sciences, associate professor, professor of the department of automation and control Processes of St. Petersburg state electrotechnical university (SPbETU) "LETI", Chief researcher ofPJSC "Information telecommunication technologies ". The main directions of the author's research are related to data mining, digital signal processing, the design of fast transformations and neural networks of fast learning, the development of analytical platforms, modeling of radio and telecommunications systems. AuthorID: 17611, SPIN 8645-5873, ORCID 0000-0002-7596-6761, [email protected], St. Petersburg, st. Popova, 5.

Статья поступила в редакцию 13.06.2023; одобрена после рецензирования 13.03.2024; принята к публикации 13.03.2024.

The article was submitted 06/13/2023; approved after reviewing 03/13/2024; accepted for publication 03/13/2024.