CC BY
9
7. Патент на корисну модель № 97162 МПК G06F 7/00. Опублiкований 10.03.2015 Бюл. № 5. Николайчук Я.М, Юмак В.Л., Крулiковський Б.Б. / Пристрш додавання багаторозрядних двiйкових чисел.
Кимак В.Л. Архитектура спецпроцессора шифрования данных в теоретико-числовом базисе Радемахера-Крестенсона
Результаты анализа состояния защиты информационных потоков (ИП) в компьютеризированных системах свидетельствует, что в целом состояние решения этой задачи далеко от совершенства. Тем более, что возникает потребность в построении устойчивых и продуктивных методов и алгоритмов шифрования ИП в компьютерных сетях с учетом тенденций роста требований к необходимому уровню защиты различных типов ИП. Поэтому разработка подходов, методов, алгоритмов, криптографических компьютерных средств защиты информации с использованием сетевых технологий и высокопроизводительных спецпроцессоров, особенно для проблемно-ориентированных (ПОКС) и специализированных компьютерных систем (СКС) на основе различных теоретико-числовых базисов (ТЧБ) является актуальной научной задачей. На основе алгоритмов и схемотехнических решений аппаратных компонентов процессоров шифрования данных в теоретико-числовом базисе Радемахера-Крестенсона разработана архитектура многоразрядного спецпроцессора шифрования данных, а также рассчитаны системы взаимнопростых модулей для этих процессоров.
Ключевые слова: алгоритм, спецпроцессор, шифрование данных, модульное эк-споненцианирование, теоретико-числовой базис Радемахера-Крестенсона.
Kimak V.L. The Architecture of Special Processor for Data Encryption in Rademacher-Krestenson's Theoretical-Numerical Basis
The analysis of information flow protection (IF) in the computer systems indicates that the overall condition of solving this problem is far from perfect. Moreover, there is a need to build stable and productive methods of IF encryption algorithms in computer networks with taking into account bigger requirements for data protection of various IF types. Therefore, the development of approaches, methods, algorithms, cryptographic computer information security using networking and high-performance special processors, especially for problem-oriented (POCS) and specialized computer systems (SCS) based on various theoretical and numerical bases (TNB) is an actual scientific task. Based on algorithms and schemes and technical solutions of processor's hardware components for data encryption in Rademacher-Kresten-son's theoretical-numerical basis is developed special multibit processor architecture for data encryption and is calculated system of coprime modules designed for these processors.
Keywords: algorithm, special processors, data encryption, modular exponentiation, Ra-demacher-Krestenson's theoretical-numerical basis.
УДК 681.5:519.7 Доц. В.М. Коцовський, канд. техн. наук -
Ужгородський НУ
К1ЛЬК1СН1 ОЦ1НКИ РОЗШЗНАВАЛЬНО'1 ЗДАТНОСТ1 ДВОПОРОГОВИХ НЕЙРОННИХ ЕЛЕМЕНТ1В
Дослщжено властивост двопорогових нейронних елеменпв, як е одним з найпростших узагальнень класичних нейроелементш МакКаллока-Шттса. Використан-ня двопорогових нейрошв дае змогу подолати деяю обмеження, притаманш звичайним пороговим елементам, зокрема знайти розв'язок ведомо! XOR-проблеми. Вивчено пи-тання, як стосуються оцiнки юлькост дихотомий скгнченно! множини у и-вишрному просторi, якi можна отримати за допомогою двопорогових нейрошв. Також дослщжено асимптотичну поведiнку кiлькостi дихотомiй та розглянуто питания знаходження роз-мiрностi Вапнiка-Червоненкiса двопорогових нейроелементш.
Ключовi слова: нейронний елемент, двопороговий нейрон, штучна нейромережа, розпiзнаваиия.
Вступ. Конекщонктський пiдxiд фунтуеться на викоpистaннi нейpоме-pеж до моделювання склaдниx об'екпв та явищ. Кiлькa остaннix десятиpiч штyчнi нейpомеpежi та iншi нейpоподiбнi стpyктypи шиpоко викоpистовyють для pозв'язyвaння шиpокого кола aктyaльниx господapськиx задач [1]. Одшею з ключовиx ^облем, якi постають y пpaктичномy зaстосyвaннi штyчниx нейpон-ниx меpеж, е ^облема вибоpy моделi нейpонiв, ят yтвоpюють нейpомеpежy. Тpaдицiйними вважають шдаоди з викоpистaння нейpонiв з лшшним вxiдним опеpaтоpом та функщю активацп' поpогового типу (поpоговий елемент) або сиг-мовдального типу (непеpеpвний нейpон). Кожний з циx пiдxодiв мае сво1 пеpе-ваги i недолжи [2].
Уведення до pозглядy двопоpоговиx нейpонниx елементш (ДНЕ) та ïx дослiдження мотивуеться у лiтеpaтypi бiльш потужними можливостями циx елеменпв поpiвняно iз звичайними поpоговими елементами з pозпiзнaвaння на-лежностi точок у Rn до одного з ^^x зaдaниx клaсiв. Це саме твеpдження сто-суеться i нейpонiв iз непеpеpвними функщями активацп двопоpогового типу, до якиx належить шиpокий клас " дзвiноподiбниx" функцш.
У pоботax [3, 4] зpоблено спpобy кiлькiсно оцiнити пеpевaги викоpис-тання двопоpоговиx нейpоелементiв. Зокpемa, встановлено ощнки кiлькостi клaсифiкaцiй точок скшченно1 множини у дiйсномy вектоpномy пpостоpi, якi можна отpимaти за допомогою ДНЕ. BapTO зауважити, що в асимптотичному сенсi встaновленi оцiнки мають piзний поpядок pостy. У пpопоновaнiй pоботi з викоpистaнням пpийомiв теоpiï лiнiйниx неpiвностей вдалося отpимaти та обфунтувати yточненi оцiнки кiлькостi piзниx двопоpоговиx клaсифiкaцiй.
Модель двопорогового нейрона. Неxaй Rn - n-вимipний дiйсний евкль дiв пpостip. Якщо w =(wj,w2,...,wn)e Rn, xe(x1,x2,...,xn)e Rn, то величину ска-ляpного добутку
n
( w, x ) = Y Wixi
i=1
будемо називати зваженою сумою, що вщповдае вектоpy х.
Штучним двопоpоговим дшсним нейpонним елементом з ваговим векто-pом w e Rn, поpогaми t1, t2 e R (t1 < t2 ) будемо називати функщональний елемент з n дшсними вxодaми x1,x2,...,xn та одним виxодом y e {-1,1}, поведшка якого описуеться сшввщношеннями:
í-1, t1 <( w, x )< t2,
У = ^
11, ( w, x) < t1 v( w, x)> t2.
У теpмiнax [2] зважена сума е вxiдним опеpaтоpом ДНЕ iз фyнкцieю активацп' вигляду
í-1, t1 < x < t2,
At2 ( x )= 11, x < t1 v x > t2.
ДНЕ повнiстю визначаеться впоpядковaною тpiйкою ( w, t1, t2 ), яку будемо нaдaлi називати вектоpом стpyктypи або ^осто стpyктypою ДНЕ.
4. 1пформапшш технологи галyзi 285
ДНЕ i3 структурою (w,tbt2) здшснюе розбиття простору Rn на двi шд-множини таким чином:
Rn+ ={xе Rn | (w,x) < tj} u{x e Rn | (w,x) > t2}, Rn- ={x e Rn | t1 < (w,x) < t2} .
Двi множини A+ с Rn i A- с Rn назвемо двопорогово-сепарабельними (д-сепарабельними), якщо знайдеться такий ДНЕ i3 вектором структури (w, ti,t2), що A+с R n+ i A-с Rn-. У цьому випадку будемо казати, що ДНЕ i3
структурою (w, t1,t2) здшснюе д-розбиття (А+, А~) множини А = А+u А~ на дв множини А+ i А~, що не перетинаються. Якщо ДНЕ мае структуру (w,t1, t2), то для довшьно! множини А с Rn 11 пiдмножини А+= A n Rn+, А~ = A n Rn- е д-сепарабельними. Легко бачити, що д-сепарабельнкть множин е узагальненням л> нiйноí сепарабельностi. Вже в одновимрному просторi можна навести приклад д-сепарабельних множин, якi не е лшшно сепарабельними (наприклад, A~ = {0} A+ ={-1,1}).
Розпiзнавальна здатнiсть ДНЕ. Нехай Д( A) - кшьккть способiв розбиття точок сшнченно! множини А на два класи за допомогою звичайного одно-шарового перцептрона (порогового елемента). Надалi будемо вважати, що A с R n i Card A = m. Нехай Д( m, n )= шах{д( A)| A с R n,Card A = m}. Добре вщо-мо [1, 3], що
D (m, n) =
2! Cm-1, m > n +1, i=0 (1)
2m, m < n +1,
де Cm-1 - бшомш коефiцiенти, причому Д (A) = Д (m, n) тодi i тшьки тодi, коли усi точки множини А знаходяться у загальному положент (через жодш n +1 точки множини А не можна провести гшерплощину).
Нехай D2(A) - кшьккть рiзних д-розбиттш (A+,A~) скiнченноí да-еле-
ментно! множини A с R n, D2 (m, n) = шах {d2 (A)| A с R n, Card A = m}. Покажемо, що (1) можна використати для того, щоб отримати оцiнки для D2 (m, n), причому верхня оцiнка значно покращуе ощнку, отриману у роботах [3, 4]. Надалi без додаткових застережень будемо вважати, що A с Rn i Card A = m. Твердження 1. При m > n мае мкце нер1втсть
n+1
D2 (m,n) < C2m-1. (2)
i=0
Якщо елементи множини А знаходяться у загальному положент i m > n +1, то
n+1
D2 (A) > 2^ Cm-1 -1. (3)
i=0
Доведення. Для кожного вектора x = (.4,...,xn)e A побудуемо два n + 2-вимiрнi вектори x'=(-xb...,-xn,1,0) i x"=(xb...,xn,0,-1). Якщо ДНЕ iз структу-
n
рою (w, t1, t2) здшснюе д-розбиття множини А, то гшерплощина w1x1 + ... + wnxn + t1xn+1 + t2xn+2 = 0 здшснюе лшшне розбиття (B+,B-) множини B = {х |xе A} u{x"|xе A} i Bf = |x'| pwAA (x) < 0} u{x"| pwAA (x) < 0} с B-, Bj+=|x'|xе A, (w,x)< ti}u|x"|xе A, (w,x) > t2} с B +. Тому кшьккть рiзних д-роз-биттiв множини А не перевищуе кiлькiсть лiнiйних однорiдних розбиттш множини В (насправдi наявна строга нерiвнiсть, бо B1+ - власна шдмножина множини B+). Вщомо [1], що кшьккть лшшних однорiдних розбиттiв множини можна обчислити за формулою (1), зменшивши на 1 кшьккть доданкiв. Зввдси випливае справедливiсть нерiвностi (2).
Ощнимо порядок росту право!' частини у (2). Вщомо [5], що при l > n + 1
n ln
ICi-1 < 1,5 l-.
i=0 n!
З урахуванням останньо! нерiвностi маемо, що
D2(m,n)< 3 •(2m) + = O (mn+1). (4)
A ' (n +1)! У '
Для поршняння можна нагадати, що Д( т, n ) = O (mn) [1, 5]. Оцiнка (4) е значно кращою, нiж верхня оцiнка, наведена у роботi [3], де фактично показано, що D2 (m, n )< O (m2n+1).
Перейдемо до встановлення нижньо! оцiнки. Якщо при встановленш верхньо! оцiнки фактично було здшснено перехвд вiд простору Rn до простору Rn+2, то для з'ясування нижньо! ощнки перейдемо вiд x = =(x^...,xn)е Rn до x = (xb...,xn,-1)е Rn+1. Нехай w = (щ,...,wn,t1). Тодi
Vx е A x е A"« 0 <(w, x) < t2 -11.
Очевидно, що якщо ДНЕ iз структурою (w, t1, t2) здшснюе д-розбиття множини А, то гшерплощина w1x1 + ... + w„xn + t1xn+1 = t2 -11 розбивае множину C ={x|xе A} на дв множини C + ={x|(w,x)>t2-11} i C~ = C\C +. Тодi з урахуванням (1) отримуемо (3). Твердження доведене.
Розглянемо останнiй доданок у (3). Легко бачити, що при фжсованому n вiн е величиною порядку в( mn+1). Тому нижня оцiнка мае той самий асимпто-
тичний порядок росту, що й верхня ощнка (4).
Зауваження. Нижню оцiнку (3) за допомогою iнших методiв встановле-но у роботах [3, 4] для двопорогових елеменпв бiльш загального вигляду.
Покажемо, що верхня оцiнка (2) для D2 (m, n) може бути використана для доведення наступного факту.
Твердження 2. При n > 10 для довтьног множини A с Rn, таког, що Card A > 5n знайдеться розбиття множини А, яке не е д-розбиттям.
Для доведення використаемо (4) та формулу Спрлшга. Отримаемо
^ (10n)n+1 30 •10nnn+1 30 •10nnn+1en+1 А Нп ,n
D2 (5n, n)< 3 ^-'——=—---—=—,--< 6 • (10e) ,
A ' (n +1)! (n +1)! pp(n +1) (n +1) n+1eqn+1) У > '
де \в(n)|<(12n)-1. Якщо n > ^^g »10,9822, то D(5n,n) <25n. Отримали, що
кiлькiсть д-розбиттш множини А менша за кiлькiсть усiх ц пiдмножин. Звiдси випливае iснування розбиттiв множини А, якi не е д-розбиттями.
Встановимо тепер обмеження на потужнкть множини А, яке б забезпе-чувало д-сепарабельнiсть довiльного розбиття множини А, тобто виконання умови D2 (m, n) = 2m.
Твердження 3. Для ecix n e N можна вказати таку множину An с Rn, що CardAn = 2n i D2(An) = 22n.
Для доведения використаемо шдукщю з розмiрностi векторного простору, причому будемо доводити, що ус розбиття множин n е N можна здiйснити на ДНЕ, пороги яких задовольняють умову
t1 = -1, t2 = 2. (5)
Справедливiсть твердження при n = 1 для довшьно! множини, яка мктить двi точки дайсно! прямо! легко отримати безпосередньою перевiркою (ус розбиття двохелементно! множини е лiнiйно сепарабельними). Окрш того, легко переко-натися, що усi д-розбиття при n = 1 можна отримати за допомогою з порогами, ят задовольняють умову (5). Для визначеносп покладемо A ={-1,1}. Нехай для всiх r < n твердження вже доведене. Доведемо його при r = n. Задамо множину An с Rn таким чином:
An ={(xb...,xn-1,0)|(xb...,xn-1)e An-1}u{(0,...,0,-1),(0,...,0,1)} . Покажемо, що усi розбиття множини An е д-розбиттями. Нехай (A+, An) - до-вiльне розбиття множини An i нехай (A+_1, An-1) - вщповвдне розбиття множини An-1 (A- ={(x1,—,xn-1) (xb...,xn-1,0)e A+}, A--1 = An-1 \A-1). За припущенням ш-дукцií його можна здшснити за допомогою ДНЕ iз структурою ((w1,.--, wn-1), -1,2). Можливими е 4 випадки:
1. {(0,...,0,-1),(0,...,0,1)} с A+. У цьому випадку покладемо wn = 3;
2. (0,...,0,-1)е A+, (0,...,0,1)е A-. У цьому випадку покладемо wn = 1,5;
3. (0,...,0,-1)е A-, (0,...,0,1)е A,+ . У цьому випадку покладемо wn =-1,5;
4. {(0,...,0,-1), (0,...,0,1)} с A-. У цьому випадку покладемо wn = 0.
Легко переконатися в тому, що у кожного з чотирьох випадюв ДНЕ iз структурою ((w1,^,wn-1,wn),-1,2) здшснюе д-розбиття множини An, причому пороги t1, t2 задовольняють (5). Твердження доведене.
Наслщок. Якщо LBTn - множина ycix n-Micuux ДНЕ, то при n > 10
2n < VCDim(LBTn,Rn) < 5n ,
де VCDim (LBTn,Rn) - розмiрнiсть Вапнiка-Червоненкiса.
Висновки. У робоп розглянуто питання оцiнки потенцiйноí спромож-ностi двопорогових нейронних елементш в^шувати задачi розпiзнавання шд-множин n-вишрного евклiдового простору. Встановлено, що за допомогою ДНЕ можна правильно розшзнати q(mn+1) рiзних дихотомiй, де m - потужнiсть множини, елементи яко!' знаходяться у загальному положеннi. Отриманий результат е покращенням ощнок, наведених у [3, 4], i дае змогу кiлькiсно оцiнити потенцшш переваги вiд застосування у розшзнавальних пристроях ДНЕ замiсть класичних порогових елементiв, для яких кiлькiсть вщповвдних дихотомiй е величиною, порядок росту яко!' не перевищуе O(mn).
Також знайдено оцiнки розмiрностi Вапнiка-Червоненкiса для класу ДНЕ iз n входами - ключового параметра теорп навчання.
Лiтература
1. Хайкин, С. Нейронные сети: полный курс / С. Хайкин. - Изд. 2-ое, [перераб. и доп.]. - М. : Изд-во "Вильямс- Телеком", 2006. - 1104 с.
2. Руденко, О.Г. Штучш нейронш мереж / О.Г. Руденко, G.B. Бодянський. - Харкв : Вид-во ТОВ "Компанiя СМ1Т", 2006. - 404 с.
3. Olafsson, S. The capacity of multilevel threshold function / S. Olafsson and Y.S. Abu-Mostafa // IEEE Trans. Pattern Anal. Machine Intell. - 1988. - Vol. 10, No. 2. - Pp. 277-281.
4. Takiyama, R. Multiple threshold perceptron / R. Takiyama // Pattern recognition. - 1978. -Vol. 10. - Pp. 27-30.
5. Вапник, В.Н. Теория распознавания образов. Статистические проблемы обучения / В.Н. Вапник, А.Я. Червоненкис. - М. : Изд-во "Наука", 1974. - 416 с.
Коцовский В.М. Количественные оценки распознавательной мощности двупороговых нейронных элементов
Исследованы свойства двупороговых нейронных элементов, которые являются одним из самых простых обобщений классических нейроэлементов МакКаллока-Питтса. Использование двупороговых нейронов дает возможность решить известную XOR-проблему. Изучены вопросы, касающиеся оценки числа дихотомий конечного множества в и-мерном пространстве, которые можно получить с помощью двупороговых нейронов. Исследовано асимптотическое поведение этого числа и рассмотрен связанный с этим вопрос оценки размерности Вапника-Червоненкиса двупороговых нейронов.
Ключевые слова: нейронный элемент, двупороговый нейрон, искусственная нейросеть, распознавание.
Kotsovsky V.M. Quantitative Estimation of the Capability of Bithreshold Neural Units
The given paper is devoted to the study of the properties of the simplest multithreshold generalization of McCulloch-Pitts neurons, namely bithreshold neurons with linear input operator. Usage of neuron supplied with two thresholds provides the possibility to find out the solution of the famous XOR-problem. The most frequent quantitative characteristic of representative power of neuron-like units with discrete activation function is the number of all possible dichotomies of the finite subset of n-dimensional space achieved by using such devices. The asymptotic behaviour of this number is given. The related question of Vapnik-Chervo-nenkis dimension of bithreshold neuron is also studied.
Keywords: neural unit, bithreshold neuron, artificial neural network, recognition.
