Вероятностные свойства начальных значений весовых коэффициентов в синхронизируемых искусственных нейронных сетях Кинцеля Текст научной статьи по специальности «Компьютерные и информационные науки»

ВЕРОЯТНОСТНЫЕ СВОЙСТВА НАЧАЛЬНЫХ ЗНАЧЕНИЙ ВЕСОВЫХ КОЭФФИЦИЕНТОВ В СИНХРОНИЗИРУЕМЫХ ИСКУССТВЕННЫХ НЕЙРОННЫХ

СЕТЯХ КИНЦЕЛЯ

докт. технических наук, проф. ГоЛИКоВ В.Ф. магистр технических наук, асп. БРИчН.В.

АННОТАЦИЯ

Использование методов нейрокриптографии является перспективным способом для формирования идентичных бинарных последовательностей. В статье проанализировано влияние начальных значений весовых коэффициентов двух сетей на скорость достижения синхронности ИНС. Вывлено положительное свойство - равновероятность направлений движения начальных значений весовых коэффициентов. На основе проведенного исследования авторами предполагается возможность по совершенствованию архитектуры сети и алгоритма коррекции весовых коэффициентов.

ABSTRACT

One of the most efficient ways for identical binary se quences generation is using methods of neural cryptography. The initial weight vestors values influence on speed of synchronization is analized. Equal probability of initial weight vestors motion directions is great advantage. On this base authors suppose new line of research conserned with improvement of network architecture and correction algorithm.

Введение

Одним из ведущих направлений развития информационных технологий является обеспечение информационной безопасности. Основой большинства криптографических средств защиты информации является шифрование. Актуальность решения задачи конфиденциальной доставки ключевой информации в симметричных (одноключевых) криптографических системах очевидна. На первый взгляд указанная проблема решена в асимметричных криптосистемах, где используются разные ключи для шифрования и расшифрования. Однако, во-первых, на сегодняшний день отсутствуют математические доказательства необратимости односторонних функций, используемых в асимметричных алгоритмах. Во-вторых, возникает проблема защиты открытых ключей от подмены.

И.Кантер и В.Кинцель предлагают идею использования синхронизируемых искусственных нейронных сетей (ИНС) [1].

ИНС представляет собой сеть элементов (искусственных нейронов), связанных между собой синаптическими соединениями. Математической моделью нейросети является персептрон.

ИНС считаются синхронизированными, если совпадают значения векторов весовых коэффициентов персептронов сетей (изначально значения принимаются различными и случайными). Подавая на входы персептронов одинаковые случайные вектора и сравнивая между собой выходные значения, можно корректировать значения весов. В результате многократного повторения эти величины в некоторый момент времени станут равными. Таким образом, обеспечив секретность начальных значений весов, в качестве общего криптографического ключа можно принять итоговые веса персептронов [2].

Следовательно, использование методов нейрокриптографии для формирования идентичных бинарных последовательностей является перспективным способом, но нуждается в более глубоких исследованиях, подтверждаю-

Рис. 1. Синхронизируемые ИНС.

щих сходимость процесса синхронизации.

В частности, необходимо проанализировать влияние начальных значений весовых коэффициентов двух сетей на скорость достижения синхронности ИНС.

Основная часть Пусть имеется ИНС, состоящая из К внутренних персептронов (рис.1). Каждый пер-септрон имеет п входов.

До начала синхронизации абонент А должен сформировать вектор весовых коэффициентов (1)

ига = ,ргй11 ига1г ,... л юа21 ма22 ,

' =1- : I-

ГДЄ —у

Величину L целесообразно выбирать как 2Ч, где q- целое положительное число. Каждый

элемент вектора есть случайное целое число с дискретным равномерным законом распределения (рис.2 )

К

») =

где зац = —Ь, —Ь + 1,0,1,... ,Ь.

Рис.2. Закон распределения начальных значений весовых коэффициентов.

Абонент В, имеющий такую же сеть, независимо от А формирует вектор весовых коэффициентов своей сети (2)

с аналогичными вероятностными характеристиками.

На входы сетей А и В подается вектор синхронизирующих чисел

где Хц Є [—ІД] - дискретная случайная величина с равномерным распределением. Корректируя весовые коэффициенты сетей в ходе синхронизации по определенному правилу, абоненты добиваются их идентичности.

Каждый последующий шаг синхронизации начинается с подачи на входы обеих сетей выбранного случайным образом вектора х . Затем вычисляется выходная величина 2 для каждой из сетей

¿=1

і=і /=і

Индекс а/Ь означает, что операция касается обеих сетей А и В, а единичный индекс -что операция касается одной сети соответственно. Модифицированная функция знака

сг(*) > О, <т(*) < О.

Формально это не является классическим методом вычисления выходного значения нейронных сетей, так как выходное значение целой архитектуры вычисляется как произведение выходных величин каждого скрытого нейрона.

На основании сравнения обоих полученных выходных величин реализован процесс синхронизации. Коррекция векторов весов обеих сетей происходит только тогда, когда обе выходные величины равны друг другу (1А = 1В>). Внутри данной сети корректируются веса только тех персептронов, выходная величина которых равна величине 1 всей сети. Процесс синхронизации идет по правилу Хэбба

Также каждый этап процесса синхронизации требует выполнения операции нормализации

5Ідп(\л/а/Ьі])і, Іи'а/ЬгуІ > Ь, лма/Ьц, в противном случае.

Представляет интерес рассмотреть вероятностные свойства начальных значений весовых коэффициентов и процесса синхронизации. Введем в рассмотрение случайную величину 9¿у = \А/а^ — \мЬц. равную начальному рассогласованию соответствующих весовых коэффициентов сетей. Найдем закон распределения этой величины. Область возможных значений этой величины с учетом того, что м/а;;-,м/Ь^ е [—¿,1], равна [-2Ь, 21]. Вероятность ТОГО, ЧТО дц — где 5/у = —21, —21, + + 1,..., 0,1,... ,2/., равна

Р{рі

) = 2

Р( \\? а

5а^,5Ь^е(5^=5а^-БЬ^)

зац; \мЬи = $Ь£/)

(3)

значений (эа^, БЬу).

В соответствии с рис.3 и с учетом того, что значения waij и wЬij до начала коррекции независимы между собой, можно записать: для Бу = 0

I

р{дч = 0) = ^ Р(паи = Бац) *

Р(\уЬіі = Баі ] — О) =

2І + 1

(21 + I)2 ' для Бу > 0

для Бу < 0

Объединяя полученные результаты, запишем

где АВ5(5у) - абсолютное значение величины £ [—21,2Ь\. Зависимость (4) изо-

бражена на рис. 5.

Поскольку все значения waij, wbij равновероятны, то для нахождения Р(ду = Бу) достаточно определить количество значений пар (зау, зЬу), соответствующих каждому возможному значению Бу. Для этого построим область возможных значений (зау, зЬу) и проведем в

Рис.5. Закон распределения разности весовых коэффициентов

Из рисунка видно, что наибольшей вероятностью обладают совпадающие значения коэффициентов: примерно - 0,12 и значения, отличающиеся на 1, примерно - 0,20. Всего в интервале различий [-2,2] лежит до 60% весовых коэффициентов. Следует ожидать, что именно эти коэффициенты в процессе синхронизации будут согласовываться быстрее остальных. На рис.6 изображена зависимость (4) для Ь = 5. Из сравнения рис.5 и рис.6 видно, что с ростом Ь закон распределения ду становится более равномерным, и что следует ожидать увеличения времени полной синхронизации.

Р(^О')

0,9

-10 -8 -6 -4 -2 0 2 4 6 8 -10 ^

Рис.6. Закон распределения разности весовых коэффициентов

Рассмотрим теперь некоторые вероятностные характеристики процесса синхронизации. Нанесем на плоскость (зау, зЬу) случайную точку (бЩ] — бс1ц,бЬц — бЬ¿* ) (рис.7) и зная правило коррекции весовых коэффициентов, проследим возможные траектории ее движения к полному согласованию (к прямой зЬу = зау ).

Рис.7. Возможные траектории движения значений весовых коэффициентов.

В соответствии с выбранным правилом коррекции в процессе синхронизации на каждом шаге (£ + 1) могут произойти следующие события:

A)\иа^ (£ + 1) = \vaij (£) ± 1, и(£ + 1) = м/Ьц (£) + 1.

B) игац (£ + 1) = юау (С) ± 1,

\vbij (С + 1) = wЬ¿; (£),

C) (£ + 1) = (£),

юЬц (X + 1) = \vbij (£) + 1.

О) (£ + 1) = \юа%] (£), и?Ьц (£ + 1) = \vbij (£).

Событие А наиболее благоприятное для согласования значений коэффициентов сетей. При этом событии точка {за^, бЬ^) передвигается параллельно линии зЬу = зау (вверх и вправо, если прибавляется 1, либо вниз и влево, если прибавляется -1). Это движение на рис.7 обозначено вектором А. Достигнув границы (Ь или -Ь), точка передвигается по границе вверх (вниз) до тех пор пока не достигнет линии зЬу = зау.

Событие В передвигает начальную точку параллельно оси зау (вправо, если прибавляется 1, либо влево, если прибавляется -1). При этом движение влево ведет к линии зЬу = зау по наиболее короткой траектории, если точка {Бац, бЬц) лежит в правой полуплоскости.

Рассуждая аналогично, видим, что событие С обеспечивает движение параллельно оси зЬу (вверх или вниз).

Событие В оставляет начальную точку без движения.

Таким образом, множество точек (начальные значения весовых коэффициентов синхронизируемых сетей) в процессе синхронизации движется в поле зЬу = зау по прямым линиям: диагоналям, горизонталям и вертикалям, переходя с одной линии на другую в сторону главной диагонали зЬу = зау. Процесс синхронизации заканчивается, когда все точки окажутся на этой диагонали.

События А, В, С, D являются случайными

и происходят с определенными вероятностями. Определим эти вероятности. Для простоты расчетов будем рассматривать ИНС, состоящую из трех персептронов (K = 3), а в качестве анализируемых весовых коэффициентов выберем весовые коэффициенты первого персептрона сетей А и В.

Событие А для этой пары персептронов имеет место, если одновременно выполняются следующие условия:

Yaі = Ybb Va2 = Ya3, УЪ2 = Yb3.

В этом случае Za = Zb и весовые коэффициенты обоих персептронов корректируются путем прибавления x¡j. Для сети, состоящей из трех персептронов и в силу независимости Ya1, Yb1, можно записать

P(Yat = Yb1) = P(Yat = 1, Yb1 = 1) + P(Ya1 =

= -1, Yb1 = -1) = P(Ya1 = 1) * P(Yb1 =

= 1) + P(Ya1 = -1) * P(Yb1 = -1).

Для каждого персептрона справедливо

P(Ya1 = 1) = P(Yb1 = 1) = P(Ya1 = -1) =

= P(Yb1 = -1) = 1/2.

Следовательно, P(Ya1 = P(Yb1)= 1/2. Аналогично можно получить: P(Ya2 = Ya3) = P(Yb2 = = Yb3) = 1/2. Таким образом, искомая вероятность равна

P(A) = P(Ya1 = Yb1, Ya2 =

= Ya3, Yb2 = Yb3) = 1/8.

Событие B имеет место, если одновременно выполняются следующие условия:

Ya, Ф Yb¡, Ya2 = Ya3, Yb2 Ф Yb3. Тогда, с учетом ранее приведенных обоснований, справедливо

Р(А) = P(Ya, Ф Ybu Ya2 = Ya3, Yb2 Ф Yb3) =

= P(Ya1 = 1) * P(Yb1 = -1) + P(Ya1= -1) * P(Yb1 =

= 1)) * (P(Ya2 = 1) * P(Ya3= 1) + P(Ya2 =

= -1) * P(Yb3 = -1)) * P(Yb2 = 1) * P(Yb3 =

= -1) + P(Yb2= -1) * P(Yb3 = 1) = 1/8.

Аналогично для события С имеем Р(С) = P(Ya1 Ф Yblt Ya2 Ф Ya3, Yb2 = Yb3) = 1/8. Вероятность события D, найдем из условия, что события A, B, C, D составляют полную группу событий,

P(D) = 1 - (P(A) + P (B) + P (C)) = 5/8.

ВЫВОДЫ

1. Закон распределения разности весовых коэффициентов отличается от равномерного. Наиболее вероятны небольшие разности значений.

2. Направления движения начальных значений весовых коэффициентов равновероятны, что является положительным свойством, т.к. сохраняется максимальная неопределенность у внешнего наблюдателя относительно неизвестных ему значений весовых коэффициентов.

3. Более половины тактов синхронизации являются нерезультативными, что может составить предмет дальнейшего совершенствования архитектуры сети и алгоритма коррекции весовых коэффициентов.

4. Следует помнить, что данные выводы относятся к начальным значениям весовых коэффициентов двух сетей, поскольку они являются независимыми. В процессе синхронизации сетей А и В между соответствующими весовыми коэффициентами появляется корреляционная связь, которая усиливается с увеличением числа тактов синхронизации и приведенные соотношения становятся несправедливыми. При полной синхронизации, когда waj = wbj, коэффициент линейной корреляции равен 1.

ЛИТЕРАТУРА

1. Kanter, I. The Theory of Neural Networks and Cryptography, Quantum Computers and Computing / I. Kanter, W.Kinzel.-2005. - Vol. 5, n.1. - P. 130-140.

2. Kinzel, W. Neural Cryptography / W.Kinzel, / I. Kanter // 9th International Conference on Neural Information Processing, Singapore, 2002.