Многомерный портрет цифровых последовательностей идеального «Белого шума» в свертках Хэмминга Текст научной статьи по специальности «Математика»

ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ

УДК 519.24; 53; 57.017

DOI 10.21685/2072-3059-2017-4-1

В. И. Волчихин, А. И. Иванов, А. П. Юнин, Е. А. Малыгина

МНОГОМЕРНЫЙ ПОРТРЕТ ЦИФРОВЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ ИДЕАЛЬНОГО «БЕЛОГО ШУМА» В СВЕРТКАХ ХЭММИНГА

Аннотация.

Актуальность и цели. Целью работы является получение описания идеального портрета «белого шума», позволяющего контролировать его качество на малых тестовых выборках.

Материалы и методы. Вычисление энтропии по Шеннону для цифровых последовательностей длинной в 256 бит является вычислительно сложной задачей. В связи с этим вычислительную сложность задачи понижают через переход в пространство расстояний Хэмминга при тестировании нейросетевых преобразователей биометрия-код по ГОСТ Р 52633.3. В этом случае возникает свертывание размерности решаемой задачи, однако такой вычислительный прием может оказаться некорректным на малых тестовых выборках.

Результаты. Предложено использовать несколько сверток Хэмминга, выполняемых в полях по модулю 2, 4, 8 и выше. При этом растет объем информации о близости портрета анализируемой цифровой последовательности к портрету идеального «белого шума». Дан перечень дефектов реального «белого шума», наблюдаемого в пространствах сверток Хэмминга. Даны оценки погрешности параметров наблюдаемого портрета «белого шума», возникающие из-за конечного размера тестовой выборки.

Выводы. При «глубоком» контроле хеширующих свойств нейросетевых преобразователей биометрия-код процедур рекомендуемых ГОСТ Р 52633.3 недостаточно. Необходимо дополнять контроль качества «белого шума» в обычном пространстве расстояний Хэмминга, вычисленном сверткой кодов по модулю два, свертками Хэмминга в полях с большим значением модуля.

Ключевые слова: нейросетевой преобразователь биометрия-код, биометрические данные, большая размерность данных, свертки Хэмминга, «белый шум».

V. I. Volchikhin, A. I. Ivanov, A. P. Yunin, E. A. Malygina

A MULTIDIMENSIONAL PICTURE OF NUMERICAL SEQUENCES OF THE IDEAL "WHITE NOISE" IN HAMMING CONVOLUTIONS

Abstract.

Background. The aim of the work is to describe the ideal picture of "white noise" that enables to control its quality on small testing samples.

Materials and methods. Shannon entropy calculation for numerical sequences of 256 bits is a complicated problem. In this regard, the problem's computation complexity is decreased by transition into the Hammings distances' space, when testing neural network "biometrics-code" converters according to state standard GOST R 52633.3. In this case there occurs convolution of the problem's dimensions. However such a computting solution may end up incorrect for small testing samples.

Results. It is suggested to use several Hamming convolutions taking place in field modulo 2, 4, 8 or higher. At the same time the volume of data on proximity of the analyzed numerical sequence's picture to the picture of the ideal "white noise" increases. The work gives a list of defects featuring the real "white noise" observed in Hamming convolutions' spaces and adduces the error estimates regarding features of the examined picture of "white noise" occurring due to the finite size of testing sample.

Conclusions. The procedures recommended by GOST R 52633.3 are insufficient at "deep" control of hashing properties of neural network "biometrics-code" con-verte^. It is necessary to supplement the "white noise" quality control in a regular Hamming distances' space, calculated by a code convolution modulo 2, Hamming convolutions in field with high modulo values.

Key words: neural network "biometrics-code" converter, biometric data, large dimensionality of data, Hamming convolutions, "white noise".

Общие положения вычисления энтропии длинных цифровых последовательностей

По определению, основной функцией нейросетевых преобразователей биометрия-код является свертывание естественной энтропии примеров биометрического образа «Свой» практически до нуля. В итоге любой из множества возможных примеров образа «Свой» должен на выходах нейросетевого преобразователя давать один и тот же код « С » длиной 256 бит.

Для образов «Чужой» нейросетевой преобразователь биометрия-код выполняет обратную функцию хеширования входных биометрических данных, усиливая их естественную энтропию. Идеальный нейросетевой преобразователь биометрия-код должен давать для примеров образа «Чужой» идеальный «белый шум» с энтропией в 256 бит.

Очевидно, идеального «белого шума» на выходах нейросетевого преобразователя биометрия-код быть не может. Шум на выходах нейронной сети не идеален; по методике оценки процедурами ГОСТ Р 52633.3, его энтропия вместо 256 бит составит 26 бит. При этом нет данных о том, какова методическая ошибка оценки энтропии, обусловленная малым объемом тестовой выборки.

Если мы пойдем по пути применения Шеноновских процедур вычисления энтропии, то потребуются огромные тестовые выборки. Так, для вычисления энтропии пары разрядов выходного кода

22

Н("xi,x2") = "ZPi'lo§2(P') (1)

i=

потребуется выборка порядка 2 = 2 примеров, если допустима ошибка оценки вероятности событий Др = 2 .

Если перейти к оценке энтропии трех бит Н (" х^, X2, xз"), то потребуется тестовая выборка в 23+8 примеров. Число примеров в тестовой выборке экспоненциально увеличивается по мере роста длины кодовой последовательности. Как следствие, при длине кода в 256 бит воспользоваться вычислениями энтропии по Шеннону мы не можем.

Для нейросетевых преобразователей биометрия-код ГОСТ Р 52633.3 [1] рекомендует перейти от анализа вероятностей появления обычных кодов в пространство расстояний Хэмминга. Для этой цели следует воспользоваться сверткой Хэмминга по модулю два:

256

h = ^ ("^ ") ©("X "), (2)

/=1

где "—с" - инверсия состояний разрядов кода «Свой»; " х/" - состояние /-го

разряда кода примера образа «Чужой».

Очевидно, что классическое расстояние Хэмминга может принимать значения от 0 (совпадение сравниваемых кодов) до 256 (сравниваются прямой и инверсный коды).

Преобразование (2) линейно по отношению к операции сложения по модулю два ©, что приводит к нормализации данных. Сложение 256 результатов сложения по модулю два (2) приводит к тому, что плотность распределения значений расстояний Хэмминга р(Н) оказывается близка к нормальной. В итоге мы можем оценить вероятность ошибок второго рода (пропуск «Чужого»):

1 7 I -(E(h) - u)2 I , Р2 =—7—л^ J ехР 1 2 f du ' (3)

I— I ^^ 1

a(h) -V2к[ 2 (a(h) )2

где Е(И) - математическое ожидание расстояний Хэмминга для нескольких кодов «Чужой»; а^) - стандартное отклонение расстояний Хэмминга.

Если бы у нас был «белый шум», то вероятность угадывания кода ключа длинной 256 бит с первой попытки должна составлять р ~ 2 256 . По расчетам (3), вероятность ошибок второго рода намного выше, что эквивалентно длине ключа меньшей размерности. Это обстоятельство дает нам право оценивать длину короткого, но полноценного ключа с независимыми разрядами или энтропию длинного кода с зависимыми разрядами:

Н("х1,Х2,...,Х256") = -^(Р). (4)

Распределение обычных расстояний Хэмминга для идеального «белого шума»

Из теории известно [2], что для п независимых испытаний вероятность угадывания т состояний описывается биномиальным законом:

Рт = I ,,п! -{Р("0")}т -{1 -Р("0")Г-т , (5)

[т!- (п -т)!

где Р("0") - средняя вероятность угадывания состояния «0» в каждом разряде кода.

Нетрудно показать, что при ,Р("0") = 0.5 (условие, оговариваемое ГОСТ Р 52633.0 [3] и ГОСТ Р 52633.5 [4]) математическое ожидание расстояний Хэмминга составит

£ <»=f

(6)

При этих же условиях для идеального «белого шума» стандартное отклонение составит

J™

(7)

Если мы видим, что математическое ожидание расстояний Хэмминга отличается от величины (6) или стандартное отклонение (7) иное, то исследуемый шум отличается от «белого шума». Отличие математического ожидания от величины (6) есть не что иное, как дефект расхождения вероятностей появления состояний «0» и «1» в каких-то разрядах выходных кодов. Отличие стандартного отклонения от величины (7) свидетельствует о наличии корреляционных связей между разрядами исследуемых кодов.

Таким образом, наблюдая значения математического ожидания расстояний Хэмминга и стандартное отклонение расстояний Хэмминга, мы можем оценить качество «белого шума». На рис. 1 даны идеальное и реальное распределения расстояний Хэмминга.

0.06

0.04

0.02

p(ll) I / { / \ L ■b \ ъ

l ■Л

ft ft /f г

ОПТ

100

110

120

130

140

150

160

Рис. 1. Идеальное распределение значений расстояний Хэмминга (сплошная линия) и реальное распределение расстояний Хэмминга (пунктир)

Из рис. 1 видно, что тестируемый программный генератор псевдослучайного «белого шума» 256 битных чисел является более «белым», чем должно быть в теории. Этот эффект может быть обусловлен конечным объемом тестовой выборки. По этой причине возникают ошибки вычислений

ДЕ(И) и Да(й). В табл. 1 даны допустимые интервалы ошибок при выборках разного объема для квантилей доверительной вероятности 0,99.

Таблица 1

Допустимые интервалы ошибок при вычислении математического ожидания и стандартного отклонения расстояний Хэмминга на выборках разного размера при оценке кодов длиной 256 бит

Выборка, шт. ±AE(h) бит ±Aa(h) бит Выборка, шт. ±AE (h) бит ±Aa(h) бит

4 12,08 8,11 128 2,14 1,50

8 8,42 6,91 256 1,49 1,05

16 6,05 4,25 512 1,075 0,755

32 4,28 3,02 1024 0,754 0,526

64 3,01 2,12 2048 0,532 0,374

Дополнительная информация о распределении расстояний Хэмминга, вычисленном по модулям более высокого порядка

В случае, когда нет ограничений на объем используемой тестовой выборки, удается с любой заданной точностью проверить гипотезу «белого шума» в пространстве обычных расстояний Хэмминга. Ситуация меняется, когда объем выборки оказывается ограничен, например, 16 опытами. В этом случае не удается с достаточной точностью вычислить математическое ожидание и стандартное отклонение Хэмминга.

На первый взгляд такая ситуации кажется тупиковой, однако выход из нее существует. Для улучшения ситуации мы можем вычислить свертку Хэмминга по модулю четыре:

256-1

И4 = ^ ("-с,-с^")©4 ("х,,х^"), (8)

г=1

где "-с,, с,+1" - инверсия состояний пары соседних разрядов кода «Свой»; " х,, х,+1" - состояния пары соседних разрядов кода примера образа «Чужой».

Следует отметить, что формула (8) по структуре своей организации повторяет свертку Хэмминга по модулю второго порядка (2). Отличие состоит только в том, что сравниваются между собой пары разрядов кода «Свой» и кода «Чужой». Из-за сравнения пары разрядов расстояние Хэмминга по модулю четыре может принимать значения: «00» - 0; «01» - 1; «10» - 2; «11» - 3. При этом для кода длиной в 256 бит минимальное и максимальное значения в десятичной системе составят:

шт(й4) = 0 • 255 = 0;

4 (9)

шах(Й4) = 3 • 255 = 765.

Так как мы извлекаем дополнительную информацию из анализируемой цифровой последовательности, имеет смысл для каждой из сверток Хэмминга осуществить нормирование расстояний Хэмминга:

И

max(h)

, (10)

h4

max(^4)

В этом случае распределения расстояний Хэмминга (10) будут хорошо описываться бета-распределением [2, 5]:

p(h2) =

r(ai + ül) ■ (h2)ai~1 • (1 -h2)a2-1 при 0 < h2 < 1;

Г(А1) -Г(а2) (11)

состояние 0 для всех остальных значений И2.

По аналогии со сверткой Хэмминга (8) мы имеем право построить аналогичную конструкцию для троек рядом расположенных разрядов:

256-2

И = 2 ("—С,-С+1,—С+2 ") ©8 ("X, Х+1, Х"+2 ") , (12)

I =1

где "—сг-, —с+1, —с{+2" - инверсия состояний тройки соседних разрядов кода «Свой»; " х,, х+1, х,+2" - состояния тройки соседних разрядов кода примера образа «Чужой», шт(Из) = 0, тах(И8) = 254 • 7 = 1778.

Для того чтобы описывать статистику расстояний Хэмминга (12) бета-распределением (11), следует осуществить нормировку:

И (13)

1778

Более того, мы можем продолжить процесс и получать дополнительную информацию по анализируемой цифровой последовательности, осуществляя вычисления сверток Хэмминга по модулю 16, 32, 64, 128. Всего получается шесть дополнительных сверток для проверяемого кода длиной 256 бит к исходной классической свертке (2) по модулю 2.

Регуляризация оценки энтропии «белого шума» за счет использования дополнительной информации

Описанная выше конструкция, с одной стороны, позволяет осуществлять оценки энтропии длинных кодов и сравнивать их с предельным значением энтропии «белого шума». С другой стороны, каждая из семи сверток Хэм-минга будет давать свою ошибку при вычислении математического ожидания -АЕ) и стандартного отклонения Аа(И^). Численный эксперимент показал, что эти ошибки практически некоррелированны (независимы). Как следствие, мы имеем право их усреднить, тем самым повысив точность оценки близости к «белому шуму» анализируемой цифровой последовательности.

Если мы анализируем «белый шум» по его математическому ожиданию, то для всех семи сверток математические ожидания должны составлять:

2

4

' E (h2) = 0.5 + AE (h2);

< E(h4) = 0.5 + AE(/24); (14)

Очевидно, что суммирование уравнений (14) даст результирующую ошибку в 77 = 2 ,65 раза меньше. Аналогичная ситуация возникает и при оценке стандартного отклонения. Как и в случае ошибки вычисления математических ожиданий, удается в 2,65 раза снизить результирующую ошибку вычисления стандартных отклонений на малых тестовых выборках.

Заключение

Каждая исследуемая цифровая последовательность с зависимыми или с независимыми разрядами может быть представлена не одним, а несколькими распределениями расстояний (сверток) Хэмминга. Существует портрет идеального «белого шума» из нескольких распределениях сверток Хэмминга, вычисленных по разным модулям. Появляется возможность сократить объем тестовой выборки за счет перехода от одномерного статистического анализа биометрических данных к многомерному статистическому анализу [6-8].

На данный момент трудно очертить круг применения изложенных в нашей статье преобразований. Ранее доказано: применение сверток Хэм-минга по модулю восемь дает более правдоподобные оценки энтропии длинных парольных фраз со смыслом [9]. Переход от обычных сверток Хэмминга к сверткам по модулю восемь обусловлен тем, что кодировка букв русскоязычных текстов в основном 8-битная. Если будет применена 7-битная кодировка, то свертка Хэмминга также должна быть выполнена по модулю семь.

Примерно такая же ситуация возникает и в том случае, когда создаются циклические хэш-функции, ориентированные на реализацию в 4-битных процессорах [10]. В этом случае обычную свертку Хэмминга целесообразно дополнить сверткой по модулю четыре.

Еще одним направлением применения описанных выше преобразований является оценка близости к «белому шуму» псевдослучайных последовательностей, получаемых от программных генераторов. В США существует национальный стандарт по тестированию генераторов последовательностей случайных числе1, объединяющий разные тесты по 24 критериям. Каждый из этих тестов применяется отдельно, их результаты могут противоречить друг другу. В данной работе мы попытались показать, что на любой из сверток Хэмминга по любому модулю можно построить свой тест (свой критерий), при этом совокупность этих тестов не противоречит друг другу, а дополняет друг друга. Множество рассмотренных выше преобразований родственны друг другу, они получены по похожим формулам.

Библиографический список

1. ГОСТ Р 52633.3-2011. Защита информации. Техника защиты информации. Тестирование стойкости средств высоконадежной биометрической защиты к атакам подбора. - М., 2011.

1 A Statistical Test Suite for Random and Pseudorandom Number Generators for Cryptographic Applications NIST SP 800-22.

2. Кобзарь, А. И. Прикладная математическая статистика. Для инженеров и научных работников / А. И. Кобзарь. - М. : Физматлит, 2006. - 816 с.

3. ГОСТ Р 52633.0-2006. Защита информации. Техника защиты информации. Требования к средствам высоконадежной биометрической аутентификации. - М., 2006.

4. ГОСТ Р 52633.5-2011. Защита информации. Техника защиты информации. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа. -М., 2011.

5. Иванов, А. И. Корректное квантово-континуальное преобразование данных, многократно ускоряющее оценку вероятности ошибок биометрической аутентификации личности / А. И. Иванов, А. В. Безяев, А. В. Елфимов, С. Е. Вятчанин // Специальная техника. - 2017. - № 1. - С. 48-51.

6. Иванов, А. И. Многомерный статистический анализ качества биометрических данных на предельно малых выборках с использованием критериев среднего геометрического, вычисленного для анализируемых функций вероятности /

A. И. Иванов, К. А. Перфилов, Е. А. Малыгина // Измерение. Мониторинг. Управление. Контроль. - 2016. - № 2 (16). - С. 58-66.

7. Ахметов, Б. Б. Многомерный статистический анализ биометрических данных сетью частных критериев Пирсона / Б. Б. Ахметов, А. И. Иванов, А. В. Безяев, Ю. В. Фунтикова // Вестник Национальной академии наук Республики Казахстан. -Алматы, 2015. - № 1. - С. 5-11.

8. Волчихин, В. И. Эффект снижения размера тестовой выборки за счет перехода к многомерному статистическому анализу биометрических данных /

B. И. Волчихин, А. И. Иванов, Н. И. Серикова, Ю. В. Фунтикова // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2015 -№ 1 (33). - С. 50-59.

9. Юнин, А. П. Оценка энтропии легко запоминаемых, длинных паролей со смыслом в ASII кодировке для русского и английских языков / А. П. Юнин, О. В. Корнеев // Труды научно-технической конференции кластера пензенских предприятий, обеспечивающих безопасность информационных технологий. -Пенза, 2016. - Т. 10. - С. 40-42. - URL: Шр://пниэи.рф/ас1т1у/5с1епсе/В1Т/Т10-p40.pdf

10. Безяев, А. В. Типовая схема защиты нейросетевых архивов биометрических данных некриптографическим хешированием через применение линейной рекур-ренты подсчета контрольных сумм CRC-4 / А. В. Безяев, А. И. Иванов, О. В. Кор-неев // Труды научно-технической конференции кластера пензенских предприятий, обеспечивающих безопасность информационных технологий. - Пенза, 2016. - Т. 10. - С. 15-20. - URL: Шр://пниэи.рф/ас1т1у/8с1епсе/В1Т/Т10-р15^

References

1. GOST R 52633.3-2011. Zashchita informatsii. Tekhnika zashchity informatsii. Te-stirovanie stoykosti sredstv vysokonadezhnoy biometricheskoy zashchity k atakam pod-bora [GOST R 52633.3-2011. Data protection. Data protecting technology. Testing of highly reliable biometric protective means' resistance to breaking attacks]. Moscow, 2011.

2. Kobzar' A. I. Prikladnaya matematicheskaya statistika. Dlya inzhenerov i nauchnykh rabotnikov [Applied mathematical statistics. For engineers and researchers]. Moscow: Fizmatlit, 2006, 816 p.

3. GOST R 52633.0-2006. Zashchita informatsii. Tekhnika zashchity informatsii. Tre-bovaniya k sredstvam vysokonadezhnoy biometricheskoy autentifikatsii [Data protection. Data protecting technology. Requirements to highly reliable means of biometric authentication]. Moscow, 2006.

4. GOST R 52633.5-2011. Zashchita informatsii. Tekhnika zashchity informatsii. Avto-maticheskoe obuchenie neyrosetevykh preobrazovateley biometriya-kod dostupa [Data protection. Data protecting technology. Automatic learning of neural network "biometrics-access code" converters]. Moscow, 2011.

5. Ivanov A. I., Bezyaev A. V., Elfimov A. V., Vyatchanin S. E. Spetsial'naya tekhnika [Special devices]. 2017, no. 1, pp. 48-51.

6. Ivanov A. I., Perfilov K. A., Malygina E. A. Izmerenie. Monitoring. Upravlenie. Kontrol' [Measurement. Monitoring. Management. Control]. 2016, no. 2 (16), pp. 58-66.

7. Akhmetov B. B., Ivanov A. I., Bezyaev A. V., Funtikova Yu. V. Vestnik Natsional'noy akademii nauk Respubliki Kazakhstan [Bulletin of the National Academy of Sciences of the Republic of Kazakhstan]. Almaty, 2015, no. 1, pp. 5-11.

8. Volchikhin V. I., Ivanov A. I., Serikova N. I., Funtikova Yu. V. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki [University proceedings. Volga region. Physical and mathematical sciences]. 2015, no. 1 (33), pp. 50-59.

9. Yunin A. P., Korneev O. V. Trudy nauchno-tekhnicheskoy konferentsii klastera pen-zenskikh predpriyatiy, obespechivayushchikh bezopasnost' informatsionnykh tekhnologiy [Proceedings of a scientific and technical conference of Penza's enterprises in the field of IT security]. Penza, 2016, vol. 10, pp. 40-42. Available at: http://pniei.rf/ activity/science/BIT/T10-p40.pdf

10. Bezyaev A. V., Ivanov A. I., Korneev O. V. Trudy nauchno-tekhnicheskoy konferentsii klastera penzenskikh predpriyatiy, obespechivayushchikh bezopasnost' infor-matsionnykh tekhnologiy [Proceedings of a scientific and technical conference of Penza's enterprises in the field of IT security]. Penza, 2016, vol. 10, pp. 15-20. Available at: http://pniei.rf/activity/science/BIT/T10-p15.pdf

Волчихин Владимир Иванович Volchikhin Vladimir Ivanovich

доктор технических наук, профессор, Doctor of engineering sciences, professor,

президент Пензенского государственного President of Penza State University

университета (Россия, г. Пенза, (40 Krasnaya street, Penza, Russia) ул. Красная, 40)

E-mail: [email protected]

Иванов Александр Иванович доктор технических наук, доцент, начальник лаборатории биометрических и нейросетевых технологий, Пензенский научно -исследовательский электротехнический институт (Россия, г. Пенза, ул. Советская, 9)

E-mail: [email protected]

Юнин Алексей Петрович ведущий специалист, Пензенский научно-исследовательский электротехнический институт (Россия, г. Пенза, ул. Советская, 9)

E-mail: [email protected]

Ivanov Aleksandr Ivanovich Doctor of engineering sciences, associate professor, head of the laboratory of biometric and neural network technologies, Penza Research Institute of Electrical Engineering (9 Sovetskaya street, Penza, Russia)

Yunin Aleksey Petrovich Lead expert, Penza Research Institute of Electrical Engineering (9 Sovetskaya street, Penza, Russia)

Малыгина Елена Александровна

кандидат технических наук, научный сотрудник, межотраслевая лаборатория тестирования биометрических устройств и технологии, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40)

E-mail: [email protected]

УДК 519.24; 53; 57.017 Волчихин, В. И.

Многомерный портрет цифровых последовательностей идеального «белого шума» в свертках Хэмминга / В. И. Волчихин, А. И. Иванов, А. П. Юнин, Е. А. Малыгина // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2017. - № 4 (44). - С. 4-13. Б01 10.21685/2072-3059-2017-4-1

Malygina Elena Aleksandrovna Candidate of engineering sciences, research worker, the interindustrial testing laboratory of biometric devices and technologies, Penza State University (40 Krasnaya street, Penza, Russia)