Повышение качества принимаемых нейронными сетями решений за счет перехода от двузначных функций квантования к функциям квантования с несколькими уровнями Текст научной статьи по специальности «Компьютерные и информационные науки»

Труды Международного симпозиума «Надежность и качество», 2018, том 1 УДК: 519.24; 53; 57.017

Малыгина1 Е.А., Солопов? А.И., Серикова1 Ю.И., Газин3 А.И., Куприянов4 Е.Н.

гФГБОУ ВО «Пензенский государственный университет», Пенза, Россия

2ФГУП «18 ЦНИИ» МО РФ, Москва, РоссияЗ

3ФГБОУ ВО «Липецкий педагогический университет», Липецк, Россия

4ФГКУ «Войсковая часть 83417», Приморский край, Россия

ПОВЫШЕНИЕ КАЧЕСТВА ПРИНИМАЕМЫХ НЕЙРОННЫМИ СЕТЯМИ РЕШЕНИЙ ЗА СЧЕТ ПЕРЕХОДА ОТ ДВУЗНАЧНЫХ ФУНКЦИЙ КВАНТОВАНИЯ К ФУНКЦИЯМ КВАНТОВАНИЯ С НЕСКОЛЬКИМИ УРОВНЯМИ

Целью работы является повышение качества принимаемого решения искусственными нейронными сетями, обученными по алгоритмам ГОСТР 52633.5 — 2011. При реализации алгоритмов ГОСТР 52633.5-2011 происходит разделение обучения (настройки) линейной части нейрона и нелинейной части нейрона. Нелинейная часть нейрона настраивается таким образом, чтобы переключение нелинейного элемента (квантование его выходного сигнала) осуществлялось в точке равной математическому ожиданию биометрических параметров множества «Все Чужие». Предложено использовать более сложные нейроны с более сложными квантователями. Принцип остается тем же, что описан выше, но при этом необходимо настраивать линейную и нелинейную части нейронов раздельно. При этом настройка квантователя нейронов с большим числом состояний несколько усложняется, но остается технически реализуемой. При реализации предложенной схемы усиливаются хэширующие свойства отдельных нейронов, резко снижается вероятность коллизий «Свой» и «Чужой», тем самым достигается цель повышение качества принимаемых нейронными сетями решений.

Ключевые слова:

НЕЙРОСЕТЕВОЙ ПРЕОБРАЗОВАТЕЛЬ БИОМЕТРИЯ-КОД, АЛГОРИТМЫ ОБУЧЕНИЯ НЕЙРОСЕТЕЙ, МНОГОУРОВНЕВЫЕ КВАНТОВАТЕЛИ

Обученная по алгоритмам, изложенным в ГОСТ Р 52633.5-2011 [1] нейронная сеть, имеющая на выходе два квантователя на два состояния способна с высокой вероятностью узнавать образ «Свой» (выдавать на выходах код «Свой») и с высокой вероятностью отказывать в доступе случайному «Чужому» биометрическому образу (выдавать на выходах случайный код) [2 - 4].

Для того, чтобы сделать автомат обучения абсолютно устойчивым необходимо отказаться от операций численного дифференцирования. Этого можно достичь, пользуясь рекомендациями ГОСТ Р 52633.5-2011 [2].

При реализации алгоритмов ГОСТ Р 52633.5-2011 происходит разделение обучения (настройки) линейной части нейрона и нелинейной части нейрона.

Нелинейная часть нейрона настраивается таким образом, чтобы переключение нелинейного элемента (квантование его выходного сигнала) осуществлялось в точке равной математическому ожиданию биометрических параметров множества «Все Чужие».

Нейросетевой преобразователь биометрия-код свертывает нечеткие данные «Свой» в точку кода «Свой» (рисунок 1) . Нечеткие данные образов «Чужой» нейросетевой преобразователь хэширует (перемешивает). Энтропия кодов «Свой» близка нулю. Энтропия кодов «Чужой» оказывается высокой. Очевидно, что при размещении кода «Свой» и биометрического образа «Свой» в параметрах и связях обученной нейронной сети производится сокрытие этой важной аутентификационной информации. Однако в надежности подобного сокрытия информации нельзя быть уверенным полностью [5].

Рисунок 1 - Упрощенная схема автоматически обучающегося персептрона Розенблатта

Рисунок 2 - Схема автоматического обучения нейронной сети с использованием многоуровневого квантователя и раздельной настройки линейной и нелинейной части нейронов

Статистики выходных кодов, порождаемых образом «Свой» и близкими к нему образами, отличается от статистик, порождаемых образами «Чужие» по функциональному назначению преобразователя биометрия-код [6, 7].

Одним из путей усовершенствования нейросете-вых преобразователей биометрия-код является переход к использованию более сложных нейронов с более сложными квантователями. Принцип остается тем же, но при этом необходимо настраивать линейную и нелинейную части нейронов раздельно.

При этом настройка квантователя нейронов с большим числом состояний несколько усложняется, но остается технически реализуемой [6, 7].

Квантование с двумя уровнями у простых нейронов порождает высокий уровень энтропии выходных био-кодов с двумя проколами высокого уровня энтропии для образов «Свой» и инверсии образа «Свой» (рисунок 3). При этом замечено, что при переходе к многоуровневому квантованию с монотонной функцией квантования прокол гиперсферы высокой энтропии смещается в некоторое случайное состояние.

Рисунок 3 - Гиперсфера высоких значений энтропии, имеющая два прокола почти до центра с очень низким (почти нулевым) значением энтропии кода и его инверсии

Рисунок 4 - Эффект неопределенного расстояния Хэмминга между кодовыми откликами «Свой» и

инверсия «Свой» (^

Рисунок 5 - Эффект размазывания (антисвертки) второго прокола высокоразмерной энтропии при использовании немонотонных нелинейных функций возбуждения в искусственных нейронах

Если использовать функции квантования с множеством состояний, полученных таблицей со случайными значениями, то дыра инверсии «Свой» в гиперсфере многомерной энтропии размазывается по ее поверхности. Гарантированно остается только один прокол в гиперсфере высоких значений энтропии.

Таким образом, при реализации предложенной схемы с использованием многоуровневого кванто-

вателя и раздельного обучения линейной и нелинейной части нейронов усиливаются хэширующие свойства отдельных нейронов, при этом резко снижается вероятность коллизий «Свой» и «Чужой» и тем самым достигается поставленная цель - повышение качества принимаемых нейронными сетями решений и устранение угрозы, описанной в работе [5].

ЛИТЕРАТУРА

1. ГОСТ Р 52633.5-2011 «Защита информации. Техника защиты информации. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа».

2. Волчихин, В.И. Быстрые алгоритмы обучения нейросетевых механизмов биометрико-криптографиче-ской защиты информации/ В.И. Волчихин, А.И. Иванов, В.А. Фунтиков. - Пенза: Изд-во Пенз. гос. унта, 2005. - 276 с.

3. Ахметов Б.С. Технология использования больших нейронных сетей для преобразования нечетких биометрических данных в код ключа доступа/Б.С. Ахметов, А.И. Иванов, В.А. Фунтиков, А.В. Безяев, Е.А. Малыгина /Монография. - Алматы: ТОО «Издательство LEM», 2014 г. - 144 с.

4. Assessing the Level of Uncertainty of small samples of Multidimensional Biological and Biometric Data/ Bakhytzhan Akhmetov, Alexander Ivanov, Elena Malygina, Sergey Kachalin, Natalya

Serikova //International journal of engineering sciences & research technology, 3(7): July, 2014, pp. 284 - 288. http: // www.ijesrt.com.

5. Маршалко, Г.Б. Вопросы оценки стойкости нейросетевой системы биометрической аутентификации, РусКрипто-2 013, режим доступа — http://www.ruscrypto.ru

6. Волчихин В.И. Перспективы использования искусственных нейронных сетей с многоуровневыми квантователями в технологии биометрико-нейросетевой аутентификации/ В.И. Волчихин, А.И. Иванов, В.А. Фунтиков, Е.А. Малыгина // Известия высших учебных заведений. Поволжский регион. Технические науки. -Пенза: Изд-во ПГУ, 2013. №4(28) С.88 - 99.

7. Малыгина, Е.А. Условие корректной оценки стойкости к атакам подбора преобразователей биометрия-код с нейронами, осуществляющими многоуровневое квантование / Е.А. Малыгина // В сб. тр. научно-технической конференции кластера Пензенских предприятий, обеспечивающих безопасность информационных технологий. - Пенза: Изд-во Пенз. ГУ, Т. 9, 2014. - С. 12-13.

УДК 621.382.029.6 Михайлов В.С.

ФГУП «Центральный научно-исследовательский институт химии и механики им. Д.И. Менделеева» (ФГУП «ЦНИИХМ»), Москва, Россия

ИССЛЕДОВАНИЕ ИНТЕГРАЛЬНЫХ ОЦЕНОК

Целью настоящей работы является обобщение наиболее известных правил выбора эффективной оценки, основанной на интегральном подходе.

Методы. Для нахождения эффективной оценки использовались интегральные числовые характеристики точности оценки, а именно - суммарный квадрат смещения (уклонения) ожидаемой реализации некоторого варианта оценки от всех возможных значений оцениваемой характеристики по различным значениям параметра пуассоновского з.р., характеризующего поток отказов совокупности испытуемых изделий.

Результаты и выводы. По результатам испытаний типа МВт интегральные оценки 1-го типа используют в задачах, когда требуется найти эффективную оценку с минимальным смещением, а интегральные оценки 2-го типа - когда требуется найти эффективную оценку с минимальной дисперсией. Идеальным вариантом, в задачах оценивания, является использование несмещенной оценки с минимальной дисперсией, если такая оценка существует. В противном случае следует искать оценки с минимальным смещением (используя функционал 1-го типа), а среди них — с минимальной дисперсией (используя функционал 2-го типа). Такой процесс поиска гарантирует получение оценок с хорошими точностными характеристиками. Поэтому не следует ориентироваться на оценки построенные минимизацией только функционала 2-го типа. Оценка СНДО Т01 оценка Т01 является эффективной интегральной оценкой 1-го типа на классе смещённых оценок, представимых в виде = — + и/(И).

Ключевые слова:

ПУАССОНОВСКИЙ ЗАКОН РАСПРЕДЕЛЕНИЯ; ЭКСПОНЕНЦИАЛЬНОЕ РАСПРЕДЕЛЕНИЕ; ПЛАН ИСПЫТАНИЙ; ТОЧЕЧНАЯ ОЦЕНКА

Введение

Для построения точечных оценок параметров разработаны различные методы, такие, как метод моментов, метод максимального правдоподобия и метод минимума расстояний [1,2]. На практике не всегда удается построить несмещенную оценку и эффективную на классе несмещенных оценок. В общем случае правила нахождения несмещенных оценок в настоящее время не существует и их определение требует своего рода искусства. В ряде случаев найденные несмещенные эффективные оценки имеют весьма громоздкий вид со сложным алгоритмом вычисления [3] . Они также не всегда являются достаточно эффективными в классе всех смещенных оценок и не всегда имеют значительное преимущество перед простыми, но смещенными оценками, с точки зрения близости к оцениваемому показателю.

Определение цели доклада

Целью настоящей работы является обобщение наиболее известных правил выбора эффективной оценки, основанных на интегральном подходе.

Для определенности, не нарушая общности рассуждений, будем рассматривать испытания, проводимые по планам типа Шт и Шт, где N - число испытуемых однотипных изделий; т - наработка (одинаковая для каждого изделия); В - характеристика плана, означающая, что работоспособность изделия после каждого отказа в течение срока испытаний восстанавливается; Б - характеристика плана, означающая, что работоспособность изделия после каждого отказа в течение срока испытаний не восстанавливается [4]. При этом будем считать, что наработка до отказа изделий подчиняется экспоненциальному закону распределения вероятностей (далее - з.р.) с параметром Т0, где последний совпадает со средней наработкой до отказа (далее - СНДО). Тогда расчетное значение вероятности безотказной работы (далее - ВБР) одного изделия за заданное время т будет определяться равенством:

Р0(т) = (1)

Заметим, что плану испытаний типа Шт соответствует распределение Пуассона [4] , а плану типа Шт соответствует биномиальное распределение [4].

Для плана испытаний типа Шт достаточной статистикой является число наблюдённых отказов (г) [1 - 4]. Обозначим случайное число отказов через Я, тогда для плана испытаний типа Шт случайная величина Я (далее - с.в.), имеет пуассоновское распределение Ь(г;Д) с параметром ¿ = N^70 [1 -2]. Тогда, по определению, г - реализация с.в. Я. С другой стороны, Я - сумма с.в. Хи каждая из которых есть случайное число отказов одного из N изделий (1<1<^, поставленных на испытания. Х1 имеют пуассоновское распределение с параметром Д/^

, ... .V________. Л*

(2)

-*к=0 _

Для плана типа Шт достаточной статистикой является число наблюдённых отказов (г) и суммарная наработка 5(Р,т,^) [1 - 4], Я - случайное число отказов, ^ - моменты отказов, ¿ = 1,2,..., Я, тогда для плана испытаний типа Шт случайная величина Я (далее - с.в.), имеет биномиальное распределение рК(к) [2, ф. 1.4.55] с параметрами N и р,0<р<1, т.е. с.в. Я, равная числу успехов в серии из N независимых опытов с вероятностью успеха р = 1 — Р0(т), принимает целочисленные значения 0, 1, 2, ..., N с вероятностями:

рм(к) = Сккрк(1-р)я-к (3)

Функция распределения РЕ(г^,р) биномиальной с.в. Я примет вид

Ря(г,Ы,р)=Як=0рн(к) (4)

Функция распределения РЕ(г^,р) вычисляется через неполную бет-функцию 1р(х,у) по формуле [2, ф. 1.4.57] :

Р—(г, И,р) = 1 — ¡р(г + 1, N — г) = ¡1-р(Ы -г,г+1) (5)

Вероятности рК(к) вычисляется через неполную бета-функцию 1р(х,у) по формуле [2, ф. 1.4.58] :

Ры(к)= 1р(к^ — к + 1) — 1р(к + 1^ — к) (6)

Заметим, что оценка Р(Р^)= — является несмещённой и эффективной оценкой параметрар [2, пример 2.4.20]. Оценка Р(Р^)=— так же является и оценкой максимального правдоподобия [2, пример 2.10.7]

Определим кратко наиболее встречающиеся критерии эффективности оценок [1, 2] и их отличия.