CC BY
37
Иванов А.И., Малыгин А.Ю., Ефимов О.В. ПОВЫШЕНИЕ КАЧЕСТВА РЕШЕНИЙ ЧЕРЕЗ УВЕЛИЧЕНИЕ РАЗМЕРНОСТИ ВЫХОДНОГО ВЕКТОРА НЕЙРОСЕТЕВЫХ ПРЕОБРАЗОВАТЕЛЕЙ БИОМЕТРИЯ/КОД
Практика применения искусственных нейронных сетей для распознавания биометрических образов показывает, что попытки использования достаточно больших нейронных сетей с одним выходом не позволяет получить хороших и очень хороших результатов распознавания. Если оставаться в традиционной парадигме экономии размерности выходного вектора нейросетевого решения, то выходной код длинной в один бит будет всегда давать не более чем удовлетворительные решения [1,2]. Этот тезис для большинства специалистов по нейросетевой обработке информации на сегодняшний день является не очевидным и нуждается в обосновании.
Для доказательства рассмотрим простейший случай однослойной нейронной сети и возможные топологии нейросетевых решений низкой, средней, высокой и сверхвысокой размерности бинарного вектора выходных решений [2]. Примеры однослойных сетей нейронов приведены на рисунке 1.
В левой части рисунка 1 изображена вырожденная однослойная нейронная сеть с одним нейроном (одним единственным выходом). Всего однослойная сеть нейронов преобразователя биометрия/код имеет 416 входов (данные продукта «Нейрокриптон 1.0»). В том случае, если бы мы имели идеальную машину обучения мы могли бы использовать один нейрон с 416 входами.
Сеть нейронов высокой размерности с 416 входами и 416 выходами
409 ь
410
411
412
413
414
415
416
1
21
Е
1
Вырожденн ая нейросеть с одним единственным выходом
33
1
14
53
76
7
Рис. 1 - Структуры однослойных нейронных сетей с минимальной и средней размерностью бинарного
вектора выходных решений
При этом логарифмический показатель качества принимаемых решений должен был быть близок к 6, что соответствует вероятностям ошибок первого и второго рода на уровне 0.000000001. Это хороший результат, однако он практически недостижим из-за отсутствия идеальной машины обучения нейронов. Реальные машины обучения, работают много хуже идеальной машины. Как показано на рисунке 2 идеальная машина обучения при неограниченном увеличении числа входов у нейрона монотонно увеличивает значение показателя качества обучения, стремясь к некоторой асимптоте обучения, соответствующей предельно возможному качеству обучения одного нейрона на примерах биометрических образов данного типа. К сожалению, все известные на сегодня реальные машины обучения обладают принципиальным дефектом неспособности эффективной борьбы с плохой обусловленностью задачи обучения.
На рисунке 2 видно, что реальная машина обучения нейрона достигает наилучшего качества обучения при учете нейроном 16, 17 входных биометрических параметров. При большем числе входов проис-
ходит потеря качества обучения, причем эту потерю удается обнаружить только тестированием нейрона после его обучения при монотонно увеличиваемом числе входов, упорядоченных по их качеству.
деальна я машин обучен ИЯ
Реалі нал маш ина обуч ения
Число входов у обучаемого нейрона
Рис.2 - Кривая зависимости качества обучения одного нейрона от числа его входов при выделении рукописных букв рукописной буквы «а» из иных символов (среда моделирования «Нейроучитель 1.0»,
лабораторная работа № 4)
Из зависимостей, отображенных на рисунке 2 следует однозначный вывод о том, что завышение числа входов у нейронов нежелательно. Наоборот желательно выбирать число входов у нейронов таким образом, что бы оставаться на участке начального монотонного подъема функции качества обучения реальной обучающей машиной. В связи с этим обстоятельством выбрано 7 входов у нейронов однослойных нейронных сетей, отображенных на рисунке 1.
В соответствии с функцией качества реального обучения рисунка 2 при 7 входах среднестатистический нейрон, учитывающий 7 случайно выбранных биометрических параметра должен принимать решение
«Свой» / «Чужой» с показателем качества менее q » 2.6, что соответствует вероятностям ошибок первого и второго рода более 0.005. В итоге, мы получаем обычный показатель для относительно слабых биометрических систем - ошибка более чем в 0.5% случаев. Обычно для относительно слабых систем идентификации человека по рукописному почерку ошибки первого и второго рода составляют от 1% до
5%.
Заметим, что слабое решение с ошибкой 5% получается, если мы привлекаем для нейросетевого анализа только 7 биометрических параметров, оставшиеся 409 параметров мы не можем использовать в однослойной сети с одним выходом. Сеть выродилась до одного нейрона, ее структура оказывается практически пустой, что и отображено в левой части рисунка 1.
Еще одной неприятной особенностью однослойных сетей является то, что они плохо приспособлены для выделения частного подмножества образов «Свой» из более общего множества «ВСЕ Чужие» [2]. Один нейрон с нечетной функцией возбуждения не способен выделять подмножество, он способен только делить гиперпространство признаков некоторой гиперплоскость. В случае двухмерного пространства мы получаем ситуацию, отображенную на рисунке 3.
Рис. 3 - Выделение множества «Свой» однослойной нейронной сетью с несколькими выходами
Из рисунка 3 видно, что одновыходовая однослойная сеть из одного нейрона с нечетной пороговой функцией возбуждения способна выделять подмножество «Свой» с вероятностью ошибки близкой к 0.5 (качество близко к нулевому q » 0.0). Такая вырожденная сеть просто не умеет решать этого типа задачи. Однако если мы используем сеть из множества подобных нейронов (сеть в правой части рисунка 3), то положение кардинально изменяется. Достаточно каждый из нейронов настраивать так, что бы его разделяющая гиперплоскость была касательной к выделяемой гиперсфере «Свой». Получается некоторый бинарный вектор решений на выходе нейросети, дающий очень плохие решения в каждом конкретном разряде выходного кода (вероятность ошибки близка к 0.5), однако совокупное логическое решение на базе этого вектора имеет очень высокое качество. Чем больше размерность выходного вектора, тем выше качество принимаемого далее логического решения.
С помощью одной прямой вообще нельзя описать круг, однако используя множество касательных мы можем, как угодно точно описать круг. Более того, мы можем ввести удобные обозначения разделяемых гиперплоскостью гиперпространств таким образов, что выделяемому подмножеству «Свой» будет соответствовать выходной код, состоящий из одних нулей [00000,...., 0]. Появление хотя бы одной из единиц в выходном коде соответствует попаданию в область «ВСЕ Чужие».
Принципиальным отличием относительно «слабых» нейросетевых решений является крайне низкая размерность вектора выходного нейросетевого решения. Принципиальным отличием высоконадежных нейросе-тевых решений [1,2,3] является искусственное увеличение размерности вектора выходных нейросетевых решений в десятки, сотни, тысячи раз с целью многократно повысить качество конечного логического (криптографического) решения. Экспериментально подтверждено, что переход от 1-го выхода нейросети к 256-ти выходам позволяет снизить вероятности ошибок второго рода с 10-2 до 10-22. Очевидно, что снижение вероятности ошибок второго рода на 20 порядков без перехода к решениям высокой размерности технически неосуществимо. Столь высокое повышение качества принимаемых решений не возможно осуществить к классической парадигме экономии размерности (нейросетевых вычислений) принимаемых решений.
ЛИТЕРАТУРА
1. Волчихин В.И., Иванов А.И. Основы обучения искусственных нейронных сетей. //учебное пособие. Пенза: Изд-во Пенз.ГУ. - 2004. 113 С.
2. Волчихин В.И., Иванов А.И., Фунтиков В.А. Быстрые алгоритмы обучения нейросетевых механизмов биометрико-криптографической защиты информации. //монография. Пенза: Изд-во Пенз.ГУ - 2005.
273 С.
3. Проект ГОСТ Р (ТК362, первая редакция) «Защита информации. Техника защиты информации. Требования к высоконадежным биометрическим средствам аутентификации» Пенза-Воронеж-2005 г., ФГУП ПНИЭИ, ГНИИИ ПТЗИ ФСТЭК России.
