CC BY
26
УДК 519.7; 681.051.015
Достоинства тактики многократного повышения размерности при решении задач идентификации и управления
А.И. Иванов
Показано, что общепринятая на сегодня практика экономии размерности при решении задач идентификации и управления может быть ущербна; продемонстрирован эффект повышения качества принимаемых решений на примере решения задачи высоконадежной биометрико-нейросетевой идентификации человека.
It is shown, that today's practice of dimension economy when solving problems of biometric identification and management might be defective; by the example of solving a problem of high-reliable biometric neuro-net identification of the person the effect of quality improvement of accepted decisions in billion times is shown, when approximately, hundred-fold increase of vector length of data and management.
биометрической
Введение. В настоящее время общепринятой является практика экономии интеллектуальных ресурсов при решении задач идентификации и управления. Техника выявления наиболее информативных данных и выбрасывания всех других данных досталась нам в наследие от прошлых веков в силу очевидной нехватки вычислительных ресурсов. То, что при решении задач идентификации и управления сегодня следует всемерно упрощать задачу и ни в коем случае нельзя искусственно завышать ее размерность, является догмой современного инженерно-научного сообщества.
Когда мощности двигателя для очень большого самолета недостаточно, разработчики морально готовы ставить по 4 двигателя на каждое крыло, но, следуя неписаным законам экономии размерности задачи управления, управление всеми двигателями обязательно делается параллельным. Предшествующий опыт диктует, что все другие возможные решения задачи управления не имеют смысла, увеличение размерности управления кажется бесперспективным и неоправданным. Понятно, что рост размерности управления неминуемо приведет к его резкому усложнению и вероятной потере устойчивости управления, т.е. негатив просматривается, а позитив не виден.
Житейский здравый смысл навязывает нам парадигму Оккама: «не следует вводить новых сущностей (новых размерностей) сверх необходимого», - как истину для всех времен и задач. Скорее всего, Оккам действительно сформулировал истину для систем и организмов с сильно ограниченными интеллектуальными возможностями. Когда интеллектуальные ресурсы малы, их следует всемерно экономить, однако из этого не следует,
что данное правило верно для развивающихся (только проектирующихся) систем, которые, возможно, будут усложняться и, соответственно, «усиливать свои мозги» (увеличивать размерность своего управления). Этого не видно в технике, но можно наблюдать в природе.
Человек живет в трехмерном пространстве и, если бы природа руководствовалась парадигмой Оккама, он был бы примитивным уродом, с кистью-захватом, имеющей три пальца, и руку ровно с тремя степенями свободы, у которой было бы только три привода (по одной мышце на каждую степень свободы). Напротив, у человека рука очень сложная, она имеет от 27 до 53 степеней свободы, управляемых более чем сотней приводов-мышц. Природа не поскупилась на человека, увеличив примерно в 30 раз сложность механики его руки по сравнению с минимально необходимой, по мнению Оккама, и, соответственно, увеличив примерно в 30 раз размерность решаемых человеком задач управления.
Высокоразмерное управление информационной безопасностью через применение криптографического ключа. Искать среди моря работающих сегодня ПИД-регуляторов технически удачные попытки искусственного повышения размерности принимаемых решений, видимо, бесполезно. Даже если они и предпринимались, их авторы делали это «подпольно», дабы не быть белой вороной. Единственным действительно многомерным управлением на сегодня является управление информационной безопасностью с помощью криптографического ключа. Человек или автомат, имеющий право на управление, должен обладать криптографическим ключом, например, длиной
256 бит. Ключ криптографического управления должен тщательно сохраняться в промежутках между актами управления. Компрометация криптографического ключа эквивалентна передачи «чужому» права управления.
Особо остро проблема безопасного хранения ключа стоит перед современными мобильными пользователями. Если современный мобильный пользователь осмелится обзавестись механизмом формирования электронной цифровой подписи (ЭЦП), то он столкнется с проблемой безопасного хранения своего личного ключа формирования ЭЦП. Если Вы состоятельный человек, то хранить свой ключ формирования ЭЦП в домашнем сейфе нельзя. Сейфы имеют очень низкую стойкость к взлому от (0 до 5 ч). Носить ключ при себе нельзя - провоцируешь атаку на себя. Если хранить ключ в арендованной у банка ячейке сейфа, то теряешь мобильность. Куда не кинь - везде клин. Возникает так называемое «цифровое неравенство», когда сверхсостоятельные люди, имеющие постоянную личную охрану и сейфы в своих автомобилях, могут мобильно пользоваться ЭЦП, а всем остальным людям среднего и низкого достатка с ЭЦП лучше не связываться.
Нейросетевые высокоразмерные преобразователи «биометрия-код». Одним из путей решения проблемы «цифрового неравенства» является применение нейросетевых преобразователей «биометрия-код» ключа доступа. Если такой преобразователь выполнен в соответствии с требованиями ГОСТа [1], то человек-хозяин, предъявивший преобразователю свой тайный биометрический образ, на 256 выходах нейросетевого преобразователя получит свой ключ. Любой другой человек, пытающийся предъявить сети другой случайный биометрический образ, будет получать на 256 выходах нейросети случайные коды. ГОСТ [1] требует, что бы состояния «0» и «1» каждого разряда выходных случайных кодов «Чужие» были равновероятны, а модуль парных коэффициентов корреляции между разрядами случайных кодов не превышал 0,15.
Выполнение этих условий оказалось достаточным для того, что бы многократно увеличить качество принимаемых нейронной сетью решений. Так, обычная маленькая трехслойная нейросеть с 24 входами и одним выходом способна принимать решения с вероятностью ошибок 1-го и 2-го родов на уровне 10-2. Если же увеличивать размерность входных данных до 416 и число выходов нейросети до 256, то вероятность ошибок первого рода
(ошибочный отказ доступа «Своему») сохраняется на уровне Р1 = 10-2, а вероятность ошибок второго рода (ошибочный допуск к управлению «Чужого») снижается примерно на 10 порядков до .Р2=10"12. Получается, что искусственное увеличение размерности задачи управления примерно в 100 раз дает выигрыш в качестве принимаемых решений примерно в миллиард раз.
Оказывается, что наращивать размерность искусственных мозгов (искусственной нейронной сети) много выгоднее, чем экономить на этом (по Оккаму). «Проклятие высокой размерности» существует только для низкоинтеллектуальных систем, построенных на примитивных ПИД-регуляторах. Для высокоинтеллектуальных систем и организмов «проклятие высокой размерности» становится «благодатью высокой размерности». Используя эту «благодать», высокоинтеллектуальные, сложные системы и организмы эволюци-онно обыгрывают низкоинтеллектуальные, простые системы и организмы.
Быстрые ортогонально-декорреляционные алгоритмы обучения больших и сверхбольших искусственных нейронных сетей. При использовании нейросетевых технологий основной проблемой является обучение больших и сверхбольших искусственных нейронных сетей. Малые нейронные сети могут быть обучены с помощью любого из известных алгоритмов. Однако по мере увеличения параметров размерности нейронных сетей (числа входов у нейросети, числа выходов нейросети, числа нейронов в одном слое, числа слоев нейронов, числа входов у каждого нейрона) растет сложность задачи обучения. Обучение малых нейронных сетей можно осуществлять даже самыми низкоэффективными алгоритмами абсолютно случайного подбора параметров. В то же время даже незначительные усложнения сети нейронов делают случайный подбор уже неприемлемым, более того, даже алгоритмы направленного перебора, например, метод обратного распространения ошибки, очень быстро оказываются неэффективными.
Для решения проблемы обучения больших и сверхбольших нейронных сетей были созданы специальные ортогонально-декорреляционные алгоритмы быстрого итерационного и неитерационного обучения [2]. Поясним суть этих алгоритмов на примере обучения однослойной нейронной сети с простейшими двухвходовыми нейронами. Распределения значений на входах/выходах этой сети отображены на рис. 1.
Рис. 1. Правильно обученная однослойная сеть из двух нейронов, откликающаяся кодом «10» на образ «Свой»
Как показали эксперименты, биометрические образы все «Чужие» имеют близкий к нормальному закон распределения значений по любому из контролируемых биометрических параметров. Случайные образы «Чужой» независимы и потому дают двухмерное нормальное распределение, которое после нормирования по дисперсиям хорошо описывается кругом. Наиболее часто биометрические параметры появляются близко к центру множества все «Чужие». В рассматриваемом случае первый и второй контролируемые биометрические параметры множества «Свой» сильно коррелированны, и граница их распределения имеет вид эллипсоида. Обучение первого и второго нейрона однослойной сети приводит к сжатию самого множества «Свой», а также к выталкиванию его из центра множества «Чужие». На рис. 1 стрелками показаны траектории движения центров множеств «Свой» при обучении первого и второго нейронов.
При случайном задании входных весовых коэффициентов сумматоров первого и второго нейронов множество образов «Свой» случайно раз-
мещается внутри множества «Чужие», само же множество «Чужие» после нормирования по дисперсиям всегда имеет форму круга - сечения некоторой гиперсферы. Данные образов «Чужие» не могут отображаться как эллипс, случайные биометрические образы «Чужой» имеют случайные, некоррелированные параметры.
Чтобы обучать нейросеть, необходимо заранее задать выходной код, соответствующий образу «Свой», в нашем случае выходной код «Свой» соответствует комбинации «01». Для того чтобы максимально затруднить «Чужому» случайное угадывание кода «Свой», необходимо линейные разделяющие функции строить точно проходящими через центр множества «Чужие». В этом случае «Чужой», не знающий образа «Свой», способен угадывать каждый разряд кода с вероятностью 0,5, т.е. выполняется требование ГОСТ [1] по равновероятному появлению состояний «0» и «1» случайных кодов «Чужие» на всех выходах нейросети.
Для того чтобы нейросеть при атаках подбора работала еще и как хэш-функция (мешалка), необ-
ходимо добиться независимости (некоррелированности) выходов нейронов. Для достижения этого достаточно ортогонально задавать линейные разделяющие функции выходов различных нейронов (в нашем случае разделяющие функции заданы перпендикулярными относительно друг друга). В итоге получится двухмерный преобразователь «биометрия-код», способный распознавать «Своего» с вероятностью, близкой к 1,0, и ошибочно пропускать «Чужого» с вероятностью ошибок 2-го рода, равной 0,25 (Р2 = 2-2). Столь скромные результаты сегодня никого не могут удивить, более того, знатоки нейросетевого обучения легко могут показать, что описанный выше алгоритм обучения при низких размерностях задачи не является оптимальным. Для низких размерностей нейронных сетей (с малым числом входов и выходов) обычные алгоритмы минимизации средне-квадратической ошибки дают гораздо лучший результат. Однако эти алгоритмы очень быстро оказываются неработоспособными при увеличении размерности решаемой задачи.
В отличие от обычных алгоритмов обучения нейронных сетей новые ортогональные (декорре-ляционные) алгоритмы обучения [2], во-первых, оказываются работоспособными даже при обучении нейронных сетей с 256 входами и 256 выходами. Во-вторых, на базе этих алгоритмов удается полностью автоматизировать процесс обучения искусственных нейронных сетей высокой размерности. В-третьих, эти алгоритмы оказались очень быстрыми, они способны обучать большие и сверхбольшие нейронные сети за несколько секунд машинного времени. На обучение нейронных сетей таких же размеров методом обратного распространения ошибки потребуются десятки лет машинного времени. Все это вместе позволяет увеличить размерность числа входов и числа выходов нейросетевого интеллекта биометрической защиты информации примерно в 100 раз по сравнению с низкоинтеллектуальной биометрией предыдущего поколения.
Потенциальные и реальные возможности высокоинтеллектуальных систем биометрической защиты информации. Можно показать, что наращивание числа выходов у нейросети с независимыми (некоррелированными попарно) выходами приводит к экспоненциальному росту качества принимаемых нейронной сетью решений. В рассмотренном выше идеальном случае ортогональных друг другу гиперплоскостей нейросеть с 256 входами и 256 выходами будет иметь Р2 = 2-256,
что точно соответствует вероятности удачи при попытке подбора криптографического ключа длиной 256 бит. Это весьма и весьма оптимистическая оценка. У высокоинтеллектуальных систем действительно наблюдается экспоненциальный рост качества принимаемых решений при росте их входной и выходной размерностей, однако показатель экспоненты оказывается меньше идеального.
Реально работающие макеты преобразователей «биометрия-код», во-первых, имеют число входов существенно больше числа выходов нейросети, т. е. на один выход приходится, примерно, по 1,6 входов (входных биометрических параметров). Во-вторых, удается реализовать только треть потенциальных возможностей нейросети. Вместо 2-256 для вероятности ошибок 2-го рода вектор из 256-битного ключа обеспечивает существенно большую вероятность ошибок на уровне 2-78,6, т. е. случайные выходные коды «Чужой» не являются идеальным «белым шумом», они имеют хорошо наблюдаемую остаточную парную корреляцию между разрядами и хорошо наблюдаемую групповую корреляцию между различными группами разрядов. Тем не менее, реальное снижение вероятности ошибок 2-го рода до величины порядка Р2 к 2-78,6 является достаточно неожиданным эффектом увеличения размерности нейросети, который из-за его неожиданности многократно перепроверялся на разных биометрических образах. При экспериментах в качестве биометрических образов использовались в основном рукописные парольные фразы, статистика обрабатывалась по специальным методикам, изложенным в [3]. Эффект исчезновения абсолютно плохих данных при высокоинтеллектуальной высокоразмерной нейросетевой обработке. Одним из самых интересных свойств новых алгоритмов обучения является то, что понятие «плохие данные» исчезает. То, что ранее выбрасывалось как «пустая информационная порода», начинает использоваться нейросетевой машиной обогащения данных и приносить реальную пользу. Этот эффект возник из-за того, что мы перестали упрощать ситуацию, следуя парадигме Оккама. В частности, по условиям биометрической задачи пришлось вынужденно отказаться от типового упрощения, заменяя задачу извлечения образов заданного класса из хаоса всех возможных образов на более простую задачу разделения двух классов.
Если рассматривать задачу разделения двух классов, то в ней действительно можно указать «плохие данные», которые проще всего выбро-
сить. В более общей задаче это далеко не так. Новая ситуация поясняется рис. 2. На этом рисунке отображено множество образов «Чужие», окружающих выделяемое множество образов «Свой», площадь которого составляет примерно 0,05-ю часть площади более общего множества всех возможных «Чужих» образов. Соответственно, вероятность ошибок первого рода для рассматриваемой ситуации составляет величину, близкую к 0,05, что вполне приемлемо для биометрии.
В том случае, когда не требуется связывать биометрический образ «Свой» с поступившим извне криптографическим ключом, можно решить задачу выделения «Своего» через проведение к выделяемому множеству касательных. Каждый нейрон сети реализует одну касательную.
При необходимости можно использовать достаточно много нейронов, введение каждого нового нейрона будет все более точно выделять множество «Свой», сокращая вероятность появления коллизий и ошибочного принятия какого-либо «Чужого» за «Своего». Для ситуации, изображенной на рис. 2, пара биометрических параметров V, позволяет «хорошо» отделять 95% образов «Чужие», и только 5% этих образов дают коллизии, т. е. для 95% пар образов «Свой»/«Чужой-Ь> пара параметров V;, Vу является хорошей, и только для 5% этих пар сочетание параметров V;, Vj следует рассматривать как «плохое». Численное соотношение между хорошо отделимыми образами и плохо отделимыми образами (95/5) остается при-
Рис. 2. Касательная к множеству «Свой» раскрывает некоторые из возможных коллизий образов «Чужие», плотно покрывающие множество «все Чужие»
мерно одинаковым для любой пары параметров. Изменяются только списки, «хорошее» частично становится «плохим» и наоборот.
Если взять любую новую пару биометрических параметров, то получится аналогичная ситуация. Таким образом, только пары параметров с высокой корреляцией являются плохими при их использовании в одной паре, а любые иные биометрические данные оказываются «хорошими» и вполне пригодны для применения. Любой так называемый «плохой» параметр обязательно оказывается «хорошим», когда попадает в другую комбинацию. Более того, в реальных системах используется не пара, а группа параметров (группы формируются по 24 параметра, случайно выбранных из 416), что только улучшает ситуацию с превращением «плохих» данных в «хорошие».
Именно по этой причине новые технологии многомерного нейросетевого анализа биометрических данных позволяют учитывать все 416 вычисляемых параметров динамики рукописного пароля и получать крайне низкую вероятность коллизий (Р2 ~ 2-78,6 ~ 10-23,8). Если пользоваться старыми подходами к решению задачи, то пришлось бы выбросить как плохие 400 параметров. На оставшихся 16 самых-самых информативных параметров можно бы получить вероятность коллизий порядка 0,01 (Р2 ~ 2-6,6 «10"2). Тогда потерялось бы примерно 20 порядков в десятичной системе исчисления или 70 порядков в двоичной системе исчисления. Такова расплата за поклонение авторитету средневекового философа -Оккаму, экономию своих и заодно искусственных мозгов.
Свертывание избыточной размерности криптомеханизмами и логическими автоматами. Из
практики работы с многомерными биометрическими устройствами вытекает то, что вероятность появления у них ошибок первого рода слабо зависит от размерности. Низкоразмерные и высокоразмерные системы узнают «Своего» с примерно одинаковым качеством. В реальных устройствах «Свой» пишет своею рукою свой пароль и получает код своего ключа. Далее ключ используется в некотором криптопротоколе аутентификации, и на его выходе получается одномерное решение «Свой» или
Рис. 3. Выделение множества «Свой» однослойной нейронной сетью с несколькими выходами
«Чужой». Чем больше будет длина ключа, тем сложнее его угадать, предъявив системе случайный биометрический образ. Т. е., варьируя длину ключа, можно уменьшать вероятность ошибок 2-го рода до приемлемой величины. Если «Чужой» или «Свой» ошибется хотя бы в одном из 256 разрядов ключа, то попытку придется повторить, протокол аутентификации не сработает.
Получается некоторая алгоритмическая цепь, в соответствии с которой сначала увеличили размерность, избавились от коллизий «Чужих» и затем снизили размерность до необходимого. Крип-томеханизмы хорошо работают в системах биометрической защиты информации, однако использовать их в других приложениях нет смысла. В связи с этим, остановимся более подробно на других механизмах, способных понижать избыточно введенную размерность.
Возможен синтез простого логического автомата, понижающего размерность (рис. 3). Этот автомат предназначен для понижения размерности решения однослойной сети из восьми нейронов (число входов у нейронов не оговаривается), наблюдающих образ «Свой» с разных позиций. Каждый нейрон делит свое входное пространство некоторой гиперплоскостью, касательной к гиперсфере «Свой». Одно из сечений многомерного входного пространства отображено на рис. 3. Ситуация, когда выходной код имеет все нулевые разряды, соответствует коду «Свой», любое изменение кода эквивалентно выходу за пределы гиперсферы «Свой». То, что множество «Свой» описывается гиперсферой, гарантируется применением специального алгоритма обучения [2], осуще-
ствляющего декорреляцию естественных связей биометрических параметров.
В принципе логический автомат по свертыванию размерности может быть и более сложным. Например, он может осуществлять некоторую сортировку выходных кодов и использовать эту информацию для других целей. Синтез подобных автоматов не очень сложен и строится на обычной логике. Вместо автомата может быть использована память, которая просто запоминает все возможные состояния кода «Свой», выявленные при тестировании обученной системы. Кроме того, следует заметить, что число слоев нейронов у многовыхо-довой сети может быть любым, так как сложность алгоритмов быстрого обучения [2] практически не зависит от числа слоев.
Получается, что достаточно просто можно и сворачивать, и разворачивать размерности решаемых задач до величин, какие необходимы на практике. То, что ранее этим не пользовались, объясняется только тем, что мы так воспитывались и нас всех в прошлом веке приучили экономить на размерностях формулирования (формализации) задач и размерностях привлекаемого для их последующего решения искусственного Интеллекта. Единственным исключением была криптография, которая не могла экономить на размерностях. Именно по этому первое же приложение, связывающее дискретную криптографию с биометрическими нечеткими данными, попало в область «благодати» высоких размерностей. Пытаясь обойти традиционное «проклятие размерности» по новому многомерному нейросетевому мостику, мы неожиданно попали в совершенно новую область с иными техническими возможностями. • На самом деле это новая область нова только для современной науки. Природа подобными приемами пользуется уже миллионы лет. Эволюция идет в сторону усложнения механики животных и наращивания их естественного интеллекта. Человек не задумываясь, подсознательно, решает задачи огромной вычислительной сложности и очень большой размерности, когда ходит, говорит, пишет, работает, играет. Видимо, искусственное усложнение системы и повышение размерности ее управления является единственным путем реализации высокоточных движений при применении низкоточных приводов и низкоточных датчиков положения. Когда речь идет об усреднении одномерных данных со случайной ошибкой по серии независимых экспериментов, все понят-
но. Однако усреднять во времени - это терять время. Природа усредняет в многомерном пространстве, предварительно добившись через хаос существенной пространственной избыточности и независимости (случайности) расположения точек наблюдения. Наблюдателей в многомерном пространстве может быть очень много и каждый из них видит объект со своей многомерной позиции (см. рис. 3). Система из 256 многомерных наблюдателей должна знать «Своего» хорошо. Все наблюдатели узнают еще «хорошо» с достаточно высокой вероятностью - 0,95. А вот «Чужого» они случайно пропустить практически не могут, хотя наиболее часто только половина из наблюдателей настаивает на том, что «Чужой» сильно не похож на «Своего». Коллизии обмана всех до одного наблюдателей появляются крайне редко, примерно в миллиард раз реже, чем обманывается ровно половина наблюдателей. Чем больше многомерных наблюдателей имеет система, тем труднее ее обмануть. В двухмерном пространстве могут быть размещены око-
ло десятка слабозависимых нейросетевых наблюдателей. Для «-мерного входного пространства биометрических признаков возможное число слабозависимых нейросетевых наблюдателей можно оценить как 10й"1.
ЛИТЕРАТУРА
1. ГОСТ Р 52633-2006 «Защита информации. Техника защиты информации. Требования к средствам высоконадежной биометрической аутентификации».
2. ВолчихинВ.И., ИвановА.И., ФунтикоеВЛ. Быстрые алгоритмы обучения нейросетевых механизмов биометрико-криптографической защиты информации. Монография. Пенза-2005. Изд. Пензенского государственного университета.
3. Малыгин А.Ю., Волчихт В.И., Иванов А.И., Фунтиков В.А. Быстрые алгоритмы тестирования нейросетевых механизмов биометрико-криптографической защиты информации/ Пенза-2006. Изд. Пензенского государственного университета.
Поступила 10. 09. 2007 г.
