CC BY
45
УДК 004.89 в. И. ВАСИЛЬЕВ
А. Е. СУЛАВКО С. С. ЖУМАЖАНОВА А. А. НИГРЕЙ
Уфимский государственный авиационный технический университет, г. Уфа
Омский государственный технический университет, г. Омск
Омский государственный университет путей сообщения, г. Омск
ОБ ОЦЕНКЕ
ВОЗМОЖНОСТЕЙ ЧЕЛОВЕКА ПО РАСПОЗНАВАНИЮ РУКОПИСНЫХ ОБРАЗОВ В ПРОЦЕССЕ ИХ ВОСПРОИЗВЕДЕНИЯ НА ЭКРАНЕ МОНИТОРА_
Проведен эксперимент по и д ентификации авторства рукописных контрольных слов людьми. Процент ошибок в зависимости от количества од новременно ид ентифициру-емых подписантов составил от 2,6 % до 17,6 %. По результатам эксперимента искусственный интеллект существенно превосходит естественный по надежности распознавания подписантов по рукописным образам. Установлено, что естественный интеллект использует для распознавания рукописных динамических графических образов признаки, не зависящие от скорости их воспроизведения. Ключевые слова: идентификация подписантов, естественный интеллект, искусственный интеллект, распознавание образов, особенности воспроизведения подписи. Работа выполнена при финансовой поддержке РФФИ (грант № 16-07-01204).
Идентификацией человека по особенностям написания подписи занимается графология, наука, изучающая зависимости между почерком и личностью человека, его характером. С достигнутыми в этом направлении результатами можно ознакомиться в [1—8]. Графологическая экспертиза применяется в бизнесе, медицине, криминалистике, спорте, педагогике и в других областях. Осуществление почерковедческой экспертизы человеком-экспертом — дорогостоящая и длительная операция, которая по некоторым обобщенным оценкам дает в среднем одну ошибку на тысячу случаев (экспертиз) [9]. При принятии решения специалист-графолог не только исследует рукописный образ, но и учитывает дополнительную информацию о подписанте для глубинного анализа, затрагивающего особенности его личности.
На сегодняшний день наблюдается рост числа научных работ, посвященных разработке методов автоматической идентификации и верификации личности человека по подписи [10—17]. При идентификации подписанта его автограф сравнивается с эталонами автографа других (нескольких) подписантов (сравнение один ко многим), при верифика-
ции подписи ее образец сравнивается с эталоном автографа конкретного субъекта (сравнение один к одному). Вместе с тем данные методы не способны учитывать дополнительную информацию о подписанте и анализируют только доступные признаки — особенности внешнего вида подписи, параметры изменения скорости и давления пера при ее написании. Достигнутая надежность данных процедур составляет порядка 0,5— 1 % ошибок в режиме верификации [10, 12]. При идентификации субъектов вероятность ошибок возрастает в зависимости от количества идентифицируемых подписантов. Например, в работе [18] при идентификации 20 субъектов по подписи средний процент ошибок составил 1,2 %, в работе [19] при идентификации 80 подписантов получено в среднем 1,75 % ошибок. На первый взгляд, получается, что надежность распознавания подписи человеком примерно в 5—10 раз выше, чем надежность решений, принимаемых искусственным интеллектом. Однако такое сравнение является некорректным, по крайней мере, по двум причинам:
1. Человеку-эксперту доступна дополнительная информация о подписанте, которой нет в распоряжении у распознающего автомата.
2. Профессиональный графолог при проведении экспертизы может использовать имеющиеся средства идентификации, верификации или классификации рукописных образов, т.е. прибегать к помощи искусственного интеллекта при принятии собственного решения.
В силу изложенного выше возникает ряд вопросов. Какова вероятность ошибки верификации подписи естественным интеллектом? Какие признаки использует человек при распознавании рукописного образа? Чьи решения являются более надежными — человека или машины? Анализ научной литературы не дает четких ответов на данные вопросы. Поэтому определить вероятность ошибки идентификации человека по его подписи (или другому слову) естественным интеллектом можно только на основании эксперимента.
Настоящая статья описывает эксперимент, цель которого установить природные возможности естественного интеллекта по распознаванию воспроизводимых рукописных образов (далее подписей).
В литературе имеется много информации о признаках подписи и почерка в целом, которые характеризуют личность, характер, а также психофизиологическое состояние человека [1—8]: направление, длина, особенности написания начала и конца подписи (либо другого рукописного образа), размеры, закругленность и острота, связанность и разорванность букв, сила нажатия (давление) при написании букв, наличие вертикальных линий в подписи, скорость написания рукописного образа (всего известно более 25 характеристик). Различные характеристики почерка дают в совокупности ценную информацию о темпераменте человека, его характере, состоянии в момент написания, отношении к предмету и содержанию написанного. Психологический анализ почерка предполагает учет всех известных сведений о данном индивиде и обстоятельствах написания анализируемого текста. Результаты современных исследований подтверждают имеющуюся взаимосвязь почерка с некоторыми психическими особенностями человека. По мнению многих психологов, в почерке больше, в чем в любой другой двигательной активности человека, проявляется его психическая сущность. Неосознанное напряжение определенных групп мышц сопровождает эмоциональные переживания. Различия в тонусе разных мышечных групп будут источником различий и в расположении линий на бумаге. Некоторые геометрические понятия сим-воличны для людей. Например, «острые углы», как правило, ассоциируются с упорством, резкостью, неуступчивостью, что зачастую находит свое отражение в написании букв: но если упорство и резкость человеку неприятны, он будет избегать в письме острых углов, потому что знает об этой ассоциации.
При машинном распознавании могут анализироваться давление и скорость письма, а также характеристики внешнего вида рукописных образов. Однако в этом случае используется несколько иной подход для выделения признаков — конкретных параметров (физических величин), которые характеризуют подписанта. Если эксперт-графолог оценивает наличие или степень выраженности отдельных элементов письма (дифференцирует рукописный образ), то средство автоматической идентификации человека вычисляет интегральные величины, используемые в дальнейшем для обучения и распознавания: коэффициенты ряда Фурье, вейвлет-разложений, коэффициенты корреляции между функциями коор-
динат и давления пера на устройстве ввода, вычисление матрицы расстояний между равноудаленными точками подписи [10, 11].
При сравнении способностей естественного интеллекта с искусственным необходимо воссоздать максимально равные условия. Прежде всего, нужно выбрать фрагменты почерка для распознавания. Использование в качестве распознаваемого слова автографа видится нецелесообразным, т.к. в этом случае естественный интеллект будет «цепляться» только за графический образ подписи, не анализируя другие признаки — динамику воспроизведения рукописного слова. Искусственный интеллект работает иным образом. Алгоритмы, лежащие в основе распознающего автомата, анализируют числа, а не абстрактно визуальные образы, как человек, автомат не способен к субъективизму оценочных суждений (скопировать модель работы мышления человека пока никому не удалось). Поэтому в рамках эксперимента решено использовать фиксированное слово, которое будет воспроизводиться разными людьми на графическом планшете.
Количество информации, которое смогут использовать человек и автомат для того, чтобы отнести реализацию рукописного слова к одному из знакомых образов, должно быть сравнимым (либо идентичным). В процессе принятия решений естественным интеллектом учитываться должно не только изображение слова, но и динамика его написания, т.е. нужно, чтобы испытуемый наблюдал за тем, как слово воспроизводится на экране в том же темпе, в котором его написал субъект. Знания о динамике давления можно передать за счет использования градаций серого цвета (чем сильнее нажатие, тем темней изображение на локальном участке рукописного образа).
Также требуется обеспечить сравнимый объем обучающей выборки.
На основе описанных принципов был разработан план эксперимента. На первом этапе осуществлялось формирование исходного материала для проведения исследований. Для этой цели было разработано программное обеспечение, позволяющее воспроизводить рукописные слова на графическом планшете. Десять человек по 50 раз каждый написали пароль «Безопасность» на графическом планшете при помощи разработанного программного обеспечения (всего получено 500 реализаций рукописного образа). В качестве устройства ввода использовался графический планшет Wacom Intuos. В ПЭВМ были занесены координаты точек пера x(t), y(t) и давления p(t), где i — номер момента времени t, частота моментов времени зависит от частоты дискретизации графического планшета и в рамках эксперимента составляла 6 миллисекунд.
На втором этапе производилось обучение испытуемых, которые в дальнейшем участвовали в распознавании субъектов по рукописному паролю. В качестве испытуемых были привлечены молодые люди в возрасте от 18 до 25 лет, мужчины и женщины в равном соотношении, число которых составляло 50 человек. На экране монитора одна за другой по имеющемся в ПЭВМ данным формировались 20 произвольных реализаций рукописного слова определенного человека в темпе их получения на графическом планшете (такое количество обучающих примеров требует ГОСТ Р 52633.5-2011 для настройки нейросетевых преобразователей биометрия-код, сравнимое число образцов использовалось в приведенных работах [10, 11, 18, 19]). Испыту-
Таблица 1
Вероятности ошибок верификации рукописных паролей естественным интеллектом при различной скорости их воспроизведения
Скорость воспроизведения (время между прорисовкой соседних точек подписи), мс Ошибка 2-го рода (ложного опознавания неизвестной подписи как известной) Ошибка 1-го рода (ложного не опознавания известной подписи)
3 (скорый темп) 0,003 0,1
6 (нормальный темп) 0,02 0,08
12 (замедленный темп) 0,012 0,09
емые запоминают особенности предъявляемого образа, чтобы в будущем отличить данный образ от образов рукописных слов других людей.
Третий этап — распознавание субъектов по предъявляемым реализациям рукописного слова-пароля. На экране в случайном порядке и в сходном темпе формируется одна из оставшихся 300 подписей. Испытуемые, наблюдая за её воспроизведением, каждый независимо от других должен принимать решение, кому принадлежит представленная подпись. После предъявления всех 300 подписей определяется: сколько раз принято (каждым сотрудником) верное решение и сколько раз ошибочное. Для фиксирования решений каждому испытуемому был дан специальный бланк.
Этап 4 — эксперимент повторяется еще 2 раза, но при условии, что скорость воспроизведения подписей в одном случае превышает зафиксированную на стадии их формирования в два раза, в другом случае — она медленнее в два раза. Результаты 3-го и 4-го этапов приведены в табл. 1 и на рис. 1.
Этап 5 — распознавание субъектов в режиме идентификации. Обучение испытуемых проводилось по подписям 2-х лиц (из 10). Распознавание осуществлялось как при обычной скорости воспроизведения, так и в ускоренном и замедленном темпах. Результаты этапа 5 представлены в табл. 2 (01 — вероятность ошибочной классификации распознаваемого субъекта как субъекта под номером /; Ои — вероятность ошибочной классификации распознаваемого субъекта как неизвестного) и на рис. 2.
Этап 6. Далее эксперимент повторялся, но количество распознаваемых лиц возрастало (обучение производилось по реализациям рукописных паролей 3-х лиц, 4-х лиц и т.д.). Было принято решение повышать число идентифицируемых испытуемых субъектов до тех пор, пока вероятности ошибок распознавания не примут высокие значения, при которых дальнейшее увеличение количества классифицируемых образов было бы бесполезным. Результаты этапа 6 представлены в табл. 3 — 5.
Производилась оценка вероятностей правильной идентификации каждого отдельного лица, вероятность признания злоумышленников (неизвестный образ принимался как один из известных), вероятность ошибки отнесения одного известного лица к другому, вероятность ложного непризнания известного лица (признания его как «чужого»).
Описанный эксперимент был повторен с использованием контрольных слов «Авторизация», «Идентификация», «Экранирование». В представленных материалах (рис. 1—3, табл. 1—5) приведены обобщенные оценки.
Как видно из табл. 1 и 2, изменение скорости воспроизведения подписей на экране приводит к незначительному увеличению количества ошибок пропуска цели и снижению вероятности ошибки лож-
Рис. 1. Оценки вероятностей ошибок распознавания субъектов в режиме верификации при различной скорости воспроизведения рукописных паролей: 1 — ошибка 1-го рода, 2 — ошибка 2-го рода
Рис. 2. Оценки вероятностей ошибок идентификации 2-х субъектов при различной скорости воспроизведения рукописных паролей: 1 — ошибка 1-го рода, 2 — ошибка 2-го рода
ного распознавания. При этом средняя вероятность ошибки распознавания почти не изменяется. Таким образом, по приведенным результатам можно заключить, что скорость воспроизведения не оказывает существенного влияния на надежность принимаемых естественным интеллектом решений (рис. 1 и 2). Данный результат можно отнести к категории неожиданных: естественный интеллект использует признаки, не зависящие от скорости воспроизведения рукописного пароля.
Результаты проведенного эксперимента указывают на то, что в режиме идентификации естественный интеллект человека существенно уступает искусственному по надежности распознавания. Видимо, оценка надежности графологической экспертизы в работе [9] дана с учетом использования специальных профессиональных техник и средств автоматического анализа подписей с привлечением дополнительных знаний о подписанте (тип темперамента,
Таблица 2
Вероятности ошибок идентификации естественным интеллектом 2-х субъектов по рукописному паролю при различной скорости их воспроизведения
Обычный темп (6 мс.)
Распознаваемый субъект 01 02 0«
Субъект 1 0,02 0,21
Субъект 2 0 0,1
Неизвестный субъект 0,043 0,022
Ускоренный темп (3 мс.)
Распознаваемый субъект 01 02 0«
Субъект 1 0,03 0,17
Субъект 2 0 0,12
Неизвестный субъект 0,075 0,02
Замедленный темп (12 мс.)
Распознаваемый субъект 01 02 0«
Субъект 1 0,03 0,16
Субъект 2 0 0,15
Неизвестный субъект 0,07 0,02
Таблица 3
Вероятности ошибок идентификации естественным интеллектом 3-х субъектов по рукописному паролю при различной скорости их воспроизведения
Распознаваемый субъект 01 02 0э 0«
Субъект 1 0,03 0 0,12
Субъект 2 0 0,01 0,16
Субъект 3 0 0,01 0,2
Неизвестный субъект 0,017 0,022 0,032
Вероятности ошибок идентификации естественным интеллектом 4-х субъектов по рукописному паролю при различной скорости их воспроизведения
Таблица 4
Распознаваемый субъект 01 02 03 04 05
Субъект 1 0,01 0,01 0,02 0,11
Субъект 2 0 0,05 0,02 0,12
Субъект 3 0 0,02 0 0,27
Субъект 4 0,01 0,01 0 0,09
Неизвестный субъект 0,01 0,023 0,017 0,003
Таблица 5
Вероятности ошибок идентификации естественным интеллектом 5-ти субъектов по рукописному паролю при различной скорости их воспроизведения
Распознаваемый субъект 01 02 03 04 05 0«
Субъект 1 0,05 0,04 0,02 0 0,07
Субъект 2 0 0 0,02 0,02 0,09
Субъект 3 0 0,03 0,04 0,02 0,4
Субъект 4 0 0,02 0,03 0,01 0,35
Субъект 5 0 0,02 0 0,07 0,33
Неизвестный субъект 0,005 0 0,015 0 0,005
0,4
0,35
е 03 8 1 в
I 0,15 m
од
0,05 О
12 3 4
Количество распознаваемых субъектов
Рис. 3. Изменение вероятностей ошибок идентификации в зависимости от количества известных субъектов: 1 — ошибка ложного опознавания, 2 — ошибка ложного неопознавания; 3 — ошибочная идентификация известных субъектов
0,078
-1
n П1 0,017 0,038 0,025 --1
1 0,071 -3
0,065 0,053
0,08 0,248
0,155 0,16 0,147
0,02
Рис. 4. Изменение вероятности правильной идентификации в зависимости от количества известных субъектов
возраст, пол и т.д.). При незначительном увеличении количества идентифицируемых субъектов число ошибочных решений, сделанных человеком, стремительно возрастает (вероятность верного распознавания снижается, рис. 4). Видимо, это обусловлено ограничениями кратковременной памяти человека. В режиме верификации естественный интеллект также уступает искусственному, но не столь значительно (с учетом погрешностей).
При увеличении количества образов субъектов вероятность ложного опознания неизвестного субъекта как одного из известных снижается, в то время как вероятность других ошибок возрастает.
Проведен эксперимент по распознаванию подписантов по динамике написания паролей людьми (количество испытуемых составило 50). Получены следующие результаты по сравнению возможностей естественного интеллекта по распознаванию подписей с методами автоматического распознавания субъектов по подписи [10, 12, 18, 19] (с использованием алгоритма последовательного применения формулы гипотез Байеса [12, 18, 19], искусственных нейронных сетей [10] и сетей квадратичных форм [10]):
— естественный интеллект используют для распознавания рукописных динамических графических образов; признаки, не зависящие от скорости их воспроизведения;
— методы автоматического распознавания подписей (в частности, из работ [10, 12]) превосходят естественный интеллект при верификации рукописных образов, в режиме верификации средняя
вероятность ошибки распознавания рукописного слова человеком составила 0,026;
— методы автоматического распознавания подписей (в частности, из работ [18, 19]) существенно превосходят естественный интеллект при идентификации рукописных образов, человек не способен запомнить множество различных образцов подписей, средняя вероятность ошибки идентификации 2, 3, 4 и 5 рукописных слов человеком составила 0,085, 0,103, 0,099, 0,176.
Библиографический список
1. Кравченко В. И. Графология: характер по почерку. СПб.: ГУАП, 2006. 92 с. ISBN 5-0880-189-3.
2. Манцветова А. И. Теоретические (естественнонаучные) основы судебного почерковедения. 2-е изд. М.: Наука, 2006. 442 с. ISBN 5-02-035816-9.
3. Потемкина О. Ф. Психологический анализ рисунка и текста. СПб.: Речь, 2006. 524 с. ISBN 5-9268-0362-4.
4. Судиловская Е. В. Разгадываем почерк. Графология: моногр. СПб.: Питер, 2007. 159 с. ISBN 978-5-91180-364-3.
5. Лабо М. Г. О чем говорит почерк? Практическая графология. Записки полковника ФСБ. СПб.: ДНК, 2007. 128 с. ISBN 978-5-901562-70-3.
6. Гольдберг И. Психология почерка. М.: АСТ МОСКВА, 2008. 161 с. ISBN 978-5-9757-0376-7, 978-5-9713-9270-5.
7. Гольдберг И. Почерк и типы личности. М.: АСТ МОСКВА, 2008. 192 с. ISBN 978-5-9757-0324-8, 978-5-9713-8392-5.
8. Норман Д. О чем говорит почерк? Графология для начинающих. СПб.: Вектор, 2010. 140 с. ISBN 978-5-9684-1450-2.
9. Болл Р. М., Коннел Дж. X., Панканти Ш. [и др.]. Руководство по биометрии. М.: Техносфера, 2007. 370 с. ISBN 9785-94836-10-93.
10. Сулавко А. Е., Еременко А. В., Толкачева Е. В. [и др.]. Комплексирование независимых биометрических признаков при распознавании субъектов на основе сетей квадратичных форм, персептронов и меры ХИ-модуль // Информационно-управляющие системы. 2017. № 1 (86). С. 50-62. DOI: 10.15217/ issnl684-8853.2017.1.50.
11. Lozhnikov P. S., Sulavko A. E., Eremenko A. V., Volkov D. A. Methods of Generating Key Sequences based on Parameters of Handwritten Passwords and Signatures // Information. 2016. № 7. P. 59.
12. Daramola S. A., Ibiyemi T. S. Efficient Online Signature Verification System // International Journal of Engineering and Technology IJET-IJENS. 2010. Vol. 10, no. 4. P. 42-46.
13. Vahab Iranmanesh, Sharifah Mumtazah Syed Ahmad, Wan Azizun Wan Adnan, Salman Yussof, Olasimbo Ayodeji Arigbabu, Fahad Layth Malallah. Online Handwritten Signature Verification Using Neural Network Classifier Based on Principal Component
Analysis // The Scientific World Journal. 2014. Vol. 2014. P. 1— 19. Еременко А. В. Повышение надежности идентификации
8. DOI: 10.1155/2014/381469. пользователей компьютерных систем по динамике написания
14. Hao Chang, Huaizhong Bao, Yutao Sun, Sulin Wei. Online паролей: автореф. дис. ... канд. техн. наук. Омск, 2011. 20 с. Signature Verification Based on Feature Combination and Classifier
Fusion // Journal of Information & Computational Science. 2013. ВАСИЛЬЕВ Владимир Иванович, доктор техниче-
Vol. 10, no. 6. P. 1613-1621. DOI: 10.1504/IJCSE.2014.060713. ских наук, профессор (Россия), заведующий кафед-
15. Nan Xu, Li Cheng, Yan Guo, Xiaogang Wu and Jiali рой «Вычислительная техника и защита информа-Zhao. Online handwritten signature vérification by using back ции» Уфимского государственного авиационного propagation neural networks // Communication Software and технического университета.
Networks (ICCSN), 2011 IEEE 3rd Intern. Conf. on, May 27-29, СУЛАВКО Алексей Евгеньевич, кандидат техниче-
2011. DOI: 10.1109/ICCSN.2011.6013611. ских наук, старший преподаватель кафедры «Комп-
16. Нигрей А. А. Идентификация человека по подписи. Роль лексная защита информации» Омского государ-технических наук в развитии общества: сб. тр. II Междунар. ственного технического университета (ОмГТУ). науч.-практ. конф. Кемерово, 2017. С. 236-239. ЖУМАЖАНОВА Самал Сагидулловна, аспирант
17. Нигрей А. А. Исследование изменения динамики подписи кафедры «Комплексная защита информации» подписанта на графическом планшете при изменении его ОмГТУ.
психофизиологического состояния. Безопасность городской НИГРЕЙ Алексей Андреевич, аспирант кафедры
среды: материалы IV Междунар. науч.-практ. конф. Омск: Изд- «Информационная безопасность» Омского государ-
во ОмГТУ, 2017. С. 383-385. ственного университета путей сообщения.
18. Ложников П. С., Сулавко А. Е., Самотуга А. Е. Модель Адрес для переписки: nigrey.n@mail.ru защиты гибридных документов на основе рукописных подписей их владельцев с учетом психофизиологического состояния Статья поступила в редакцию 27.07.2017 г. подписантов // Вопросы защиты информации. 2016. № 4. © В. И. Васильев, А. Е. Сулавко, С. С. Жумажанова, С. 47-59. А. А. Нигрей
Книжная полка
Информатика для экономистов : учеб. / Под ред. В. П. Полякова. - М. : Юрайт, 2017. - 524 с. -ISBN 978-5-9916-4367-2.
Рассматриваются основные аспекты процессов информатизации и формирования информационного общества, теоретические основы, понятия и определения информатики и экономической информатики, техническая и программная база информационных систем и технологий, базовые информационные технологии для решения экономических и управленческих задач. Соответствует Федеральному государственному образовательному стандарту высшего образования четвертого поколения. Учебник предназначен для студентов, обучающихся по направлениям подготовки бакалавров экономики и менеджмента, а также аспирантов и преподавателей экономических вузов. Может быть полезен для магистрантов, обучающихся по направлениям «магистр экономики» и «магистр менеджмента» для актуализации знаний, умений и навыков по применению информационных и коммуникационных технологий для анализа данных и принятия управленческих решений.
Антонов, А. В. Системный анализ : учеб. /А. В. Антонов. - 4-е изд., перераб. и доп. - М. : Инфра-М, 2017. - 368 с. - ISBN 978-5-16-011865-9.
В учебнике изложены методологические вопросы системного анализа. Описаны этапы и процедуры проведения системных исследований, сформулированы цели и задачи системного анализа. Большое внимание уделено вопросам построения моделей сложных систем, проверке их адекватности, процедурам их формирования, методам оценки параметров. Рассмотрены математические методы и модели системного анализа, постановки задач, описаны области их применения. Изложены численные методы решения типовых задач системного анализа. Приведены методы выбора и принятия решений. Содержание учебника соответствует требованиям Федерального государственного образовательного стандарта высшего образования последнего поколения. Для студентов, обучающихся по направлению 09.03.01 «Информатика и вычислительная техника», а также для аспирантов и инженеров.
Бессмертный, И. А. Интеллектуальные системы : учеб. / И. А. Бессмертный, А. Б. Нугуманова, А. В. Платонов. - М. : Юрайт, 2017. - 244 с. - ISBN 978-5-534-01042-8.
В учебнике рассматриваются основы построения интеллектуальных систем и методов извлечения знаний. Наряду с традиционными интеллектуальными системами, базирующимися на продукционной модели знаний, в учебнике уделяется внимание также методам поиска информации в неформализованных и слабо формализованных источниках, в частности методам машинного обучения и статистическим методам обработки естественно-языковых текстов. Содержание учебника соответствует актуальным требованиям Федерального государственного образовательного стандарта высшего образования. Для студентов высших учебных заведений, аспирантов, преподавателей, слушателей курсов повышения квалификации, а также разработчиков программного обеспечения.
