Поддержка принятия решений при нейросетевой идентификации автора почерка Текст научной статьи по специальности «Математика»

Kabanov Sergej Mihajlovich, chief engineer-mathematician of department of development of the special software, smkabanovainbox.ru, Russia, Moscow, JSC "Sistemnaya di-namika",

Fridlender Grigorij Vladimirovich, engineer-mathematician of department of development of the special software, fridlender. g. v@gmail. com, Russia, Moscow, JSC "Sistemnaya dinamika"

УДК 004.93

ПОДДЕРЖКА ПРИНЯТИЯ РЕШЕНИЙ ПРИ НЕЙРОСЕТЕВОЙ ИДЕНТИФИКАЦИИ АВТОРА ПОЧЕРКА

В. А. Ермоленко, А.В. Ермоленко

Рассмотрены вопросы поддержки принятия решений по обработке рукописных документов подразделениями вневедомственной охраны полиции. Автором разработан оригинальный метод выделения уникальных характеристик почерка на основе строкового и межбуквенного анализа. Применены методы кодирования символов с использованием теории графов. Модифицирован критерий информативности и показана разделимость признаковой базы. Синтезирована архитектура нейросетевого решающего устройства, модифицированная использованием теории нечётких множеств.

Ключевые слова: нейронная сеть, почерк, кластеризация, идентификация, поддержка принятия решений, нечёткие множества.

Подразделения вневедомственной охраны МВД России предназначены для охраны имущества всех форм собственности на договорной основе. По состоянию на декабрь 2015 г. под охраной полиции находятся 1 565 287 объектов, квартир и иных мест хранения имущества граждан. Процесс охраны объектов основывается на заключении договора по личному заявлению собственника охраняемого объекта. Любые изменения в условиях действия договора на охрану имущества также базируются на письменных заявлениях собственников. Данные изменения зачастую являются существенными для обеспечения имущественной безопасности. Так в список лиц, имеющих право снятия объекта с охраны, могут вноситься дополнительные персоналии, а техническая блокировка охранно-пожарной сигнализации объекта претерпевать значительные изменения вплоть до отключения от охраны отдельных рубежей [1]. Кроме того, на основе заявлений производится блокировка, приостановка и снятие объектов с охраны. Принимая в учёт число охраняемых объектов, нагрузка по таким заявлениям на территориальные филиалы вневедомственной охраны является значительной. Принятие решений при ручной обработке

персональных данных собственников охраняемых объектов юридическими и инженерно-техническими сотрудниками подразделений вневедомственной охраны полиции требует больших временных затрат, что в условиях повышения эффективности функционирования личного состава при оптимизации его численности является недопустимым.

Сферами деятельности, в которых идентификация автора при принятии управленческих решений не мене важна, также являются процедуры ведения путевых листов личным составом моторизованных подразделений полиции, а также организация зачётов в кадрово-воспитательной и слу-жебно-боевой подготовке. При этом методы и модели поддержки принятия решений при идентификации автора рукописных документов на сегодняшний день практически отсутствуют.

Целью работы, которой посвящена настоящая статья, является разработка методов и моделей поддержки принятия решений при идентификации авторства рукописного документа с использованием различных интеллектуальных методов, в том числе нейронных сетей. В литературе представлены многообразные примеры применения данных интеллектуальных методов в различных отраслях науки и техники [2 - 6]. В рассматриваемом нами случае филиалов федеральных государственных казённых учреждений управлений вневедомственной охраны (далее - ФГКУ УВО), звеном, осуществляющим функцию управления, является начальник, а также сотрудники подразделений договорно-правовой работы (далее ОДПР) в большинстве случаев юрисконсульты. Управляемой системой в данном случае являются заявления и иные документы собственников как субъектов договорно-правовых отношений. Применительно к расходованию автомобильного топлива функция управляющей системы может быть закреплена как за руководителями материально-тыловых (ОМТиХО) и финансово-экономических (ФЭО) служб вневедомственной охраны, так и за командирами строевых подразделений полиции (СПП), а при проведении служебно-боевой подготовки управляющая функция возлагается на инструкторов кадровой и воспитательной работы (ОКиВР). Проиллюстрируем структуру управления типовым подразделением вневедомственной охраны с точки зрения системы управления (рис. 1).

На приведенном выше рисунке ПЦО - пульт централизованной охраны, ЦОУ - центр оперативного управления, ДЧ -дежурная часть.

Успешность принятия управленческих решений в органах внутренних дел определяется качественными характеристиками используемой информации. Одним из способов компенсации неопределённости решаемой задачи является внедрение современных математических моделей и методов обработки информации. В контексте решения задачи идентификации автора рукописного текста остановимся на трёхступенчатой модели поддержки управляющего решения.

Рис. 1. Структура управления филиалом вневедомственной охраны при работе с рукописным документами, требующими идентификации

автора почерка

На первом этапе синтезируем алгоритмы детерминации уникальных характеристик почерка, которые позволят сформировать разделимую признаковую базу. Современная почерковедческая экспертиза выделяет при этом два существенных направления исследований: общестроковые (высота, наклон текста пробелы между словами и др.) и межбуквенные характеристики рукописного текста, такие как штрихи и петли в написании текста. На втором этапе формализуем выделенные характеристики текста к удобоприменимому виду для подачи на вход нейросетевого решателя, основываясь на принципах нормализации параметров при условии сохранения разделимости входных множеств. Заключительный третий этап исследований посвятим построению нейросетевой решающей архитектуры, обеспечивающей высокое качество идентификации при минимизации ошибки обучения и обеспечении достоверности ошибки обобщения в апостериорном выходе решателя.

Задачу выделения уникальных строковых характеристик базируем на кластеризации (рис. 2) растрового изображения рукописного текста. В результате разбиения условных столбцов рукописного текста на кластеры сформируем число кластеров в столбце, которое после проведения процедуры фильтрации изображения и осреднения по всем столбцам равно среднему числу строк в тексте.

На основании, приведенного на рисунке выше, разбиения получим среднее значение высоты буквы в тексте, которое также может быть использовано как характеристика почерка.

Решение задачи строковой идентификации будем производить путём последовательного анализа элементов текста внутри строки. Для чего осуществим кусочно-линейную аппроксимацию методом наименьших

92

квадратов первого порядка [7]. В качестве примера рассмотрим п = 5 кластерных столбцов с соответствующими координатами пикселей. Тогда получаем матрицу размерности тхп, где т - неизвестное заранее и определяемое в процессе кластеризации количество строк. Каждый элемент матрицы имеет координаты центра кластера по х и по у.

г (с[1,1].х с[1,1].у) (с[1,2].х с[1,2].у) ....... (с[1,п].х с[1,п].у) Л

(с[2,1].х с[2,1]. у) (с[2,2].х с[2,2].у) ....... (с[2,п].х с[2,п].у)

(с[т,1].х с[т,1].у) (с[т,2].х с[т,2].у)

(с[т, п].х с[т, п].у)

т,п

Для реализации данной матрицы координат решено использовать двумерный массив структуры из двух полей координат коогШпМу: {х, у} . Структурно зададим границы движения вдоль кластерных столбцов и предельно определённого значения их количества. Зависимость у от х ото-брашим функцией у = Ьх + с. Хранение параметров линий написания строк определим двупольная структурой длиной т. Очевидно, что функция не может совпадать с экспериментальными значениями во всех п точках исследуемой строки, и следовательно определим невязку:

у/ - Ьх1 - с.

А/

Рис. 2. Принцип работы процедуры кластеризации и необходимость фильтрации

Определим параметры Ь и с так, чтобы сумма квадратов разностей была наименьшей [7], обратив в минимум выражение:

п п

г = I А2 = X [ уг - Ьх, - с]2.

/=1 г=1

Дифференцируя функцию невязки по неизвестным параметрам Ь и с и приравнивая производные к нулю, получим систему уравнений:

93

1 дх п 2 ---= У ( V; - Ьх; - С) х; = 0

2 дЬ V Л 1 ' 1

1 дх п 2

---= У (у; - Ьх; - с) = 0

2 дЬ V 1 ;

Данная система представляет собой систему двух линейных уравнений относительной неизвестных параметров Ь и с. Решив систему методом последовательного исключения, получим искомые значения коэффициентов т -й строки:

п

Пу (с (т, п ).х • с (т, п). у)

Ь =-1-2

п I 2\ п

пУ((с(т,п).х) )- У(с(т,п).х)

И ' V 1

.х

V 1 У

пп У (с(т, п). у) - ЬУ (с(т, п).х) 11

п

Дополним данную процедуру движением виртуальной пиксельной линейки и выделим из рукописного текста пробелы и слова для детального символьного анализа [8].

При разработке алгоритмов для определения символьной группы параметров, применим метод детализации отдельных фрагментов рукописного текста совокупностью трапеций с различными значениями рёбер и оснований, определяемых на основе размера участков внутреннего и внешнего контура очертания фрагмента символа.

Первым этапом символьного кодирования является поиск всех пар отрезков, принадлежащих контурам, которые находятся в отношении Я (очевидно, что Я симметрично). Для каждой пары (s,?)е Я находится трапеция, с максимально возможной высотой. После построения и фильтрации трапеций, изображение разбивается на смежные с ними, так называемые, узловые области. Каждая трапеция соприкасается с двумя узловыми областями, причем основания являются границами между трапецией и каждой из двух областей. Кратностью узловой области назовем количество соприкасающихся с ней трапеций. Обозначим значение кратности буквой. Тогда если К = 0 - в области не удалось выделить ни одной трапеции и в дальнейшем область рассматривается нераспознаваемое «пятно»; если К = 1 - область является концом штриха при условии выполнения критерия регулярности; если К = 2 - область является отрезком траектории между двумя трапециями, если К > 0 - найдена область пересечения штрихов. В результате получаем набор трапеций с определёнными для образца значениями высоты, рёбер и ориентации относительно строки (см. рис. 3).

Полученный набор трапеций представляет кодировку элементов как в букве, так и между символами. В процессе исследования изучены аспекты построения соединений с разным количеством лучей (последовательность трапеций образующих прямую). Установлено, что соединения, состоящие более чем из 3-х лучей, встречаются редко и малоинформативны. Параметрами 3-х лучевых соединений определим углы между лучами. Для детерминации схожих соединений проведём кластеризацию. В результате работы процедуры сформируем массив возможных 3-х лучевых соединений с вероятностью их нахождения в исследуемом образце.

Рис. 3. Кодирование символа трапециями с детерминацией

трёхлучевых соединений

Кодирование символов динамически определяемыми трапециями осложнено их избыточностью. Рассмотрим процедуру фильтрации лишних трапеций. Основа фильтрации заключается в поиске областей пересечения трапеций. Представим трапеции в виде системы неравенств:

а-\Х + Ь у + с > 0

«2 х + ¿2 У + с2 > 0

<

«з х + ¿з у + С3 > 0 ' «4 х + ¿4 у + С4 > 0

где а, Ь, с - параметры трапеции для координат {х, у}.

При этом для определения взаимного положения двух трапеций, составляющих закодированный символ, необходимо решить систему

95

щх + Ъ^у + > О 1 = 18

Решение системы позволяет отобразить элементы, которые необходимо «отредактировать» для дальнейшего кодирования символов с использованием теории графов.

Для определения информативности признаков построены гауссов-ские (рис. 4) распределения величин признаков параметров для различных авторов одинакового по содержанию текста.

Рис. 4. Распределение признаков для различных авторов

В качестве коэффициента, оценивающего информативность признака, предлагается использовать модификацию критерия информативности Шеннона. Коэффициент информативности j -го признака р при этом

представляется в виде:

t _ per j true _ wax j

J /_false)d + J _truej[x)dx false _ min j t _ perj

^J false max j true max j '

J f _ falsej[x)dx+ J /_/r ej[x)dx false mi j true min j

где t per - точка пересечения графиков; fais min, false_max, true min, true max - начальные и конечные точки функций соответственно различных и идентичных авторов.

В работе проведён анализ применимости различных архитектур нейронных сетей и методов их обучения применительно к решению задачи идентификации автора рукописного текста. Изучены и опробованы возможности применения радиально-базисных и вероятностных нейронных сетей, обоснованы нюансы неприменимости сетей Хопфилда и самоорганизующихся карт Кохонена [7]. Выход нейронной сети должен показывать являются ли два введенных образца экземплярами одного и того же автора или нет. Согласно данной постановке задачи уместно рассматривать в качестве обучающей и тестирующей выборки нейронной сети не матрицу прямых входов параметров образцов, а матрицу разностей значений между образцами, чтопозволяет в N раз (где N - число образцов почерка в выборке) увеличить размер обучающей выборки. Если множество F (False) есть множество результатов для двух образцов различных авторов, а T (True) для одного, то размерность обучающей выборки O составит:

MxNiNzU, 2

где M - число признаков, N - число примеров.

Среди нейросетевых архитектур многослойного персептрона оптимальный результат демонстрируют сети на алгоритмах обратного распространения ошибки с тангенсно-сигмоидной функцией активации с a = tan sig(n). В частности путём эмуляции рассмотрены результаты обучения и тестирования нейронных сетей, основанных на методе наискорейшего спуска, Левенберга-Маруа и квазиньютоновском методе. Меньшую ошибку обобщения при оптимальном времени обучения демонстрирует квазиньютоновская модель для двухслойной сети. Суть метода основана на возможности аппроксимации кривизны нелинейной оптимизируемой функции без явного формирования матрицы Гессе вторых частных производных целевой функции по управляемым параметрам [9]. При этом к началу очередной k -й итерации квазиньютоновского поиска известна аппроксимация матрицы Гессе минимизируемой функции, которая служит средством отображения информации о кривизне, накопленной на предыдущих итерациях. Используя её в качестве матрицы Гессе модельной квадратичной формы, очередное направление Pk квазиньютоновского поиска на k -м шаге определяем как равенство:

BkPk =-gk,

где Bk - матрица, аппроксимирующая матрицу Гессе; gk - градиент функции оценки в начальной точке k -го шага.

После того, как определится новая точка Xk+i, приближение Bk матрицы Гессе обновляется с учётом вновь полученной информации о кривизне, т.е. совершается переход от матрицы Bk к матрице Bk+i.

Формула пересчета определим как стандартную - BFGS формулу (Broiden С, Fletcher R., Goldfarb D., Shannon D.)\

Ркм = -sk+1 + + - . 1 + . s ?

(Yk'Sk) (Yk>Sk) iYk>Sk) где Pfc - очередное направление квазиньютоновского поиска на к -м шаге; Sfc = Xfc+i-Xfc - вектор, равный изменению X на к-й итерации; Yfr - ~gk ~ соответствующее изменение градиента.

Первый слой предлагаемой топологии нейронной сети представляет пять нейронов с тангненсно-сигмоидной функцией активации [10]. Второй слой состоит из одного нейрона с линейной функцией активации. Предельное количество эпох в цикле обучения было установлено равным 2000. Проведенные испытания готового программного продукта демонстрируют (рис. 5) однозначную разделимость на выходе нейронной сети, как по строковым, так и по символьным параметрам.

1.5 1

0.5 0

-0.5 -1

-1.5J

jXrfpryiljlf-1 1 i

1

I

i j

'1 'М' 1 • 1 1 ' 1 * 1

1 I j i

0

20

40

60

80

1.5 1

0.5 0

-0.5 -1 -1.5

J, j j

! 1 I { I 5

20

40

60

80

Рис. 5. Тестирование работы нейронной сети: слева для символьной группы параметров, справа для межбуквенных соединений

В результате исследований сформирована система поддержки принятия решений, способная идентифицировать автора рукописного текста. Проведенный анализ информативности полученных результатов показывает, что полученный набор признаков представляет собой разделимые множества. Проанализированы и изучены свойства различных идентифицирующих моделей в условиях данного входного набора признаков. Синтезирована модель блока принятия решения. С учётом максимальной эффективности в условиях данной задачи выбрана и реализована решающая модель на основе квазиньютоновской ВРОБ-нейронной сети с методологией обучения на основе обратного распространения ошибки. Разработанное программное обеспечение зарегистрировано Роспатентом.

Внедрение данной модели принятий решений при функционировании договорно-правовых подразделений вневедомственной охраны позволяет повысить эффективность несения службы личным составом, усилить финансово-хозяйственную и кадровую дисциплину, снизить искажение статистической отчётности.

Список литературы

1. Горошко И.В. Математическое моделирование в управлении органами внутренних дел. М.: Акад. управ. МВД России, 2000.

2. Аникеева О.В., Ивахненко А.Г., Сторублев М.Л. Методы оптимизации и принятия решений в управлении качеством // Курск, 2015. 216 с.

3. Анцев А.В., Анцева Н.В., Кривицкий И.В. Использование нечеткой логики для повышения эффективности промышленных технологий // Качество продукции: контроль, управление, повышение, планирование. Сборник научных трудов Международной молодежной научно-практической конференции: в 2-х томах. Ответственный редактор: Павлов Е.В. 2015. С. 46-49.

4. Васин С.А., Иноземцев А.Н., Анцев В.Ю. Информационная инфраструктура технологической подготовки производства // Вестник компьютерных и информационных технологий. 2004. № 6. С. 32.

5. Ивахненко А.Г. Моделирование процессов систем менеджмента качества / А.Г. Ивахненко, М.Л. Сторублев; Минобрнауки России, Федеральное гос. бюджетное образовательное учреждение высш. проф. образования "Юго-Западный гос. ун-т" (ЮЗГУ). Курск, 2012. 167 с.

6. Сорокин П.А., Анцев В.Ю., Редькин А.В., Обыдёнов В.А. Алгоритмы нечёткой логики в управлении устойчивостьюстационарного башенного крана // Известия Тульского государственного университета. Технические науки. Вып. 4. Тула: Изд-во ТулГУ, 2011. С. 238-245.

7. Методы классической и современной теории автоматического управления: уч-к в пяти тт.; 2-е издание изд., перераб. и доп. Т. 5: Методы современной теории автоматического управления / под ред. К.А. Пупкова, Н.Д. Егупова. М.: Издательство МГТУ им. Н.Э. Баумана, 2004. 744 с.

8. Ермоленко А.В., Козличенков А. А., Корлякова М.О. Выбор входного набора признаков для нейросетевой идентификации почерка. Научная сессия МИФИ 2007. IX Всероссийская научно-техническая конференция «Нейроинформатика-2007»: Сборник научных трудов. Ч. 1. М.: МИФИ, 2007. С. 42-50.

9. Комарцова Л.Г., Максимов А.В. Нейрокомпьютеры: учеб. пособие для вузов. 2-е изд., перераб. и доп. М.: Изд-во МГТУ им. Н.Э. Баумана, 2004. 397 с.

10. Ермоленко А.В. (а). Корлякова М.О., Филимонков А. А. Формирование нейросетевой модели геоинформационного датчика. РИНЦ, ВАК, Научно-технический журнал Известия Института инженерной физики, 2011. № 1(19). С. 25-30.

Ермоленко Владимир Алексеевич, канд. техн. наук, доц., ermolenkoarambler.ru, Россия, Калуга, Калужский филиал Московского Государственного Технического Университета им. Н.Э. Баумана,

Ермоленко Алексей Владимирович, соискатель, ermolenkoarambler.ru, Россия, Москва, Академия управления Министерства внутренних дел Российской Федерации

DECISION-MAKING SUPPORT FOR NEURAL NETWORK HAND-WRITTEN STA TEMENTS A UTHOR IDENTIFICA TIONS

V.A. Ermolenko, A. V. Ermolenko

Questions of decision-making support on processing of hand-written documents by divisions of police private security are considered. The author has developed an original allocation method of unique handwriting characteristics on the basis of the line and symbols analysis. Symbols coding methods by counts theory are applied. The informational content criterion is modified and parametric base divisibility is shown. The neural network architecture of decisive device modified by fuzzy logic theory is synthesized.

Key words: neural net, fuzzy logic, hand-writing, clustering, identifications, decision-making support.

Ermolenko Vladimir Alekseevich, candidate of technical science, docent, [email protected], Russia, Kaluga, Kaluga Branch of the Bauman Moscow State Technical University,

Ermolenko Alexey Vladimirovich, academic degree applicant, [email protected], Russia, Moscow, Management Academy of Ministry for Internal Affairs of Russia