CC BY
66
УДК 004.932.2:004.934
Гороховатский В. А.1, Берестовский А. Е.2, Передрий Е. О.3
1Д-р. техн. наук, профессор, профессор кафедры информационных технологий, Харьковский учебно-научный институт
ГВУЗ «Университет банковского дела», Харьков, Украина 2Аспирант кафедры информатики, Харьковский национальный университет радиоэлектроники, Харьков, Украина 3Канд. техн. наук, преподаватель кафедры информатики и компьютерной техники, Харьковский национальный
экономический университет имени Семена Кузнеца, Харьков, Украина
СИСТЕМАТИЗАЦИЯ ПРОСТРАНСТВА СТРУКТУРНЫХ ПРИЗНАКОВ НА ОСНОВЕ МЕТОДОВ САМООБУЧЕНИЯ В ЦЕЛЯХ РЕЗУЛЬТАТИВНОГО РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ
Работа посвящена исследованию вопросов кластеризации для множеств характерных признаков изображений. Для построения массива характерных признаков использован метод Speeded Up Robust Features. Реализованы алгоритмы кластеризации структурных описаний изображений на основе самоорганизующейся нейронной сети Кохонена и метода разностного группирования. Объектом исследования есть методы кластеризации применительно к множествам структурных признаков. Целью работы является построение векторных представлений описаний на основе кластеризации, что повышает быстродействие распознавания. Предметом исследования является систематизация множеств структурных признаков визуальных объектов.
Обсуждаются результаты применения методов кластеризации для структурных описаний изображений в виде множеств характерных признаков с целью повышения быстродействия распознавания визуальных объектов. Для систематизации и сжатия пространства признаков предложено осуществить самообучение с применением методов разностного группирования и сетей Кохонена.
Проведено моделирование и экспериментальные исследования методов кластеризации на примерах конкретных множеств характерных признаков. Результаты исследований доказывают возможность эффективного представления описаний в виде вектора с целочисленными элементами. Данный подход может использоваться для решения задач распознавания и поиска изображений.
В результате построено компактное векторное описание эталонов, получены количественные оценки ошибки кластеризации, подтверждена работоспособность методов для прикладной базы изображений.
Ключевые слова: компьютерное зрение, распознавание изображений, характерные признаки, структурное описание изображения, метод SURF, кластеризация, нейронная сеть, метод разностного группирования, сеть Кохонена, ошибка квантования.
НОМЕНКЛАТУРА ф
SOM - Self-Organizing Map (самоорганизующиеся д карты); п'
SURF - Speeded up robust features (ускоренное ус- с тойчивое выделение особенностей);
WTA - Winner takes all (победитель получает все); н'
ПФ - пиковая функция;
РГ - разностное группирование;
СК - сеть Кохонена;
ХП - характерный признак;
р(z, üj) - расстояние между z и Cj;
н
г - константа, которая определяет «сферу соседства»;
д
b - показатель степени многомерной функции Гаус-
к
са; С
s - мощность множества Z;
в
е - доля от значения пика DC);
н
z е Cj - точка данных кластера Cj с центром Cj; ш
k - число кластеров; т]
S - мощность обучающего множества Z; з]
0 < п < 1 - коэффициент обучения; тс
z(h) - входной вектор z е Z на шаге h. в1
ВВЕДЕНИЕ С
Современные системы компьютерного зрения наце- н лены на автоматизацию решения актуальных приклад- р ных задач искусственного интеллекта: распознавание человеческих лиц в целях идентификации; поиск визуальных объектов заданного вида в базах (коллекциях) изоб- н ражений; распознавание объектов на изображениях ^ сцен, включая условия влияния перекрытий объектов, с
© Гороховатский В. А., Берестовский А. Е., Передрий Е. С., 2016 DOI 10.15588/1607-3274-2016-2-11
фона и помех; идентификация и определение координат движущихся объектов в видео-потоке. Перспективным подходом к построению систем распознавания в таких сложных ситуациях есть структурный анализ [1].
Процесс извлечения знаний в системах интеллектуальной обработки условно трактуют как ряд этапов [2-5]:
1. Отбор и предварительная обработка данных.
2. Редукция/проекция данных.
3. Поиск, оценка и интерпретация закономерностей.
4. Применение приобретенных знаний.
Способность к обучению и обобщению накопленных знаний (этап 3) считают одним из критериев, определяющих уровень интеллектуальности системы в рамках современной теории интеллектуальных вычислений. Обучение позволяет не только адаптировать распознавание к имеющимся данным и конкретным условиям, но и выявляет новые закономерности в целях дальнейшего обобщения знаний и улучшения результативности. В ходе обучения часто определяются ключевые признаки, в наибольшей степени отличающие образы объектов, что в целом систематизирует пакет признаков и дает возможность образовать надежный фундамент для принятия качественных решений о классификации образов. Система распознавания совершенствует свою эффективность через процесс обучения на основе данных из окружающей среды [2].
1 ПОСТАНОВКА ЗАДАЧИ
Целью статьи есть изучение возможности и оценивание эффективности применения методов разностного группирования и аппарата сетей Кохонена для осуществления результативного самообучения системы струк-
турного распознавания изображений в плане построения кластерного компрессионного представления данных в пространстве признаков прикладной базы изображений. За счет кластеризации-классификации на множестве структурных элементов обеспечивается переход к векторному представлению эталонов, что значительно сокращает объем вычислительных затрат и способствует улучшению быстродействия распознавания.
Задачи исследования - изучение особенностей и усовершенствование информационных технологий самообучения применительно к описаниям в виде множеств дескрипторов структурных признаков изображений, а также оценивание качества кластеризации на прикладных образцах.
2 ОБЗОР ЛИТЕРАТУРЫ
Обучение и самообучение, которые находят применение в структурном распознавании изображений, удачно осуществляют систематизацию признаков путем кластер-анализа (этап 2), что способствует снижению размерности признакового пространства [5-8]. Данные, сгруппированные в рамках кластера, представляются его центром и размером, что пропорционально сокращает как объем памяти, так и вычислительные затраты на распознавание [1].
Для успешной кластеризации требуется инициализация - тщательная предварительная обработка данных с целью подготовки начальных условий функционирования методов обучения. Например, для группирования данных необходимо установить число кластеров и начальные значения их центров в пространстве данных. Затем метод обучения, например, сеть Кохонена, отталкиваясь от этих значений, уточняет и завершает группировку объектов. Заметим что, k-степени зависят от начальных установок. Задачи инициализации могут быть решены методами пикового и разностного группирования [3], которые можно считать самостоятельными средствами получения знаний. В сравнении с возможностями аппарата сетей Кохонена эти методы позволяют автономно осуществить самоорганизацию центров образовавшихся кластеров с оцениваемой точностью.
В литературе описан ряд теоретических и практических аспектов построения универсальных методов самоорганизации данных, таких как разностное группирование [3] и сети Кохонена [3, 5, 9]. Основы теории кластеризации изложены в работах [6, 7]. В то же время теория и практика применения этого аппарата к множествам структурных признаков в целях распознавания визуальных объектов на изображениях только начинают свое развитие [8]. Особый интерес представляет изучение специфики технологий обучения и выбор наиболее подходящих среди них. Важно также оценить влияние ошибки обучения на результат распознавания с применением модифицированного пространства признаков.
3 МАТЕРИАЛЫ И МЕТОДЫ
Разностное группирование (РГ) наиболее эффективно в применении к векторам большой размерности, которая для структурных признаков SURF равна 64 и выше [4]. Рассмотрим особенности РГ применительно к пакетам векторов-дескрипторов SURF.
Структурное описание изображения - это конечное множество г с Я", Я" = (г | г е Я",||гЦ « 1}, где Я" с Я" -пространство п -мерных векторов с евклидовой нормой:
z =
Z2 «1 [1]. Выполнение условия нормировки
к 1 позволяет напрямую применять вектора описания в процедурах обучения без дополнительной обработки.
В методе РГ кластеры строятся последовательным урезанием исходного множества способом агломерации. Вначале для каждого е X осуществляют вычисление значения пиковой функции (ПФ)
D(zi) _ZLexP'
-P2b(Zi,Zj) I
(r / 2)2
(1)
Идея РГ лежит в русле развития метода потенциальных функций как одного из наиболее общих подходов к классификации образов [6,7]. Значение (1) пропорционально числу векторов из окрестности центра . Малое значение ) свидетельствует, что центр располагается в зоне сосредоточения незначительной группы векторов . Считается, что коэффициент г практически не
оказывает влияния на итоговые пропорции между ), поэтому его подбор не критичен [3].
После расчета значений ПФ Уг^ е X отбирается вектор г с наибольшей мерой Г)(г). Эта точка - первый
центр: С\ = а^шахВ(г). Перед поиском следующего
геХ
центра исключаем с из X и все точки в пределах сферы г. Все они образуют первый кластер.
Отбор элементов сферы соседства для кластера С можно осуществить, например, путем анализа близости значений ПФ:
С = (г е 21Б(С1) - В(г) ¿еОД}, (2)
Далее переопределяем ПФ для оставшихся точек:
Dnew (zi ) _ D(zi) - D(c1) exP
-р2b (Zi, С1) |
. (Г1/2)2 J
(3)
ПФ Опе№ () принимает нулевое значение при = с и близка к нулю для элементов С^.
После модификации (3) определяется следующая точка г с максимальным Опе№ (г), г е X, г £ С1. Она образует центр С2. Поиск следующего центра возобновляется после исключения компонентов, включенных в уже отобранные кластеры. Кластеризация завершается при фиксации всех центров, предусмотренных начальными условиями.
Метод РГ реализует самоорганизацию множества векторов, суть которой - нахождение центров, представляющих множество данных с минимальной погрешностью. Заметим, что метод РГ инвариантен к нумерации списка входных точек, что важно для задач обработки изображений.
Критерием качества кластеризации (погрешность квантования) выступает функционал усредненной по
числу записеи суммы квадратов расстоянии между центрами кластеров и включенными в них данными [3]
E =12=1lzC P2(z,С'> =
(4)
Значение (4) - это усредненная ошибка в течение s шагов обучения. Выражение (4) можно применить как ко всей базе, так и к отдельному эталону. Если в (4) уб -рать усреднение - получим величину мгновенной ошибки на очередном шаге обучения.
Важно не только значение ошибки, но и ее динамика изменения в процессе обучения. В частности, представляет интерес событие стабилизации значений центров, что соответствует незначительным колебаниям (4). Методы, минимизирующие (4), называют группировкой с минимальной дисперсией [6]. Оптимизация критерия (4) в процессе кластеризации вскрывает внутреннюю структуру пространства данных в виде концентрированных сгущений точек.
Самоорганизующиеся карты (SOM - Self-Organizing Map) Кохонена (СК) реализуют конкурентное обучение на основе нейробиологического принципа по схеме WTA (Winner Takes All - победитель получает все) [9]. СК -однослойная искусственная нейронная сеть с прямой передачей информации. Преимуществами СК, кроме объединения операций кластеризации и проецирования, считаются простота архитектуры и независимость самоорганизации от размерности задачи [9]. В результате самообучения СК пространство Z разбивается на k подобластей Zv <z Z так, что вектор-образу z е Zv <z Z соответствует точка-нейрон пространства Y : Z = ^k=1 Zv,
Zv n ZT = 0,v ф т.
Схема соединения и трансформации нейронов в пространстве признаков SURF показана на рис. 1.
Результаты классификации-кластеризации посредством СК в значительной степени зависят от начальных весов нейронов, которые зачастую инициализируют случайным образом. Одним из путей уменьшения степени эврестичности есть применение непосредственно векторов из обучающей выборки [3, 8].
Отметим существенное отличие принципов построения методов РГ и СК: РГ выбирает центры кластеров из имеющегося списка, в то время как СК создает и подстраивает сеть центров под имеющиеся данные. Один из
вариантов коллективного использования СК и РГ предполагает применение на первом этапе РГ для инициализации и определения таких параметров сети, как центры и число кластеров. На втором этапе употребляется СК для завершения самоорганизации нейронов. Обучающее множество используется повторно на каждом шаге обработки.
Формализуем обучение СК для распознавания. Имеем конечное множество Z = (Zj }j=1 структурных описаний базы из J эталонов. Эталон Z' - это конечное множество дескрипторов SURF. Поставим задачу осуществить кластеризацию Z на k кластеров. В качестве обучающей выборки используем множество Z, а нейроны W = (W1,W2,...,Wk ) (центры кластеров) представим
пакетом из k векторов (W = (Wj,1, Wj,2,..., Wj,64)},' = 1k.
По принципу обработки WTA на очередном шаге для обучающего вектора z е Z определим номер q нейрона-победителя:
q = arg opt р(Щ, z). (5)
i
Подмножество W* с W соседей Wq определяется как — q
W* = (Wj | p(W', z) ^ r}, где r - порог. В обучении по Кохонену применяется линейная схема подстройки подмножества W* в направлении вектора z [3]
W' (h +1) = W' (h) + n(h)[z(h) - Wt (h)]. (6)
Выражение (6) отвечает градиентному методу оптимизации, а значение [z(h) - Wj (h)] определяет направление в многомерном пространстве, в соответствии с которым осуществляется уточнение вектора весов. Для случая нормализованных к единице входных векторов определение нейрона-победителя по максимуму скалярного произведения равнозначно критерию наименьшего евклидова расстояния. Следствием конкуренции становится самоорганизация в ходе обучения, а нейроны-победители приобретают свойство различения «своей» категории входных данных.
Метод самообучения Кохонена включает следующие шаги [3, 5].
1. Инициализация. Для k нейронов сети устанавливаются начальные нормализованные веса, скорость П и радиус r обучения.
Рисунок 1 - Схема обучения СК на множестве Z
2. Возбуждение. На входной слой подается вектор г обучающей выборки.
3. Конкуренция. Для каждого нейрона вычисляется расстояние ,г], определяется нейрон-победитель.
4. Определяется подмножество нейронов в пределах радиуса обучения, их веса подстраиваются в соответствии с (6).
5. Коррекция параметров.
Натренированная сеть функционирует как векторный классификатор, основанный на сопоставлении входного вектора с набором сформированных векторов-нейронов [3]. Если обучение осуществить на группе похожих векторов с коэффициентом п < 1, то веса нейронов примут значения, усредненные по этим векторам. В режиме классификации СК лучше всего реагирует на векторы, близкие к средним значениям векторов обучающей группы. Сеть реализует функцию векторного квантования: за счет самоорганизации произвольное количество многомерных данных, образующих кластер, отображается вектором весов центра. Пространственное размещение нейронов определяет зоны концентрации данных. Представление структурного описания базы в виде конечного множества центров кластеров - это компрессия данных с потерями, которая сопровождается определенной погрешностью квантования.
Результат кластеризации для множества ХП прикладной базы изображений всецело определяется используемыми технологиями обучения, которые в настоящее время строго не формализованы и существенно зависят от опыта исследователя. Считается, что независимо от способа обучения самоорганизующихся сетей значима избыточность обучающих данных, без которой качественное обучение невозможно [3].
Процесс обучения сводится к формированию кластеров с фиксированным механизмом конкуренции нейронов при подборе параметров к, П, г. Например, для предотвращения расходимости обучения вблизи локального минимума отслеживают значение целевой функции Е(И) на шаге И с тем, чтобы не допустить ее возрастания сверх фиксированного ограничения, например в 5% [3]. Если выполнено условие Е(И +1) < 1,05Е(И), то изменения игнорируют, приращение считается несущественным, веса не изменяются. Если же Е(И +1) > 1,05Е(И), очередной шаг считается целесообразным, и уточнение проводится. Подбор коэффициентов требует значительного числа экспериментов и часто зависит от специфики проблемы.
Значимым моментом для обеспечения высокой статистической точности есть возможность многократного использования данных с изменяющимися параметрами обучения. Множество обучающих векторов предъявляют несколько раз, причем в случайной последовательности (бутстреп-обучение [9]). Технология многократного предъявления выборки способствует стабилизации весов и ошибки сети. Обучение завершают, если изменение вектора весов становится меньше принятого значения толерантности.
Грамотный подбор коэффициента П, как правило, изменяющегося в ходе обучения, оказывает огромное влияние на сходимость к минимуму целевой функции. Слишком малое значение не позволяет быстро минимизировать целевую функцию и требует многократных итераций. Большой шаг может привести к «перепрыгиванию» через минимум и повторных возвращений к нему. Практически приемлемые результаты в плане сходимости достигаются при с течением обучения [9]. Фиксация на весь период обучения упрощает обработку. В то же время более эффективный метод основан на адаптивном подборе коэффициента с учетом фактической динамики величины целевой функции.
Если обозначить погрешности соответственно ег_1, ег- на последующих шагах обучения, а Пг-1, П - коэффициенты обучения, то в случае е^ > уег_1 (у - коэффициент допустимого роста погрешности) значение п умень -шают по формуле пг+1 =аПг, где а - коэффициент уменьшения. Если же е^ < уег_1, то осуществляют увеличение пг+1 =РПг, где Р - коэффициент увеличения. Такой адаптивный метод подбора п сильно зависит от вида целевой функции и значений а, в, у. Оптимальные для функций одного вида значения могут замедлить процесс обучения для других функций. В одной из задач квадратичной аппроксимации удачно использованы значения коэффициентов у = 1,4, а = 0,7, в = 1,05 [3]. Другие виды адаптации предполагают задание прямой зависимости снижения п от шага. Один из вариантов изменения п в течение N шагов может иметь вид п(^) = 0,9(1 -1 / N). Другой распространенный вариант - ) = А /(/ + В), где А, В - константы [3].
Иногда применяют разновидность обработки, где нейрон-победитель уточняется по формуле (6), а ближайшие к нему центры - в противоположном направлении с коэффициентом _п, что позволяет отдалить близкие центры и тщательно обследовать пространство данных. Исследователи отмечают, что ни один из алгоритмов не гарантирует абсолютную сходимость к глобальному оптимуму, обеспечивая лишь локальную оптимизацию, зависящую от начальных условий и параметров [3]. В итоге нейросетевые методы, включая 80М, не дают однозначно определяемых результатов [9]. Адаптивные процессы могут повести себя совершенно неожиданным образом в зависимости от выбранных значений их параметров и хода обучения. Следует использовать проверенные рекомендации и программные средства, чтобы обеспечить контроль над ходом самоорганизации и качество результатов в приложениях.
Обратим также внимание на тот факт, что ошибка обучения (4), вычисляемая пошагово в процессе обучения, не совпадает со значением, вычисленным после завершения обучения (пост-ошибка), т.к. нейроны-центры изменяются. Если для обучения значима динамика ошибки, то после обучения уже важна ее абсолютная величина как итог обучения. Для получения абсолютного значения необходимо пересчитывать (4) либо при каждом изменении нейрона-центра, либо по результату фиксированного числа шагов.
С точки зрения результативности классификации-кластеризации интересен экспериментальный анализ следующих стратегий обучения.
1. Сравнение качества кластеризации раздельно и совместно для двух обсуждаемых методов (РГ и СК) при фиксированном коэффициенте обучения.
2. Анализ качества методов при изменяющемся по некоторому закону коэффициенте обучения.
3. Изучение функционирования методов с применением адаптации и многократного употребления множеств входных данных.
Эксперименты проведены для структурных описаний, полученных методом SURF для базы из 25 изображений гербов городов Украины [8]. Моделирование метода РГ показало, что при постоянном r _ 1 значение максимума ПФ монотонно снижается (рис. 2).
Моделирование для изображения герба Харькова (342 ХП) показало, что погрешность квантования (4) для метода РГ находится в диапазоне 0,4...0,5, в то время как для метода СК она составила значение 0,24. Рис. 3 содер-
Значения ПФ
л 5 а
Номер кластера
Рисунок 2 - Значения максимума ПФ в процессе кластеризации
жит изображение герба Харькова и координаты 30 ХП из его описания SURF. Число образованных кластеров изменяется в пределах от 1 до 26 с изменением порога е в соотношении (2) от 0,1 до 0,9. При малых е наблюдается сосредоточение в 2-3-х кластерах, что впоследствии может сказаться на значении вероятности распознавания. По этой причине для данного набора ХП можно рекомендовать е_ 0,7, при котором образовано q _ 11 кластеров, где элементы по кластерам распределены достаточно равномерно, а ошибка квантования составила 0,41.
Исследования для пакета из 5 изображений гербов городов Украины [8], содержащей 1543 дескриптора SURF, практически подтверждают эти пост-экспериментальные рекомендации: при пороге е _ 0,6 получено 7 кластеров, при е _ 0,7 - 14 кластеров с более равномерным распределением элементов, ошибка квантования E _ 0,50. Дальнейшее увеличение е приводит еще к более Дальнейшее увеличение е приводит еще к более равномерному распределению по кластерам, однако, увеличивается их число и ошибка: при е _ 0,9 значения q _ 42, E _ 0,77. Выбор оптимальных значений параметров переносится в область применений. Рисунок 4 демонстрирует зависимость числа кластеров от порога е .
Исследования показали возможность управления параметром е для достижения нужного числа кластеров методом РГ, которые впоследствии обеспечат результативное распознавание для произвольной базы изображений. Так для рассматриваемого пакета из 5 гербов при пороге е _ 0,61 имеем q _ 8 кластеров с ошибкой E _ 0,47.
Путем применения СК для базы из 5 гербов городов при пороге е_ 0,61 получено распределение по 8-ми кластерам с ошибкой E _ 0,236.
50
Рисунок 3 - Изображение герба Харькова и координаты 30 ХП
40
30
20
10
0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
Рисунок 4 - Зависимость числа кластеров от порога кластеризации
его описания
Таблица 1 - Количества ХП в кластерном представлении эталонов
0
Изображения гербов Номер кластера Ошибка Е
1 2 3 4 5 6 7 8
Днепропетровск 40 75 24 9 5 61 5 34 0,271
Львов 14 151 21 14 0 7 1 121 0,253
Киев 10 91 38 27 5 66 4 63 0,229
Харьков 102 113 20 17 4 14 3 69 0,256
Кременчуг 83 51 57 10 5 43 5 61 0,173
База 249 481 160 77 19 191 18 348 0,236
Из табл. 1 (матрица данных) наблюдаем практически равномерное распределение ошибки (4) по множеству эталонов и неравномерное распределение числа элементов по кластерам. Например, кластер 2 содержит 481 ХП (31,2% от общего числа элементов), а кластер 7 - всего 18 ХП, что соответствует 1,2%. В то же время есть мнение, что элементы малочисленных кластеров 5, 7 также влияют на результат распознавания. Альтернативой есть исключение элементов этих кластеров из эталонного описания базы.
Заметим, что в плане результативности распознавания, на наш взгляд, более значимую роль играет уровень существенного преобладания значений отдельных элементов в столбцах матрицы табл. 1. Это наблюдается, например, для кластеров 1-3, 8. Такое преобладание дает возможность с большей степенью уверенности или даже однозначно относить распознаваемый элемент к определенному эталону.
График экспериментально полученного значения ошибки (4) для метода СК при фиксированном п = 0,5 приведен на рис 5. Как видим, при ^ = 300 величина (4) равна 0,205, а в дальнейшем колеблется в среднем на уровне 0,23. Это характерно для разных вариантов начальных условий. Делаем вывод, что при числе элементов обучения более 300 процесс кластеризации дескрипторов стабилизируется. Ошибка в процессе и после кластеризации находится в пределах интервала 0,2-0,3.
/Л0,7
300 600 900 1200 1500
Рисунок 5 - Значения ошибки кластеризации при разных П
5 РЕЗУЛЬТАТЫ
Основным результатом работы есть формализация, моделирование и сравнение полученных экспериментальных оценок для современных методов кластеризации применительно к множествам характерных признаков для прикладной базы изображений.
Самоорганизация на основе сети Кохонена дает примерно в два раза меньшую ошибку квантования на множестве признаков, чем метод разностного группирования, который можно рекомендовать на этапе инициализации. Комбинирование методов разностного группирования и сети Кохонена снижает ошибку квантования в пределах 40%. Восемь кластеров вполне достаточно для осуществления уверенного распознавания в прикладной базе изображений гербов.
6 ОБСУЖДЕНИЕ
Наши эксперименты показали, что с изменением п от 0 до 1 ошибка возрастает. Конечное значение (4) при П = 0,2 составило 0,211, при п = 0,5 - 0,267, при п = 0,70,289. Кроме того, при постоянном П ошибка начинает медленно возрастать, примерно начиная с шага обучения с номером 1000.
Из графика рис. 5 видим, что изменение П(Г) = 0,9(1 - / / N) приводит к процессу уменьшения ошибки до значения 0,196. Это несколько меньше, чем при постоянном п, где наименьшее из значений равно 0,211.
Применение повторного обучения на материале базы ХП показало существенное снижение итоговой ошибки обучения от числа повторений. В соответствии с числом повторений экспериментальная ошибка составила: 1) 0,236; 2) 0,045; 3) 0,013; 4) 0,001; 5) 0,0002. Этот факт говорит об имеющихся резервных возможностях при необходимости уменьшать ошибку обучения, особенно для баз мало различающихся изображений, например, человеческих лиц.
Проведены эксперименты по адаптации процесса обучения путем отмены подстройки нейронов при условии Е(к +1) < 1,05Е(А). Это реализовано для двух вариантов обучения: п = 0,5 и п(0 = 0,9(1 -1 / N). Моделирование показало, что в первом случае итоговая ошибка несколько уменьшилась (0,254 вместо 0,267), а во втором - возросла (0,243 вместо 0,196). Как видим, управление процессом обучения путем анализа значений текущей ошибки и игнорирования СК незначимых ее изменений в некоторых ситуациях может привести к возрастанию конечной ошибки.
Применение метода РГ для инициализации СК в сравнении со случайной инициализацией привело к снижению итоговой ошибки квантования (4) в методе СК до уровня 0,142, что соответствует около 40% улучшению. Это подтверждает необходимость и эффективность совместного применения разноплановых подходов кластеризации.
ВЫВОДЫ
Систематизация пространства характерных признаков в задаче распознавания изображений сводится к переходу к кластерному представлению с последующим применением трансформированной меры подобия в новом пространстве. Результирующее распределение признаков эталонов по кластерам определяет качество распознавания. Обучение дает возможность адаптировать структурный анализ к данным эталонного множества признаков прикладной базы изображений, что улучшает показатели распознавания.
Управление обучением путем изменения функцией коэффициента обучения снижает конечную ошибку. Применение адаптации нейронной сети путем анализа значений текущей ошибки не приводит к значимому уменьшению итоговой ошибки квантования. В целом процессу обучения для прикладной базы изображений свойственна стабилизация ошибки квантования при числе шагов, превышающем 65% общего числа признаков.
Ключевым критерием эффективности с использованием самообучения остается вероятность правильного распознавания, а ошибка обучения (векторного квантования) непосредственно отражает лишь качество и свойства самого процесса обучения.
Научная новизна исследования состоит в эффективном применении самообучения системы структурного распознавания изображений путем построения кластерного сжатого представления в пространстве признаков. Это позволяет перейти к векторному описанию пространства эталонов, и как результат, существенно увеличивается быстродействие распознавания.
Практическая ценность работы - получение экспериментальных оценок результативности кластеризации-классификации множества признаков для прикладных примеров баз изображений.
Перспективой обучения на множестве структурных описаний из характерных признаков может быть обучение с учителем, т. к. в рассматриваемой постановке класс характерного признака в составе эталона считается известным. Дальнейшее снижение ошибки квантования может быть получено путем построения нечеткой или гибридной сети [3].
СПИСОК ЛИТЕРАТУРЫ 1. Гороховатский В. А. Структурный анализ и интеллектуальная обработка данных в компьютерном зрении /
B. А. Гороховатский. - Харьков : Компания СМИТ, 2014. -316 с.
2. Контурная обработка динамических изображений / [Л. И. Тимченко, А. А. Поплавский, Н. И. Кокряцкая и др.]. - Киев : Наукова думка, 2013. - 239 с.
3. Осовский С. Нейронные сети для обработки информации /
C. Осовский. - М. : Финансы и статистика, 2002. - 344 с.
4. Bay H. Surf: Speeded up robust features / H. Bay, T. Tuytelaars, L.Van Gool // Computer Vision : Ninth European Conference on Computer Vision, Graz, 7-13 May, 2006: proceedings. -Berlin : Springer, 2006. - P.404-417.
5. Паклин Н. Б. Бизнес-аналитика: от данных к знаниям / Н. Б. Паклин, В. И. Орешков. - СПб. : Питер, 2013. - 704 с.
6. Duda R. O. Pattern classification. Second edition / R. O. Duda, P. E. Hart, D. G. Stork. - New York : Wiley, 2000. - 738 p.
7. Прикладная статистика: Классификация и снижение размерности / [С. А. Айвазян, В. М. Бухштабер, И. С. Еню-ков, Л. Д. Мешалкин; под ред. С. А. Айвазяна.]. - М. : Финансы и статистика, 1989. - 607 с.
8. Берестовский А. Е. Нейросетевые технологии самообучения в системах структурного распознавания визуальных объектов / А. Е. Берестовский, А. Н. Власенко, В. А. Гороховатс-кий // Реестращя, збертання i обробка даних. - 2015. -№ 1. - С. 108-120.
9. Кохонен Т. Самоорганизующиеся карты / Т. Кохонен. -М. : БИНОМ, Лаборатория знаний, 2013. - 655 с.
Статья поступила в редакцию 02.12.2015.
После доработки 14.12.2015.
Гороховатський В. О.1, Берестовський А. Е.2, Передрш О. О.3
1Д-р техн. наук, професор, професор кафедри шформацшних технологш, Харювський навчально-науковий шститут ДВНЗ «Ушверситет банювсько! справи», Харюв, Украша
2Астрант кафедри шформатики, Харювський нацюнальний ушверситет радюеелектронжи, Харюв, Украша
3Канд. техн. наук, викладач кафедри шформатики i комп'ютерно! технжи, Харювський нацюнальний економiчний ушверситет iм. Семена Кузнеця, Харюв, Украша
СИСТЕМАТИЗАЦ1Я ПРОСТОРУ СТРУКТУРНИХ ОЗНАК НА ОСНОВ1 МЕТОД1В САМОНАВЧАННЯ З МЕТОЮ РЕЗУЛЬТАТИВНОГО РОЗП1ЗНАВАННЯ ЗОБРАЖЕНЬ
Робота присвячена дослщженню питань кластеризацй для множин характерних ознак зображень. Для побудови масиву характерних ознак використаний метод Speeded Up Robust Features. Реалiзованi алгоритми кластеризацй структурних опиав зображень на основi самооргашзуючо! нейронно! мережi Кохонена та методу рiзницевого групування. Об'ектом дослщження е методи кластеризацй стосовно до множин структурних ознак. Метою роботи е побудова векторних уявлень опиав на основi кластеризацй, що тдвищуе швидкодто розтзнавання. Предметом дослщження е систематизащя множин структурних ознак вiзуальних об'екив.
Обговорюються результати застосування метсдав кластеризацй для структурних опиав зображень у виглядi множин характерних ознак з метою тдвищення швидкодй розтзнавання вiзуальних об'екив. Для систематизацй та стиснення простору ознак запропоновано здшснити самонавчання iз застосуванням метсдав рiзницевого групування i мереж Кохонена.
Проведено моделювання та експериментальш дослщження метсдав кластеризацй на прикладах конкретних множин характерних ознак. Результати дослщжень доводять можливють ефективного представлення опиав у виглядi вектора з цшочисельними елементами. Даний тдхщ може використовуватися для виршення задач розтзнавання i пошуку зображень.
У результат побудовано компактний векторний опис еталошв, отримаш юльюсш оцшки помилки кластеризацй, тдтвердже-на працездатшсть методiв для прикладно! бази зображень.
Ключовi слова: комп'ютерний зiр, розтзнавання зображень, характерт ознаки, структурний опис зображення, метод SURF, кластеризащя, нейронна мережа, метод рiзницевого групування, мережа Кохонена, помилка квантування.
Gorokhovatsky V. A.1, Berestovskyi A. E.2, Peredrii Е. О.3
1Dr.Sc., Professor, Professor of the information technologies department, Kharkiv Educational and Scientific Institute SHEI "The University of banking", Kharkiv, Ukraine
2Post-graduate student of the informatics department, Kharkiv National University of Radioelectronics, Kharkiv, Ukraine
3Ph.D., teacher of the department of computer science and computer engineering, Simon Kuznets Kharkiv National University of Economics, Kharkiv, Ukraine
SYSTEMATIZATION OF SPACE OF STRUCTURAL FEATURES BASED ON SELF-LEARNING METHODS FOR EFFECTIVE IMAGE RECOGNITION
The work deals with issues of clustering sets of characteristic features of images. For the construction of array of the characteristic features is used method Speeded Up Robust Features. Implemented algorithms for clustering structural descriptions of images on the
basis of a self-organizing Kohonen neural network and method of grouping the difference. The object of the research are clustering methods which applied to the set of structural features. The aim is to construct a vector representations of descriptions based on clustering, which increases the speed of recognition. The subject of research is systematization a set of structural features of visual objects.
Discussing the results of the application of clustering methods for structural descriptions of images in the form of sets of characteristic features to improve the performance of visual recognition of objects. For systematization and compression the feature space proposed to carry out self-study using the methods of differential grouping and Kohonen networks.
The simulation and experimental study of clustering methods on examples of specific sets of characteristic features were done. The research results proves the possibility of effective representation of the descriptions in the form of a vector with integer elements. This approach can be used to solve problems of recognition and retrieval of images.
As a result compact vector description of etalon images is built, quantitative estimates of clustering error are estimated, efficiency of proposed method during processing of real image database is confirmed.
Keywords: computer vision, image recognition, characteristic signs, structural description of image, method SURF, clusterization, neural network, differential grouping method, Kohonen's neural network, quantization error.
REFERENCES
1. Gorokhovatsky V. Strukturny'j analiz i intellektual'naya obrabotka danny'x v komp'yuternom zrenii: monografiya. Kharkiv, Kompaniya SMIT, 2014, 316 p.
2. Timchenko L. I., Poplavskij A.A., Kokryackaya N. I. i dr.Konturnaya obrabotka dinamicheskix izobrazhenij : monogr. Kyiv, Naukova dumka, 2013, 239 p.
3. Osovskij S. [per. s pol'skogo] Nejronny'e seti dlya obrabotki informacii. Moscow, Finansy' i statistika, 2002, 344 p.
4. Bay H., Tuytelaars T., Van L. Gool Surf: Speeded up robust features, Computer Vision : Ninth European Conference on Computer Vision, Graz, 7—13 May, 2006: proceedings. Berlin, Springer, 2006, pp.404-417. DOI: 10.1007/11744023.
5. Paklin N. B., Oreshkov V. I. Biznes-analitika: ot danny'x k znaniyam: uch posob. Sankt-Peterburg, Piter, 2013, 704 p.
6. Duda R. O., Hart P. E., Stork D. G. Pattern classification. Second edtition. N'ju-Jork, Wiley-Interscience, 2000, 738 p.
7. Ajvazyan S. A., Buxshtaber V. M., Enyukov I. S., Meshalkin L. D.; pod red. S. A. Ajvazyana. Prikladnaya statistika: Klassifikaciya i snizhenie razmernosti: sprav. izd. Moscow, Finansy' i statistika, 1989, 607 p.
8. Berestovskyi A., Vlasenko A. N., Goroxovatskij V A. Nejrosetevy'e texnologii samoobucheniya v sistemax strukturnogo raspoznavaniya vizual'ny'x ob"ektov, Reestraciya, zberigannya i obrobka danix, 2015, Vol. 17, No. 1, pp. 108-120.
9. Koxonen T. Samoorganizuyushhiesya karty' per. 3-go angl. izd. Moscow, BINOM. Laboratoriya znanij, 2013, 655 p.
