CC BY
13
УДК 004.8
С.А. Мальчевский
ИСПОЛЬЗОВАНИЕ МЯГКИХ ВЫЧИСЛЕНИЙ ДЛЯ ОПТИМИЗАЦИИ ПАРАМЕТРОВ ДЕВИАЦИИ ПРИЗНАКОВ ПРИ РАСПОЗНАВАНИИ ОБРАЗОВ
В системах распознавания образов основными задачами являются извлечение идентификационных признаков исходного образа и проведение этапа классификации и кластеризации над идентификационными признаками. На практике на этапе классификации для получения более качественного результата распознавания необходимо нелинейно варьировать параметр отклонения идентификационных признаков. В данной статье предлагается метод оптимизации параметра девиации идентификационных признаков при распознавании образов на основе нечетких нейронных сетей (ННС).
Быстрые алгоритмы обучения и интерпретируемость накопленных знаний - эти факторы сделали сегодня ННС одним из самых перспективных и эффективных инструментов мягких вычислений, в т. ч, при решении задач классификации. ННС осуществляют выводы на основе аппарата нечеткой логики, однако параметры функций принадлежности настраиваются с использованием алгоритмов обучения нейронных сетей. Поэтому для подбора параметров таких сетей применим метод обратного распространения ошибки, изначально предложенный для обучения персептрона. Для этого модуль нечеткого управления представляется в форме многослойной нейронной сети (МНС) [1].
Постановка задачи. Обзор подходов к прогнозированию девиации признаков
Пусть имеется вектор признаков X = {х°, х°, ..., x°} исследуемого объекта O. Имеется вектор идентификационных признаков каждого из известных классов р = {p^ Х2\ ..., х1^ ...,pjxm Х2™ ..., х;)}. Необходимо определить параметр q, который позволит максимизировать отклонение х°к от xf для O, при этом отклонение х°к для классов отличных от f будет минимальным. Другими словами, Deviation(X, pf) ^ max, при Deviation(X, p) ^ min, где f - наиболее близкий класс для O.
На настоящий момент существует несколько методов оптимизации данного параметра:
1. Вручную, людьми, которые являются экспертами в определенной области. Основной недостаток данного метода состоит в том, что при различных входных данных параметр девиации для фиксированного класса образов будет иметь отличную от предыдущей величину, поэтому необходимо постоянное присутствие эксперта. Второй недостаток - человеческий фактор, который влечет к накоплению ошибок классификации.
2. С использованием нейронных сетей различных архитектур. При этом следует отметить два существенных недостатка: сложность подбора архитектуры сети для конкретной задачи и сложность в понимании процесса при выборе того или иного решения, поскольку его принятие хранится в виде массивов синаптических весов.
3. Методы на базе систем нечеткого вывода. Основной их недостаток заключается в необходимости вручную, на основе экспертных оценок, сформировать большое количество правил и параметров сети для каждой задачи.
Перечисленные методы в большинстве случаев справляются со своей задачей, но из-за имеющихся недостатков предполагают трудности при разработке унифицированных систем распознавания образов.
В данной статье предложена система нейро-нечеткого вывода типа Сугено, реализующая прогнозирование параметра д, избавленная от недостатков, характерных для вышеуказанных методов.
Архитектура нейро-нечеткой сети
Предлагаемая структура системы нейро-нечеткого вывода имеет тип Сугено и состоит из четырех слоев. Каждый слой ННС имеет строгое предназначение: первый слой - фаззификация входных переменных; второй - агрегирование значений активации условия; третий - агрегиро-
4
Семинары
вание нечетких правил; четвертый слой - дефаззи-фикация выхода системы. Сформированная база правил представлена совокупностью следующих правил для каждой функции принадлежности:
(1)
Если (1пх т/.) И (т2 т/.) И (т3 т/3.) ... И (тк т/. ТО (оШ is от/),
где т. - ¡-я входная переменная; т/. - 1-я функция принадлежности ,-й входной переменной; опХ -выходная переменная; от/. -1-я функция принадлежности выходной переменной; 1 = 1, к. Максимальное количество к функций принадлежности определяется с помощью алгоритма субстрак-тивной кластеризации. Данный алгоритм используется в качестве экспертной оценки термов лингвистических переменных для формирования количества функций принадлежности.
На первом шаге субстрактивной кластеризации определяют точки, которые могут быть потенциальными центрами кластеров. На втором шаге для каждой такой точки рассчитывается значение потенциала, показывающего возможность формирования кластера в ее окрестности. Чем плотнее расположены объекты в окрестности потенциального центра кластера, тем выше значение его потенциала. После этого итерационно выбираются центры кластеров среди точек с максимальными потенциалами. Для алгоритма суб-страктивной кластеризации число потенциальных центров кластеров должно быть конечным. В качестве начальных центров кластеров могут быть выбраны все объекты кластеризации.
Потенциалы центров кластеров рассчитываются следующим образом:
N _
Р(С) = X ехр(-а ■ ДС, X), , = 1,М, (2) ' .=1 ' 1 где М- количество начальных центров; N - количество объектов кластеризации; С. = (си, е2, ..., еп) - потенциальный центр .-го кластера; а - положительная константа; 0(С., Хк) - расстояние между потенциальным центром кластера С. и объектом кластеризации Хк.
Центром первого кластера выбирается точка с наибольшим потенциалом. Прежде чем выбрать следующий центр кластера необходимо исключить влияние только что найденного кластера. Для этого значения потенциала для оставшихся возможных центров кластеров пересчитываются с учетом вклада центра только что найденного кластера У1:
Р(С) = Р(С) - Р(¥1) ■ ехр(-в ■ ДС, V)), (3)
где V = argmax(Р((',)), в - положительная кон-
С, ,.=1М
станта.
Центр второго кластера определяется по максимальному значению обновленных потенциалов оставшихся точек. Итерационная процедура пересчета потенциалов и выделения центров кластеров продолжается до тех пор, пока максимальное значение потенциала превышает изначально заданный порог [3].
Сформированная таким образом база правил ННС далее используется для оптимизации идентификационных признаков при помощи функций принадлежности, реализующих первый слой ННС; определяется степень принадлежности для каждой входной переменной. Функции принадлежности имеют вид Гаусса:
f(-) = exp(- !(^)2),
(4)
где параметры а. и р. для каждой функции принадлежности f(-) после обучения. Для авторской системы предметно-независимого распознавания графических образов, описанной в [2], количество функций принадлежности к = 6, а значения параметров а. и Р. приведены в табл. 1. Диапазоны значений входных переменных для данной системы представлены в табл. 2.
На втором слое сети определяются уровни отсечения для левой части каждого правила, согласно операции минимизации:
a. = mш{mf.{in)}, (5)
_ _ j j
где 1 = 1,5 ,J = 1,6.
На третьем слое вычисляются индивидуальные выходы продукционных правил (1):
т
(6)
_ _ i=i
где г = 1,5 , J = 1,6; v.. - некоторый параметр.
J
На четвертом слое выполняется дефаззифи-кация выходной переменной для системы Су-гено традиционно методом центра тяжести для одноточечных множеств (Center of Gravity for Singletons), по формуле:
arz{
¡=1
(7)
a,
¿=1
Таблица 1
Значения параметров функций принадлежности
Номер входной переменной Номер функции принадлежности
1 2 3 4 5 6
а ß а ß а ß а ß а ß а ß
1 0,132 0,032 0,269 0,18 0,504 0,137 0,242 0,163 0,016 0,153 0,181 0,181
2 0,548 0,266 0,282 0,214 0,931 0,225 0,763 0,247 0,058 0,263 0,346 0,226
3 0,511 0,247 0,378 0,209 0,998 0,213 0,961 0,159 0,795 0,221 0,346 0,226
4 0,388 0,252 0,757 0,194 0,907 0,25 0,619 0,261 0,064 0,257 0,225 0,29
5 0,447 0,191 0,212 0,153 0,47 0,163 0,221 0,184 0,017 0,187 0,054 0,113
Таблица 2 Диапазоны значений входных переменных
Номер входной Диапазон значений
переменной Нижний Верхний
1 0,02 0,5267
2 0,06 0,8967
3 0,2833 0,9833
4 0,06667 0,89
5 0,02 0,6233
где п - число одноточечных нечетких множеств, каждое из которых характеризует единственное значение рассматриваемой выходной переменной.
Выходная переменная ННС определена на интервале [0; 1]. Для алгоритма, описанного в [2], реализующего предметно-независимое распознавание графических образов, выходные параметры обучающей выборки для прогнозирования параметра девиации находились на промежутке [0,01; 0,2]. Для графических образов (см. рис.) с максимальным потенциальным варьированием признаков оптимизирование значения q близким к 0,2, а для образов, которые мало подвержены модификации в пространстве - близким к 0,01.
В качестве сравнения отметим, что при необходимости прогнозирования девиации признаков с применением МНС на диапазоне 0,01 ... 0,2 с шагом 0,01 используется 20 различных состояний, что можно закодировать 5 нейронами с бинарными выходами выходного слоя в случае многослойного перцептрона. Входной слой можно смоделировать 15 нейронами (по правилам построения МНС, последующий слой должен содержать около 30 % от количества нейронов предыдущего слоя). Функция активации имеет сигмоидальный тип:
—. (8) 1 + е~х
Ошибка классификации E при этом может быть определена, как
£(К,})=(-• IX-oJ2, (9)
V П keOutputs
где w.. - вес, стоящий на ребре, соединяющем i-й
V
и .-й узлы; о. - выход i-го узла. Если нам известен обучающий пример, то tk - правильные ответы сети; ke Outputs.
Анализ полученных результатов
Система нейро-нечеткого вывода обучена и реализована в алгоритмах экспертной системы «Ident Smart Studio». Экспертная система спрогнозировала параметр девиации q для образов, изображенных на рисунке а, б, в и г, соответственно равным 0,136, 0,013, 0,0478, 0,145. Данный параметр позволяет признакам отклоняться на определенную величину при минимальной ошибке классификации.
В табл. 3 приведены основные характеристики методов прогнозирования девиации признаков на примере задачи идентификации, описанной в [2] для предметно-независимого распознавания
Исследуемые образы
Таблица 3
Сравнительная характеристика методов
Подход Критерий
Скорость обучения Ошибка обучения Точность прогнозирования # на тестовых данных, % Ошибка классификации на тестовых данных Уровень автоматизации
Ручной способ Использует опыт эксперта (от 1 дня до нескольких месяцев) -0,05 75 0,1 Отсутствует
Нейронная сеть ~ 8 с 5 ■ 10"5 87 0,087 Высокий
Нечеткий вывод Использует опыт эксперта (от 1 дня до нескольких месяцев) -0,01 83 0,09 Низкий
Нейро-нечеткая сеть ~ Юс 3 ■ Ю-7 91 0,073 Высокий
графических образов. Тестовые данные содержали 1700 векторов идентификационных признаков. Значение выходной переменной ННС является вещественным числом, поэтому для оценки точности прогнозирования допускалось варьирование в пределах до 0,01 в большую и меньшую стороны. Ошибки обучения и классификации рассчитывались по формуле (9).
Как показывают экспериментальные исследования, подход с использованием ННС является
наиболее оправданным, поскольку при расширении диапазона девиации архитектура сети не изменится, дополнительный объем вычислений будет незначительным, по сравнению с МНС. Предлагаемый метод не требует ручной настройки параметров и конфигурации, как это требует нечеткий вывод, а также не требует постоянного присутствия эксперта в работе. Данный подход можно использовать для распознавания различных образов: визуальных и звуковых сигналов; финансовых и социальных ситуаций.
СПИСОК ЛИТЕРАТУРЫ
1. BaseGroups Labs. Технологии анализа данных [Электронный ресурс] http://www.basegroup.ru
2. Фомичева, С.Г. Нейро-нечеткий анализ графических образов экосистемы [Текст] / С.Г. Фомичева, С.А. Мальчевский // Научно-технические ведомости СПбГПУ - 2009. - № 2. - С. 115-122.
3. Демидова, Л.А. Алгоритмы и системы нечеткого вывода в задачах диагностики городских инженер-
ных телекоммуникаций [Текст] / Л.А. Демидова, В.В. Кираковский, А.Н. Пылькин. -М.: Радио и связь - Горячая линия - Телеком. - 2005. - 592 с.
4. Леоненков, А.В. Нечеткое моделирование в среде Matlab и FuzzyTECH [Текст] / А.В. Леоненков. -СПб.: БХВ-Петербург, 2005. - 736 с.
УДК 681.5.017
А.И. Морозов, А.И. Писарев
МЕТОД СОЗДАНИЯ ЛИНГВИСТИЧЕСКИХ ПЕРЕМЕННЫХ
НЕЧЕТКОЙ МОДЕЛИ
Алгоритм построения «нечеткой» модели Су-гено благодаря виду подзаключений [1, 2] своих правил позволяет получить адекватные результаты при наличии необходимых статистических данных. Существующие методы настройки базы правил Сугено основаны на компенсировании «мгновенной ошибки» (разницы между рассчитанным и фактическим значениями) [2]. Главными недостатками этих методов являются:
количество термов, выбор вида функций принадлежности и структура правил устанавливается «экспертом» и не изменяется при настройке «нечеткой» модели;
статистика используется только для расчета настроечных параметров функций принадлежности.
В данной статье предлагается метод построения «нечетких» моделей, лишенный этих недостатков.
Формализация задачи
Введем понятие строки статистических данных - совокупность значений входных и выходных параметров в фиксированный момент времени tv, обозначим Zv = ), У^у)}, где ) -значение .-го входного параметра в момент времени tv, и . = 1 Ы, V = 1 К ; уру) - значение 7-го выходного параметра в момент времени tv, где 7 = 1 ^ Ь; М = {2} -множество строк статистических данных.
Статистические данные должны удовлетворять следующим требованиям:
количество строк статистических данных (К) и количество входных параметров (Ы) должны удовлетворять условию К >> Ы;
строки статистических данных не должны повторяться;
