Способы построения рабочего словаря признаков для решения задач идентификации Текст научной статьи по специальности «Математика»

(N

тН

О

(N

УДК 519.246 Т.И. Ведерникова

ББК 22.172

СПОСОБЫ ПОСТРОЕНИЯ РАБОЧЕГО СЛОВАРЯ ПРИЗНАКОВ ДЛЯ РЕШЕНИЯ ЗАДАЧ ИДЕНТИФИКАЦИИ

Содержит обзорную информацию о методах и алгоритмах выделения информативных признаков для идентификации стохастических объектов.

Ключевые слова: информативный признак, рабочий словарь признаков, идентификация, векторная случайная величина.

T.I. Vedernikova

WAYS OF CREATING A WORKING DICTIONARY OF FEATURES FOR SOLVING IDENTIFICATION PROBLEMS

The article provides general overview information about the methods and algorithms of determining informative features for identification of stochastic objects.

Keywords: informative feature, working dictionary of features, identification, vector random variable.

SSI

2sê

KS г

MhSI

H5i

ОЙ"

°i<s ^ 1

5s ü

^ n £

S I

8s! ИН 25 о

СнО!

£я§|

E40 f

аи-i

SfflE

«

H

H

о

H

PQ

со

H

Одной из проблем, возникающих при решении задач классификации и распознавания образов, является выбор наиболее подходящей математической модели обработки и описания данных. При этом соответствующая информация представляет собой многомерные временные ряды, и, довольно часто, в общем потоке имеющихся данных исследователя интересует лишь та часть данных, которая предшествует аномальному явлению и следует после него. Идентификация аномального явления по совокупности наблюдений представляет собой задачу распознавания образов, эффективность решения которой существенно зависит от качества рабочего словаря признаков (РСП).

Если имеется достаточно полный словарь информативных признаков, то собственно распознавание и идентификация уже не вызывают особых затруднений. В большинстве практических задач распознавания определение полного набора различных признаков, описывающих объект, оказывается делом исключительно трудным или практически невозможным. С другой стороны, большой объем наблюдаемых параметров может «зашумлять» картину идентификации объектов и увеличивать время на выполнение самой процедуры распознавания.

Для выполнения дальнейших рассуждений дадим ряд определений.

Вектор X = (хь х2, ..., хи), полученный в результате непосредственных измерений (статистические данные), — есть вектор параметров объекта.

Вектор признаков — есть новый вектор Y = (у1, у2, ..., ут), представляющий собой либо усеченный набор параметров, либо вектор, получаемый путем некоторого преобразования параметров уь = фг(Х).

Априорный словарь признаков (АСП) — это совокупность всевозможных параметров и признаков, относящихся к объекту.

Рабочий словарь признаков — это совокупность наиболее информативных параметров и/или признаков (часть АСП), сформированная на этапе обучения с целью решения задачи идентификации. Построить

© Т.И. Ведерникова, 2012

(?4

тН

О

<М

«К1

2нё Яч >

ИдЗ!

нйе

«31

НА

ой-

^ 1

5к I

^ Л £ ё§! ь Е

«¡г I

8Н! й§ о

ЕнО а

£м§|

МО I £И4

нее

И

н

н

о

н

м

со

Н

рабочий словарь признаков — значит найти такую систему признаков, которая достаточно полно описывает объект с точки зрения заданного критерия информативности.

Эффективность признака определяется величиной полезного вклада при распознавании. Оценкой полезного вклада может служить: дивергенция, энтропия, прямая оценка вероятности ошибки. В том случае, когда распределения вероятностей признаков известны, пользуются критериями дивергенции и энтропии. Если распределения вероятностей признаков для каждого класса не известны, то используют критерии, основанные на прямой оценке вероятности ошибки идентификации, где в зависимости от выбранного способа преобразования пространства параметров Х в пространство признаков Y отыскивается экстремальное значение заданного критерия эффективности признаков.

Существующие эвристические алгоритмы и методы построения РСП для описания образов можно разделить на две большие группы: 1) методы минимизации систем описания образов (объектов исследования), когда РСП есть подпространство Y (размерности т) полного признакового пространства X экономического объекта (размерности п), т < п; 2) структурные методы описания образов, когда признаковое пространство Y получается путем некоторого преобразования априорного пространства X.

Методы минимизации систем описания образов. Эта группа методов включает: алгоритмы направленного перебора различных подсистем параметров с целью выбора наилучшей с точки зрения заданного критерия; алгоритмы выбора информативных признаков на основе расстояния между параметрами различных классов; алгоритм случайного поиска с адаптацией (игровой алгоритм).

Под минимизацией описания обычно понимается уменьшение числа измеряемых параметров. При этом либо заранее (из каких-либо физических соображений) определяется количество признаков т(т < п), либо т выбирают в зависимости от требуемой точности решения задачи идентификации. Если значения п и т достаточно малы, то выбор системы признаков Y из пространства параметров X можно осуществить путем полного перебора всех возможных комбинаций, равных числу сочетаний из п по т. Для больших значений п и т применяются алгоритмы, не использующие полный перебор. Например, алгоритм Мерилла и Грина (алгоритм последовательного исключения), суть которого заключается в поочередном исключении одного параметра, в отсутствие которого критерий принимает оптимальное значение. Другой алгоритм (алгоритм последовательного включения параметров), не использующий полный перебор, состоит в том, что система признаков формируется по принципу включения в нее наилучшего по заданному критерию информативности параметра.

«Расстояния» играют важную роль при обработке информации. Алгоритмы выбора информативных признаков основываются на расстояниях между параметрами внутри классов (однородных объектов), так и на расстояниях параметров между классами. При этом в качестве информативных признаков выбираются те параметры, расстояния между которыми внутри класса минимальны, а между классами максимальны.

В основу алгоритма случайного поиска с адаптацией положено предположение о том, что признаки, входящие в наиболее информативную систему, чаще встречаются в тех системах, которые близки к ней по некоторому критерию информативности и наоборот.

Структурные методы описания образов. Особенность структурных методов описания образов состоит в том, что РСП включает не непосредственные измерения (параметры), а признаки, отражающие типологию М объектов, принадлежащих одному классу. К структурным методам от-

носятся: методы факторного анализа; методы нелинейного преобразова-5^ ния пространства параметров (многомерное масштабирование); методы

аппроксимации параметров; методы вейвлет-анализа; МОС-метод (метод моделирования статистик, различающих случайные величины).

Основная идея факторного анализа состоит в том, чтобы, наблюдая большое число измеряемых параметров, выявить меньшее число таких признаков (факторов), которые в основном определяют поведение параметров и характеризуют исследуемый объект.

Процесс нелинейного преобразования пространства параметров X в пространство признаков У (меньшей размерности) называют еще многомерным масштабированием. Целью нелинейных отображений является изменение структуры расстояний между объектами с соблюдением ограничений, накладываемых структурой исходного распределения, и предоставление возможности наглядного анализа многомерных данных. Алгоритмы нелинейного преобразования параметров можно разделить на две группы: первые осуществляют преобразование уЬ = ф^^) с одновременным понижением размерности признакового пространства (итеративный и неитеративный алгоритмы), вторые производят двумерное отображение.

К методу стохастической аппроксимации прибегают в том случае, когда наблюдаемые в выбранных точках Xj значения функции параметров fj = //(X) являются реализациями случайных величин £. В качестве критерия эффективности берутся математические ожидания МЬ[^], Ь = 1, М. Задача выделения признаков сводится к отысканию наилучшей аппроксимирующей функции / = / (X), минимизирующей критерий. Вейвлет-анализ применяется для изучения структуры неоднородных ; процессов. Вейвлет-преобразование заключается в разложении одномер-

ной функции по базису, сконструированному из обладающей определений § ными свойствами солитоноподобной функции (вейвлета) посредством

^ ^ | масштабных изменений и переносов.

^ | Метод моделирования статистик, различающих случайные величи-

1 ны, базируется на переходе от многомерных наборов признаков, описы-

в вающих объекты,

Нйё Xk = (хк1, хк2, ..., хкп) (1)

о ---- ----

к одномерным {УЬк}; Ь = 1, т; к = 1, М, аккумулирующим отличительные особенности наблюдений (1). Основополагающим для метода явля-

К®п

н

н

о

н

PQ

Н

ется предположение о том, что разные объекты имеют разные наборы признаков, т.е. являются реализациями разных случайных величин. Следовательно, для каждой совокупности однородных объектов существуют свои характерные преобразования вида

Yik = ФІ (Xk) _ (^"М’ xk2, •••’ ХЫ )’ І = k _ (2)

отражающие внутреннюю структуру объекта идентификации. РСП одинаковых объектов составляет характеристика или небольшой набор характеристик, определенных экспертным путем или выявленных в ре-СО зультате обучения.

В основу различения признаков типа (1) положены отношения

Z = a и модули разности Z = \а - Ь, где в качестве а и Ь берутся состав-

o Ь p

тН

О

(N

SS1

2нё Яч >

MhSI

HS5

n3i

НА

ОЙ"

^ 1

5s s

^ Л £ ё§! h Е

« Р I

8s!

"Jo

ЕнО а

£м§|

МО I £И4

нее

К

н

н

о

н

PQ

со

Н

ляющие вектора (1). Базовыми принципами МОС-метода являются: одномерность признаков РСП; избыточность признаков, описывающих объект; минимальная вариабельность признака; «непересекаемость» распределений признаков, аккумулирующих отличительные особенности разных объектов.

Реализация этих принципов осуществляется следующим образом. Каждый признак формируется как функция типа (2). Уход от многомерности позволяет упростить процесс решения задачи идентификации, так как анализ многомерных наблюдений выполнить много сложнее, чем одномерных. Многообразие признаков определяется интуицией и опытом исследователя, а избыточность признаков легко достигается, так как количество функций вида (2) ничем не ограничено. В основу принципа «непересекаемости» положена идея о том, что всегда можно подобрать такие преобразования фг(•); i = 1, m, при которых получаемые признаки будут иметь минимальную вариацию, а для разных объектов еще и значительные количественные различия.

Проведенный обзор методов выделения набора информативных признаков (построения РСП) для решения задач идентификации позволяет сделать следующие выводы.

Существенным недостатком методов минимизации систем описания образов является то, что они не отражают внутреннюю структуру объекта идентификации. Кроме того, алгоритмы перебора требуют, как правило, много времени. Алгоритмы «расстояний» обычно узконаправленны, т.е. хорошо решают конкретную задачу идентификации, а для другого приложения могут быть совершенно неэффективными. РСП, построенный посредством игрового алгоритма, не всегда соответствует реальной действительности.

Классические методы факторного анализа предназначены для решения статических задач, хотя иногда их используют для анализа «срезов» временных точек. Что касается итеративного алгоритма, то в случае больших последовательностей неклассифицированных данных он может оказаться «вычислительным монстром», то же касается и вейвлет-анализа. В неитегративном алгоритме есть существенное ограничение — это предположение о том, что опорные точки существуют, и расстояния между признаками и опорными точками заданы. Большим недостатком алгоритмов аппроксимации является допущение о наличии аппроксимирующей функции, которой, однако, может и не быть.

Сказанное выше позволяет предложить МОС-метод как эффективный инструмент для решения задач идентификации многомерных стохастических объектов.

Информация об авторе

Ведерникова Татьяна Ивановна — кандидат технических наук, доцент, кафедра информатики и кибернетики, Байкальский государственный университет экономики и права, г. Иркутск, e-mail: vedernikova-ti@isea.ru.

Author

Vedernikova Tatiana Ivanovna — PhD in Engineering Science, Associate Professor, Chair of Computer Science and Cybernetics, Baikal State University of Economics and Law, Irkutsk, e-mail: vedernikova-ti@isea.ru.