Построение модели алгоритмов вычисления оценок с учётом большой размерности признакового пространства Текст научной статьи по специальности «Математика»

УДК 004.93

Ш.Х. Фазылов, Н.М. Мирзаев, С.С. Раджабов ПОСТРОЕНИЕ МОДЕЛИ АЛГОРИТМОВ ВЫЧИСЛЕНИЯ ОЦЕНОК С УЧЁТОМ БОЛЬШОЙ РАЗМЕРНОСТИ ПРИЗНАКОВОГО ПРОСТРАНСТВА

Рассмотрены вопросы построения модели алгоритмов вычисления оценок в условиях большой размерности признакового пространства. Основная идея предлагаемой модели состоит в формировании пространства независимых признаков для построения эффективного решающего правила. Приведены основные этапы задания модифицированных алгоритмов распознавания.

Распознавание образов, модель алгоритмов распознавания, алгоритмы вычисления оценок, зависимость признаков, подмножества

сильносвязанных признаков

Sh.Kh. Fazylov, N.M. Mirzaev, S.S. Radjabov BUILDING OF MODEL OF ESTIMATES’ CALCULATIONS ALGORITHMS CONSIDERING HUGE DIMENSIONALITY OF THE FEATURES’ SPACE

The problems of building of model of estimates' calculations algorithms in condition of huge dimensionality of features' space are considered in this paper.

The main idea of the proposed model is to construct uncorrelated features' space for building effective decision making rule. The main stages of the modified recognition algorithms are presented.

Pattern recognition, model of recognition algorithms, estimates’ calculations algorithm, features’ correlations, subset of strongly correlated features

Введение. Проблема распознавания образов является одной из центральных в системах искусственного интеллекта. В течение продолжительного времени она находится в центре внимания специалистов в области прикладной математики и информатики. К числу первых работ по распознаванию образов можно отнести работы Р. Фишера [1], А.Н. Колмогорова [2] и А.Я. Хинчина [3], которые выполнены в первой половине прошлого века. На сегодняшний день глубоко разработан и детально изучен ряд моделей алгоритмов распознавания [4-9], такие как модели, основанные на разделяющих функциях; построенные на базе математической статистики и теории вероятности; модели, на принципе потенциалов; основанные на вычислении оценок. Однако анализ этих моделей показывает, что в настоящее время главным образом разрабатываются модели алгоритмов распознавания, ориентированные на решение задач, где объекты описаны в пространстве независимых (или слабозависимых) признаков. Большинство моделей алгоритмов распознавания, рассмотренных в [4-9], требует привлечения огромных вычислительных мощностей, которые могут быть обеспечены только высокопроизводительной компьютерной техникой. Следовательно, остается недостаточно разработанным вопрос о практической применимости определенных моделей алгоритмов распознавания для решения задач при больших размерностях данных. Поэтому вопросы усовершенствования, разработки и исследования моделей алгоритмов распознавания, ориентированных на решение задач диагностирования, прогнозиро-

вания и классификации объектов в условиях большой размерности признакового пространства, являются актуальными.

Целью данной работы является модификация модели алгоритмов вычисления оценок (АВО) [4-6], направленная на приспособление данной модели к решению задач распознавания образов, описанных в признаковом пространстве большой размерности.

Основные понятия и обозначения. Опираясь на [4], введем некоторые понятия и обозначения. Рассмотрим множество допустимых объектов © (© = |81,82,...|), которые покрыты подмножеств (классов) К1,К2,...,К{:

I

© = иК., К пК. = 0, {Ф ], {,]е{1,..., 1}.

1=1

При этом разбиение © определено не полностью. Имеется только некоторая начальная информация 3 0 о классах К1, К2,..., К1.

Пусть заданы объекты 8^...,8{,...,8т (8{ е ©, { = 1,т), в пространстве исходных признаков X (X = ,..., х,)): ^ = (ац а1.,..., а1П ^ ... , 8. = (ail,..., ,..., аы), ... ,

8т = (ат1ат1,..., атп). Введем следующие обозначения:

~ т = |51,..., 8,,..., 8т |, К. = ~ т п К., СК. = ~ т \ К..

Тогда начальную информацию 3 0 можно задать в виде

3о = |81..8,,...,8т; а(8х),...,а(81),-,~(8т)|,

где <~(8{) - информационный вектор объекта 8{, который задается в виде

1, если 8{ е К.;

а(Б{) = (ал,..., а.,..., аи), а. = \ ~

0, если 8{ £ К..

Совокупность информационного векторов, соответствующих объектам 8т, образует информационную матрицу 1аг.. .

II {\\тУ1

Постановка задачи. Пусть задан произвольный набор объектов 89 = |81,...,89|

(89 с ©). Каждому объекту 8 е © в пространстве исходных признаков X соответствует описание (числовая характеристика) объекта 3(8) = (а1,...,а{,...,ап). При этом размерность пространства исходных признаков п достаточно большая (например, п > 200). В этих условиях, большинство признаков взаимосвязано, что затрудняют использование многих известных алгоритмов распознавания [10]. Задача состоит в построении такого алгоритма А, который вычисляет значения предиката Р. (8{) по начальной информации 30 при достаточно большом п, т.е. искомый алгоритм А переводит набор (30,89) в матрицу Д. (в = Р. (8;),

Рі$) = ”Б', є К.”) [4]:

А(/0,^) = Щ\ , в. є {0,1,Л}.

\\qxl

Здесь в. интерпретируется следующим образом. Если в. = Л, то считается, что алгоритм А не смог вычислить значения предиката Р. (Б{). Если в. є {0,1}, то в. есть значение предиката Р.(Б{), вычисленное алгоритмом А для объекта по заданным его числовым характеристикам.

Метод решения. В работе рассмотрен новый подход к решению задачи построения алгоритмов распознавания образов, заданных в признаковом пространстве большой размерности. На базе этого подхода предложена модель модифицированных алгоритмов распозна-

275

вания, основанных на вычислении оценок. Основная идея предлагаемой модели состоит в формировании пространства независимых и предпочтительных признаков, с последующим распознаванием объектов, заданных в этом пространстве. Задание этих алгоритмов включает следующие основные этапы.

1. Выделение подмножеств сильносвязанных признаков. На этом этапе определяются п. (. = 1,1) «независимых» подмножеств сильносвязанных признаков для объектов,

принадлежащих классу К.. Известно [11], что рассматриваемые признаки объединяются в

одно подмножество, если они достаточно близки друг к другу в некотором смысле (мере). В противном случае, они считаются различными и относятся к разным подмножествам.

Пусть З9 - подмножества сильносвязанных признаков. Меру близости Ь(Зр, З9) между подмножествами З р и З9 можно задать различными способами, например:

где Ир, И9 - число признаков, входящих соответственно во множества Зр, З9; п(х{, х.) -функция, характеризующая силу парной связи между признаками х{ и х . .

В результате выполнения данного этапа формируется совокупность подмножеств сильносвязанных признаков З (З=|З1, З2,..., Зп|).

2. Определение «независимого» признака в каждом подмножестве сильносвязанных признаков. На данном этапе формируется набор «независимых» признаков, которые представляют подмножества сильносвязанных признаков. Следует отметить, что выбираемый признак из каждого З (9 = 1, п ) является особым представителем соответствующих подмножеств. В результате выполнения данного этапа формируется набор репрезентативных признаков у^...,у{,...,уп [4]. Следует отметить, что выбираемый признак из каждого Е9

(9 = 1, п ) является особым представителем соответствующих подмножеств.

Таким образом, в результате рассмотренных действий формируется пространство особых признаков, которое обозначим через У (У = (у1,...,у1,...,уп)).

3. Определение предпочтительных признаков. Рассмотрим особые признаки { у1,...,у{,...,уп |, определенные на предыдущем этапе. Выбор из У предпочтительного признака осуществляется на основе оценки доминантности рассматриваемого признака, которая разделяет объекты, принадлежащие множеству 8т, на два подмножества К. и СК. [11, 12]:

Чем меньше величина Ж., тем большее предпочтение получает соответствующий признак при разделении объектов, принадлежащих К.. Если два и более признака получают одинаковое предпочтение, то выбирается любой из них. При вычислении Ж. предполагается, что 8 и 8и - разные объекты (т.е. 8 Ф 8и).

Для каждого подмножества К. на данном этапе определяется предпочтительный признак, который обозначается через X.. В результате формируется набор предпочтительных признаков X.

(X. = (Х1, X 2 >•••> X п)). Каждый набор предпочтительных признаков характеризует только одно подмножество (класс) объектов. Далее рассматриваются только предпочтительные признаки.

где N = (т1(т1 -1) + т2(т2 -1))/2, И2 = т1 Xт2, т1 = К. , т2 = СК. .

4. Задание системы опорных множеств. Пусть Иа - всевозможные подмножества множества { у1, у2,..., уп<}. Совокупность всех таких подмножеств обозначим через П. Оператору В сопоставляется совокупность в}с|п|. Элементы в} называются опорными подмножествами оператора В. Здесь в качестве {п в } рассматривается совокупность опорных

подмножеств одинаковой мощности.

5. Задание функции близости между объектами. Рассмотрим допустимые объекты 8 и 8и. На этом этапе задается функция близости /и~(8, 8и) между объектами 8 и 8и в а-части признакового пространства [10].

6. Вычисление оценки по объектам фиксированного опорного множества. На данном этапе задания модифицированных алгоритмов распознавания, основанных на вычислении оценок, вычисляется числовая характеристика Га(8, 8и), называемая оценкой. Оценка определяется по значению функции близости по объектам в выбранном подпространстве признаков:

Г»(8, 8и) = ЛиМа(8, 8и),

где Ли - заданный параметр алгоритма.

7. Вычисление оценки для класса по фиксированному опорному множеству.

Пусть вычислены величины Га(8, 8и) (8и е К.). Оценка для класса определяется следующим образом:

1, если ^Г,(8,8,)>^;

0, в противном случае,

Гэ(£, К.) =

где 5 . - заданный параметр алгоритма.

8. Оценка для класса Kj по системе опорных множеств. Пусть каждому вектору д~ соответствует числовой параметр т~~. Оценкой по системе опорных множеств ^ А является величина

Г(і', К.) = Г„(Х, К.).

а

9. Решающее правило. На этом этапе задания модифицированных алгоритмов распознавания, основанных на вычислении оценок, задается решающее правило в виде [4]:

0, если Г(£;, К.) < с1,

в = С (Щг, К.))

1, если Г(£г-, К.) > с2,

А, если с1 <Г(£;, К і ) < с2.

где с1, с2 - параметры алгоритма.

Таким образом, определили класс модифицированных алгоритмов распознавания, основанных на вычислении оценок. Известно, что любой алгоритм А из этой модели полностью определяется заданием набора параметров [13] п = ({Ыр |,|п. |,|к. |, к,{£{ },{Ли )},{£. },{та}, с1, с2). Совокупность всех распознающих алгоритмов из предлагаемой модели обозначим через А(п, 8). Поиск наилучшего алгоритма осуществляется в пространстве параметров п.

Экспериментальная часть. Для практического использования рассмотренной модели алгоритмов разработана программа на языке Эе1рЫ. Работоспособность этой программы проверена при решении ряда задач, в частности, модельного примера (число классов I = 2; число объектов т = 400; число признаков п = 100), задач идентификации личности по геометрическим признакам фотопортрета (I = 5; т = 200; п = 153), оценки экологического состояния окружающей среды горнорудных и промышленных районов (I = 3; т =81; п = 18), а также задачи об ирисах Фишера (I = 3; т = 150; п = 4).

<

Сравнительный анализ модели алгоритмов, основанных на вычислении оценок, и предложенной ее модификации для рассмотренных задач проведен по следующим показателям работы алгоритмов распознавания: точность распознавания в рамках контрольной выборки; время, израсходованное алгоритмом на обучение; время, израсходованное алгоритмом на распознавание объектов из контрольной выборки.

Для вычисления этих критериев для каждой задачи произведено разбиение выборки на обучающую и контрольную выборки. Разбиение строится по стандартной методике перекрестной проверки [14]: генерируется 10 случайных разбиений выборки на 10 блоков примерно равной длины и равными долями классов, и каждый блок поочерёдно становится контрольной выборкой, остальные - обучающей. Точность распознавания и временные показатели определялись как средние. Эксперименты проводились на компьютере Pentium IV Dual Core 2,2 GHz с объемом оперативной памяти 1 Gb.

Результаты экспериментов представлены в табл. 1, 2.

Таблица 1

Результаты решения задач с помощью алгоритмов вычисления оценок

Задача Время (в сек.) Точность распознавания (в %)

обучения распознавания

Модельный пример 4,04161 0,0131 84,75

Идентификация личности по геометрическим признакам фотопортрета 2,7123 0,02173 83,5

Оценка экологического состояния окружающей среды горнорудных и промышленных районов 1,384 0,0106 82,7

Ирисы Фишера 0,7641 0,0051 89,4

Таблица 2

Результаты решения задач с помощью модернизированных алгоритмов вычисления оценок

Задача Время (в сек.) Точность распознавания (в %)

обучения распознавания

Модельный пример 5,1274 0,00481 92,4

Идентификация личности по геометрическим признакам фотопортрета 7,04162 0,00219 84,025

Оценка экологического состояния окружающей среды горнорудных и промышленных районов 3,28 0,00712 84,3

Ирисы Фишера 2,221 0,00313 95,2

Результаты сравнительного анализа показывают, что модификация модели алгоритмов вычисления оценок позволила повысить точность распознавания объектов, описанных в большом пространстве признаков. Однако увеличивается время обучения этих алгоритмов.

Выводы. Разработаны модифицированные алгоритмы распознавания в рамках модели АВО. Предложенная схема задания модели алгоритмов распознавания является оригинальной. Применение разработанной модели алгоритмов распознавания образов, заданных в пространстве большой размерности, позволяет улучшить точность распознавания и расширить область применения при решении прикладных задач. Данная модель алгоритмов значительно снижает число вычислительных операций при распознавании неизвестного объекта и

может быть использована при составлении различных программ, ориентированных на решение задач прогнозирования и классификации объектов, заданных в пространстве признаков большой размерности.

ЛИТЕРАТУРА

1. Fisher R.A. The use of multiple measurements in taxonomic problems // Annals of Eugenics. 1936. №7. P.179-188.

2. Колмогоров А.Н. Об аналитических методах в теории вероятностей // Успехи математических наук, 1932. №5. С.5-41.

3. Хинчин А.Я. Теория корреляции стационарных стохастических процессов // Успехи математических наук, 1938. №5. С.42-51.

4. Журавлев Ю.И. Избранные научные труды. М.: Магистр, 1998. 420 с.

5. Журавлев Ю.И., Камилов М.М., Туляганов Ш.Е. Алгоритмы вычисления оценок и их применение. Ташкент: Фан, 1974. 119 с.

6. Журавлев Ю.И., Рязанов В.В., Сенько О.В. Распознавание. Математические методы. Программная система. Практические применения. М.: Фазис, 2006. 159 с.

7. Загоруйко Н.Г. Прикладные методы анализа данных и знаний. Новосибирск: Изд-во Ин-та математики, 1999. 270 с.

8. Камилов М.М., Мирзаев Н.М., Раджабов С.С. Современное состояние вопросов построения моделей алгоритмов распознавания // Химическая технология. Контроль и управление. Ташкент. 2009. № 2. C.67-72.

9. Хайкин C. Нейронные сети: полный курс. М.: Вильямс. 2006. 1104 с.

10. Камилов М.М., Мирзаев Н.М., Раджабов С.С. Об одной модификации модели алгоритмов распознавания, основанных на вычислении оценок // Доклады Академии наук РУз. Ташкент, 2009. № 2. С.18-20.

11. Фазылов Ш.Х., Мирзаев Н.М., Мирзаев О.Н. Об одной модели модифированных алгоритмов распознавания типа потенциальных функций // Математические методы распознавания образов (ММРО-14): Сборник трудов Всероссийской конференции. Москва, 2009. С. 200-203.

12. Мирзаев Н.М. Алгоритмы распознавания типа средних расстояний, основанные на оценке взаимосвязанности признаков // Теоретические и прикладные вопросы современных информационных технологий: Материалы X Всероссийской научно-технической конференции. Улан-Удэ: ВСГТУ, 2009. Ч.2. С.418-423.

13. Мирзаев Н.М., Раджабов С.С., Жумаев Т.С. О параметризации моделей алгоритмов распознавания, основанных на оценке взаимосвязанности признаков // Проблемы информатики и энергетики. Ташкент, 2008. №2-3. С.23-27.

14. Воронцов К.В. Комбинаторная теория надежности обучения по прецедентам. Дис. на соиск. уч. степени д.ф.-м.н. М.: ВЦ РАН, 2010. 232 с.

Фазылов Шавкат Хайруллаевич -

доктор технических наук, зам. директора по науке Института математики и информационных технологий Академии наук Республики Узбекистан, г. Ташкент

Мирзаев Номаз Мирзаевич -

кандидат технических наук, старший научный сотрудник Института математики и информационных технологий Академии наук Республики Узбекистан, г. Ташкент

Раджабов Собиржон Сатторович -

младший научный сотрудник Института математики и информационных технологий Академии наук Республики Узбекистан, г. Ташкент

Статья поступила в редакцию 15.02.12, принята к опубликованию 12.03.12