CC BY
49
УДК 004.93.11
Е.В. ВОЛЧЕНКО, канд. техн. наук, доц., Институт информатики и
искусственного интеллекта ГВУЗ "Донецкий национальный
технический университет", Донецк
КЛАССИФИКАЦИЯ ОБЪЕКТОВ В АДАПТИВНЫХ
СИСТЕМАХ РАСПОЗНАВАНИЯ НА ОСНОВЕ ФУНКЦИИ
ВЗВЕШЕННОГО КОНКУРЕНТНОГО СХОДСТВА
В работе предложено естественное расширение области использования функции конкурентного сходства на взвешенные обучающие выборки ^-объектов в адаптивных системах распознавания. Описан принцип классификации объектов методом ^-ближайших соседей на основе функции взвешенного конкурентного сходства ^РКі8-функции). Приведены результаты экспериментальных исследований, подтвердившие эффективность предложенного подхода. Библиогр.: 10 назв.
Ключевые слова: адаптивная система распознавания, ^-объект, функция
взвешенного конкурентного сходства, метод ^-ближайших соседей.
Постановка проблемы и анализ литературы. Построение классификаторов в обучающихся системах распознавания невозможно без оценки степени близости классифицируемого объекта к каждому из классов системы с помощью выбранной меры [1, 2]. Используемые в системах распознавания меры близости условно можно разделить на два вида [3]:
- абсолютные, позволяющие находить конкретное численное значение - расстояние от классифицируемого объекта до объектов выбранного класса;
- относительные, позволяющие оценить, к какому из классов системы классифицируемый объект находится ближе, чем к другим классам.
При принятии решения о классификации предпочтительнее использование относительных мер близости, поскольку они позволяют непосредственно дать ответ на вопрос о классификации на основе анализа всех классов системы, выбрав ближайший из них. Одной из наиболее эффективных относительных мер близости в обучающихся системах распознавания на сегодняшний день является функция конкурентного сходства (РКі8-функция), предложенная в [3, 4]. Существенными преимуществами данной меры являются: независимость от закона распределения объектов, одинаковые значения меры при анализе равноудаленных объектов, ограниченность диапазона [-1; 1] и простая интерпретируемость получаемых значений. Величина
конкурентного сходства классифицируемого объекта Х5 с ближайшим объектом Х1 первого класса в сравнении с ближайшим объектом Х2 второго класса вычисляется по формуле [4]:
где Я(Ха, Хь) - функция расстояния между объектами а и Ь .
Классифицируемый объект Хх относится к первому классу, если ГХ (X) е [0,1] и ко второму классу, если ГХ (Х3) е [-1, 0).
Использование РШ8-функции в решающих правилах, например, в методе ^-ближайших соседей [3], существенно ускоряет процесс классификации и, при этом, обеспечивает достаточно высокую эффективность классификации.
Отличительной особенностью адаптивных систем распознавания, рассматривающихся в данной работе, является возможность постоянного пополнения обучающих данных. Необходимость пополнения обучающих выборок в адаптивных системах распознавания вызвана в большинстве случаев изменениями в объектах (значениях их признаков), происходящих в процессе функционирования систем [5]. Это, в свою очередь, приводит к неограниченному росту обучающих выборок и необходимости постоянной корректировки решающих правил классификации. Именно поэтому для адаптивных систем распознавания предпочтительным является использование решающих правил, не требующих существенных временных затрат на их построение.
В предыдущих работах автора [6 - 8] для эффективного функционирования адаптивных систем распознавания была предложена, теоретически обоснована и подтверждена экспериментально идея перехода к взвешенным обучающим выборкам ^-объектов. Каждый объект такой выборки кроме значений признаков описывается дополнительной характеристикой, названной весом ^-объекта. В качестве веса предложено использовать:
- данные о топологических свойствах обучающей выборки (плотность объектов в некоторой области пространства признаков, расстояние между выбранными объектами и др.) [6, 7];
- показатели уверенности классификации ^-объекта группой экспертов [8];
(1)
- значения, обусловленные особенностями рассматриваемых объектов, или априорно полученные от экспертов.
При этом определение классификации объектов на основе взвешенных обучающих выборок выполнялось с использованием абсолютной меры близости, что, как указано выше, может увеличивать трудоемкость классификации.
Целью данной работы является уменьшение трудоемкости классификации за счет расширения области применения функции конкурентного сходства на взвешенные обучающие выборки ^-объектов в адаптивных системах распознавания.
Постановка задачи. Пусть имеется некоторая конечная взвешенная обучающая выборка №- объектов Хш = {X—, X—,..., X— }. Каждый ^-объект X— этой выборки описывается системой признаков {хг1, х-2,..., хги}еЯ", т.е. представляется точкой в линейном пространстве признаков, и весом р - целым положительным числом, тогда XW = {хг1, х-2,..., X", pj}. Для каждого ^-объекта известна его классификация у е¥, где V = {У1,..., V} - множество всех классов системы.
Имеется также некоторый объект Xs = {хл, хх2,..., хет}, заданный только набором признаков (для единообразия присвоим ему вес равный единице, т.е. р8 = 1, тогда XW = {хл, х^, ., х8П, рх}).
Необходимо выполнить классификацию объекта на основе
функции конкурентного сходства в конкурирующей взвешенной среде.
Функция взвешенного конкурирующего сходства. Для оценки близости между парой ^-объектов X— и X— взвешенной обучающей
выборки XW в работе [9] была введена метрика
и показано, что она обеспечивает корректную классификацию по взвешенной выборке ^-объектов.
П
(2)
Можно показать, что данная метрика в отличие от ЕЯі8-функции [10] удовлетворяет аксиомам тождества и симметричности, и, также как
(1), не для всех значений признаков и весов ^-объектов удовлетворяет аксиоме треугольника.
Результаты работы [9] и предыдущие рассуждения показывают, что
(2) является метрикой во взвешенном пространстве признаков, поэтому выполним далее естественную замену метрики Я(Ха, Хь) в (1) на метрику (2) для построения функции конкурентного сходства на основе взвешенных обучающих выборок ^-объектов.
Поскольку в (1) требуется определять расстояние между классифицируемым объектом , вес которого = 1 и некоторым
^-объектом X*, имеющим вес ра, преобразуем (2) к следующему виду:
Тогда функция конкурентного сходства на основе взвешенных обучающих выборок ^-объектов будет иметь вид:
На основе проведенных рассуждений и выполненных преобразований получим функцию взвешенного конкурентного сходства ^ЕЯ18-фукцию) классифицируемого объекта Хх с ближайшим
^-объектом X^ первого класса в сравнении с ближайшим ^-объектом
Аналогично можно показать, что функция взвешенного конкурентного сходства ^РШ8-фукцию) для классификации некоторого
(3)
Ра
Я(X*, X,) Я(X*, X,)
X* второго класса:
(4)
^-объекта X^ с ближайшим w-объектом X^ первого класса в
сравнении с ближайшим ^-объектом X^ второго класса будет иметь вид:
РхТ,
(х?) =
Рі
X? ) - Р2
Я( X?
, X?)
'X?
Рі • Я(X?
X?) + р2 • Я(X?.,
(5)
Анализируя (5), сформулируем следующие свойства wFRiS-фукций, основанные на свойствах, приведенных в [3, 10].
Свойство 1. Результат классификации ^-объекта X^ не зависит от
веса рд этого взвешенного объекта. Таким образом, подтверждается
принцип относительности классификации, являющийся основой функции конкурирующего сходства, поскольку результат классификации в конкурирующей взвешенной среде зависит от взаимного расположения ^-объектов и весов только конкурирующих ^-объектов.
Свойство 2. Функция взвешенного конкурентного сходства принимает значения из диапазона [-1; 1], т.е. ) е [-1; 1].
і ,
IV 2
/X:
Покажем, что
или
Рі • Я(X?, X? ) - Р2 • Я(х?, X?)
--------------------------------- ^ —1
Рі • Я{X?, X?) + Р2 • Я(X?, X?)
Рі Я(X?, X? ) - Р2Я(х?, X? ) > -Рі Я(X?, X? ) - Р2Я(х?, X? ) .
В результате получим 2р^Я^? , X?) > 0, что верно для любых
Xq и X2 согласно постановке задачи.
Аналогично можно показать, что
Рі • жх?, хЩ) - Р2 • Я(хЩ,X?) ^
Рі • Я(:ху, X?)+Р2 • я(хqv, X?)_
или в результате преобразований: - 2Р2Я(х?, X?) <і для любых X? и X?.
Свойство 3. Если оценивается мера сходства ^-объекта XУ с ближайшим ^-объектом XУ первого класса в сравнении с ближайшим ^-объектом XУ второго класса, то справедливо следующее:
Я
(X?) =
+1, если ху = ХУ; -1, если Ху = X У; (-1; 1), иначе.
(6)
У
2
Покажем, что при X? = X? мера Яху / (X?) = 1 • Заменим в (5)
1 гУ
XW на хУ и, учитывая что я(хУ, хУ) = 0, получим
Р1 • я(XУ, хшч) - р2 • я^у,хшч) р • Я(XУ, хУ) р • я( х У, хУ) + р2 • я( ху, хУ) Р • я( х У, хУ)
= 1.
Аналогично покажем, что при X? = XУ мера Яху / (X?) = -1.
'X У
Заменим в (5) Xу на X? и получим
р • Я(X?, X?) - р2 • Я(XIу ,XУ ) - р • Я(X?, X?)
р • Я(X?, Xу ) + р • Я(XIу ,Xу ) р • Я^У, X?)
= -1.
Отметим, что данное свойство выполняется только при условии, что объекты равны по всем значениям признаков и весу.
Классификация объектов методом ближайшего соседа на основе функции взвешенного конкурирующего сходства. Одним из наименее трудоемких, но достаточно эффективных алгоритмов классификации объектов по обучающей выборке является метод к-ближайших соседей (кЫЫ-классификатор) [2]. Его основу составляет поиск класса, к ближайших по выбранной метрике объектов которого располагаются на минимальном суммарном расстоянии к классифицируемому объекту. В простейшем случае классификация осуществляется по одному ближайшему объекту, а в качестве метрики может быть использована БШ8-фукция [10]. Соответственно, для классификации по взвешенной
2
обучающей выборке оценка близости w-объектов может быть выполнена на основе wFRiS-фукции (4).
Для существенно пересекающихся в пространстве признаков классов классификация может также проводиться по к ближайшим w-объектам каждого из классов. Отметим, что если w-объекты были построены путем объединения множества близкорасположенных объектов исходной выборки [6, 7], то классификация по одному ближайшему w-объекту фактически равноценна классификации по k ближайшим объектам исходной выборки.
Для оценки эффективности предложенного подхода был проведен ряд экспериментальных исследований. В качестве исходных данных были использованы наборы данных репозитория UCI. В качестве критерия эффективности классификации использовалась процедура скользящего контроля. Результаты тестирования показали, что ошибка классификации по выборке w-объектов на основе wFRiS-фукции уменьшилась в среднем на 4,3% по сравнению с классификацией по исходной выборке с использованием FRiS-фукции. Для некоторых наборов данных ошибка составила не более 1,5%, что совпадает с лучшими опубликованными результатами, а в некоторых случаях и превосходит их.
Выводы. В работе предложено естественное расширение области использования функции конкурентного сходства на взвешенные выборки w-объектов (wFRiS-фукции), что позволяет с высокой эффективностью и минимальными затратами решать задачу классификации объектов в адаптивных системах распознавания.
Автор благодарит д.т.н., проф. Н.Г. Загоруйко за постоянный интерес и поддержку исследований автора по данной тематике.
Список литературы: 1. Загоруйко Н.Г. Прикладные методы анализа знаний и данных / Н.Г. Загоруйко. - Новосибирск: Издательство института математики, 1999. - 270 c. 2. Theodoridis S. Pattern Recognition / S.Theodoridis, K. Koutroumbas. - San Diego: Academic Press, 2008. - 823 p. 3. Загоруйко Н.Г. Количественная мера компактности и сходства в конкурентном пространстве / Н.Г. Загоруйко, И.А. Борисова, В.В. Дюбанов, О.А. Кутненко. // Сиб. журн. индустр. матем. - 2010. - № 13. - С. 59-71. 4. ZagoruikoN.G. Methods of Recognition Based on the Function of Rival Similarity /N.G. Zagoruiko, IA. Borisova, V.V. Dyubanov, O.A. Kutnenko // Pattern Recognition and Image Analysis. - 2008. - Vol. 18. -№. 1. - P. 1-6. 5. Pal S.K. Pattern Recognition Algorithms for Data Mining: Scalability, Knowledge Discovery and Soft Granular Computing / S.K. Pal, P. Mitra. - Chapman and Hall/CRC, 2004. - 280 p. б. Волченко Е.В. Метод построения взвешенных обучающих выборок в открытых системах распознавания / Е.В. Волченко // Доклады 14-й Всероссийской конференции "Математические методы распознавания образов (ММРО-14)", Суздаль, 2009. - М.: Макс-Пресс, 2009. - С. 100-104. Т. Волченко Е.В. Сеточный подход к построению взвешенных обучающих выборок w-объектов в адаптивных системах распознавания / Е.В. Волченко // Вісник Національного технічного університету "Харківський політехнічний інститут". Збірник наукових праць. Серія: Інформатика i ISSN 2079-0031 Вестник НТУ "ХПИ", 2012, № 62 (9вВ)
моделювання. - Харків: Н1У "ХПІ", 2011. - № Зб. - С. 12 - 22. 8. Волченко Е.В. Построение обучающей выборки w-объектов на основе коллективного решения группы экспертов / Е.В. Волченко // Штучний інтелект. - 2011. - № 1. - С. 147-153. . 9. Волченко О.В. Оцінка близькості об’єктів у адаптивних системах розпізнавання, що навчаються / О.В. Волченко // Інформаційні технології: наука, техніка, технологія, освіта, здоров’я: Tези доповідей XX міжнародної науково-практичної конференції. - Харків, НTУ "ХПІ", 2012. - Ч. IV. - С. S. 10. Загоруйко Н.Г. Меры сходства, компактности, информативности и однородности обучающей выборки / Н.Г. Загоруйко, И.А. Борисова, В.В. Дюбанов, О.А. Кутненк. // Tруды Всероссийской Конференции "Знания-Онтологии-Tеории" (ЗОШ'-09), Новосибирск, 2009. -^м I. - С. 93-102.
Статью представил д.ф.-м.н., проф., зав. кафедрой системного анализа и моделирования Института информатики и искусственного интеллекта ГВУЗ "ДонНТУ" А.С. Миненко
УДК 004.93' 11
Класифікація об’єктів у адаптивних системах розпізнавання иа основі функції зваженої конкурентної подібності / Волченко О.В. // Вісник Н1У "ХПІ". Серія: Інформатика та моделювання. - Харків: Н1У "ХПІ". - 2012. - № 62 (968). - С. 18 - 25.
У роботі запропоновано природне розширення області використання функції конкурентної подібності на зважені навчаючі вибірки w-об’єктів у адаптивних системах розпізнавання. Описано принцип класифікації об’єктів методом k-найближчих сусідів на основі функції зваженої конкурентної подібності (wFRiS-функції). Наведено результати експериментальних досліджень, що підтвердили ефективність запропонованого підходу. Бібліогр.: 10 назв.
Ключові слова: адаптивна система розпізнавання, w-об'єкт, функція зваженої конкурентної подібності, метод k-найближчих сусідів.
UDC 004.93’1
Objects classification based on the function of rival similarity in adaptive recognition systems / Volchenko E.V. // Herald of the National Technical University "KhPI". Subject issue: Information Science and Modeling. - Kharkov: NTU "KhPI". - 2012. - №. 62 (968). - P. 18 - 25.
Author proposed the extension of the function of rival similarity that is used for weighted training samples of w-objects in adaptive recognition systems. Algorithm of k-nearest neighbors expansion was described in the article, which is based on the function of rival similarity for weighed samples of w-objects. Experimental results were confirmed the efficiency of the offered approach. Refs: 10 titles.
Keywords: adaptive recognition system, w-object, k-nearest neighbors, the function of rival similarity metric.
Поступила в редакцию 06.08.2012
