CC BY
76
выделяет подмножество (возможно, несвязанных) понятий {уь у2, ..., ук}, которые исключаются из отображения.
6. Определение полного отображения модели ПрО пользователя: п( Ми).
В этом случае информация о ПрО представляется пользователю в полном объеме.
Предложенный язык моделирования ПрО позволяет пользователям самостоятельно формировать модель реального мира в СИС, а способность СИС автоматически создавать и обрабатывать БД, адекватную заданной модели ПрО, обеспечивает существенное повышение интенсивности процесса информационного обмена СИС с внешней средой. Кроме этого, представление пользователей, составляющих внешнюю среду СИС, некоторой активной целостной системой и приобретение информационной системой свойств активности и самоорганизации способствуют созданию сверхсистемы, включающей систему пользователей и СИС как равноправные автономные подсистемы с интенсивным взаимодействием. Равноправие подсистем на основе синергетического принципа коэволюции сложных систем [7, 8] позволяет повы-
сить надежность и эффективность функционирования сверхсистемы, а также ускоряет темпы развития и увеличивает продолжительность ее существования.
Литература
1. Гуков Л.И., Ломако Е.И., Морозова А.В. [и др.]. Макетирование, проектирование и реализация диалоговых информационных систем. М.: Финансы и статистика, 1993.
2. Войшвилло Е.К., Дегтярев М.Г. Логика : учеб. для вузов. М.: Изд-во ВЛАДОС-ПРЕСС, 2001. 528 с.
3. Система. Симметрия. Гармония; под ред. В.С. Тюхтина и Ю.А. Урманцева. М.: Мысль, 1988. 315 с.
4. Урманцев Ю.А. Эволюционика. Пущино, 1988. 79 с.
5. Смит Дж., Смит Д. Принципы концептуального проектирования баз данных // Требования и спецификации в разработке программ; пер. с англ. М.: Мир, 1984. 344 с.
6. Codd E.F. Extending the Database Relational Model to Capture More Meaning // ACM Transactions on Database Systems. Vol. 4. № 4. December 1979.
7. Князева Е.Н., Курдюмов С.П. Синергетика и принципы коэволюции сложных систем. URL: http://spkurdyumov.na-rod.ru/Siniprevolslognsistem.htm (дата обращения: 10.07.2009).
8. Князева Е.Н., Курдюмов С.П. Синергетические принципы коэволюции сложных систем. URL: http://spkurdyu-mov.narod.ru/D1KnyazevaKurdyumov.htm (дата обращения: 10.07.2009).
ИСПОЛЬЗОВАНИЕ ЭНТРОПИЙНЫХ МЕР В ЗАДАЧАХ ОЦЕНКИ ИНФОРМАТИВНОСТИ ПРИЗНАКОВ РАСПОЗНАВАНИЯ ОБРАЗОВ
А.В. Машкин, к.т.н. (2 ЦНИИ Минобороны России, г. Тверь, arep@cps.tver.ru)
В статье обоснована возможность использования энтропийных мер для решения задачи оценки информативности признаков распознавания ограниченной совокупности образов, характеризующих ограниченную систему объектов. Формализованы аналитические выражения для расчета граничных значений количества информации, заключенного в системе образов объектов.
Ключевые слова: энтропия, энтропийная мера, информативность, распознавание, объект, образ.
Мерам оценки информативности признаков распознавания посвящено достаточное количество работ, например [1, 2]. Известный подход к оценке информативности признаков основан на вычислении вероятностных или информационных мер [3, 4]. Присущими ему основными недостатками следует считать:
- необходимость попарной оценки схожести образов (меры типа Махаланобиса), что не позволяет представлять совокупность заданных образов в виде системы;
- большую размерность матриц вероятностных мер, проблематичных для проведения сравнительного анализа, и другие.
Для устранения этих недостатков можно использовать системные энтропийные меры оценки информативности признаков распознавания.
Цель данной работы состоит в формализации этих мер.
Для представления совокупности М образов, заданных соответствующими плотностями рас-
пределения вероятностей Г ), ¡ = 1,М, | = 1, N .
одномерного признака из К-мерного признакового пространства, в виде системы используется выражение для системной плотности распределения:
м
¡=1
где Р1 - априорная вероятность появления в области наблюдения 1-го образа.
Как правило, на момент формирования словаря признаков распределение априорных вероятностей неизвестно, поэтому можно воспользоваться равномерным представлением. Следовательно, Р1=1/К. Физический смысл данного показателя заключается в оценке изрезанности и протяженности совокупности распределений, определяющих различающие свойства образов. Для оценки информативности признака Xj в системе образов используется энтропийная мера 1и, представляемая как
1„=- = °° 1 м < м
= - [-У/, (X;)/«—У/; (Х, Х1\; =
-со 1—1 1—1
л 00 М л М
-СО 1-1 1-1
л л М °°
=--/и—У [^(х^-
м М^1 ' '
1-1 -00
л М ю М
(2)
1 м м
Рассчитав значения меры информативности для всех признаков, можно построить вариационный ряд по вкладу в общую эффективность распознавания, не прибегая к вероятностным оценкам. Здесь важно определить возможные пределы изменения меры информативности. При оценке образов можно выделить два предельных случая: когда все образы абсолютно идентичны и когда образы не пересекаются.
Теорема 1. При абсолютной идентичности совокупности образов объектов распознавания мера информативности признака равна энтропии одного образа.
Доказательство. Приняв за основу выражения (1) и (2), можно обозначить ) = ^х^) и
провести преобразования следующего вида:
I
00 м м
-00 ¡=1 ¡=1
(3)
где Н - энтропия одного из идентичных образов.
Анализ формулы (3) показывает, что мера информативности не зависит от распределения априорных вероятностей и равна энтропии любого из идентичных образов, а это доказывает теорему.
Теорема 2. При непересекающихся образах мера информативности признака распознавания равна сумме энтропии априорных состояний системы и средневзвешенной энтропии признаковых образов.
Доказательство. Когда образы не пересекаются, преобразования формулы (2) будут следующего вида:
°° =° м м
М ™ М "
-ЕР.
1=1
м
(Х] )!п?А\. + (Х] )М, (х.
(4)
=- £р./ир. -£р. № (х, ж (х, =н +£р.н.>
1=1 1=1 1=1
где Нсост - энтропия состояний системы образов; Н - энтропия 1-го образа.
Выражение (4) доказывает известное положение о конечности информации, заключенное в замкнутой системе [4].
Корректное использование меры информативности (2) возможно лишь при условии, что законы всех анализируемых признаков распознавания идентичны по своему виду. В противном случае необходимо применять либо условные энтропийные меры, либо вероятностные меры для устранения свойства инвариантности. Условная энтропийная мера информативности выражается следующим образом:
м РГ (х1)
<1х;
(5)
Другой мерой может выступать взаимная информация
м ^(х.)
^Е^Л^гт-^Ц . (6)
Между (5) и (6) существует соотношение
м
1в+Ну=-ХР^иР, , характеризующее априорную
I 1
энтропию, равную неопределенности априорных состояний системы наблюдаемых образов. Проведенные исследования показали примерно одинаковую эффективность мер (2), (5) и (6) для основных видов законов распределения непрерывных величин. Эффективность данных мер не меньше используемых вероятностных мер, таких как обобщенное расстояние Колмогорова и Байеса.
Таким образом, с использованием формализованных системных энтропийных мер можно получать оценки информативности признаков для построения их вариационного ряда при синтезе алгоритмов распознавания, использующих информационные критерии принятия решений.
Литература
1. Аркадьев А.Г., Браверманн Э.М. Обучение машины классификации объектов. М.: Наука, 1971.
2. Фор А. Восприятие и распознавание образов. М.: Машиностроение, 1989.
3. Елисеева И.И., Рукавишников В.О. Группировка, корреляция, распознавание образов. М.: Статистика, 1977.
4. Кульбак С. Теория информации и статистика. М.: Наука, 1967.
