Повышение различности правил в модели классификации путем изменения целевой функции при формировании паттернов Текст научной статьи по специальности «Компьютерные и информационные науки»

Секция «Математические методы моделирования, управления и анализа данных»

Апробация реализованных алгоритмов проводилась на 3 задачах анализа данных: классификация ирисов, австралийская и немецкая задачи о кредитах. Данные для анализа были взяты из репозиторя [3] автоматического обучения. Результаты представлены

Результаты тес

в табл. 3. Тестирование проводилось при лучших настройках генетического алгоритма (пропорциональная селекция, двухточечное скрещивание и средняя мутация).

Таблица 1

зования СА-РЬ

GA-FL № функции 1 2 5 10

Средняя Ошибка 0,41 % 2,37 % 7,03 % 7,69 %

Количество правил 3,7 5,2 5,9 6,3

Лучшая Ошибка 0,11 % 1,45 % 6,89 % 7

Количество правил 4 5 7,21% 7

Таблица 2

Результаты тестирования GA-FLinput

№ функции GA-Flinput

Среднее Лучшее

Ошибка Количество входов Количество правил Ошибка Количество входов Количество правил

1 0,36 % 1 3,9 0,1 % 1 5

2 1,85 % 1 5 1,51 % 1 6

5 7,43 % 1,9 5,7 7,14 % 2 6

10 7,67 % 1,3 6,8 6,93 % 1 7

Таблица 3

Результаты работы алгоритмов при решении практических задач

Название метода Ирис Австралийская задача Немецкая задача

Среднее Лучшее Среднее Лучшее Среднее Лучшее

GA-FL 0,039 0,03 0,124 0,097 0,195 0,129

GA-FL input 0,024 0,023 0,113 0,098 0,212 0,144

При решении задач большой размерности, модифицированные алгоритмы показали более высокую точность, при этом для нахождения решения понадобилось меньшее количество вычислительных ресурсов.

Библиографические ссылки

1. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы / пер. с польск. И. Д. Рудинского. М. : Горячая линия - Телеком, 2006. 384 с.

2. Electronic textbook StatSoft [Электронный ресурс]. URL: http://www.fmi.uni-sofia.bg/fmi/statist/ education/textbook/eng/glosa.html (дата обращения: 10.03.2014).

3. Frank A., Asuncion A. (2010). UCI Machine Learning Repository [http://archive.ics.uci.edu/ml]. Irvine, CA: University of California, School of Information and Computer Science.

© Коромыслова А. А., 2014

УДК 519.854.33

Р. И. Кузьмич Научный руководитель - А. А. Ступина Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнёва, Красноярск

ПОВЫШЕНИЕ РАЗЛИЧНОСТИ ПРАВИЛ В МОДЕЛИ КЛАССИФИКАЦИИ ПУТЕМ ИЗМЕНЕНИЯ ЦЕЛЕВОЙ ФУНКЦИИ ПРИ ФОРМИРОВАНИИ ПАТТЕРНОВ

Предлагается изменение целевой функции при формировании паттернов с целью повышения различности правил в модели классификации. Приводится эмпирическое подтверждение данного изменения целевой функции на задаче фибрилляция желудочков.

Имеется выборка данных, состоящая из двух непересекающихся множеств и п-мерных векторов, принадлежащих соответственно положительному или отрицательному классу. Компоненты вектора, называемые также признаками, могут быть как численны-

ми, номинальными, так и бинарными. Задача состоит в том, чтобы для нового наблюдения, являющегося также вектором п переменных, определить, к какому классу он принадлежит.

В методе логического анализа данных для исклю-

Актуальные проблемы авиации и космонавтики - 2014. Информационные технологии

чения избыточных переменных в исходной выборке данных во множестве переменных определяется некоторое подмножество Б, используя которое можно различать положительные наблюдения от отрицательных. Далее для работы метода используются проекции и множеств Ц+ и на Б.

В основе рассматриваемого подхода лежит понятие паттерна. Положительным паттерном называется под-куб пространства булевых переменных Б24, который пересекается с множеством и имеет некоторое ограниченное число общих элементов с множеством ЦТ.

Положительный ю-паттерн для ю е {0,1}' - это паттерн, содержащий в себе точку ю. Для каждой точки ю е Ц/ найдем максимальный ю-паттерн, то есть покрывающий наибольшее число точек Ц/. Соответствующий подкуб зададим с помощью переменных у/.

Уу =

1, если зафиксирована в подкубе, 0, в противном случае.

Позитивное наблюдение с е Ц/ будет тогда входить в рассматриваемый подкуб, когда переменная уу принимает значение 0 для всех индексов у, для которых Cj Ф Юj. Число положительных наблюдений, покрываемых ю-паттерном, может быть вычислено как

X П (1 - Уj).

пеПБ J=1 Б аjфюj

Условие, говорящее о том, что положительный паттерн не должен содержать ни одной точки требует, чтобы для каждого наблюдения р е переменная yj принимала значение 1 по меньшей мере для одного у, для которых Pj Ф ю/

X Уу ^ 1 для любого реП- .

(1)

У=1

рУ ФЮУ

Усиление ограничения для повышения устойчивости к ошибкам производится путем замены числа 1 в правой части неравенства на целое положительное число ё.

Для повышения устойчивости метода к выбросам следует ослабить ограничение (1), чтобы паттерн захватывал некоторое малое число объектов другого класса. Тогда степень вычисляемых паттернов уменьшится, а покрытие увеличится. Таким образом, имеем задачу условной псевдобулевой оптимизации с алгоритмически заданными функциями.

X П (1 - Уу ) ^ тах,

(г)

аеПБ У=1 Б ауфюу

X ^ Б, где 2р =

реП Б

0, если X У у ^ ё, р=1 (3)

р У фю у

1, в противном случае;

где Б - число объектов другого класса, которые допускаются быть покрытыми паттерном.

Для получения модели классификации, которая позволяет выделять различные подмножества объектов, предлагается модифицировать целевую функцию

(ЦФ) (2).

X Ка - П (1-Уу ) ^ тЗХ,

(4)

У=1

а ; ФЮ ;

где Кс - вес позитивного наблюдения с е Ц/, который уменьшается при его покрытии.

Для того чтобы использовать ЦФ (4) для формирования паттернов необходимо задать начальные веса для всех объектов и правило изменения весов для объектов. Начальные веса предлагаем выбрать равными 1 для каждого объекта в обучающей выборке. Правило изменения веса для объекта, который принял участие при формировании текущего паттерна.

Км = тах

0, К -

1

N.

где К, К]+\ - веса покрываемого объекта при формировании текущего и следующего паттерна, Ытах - параметр, задаваемый исследователем, который означает максимальное количество паттернов, которыми может покрываться объект обучающей выборки в модели.

Проведем экспериментальное сравнение двух оптимизационных моделей с ЦФ (2) и ЦФ (4) на задаче фибрилляция желудочков. Для этого используется выборка данных, состоящая из 70 положительных и 70 отрицательных объектов [1]. В качестве способа тестирования применялся 5-кратный скользящий контроль. Результаты исследования приведены в таблице.

Согласно полученным результатам средняя степень паттернов уменьшилась, т. е. повысилась их интерпретируемость, и количество паттернов в модели сократилось в 3 раза.

Результаты классификации для задачи фибрилляция желудочков

Задача оптимизации Множество паттернов Количество паттернов в модели Средняя степень паттерна Точность классификации, %

ЦФ (2), ограничение (3) Отрицательные паттерны 60 5 84

Положительные паттерны 52 3 81

ЦФ (4), ограничение (3) Отрицательные паттерны 18 4 84

Положительные паттерны 18 3 78

Библиографическая ссылка

1. Горбань А. Н., Шульман В. А., Россиев Д. А. Осложнения инфаркта миокарда. база данных для апробации систем распознавания и прогноза. Красно-

ярск . Вычислительный центр СО РАН. Препринт № 6, 1997.

© Кузьмич Р. И., 2014

аеП