Применение ранжирования и схем кроссвалидации при отборе признаков для нечеткого классификатора Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.8

ПРИМЕНЕНИЕ РАНЖИРОВАНИЯ И СХЕМ КРОССВАЛИДАЦИИ ПРИ ОТБОРЕ ПРИЗНАКОВ ДЛЯ НЕЧЕТКОГО КЛАССИФИКАТОРА Ходашинский Илья Александрович

Д.т.н., профессор, ТУСУР, e-mail: hodashn@rambler.ru Анфилофьев Александр Евгеньевич Аспирант, ТУСУР, e-mail: yowwi00@gmail.com

Бардамова Марина Борисовна Аспирантка, ТУСУР, e-mail: 722bmb@gmail.com Самсонов Сергей Сергеевич Студент, ТУСУР, e-mail: samsonicx@mail.ru

Филимоненко Игорь Витальевич Студент, ТУСУР, e-mail: ifilimon96@mail.ru Томский государственный университет систем управления и радиоэлектроники (ТУСУР), 634050 г. Томск, пр. Ленина 40

Аннотация. Отбор признаков является NP-трудной задачей, гарантировано оптимальное решение может быть найдено только путем полного перебора. В статье описывается подход к отбору признаков на основе ранжирования и схем кроссвалидации. Для формирования оптимальных наборов признаков используются бинарные метаэвристические алгоритмы: гравитационный поиск, сорняковый алгоритм, алгоритм обезьян и алгоритм крилей.

Ключевые слова: кроссвалидация, отбор признаков, классификаторы, бинарные метаэвристики

Цитирование: Ходашинский И.А., Анфилофьев А.Е., Бардамова М.Б., Самсонов С.С., Филимоненко И.В. Применение ранжирования и схем кроссвалидации при отборе признаков для нечеткого классификатора // Информационные и математические технологии в науке и управлении. 2018. №2 (10). С. 31-41. DOI:10.25729/2413-0133-2018-2-03

Введение. Отбор релевантных признаков - важный этап при построении систем интеллектуального анализа данных. Отбор признаков, как метод предварительной обработки данных, может способствовать не только повышению эффективности алгоритмов обучения, но и повышению прогностической способности и интерпретируемости полученного результата.

Увеличение количества признаков приводит к ухудшению эффективности работы алгоритмов обучения, вопреки интуитивному представлению о том, что большее количество признаков позволит получить больше информации и, тем самым, с большей точностью выполнить задачу классификации. Причина в том, что по мере увеличения количества признаков алгоритмы нуждаются в большем количестве данных для обучения, необходимых для построения правил, определяющих соотношение между этими признаками и меткой класса. Кроме того, признаки, не содержащие информации о метке класса, могут способствовать неправильной классификации и замедлять процесс обучения. Поэтому

разработка методов отбора подмножества признаков, которые классифицируют данные более точно, чем полный набор признаков, является актуальной задачей [4].

Методы отбора признаков можно разделить на две группы: фильтры и обертки. Метод фильтров основан на обобщенных свойствах обучающих данных и не включает в процесс отбора признаков собственно алгоритм построения классификатора. Метод обертки включает построение классификатора в процесс отбора признаков и использует прогностическую точность классификатора для оценки эффективности отобранного подмножества признаков.

Цель нашей статьи - описать методику и бинарные алгоритмы отбора признаков по методу обертки с использованием схем кроссвалидации.

1. Нечеткий классификатор. Основой нечеткого классификатора является продукционное правило следующего вида:

Rij : ЕСЛИ s\hX\=A\i И s2^x2=A2i И ... И snhxn=Ani ТО class=cj, где Aki - нечеткий терм, характеризующий k-ый признак в i-ом правиле (i е[1, R]); запись siAxi указывает на наличие (si = 1) или отсутствие (si = 0) признака в классификаторе; R -число правил.

В нашей работе класс определяется следующим образом:

class = c ,, j* = arg max ß,

J 1< j <m J

__n _

где ßJ (x) = 2^,11 /dA (xk ), j = 1, m, ¡лА (x, ) - значение функции принадлежности нечеткого

J ^^^^ ki ki

Rj k=1

терма Aki в точке xk.

На таблице наблюдений {(xp; cp), p = 1, z }, мера точности классификации может быть выражена следующим образом:

^ i1, если c=arg i^x ^j (xp; 0S) e (0, s)=£±к^аче

z

где У(хр; 0, 8) - выход, определённый нечетким классификатором с параметрами 0 и признаками 8 в точке хр.

Задача отбора признаков заключается в поиске на заданном множестве признаков X такого их подмножества, которое при уменьшении числа признаков не приводило бы к существенному уменьшению точности классификации; решение представляется в виде вектора 8 = ($1, $2, ... , sn) , где si = 0 означает, что 1-й признак не участвует в классификации, = 1 означает, что i-й признак используется классификатором. Для каждого подмножества признаков оценивается точность классификатора, структура которого сформирована на основе экстремумов значений признаков в таблице наблюдений [1].

2. Бинарные алгоритмы

2.1. Бинарный гравитационный алгоритм основан на непрерывном гравитационном алгоритме [6]. В бинарном алгоритме каждый оптимизируемый вектор 8 представляется в виде частицы, масса которой определяется точностью классификатора, построенного на соответствующем векторе. Частицы, являющиеся лучшими решениями с точки зрения фитнесс-функции, обладают наибольшей массой и притягивают к себе более

мелкие частицы. Так как силы притяжения действуют на все частицы, то двигаются и тяжелые частицы, тем самым осуществляя поиск в близлежащем пространстве. Таким образом, в качестве массы /-ой частицы используется значение ошибки классификации £гг(0,8) =1 - £(0,8), расстояние между двумя частицами рассматривается как евклидово расстояние между векторами. Далее для каждой частицы подсчитывается ускорение по законам Ньютона и скорость как сумма ускорения и случайной компоненты от скорости, вычисленной на предыдущей итерации [2].

Далее численное значение скорости частицы должно быть переведено в бинарный эквивалент для перемещения частицы. В данной работе используется функция трансформации, которая определяет вероятность изменения значения элемента вектора на противоположное:

ЕСЛИ (гаи?(0;1) < £(V? ^ +1))), ТО р = 1 ИНАЧЕ р = 0 ,

( +1) = () 0 р

где F(Vd (t +1)) =

2 arctan(—Vd (t +1))

ж 2

t - текущая итерация, i - номер частицы, i = 1; P, P -

количество векторов, d - номер элемента вектора, d = 1; |рг|, Ф - логическое исключающее «ИЛИ».

Начальная популяция векторов S для дискретного алгоритма генерируется случайным образом; размерность вектора равняется количеству признаков.

2.2. Непрерывный сорняковый алгоритм является популяционным алгоритмом, отражающим ограниченный по времени жизненный цикл сорняков при их распространении и выживании на ограниченной территории [5]. Бинарный сорняковый алгоритм основан на применении функции Гаусса c нулевым средним и дисперсией о2. Значение функции

определяется с помощью преобразования Бокса-Мюллера: cos(b)^/- 21n(a), где a и b независимые случайные величины, равномерно распределенные в диапазоне (0,1]. Для перехода к бинарным значениям вводится пороговое значение thr^ (0,1) и вычисляется w = cos(b)y/- 21n(a), если |w| <thr, то s*i(t) = NOT(si(t)) иначе s*i(t) = si(t). Бинарный

_ ( N - iter Л сорняковый алгоритм учитывает время работы алгоритма: thrt := thr ■ - , чем

ier ^ N )

дольше работает алгоритм, тем медленнее происходят изменения в векторе признаков S. Изменение порога приводит к тому, что на ранних этапах работы алгоритма каждый дочерний вектор признаков будет сильно отличаться от вектора, из которого он был порождён (родительского); этим обеспечивается реализация глобального поиска на ранних итерациях. При достижении конечных этапов работы алгоритма каждый элемент дочернего вектора будет с большей долей вероятности соответствовать элементу порождающего элемента родительского вектора, что позволяет произвести тонкую настройку и определить минимум в окрестности родительского решения.

2.3. Непрерывный алгоритм обезьян основан на наблюдениях за передвижением обезьян в горной местности [8]. Бинарный алгоритм обезьян начинает свою работу с инициализации популяции бинарных решений. В процессе работы алгоритма популяция

делится на группы, в каждой из которых присутствует свое лучшее решение, определяемое по наибольшему значению £(0, Б*), кроме того находится глобально лучшее решение. Новое значение sij в векторе признаков Б в соответствии с локальным решением определяется следующим образом:

s j = <

(

Si,j e

(b ®(LLk j e Si,. )У

+ (d ®(Sr,j. e S',J ))

, rand > pr

Sj,иначе

где b, dпринимают случайные значения из множества {0;1}; LLk- лучшее решение в группе.

Новое значение sy в векторе признаков S в соответствии с глобальным решением определяется следующим образом:

( ii^i^r ^ _ \\ л

, rand > P

+ (d ®(^,; 0 5,; ))

S . = <

Su. e

^иначе

где GL - вектор, определяющий координаты глобального решения,

Р = 0.9- Е(в8') + 0.1. г шах£(в,8)

2.4. Непрерывный алгоритм крилей имитирует перемещение антарктических крилей в процессе поиска пищи с учетом взаимосвязанных факторов. Одним из факторов является наличие хищника, которое заставляет крилей держаться вместе и увеличивает плотность стада другой фактор - поиск пищи (Р); третий фактор - случайное блуждание криля (ЛО) [3]. В бинарном алгоритме перемещение криля вызванное движением других

членов стада, вычисляется следующим образом:

^ +1) = ^с^с^^, а), N (0), а = ^сг^Т1, а^),

где Nmax - максимальная скорость крилей в стаде; а

target

local

вектор движения, учитывающий влияние соседей *-го криля; а{~"°" - вектор движения, учитывающий влияние лучшего криля в стаде. Влияние соседей определяется следующим образом:

а

local

= diSct(K , e, ), e, = diSct(e , e ), к = diSct(randvector(Q, 1), e ) :

p i,J

atarg et -

= diSct(diSct(randvector(Q, 1), Kh best ), e u best ), F (t +1) = diSct(diSct(1, ßi ), diSct(Q, F (t)), ß = diSct(ßfood, ßbeSt),

ßfood = diSct(dlSct(C oood, K oood ), О., oood ), Coood =

food ? 1, food 1, food ■>

food

1, если 2(1-(-)) > 1

Q, иначе

e food =dlSct(e,, randvector(Q, 1)), ß*eSt = diSct(KlMst, e,^ ), randvector(Q,1) = (bin,bin2,...,binn), bin = rand{Q,1},

rx¿, еслих{ = yi

diSct(x,y) = (reSj,reS2,...,reSn), reSt =

rand{Q,1}, иначе

Позиция /-го криля на (¿+1)-ой итерации выполнения алгоритма определяется следующим образом:

9г (г +1) = (ег (г), Д9г) Дег = дява((N (г), ^ (г)), 1).

3. Методика отбора признаков с использованием схем кроссвалидации состоит из следующих этапов:

1) классифицируемый набор данных разбивается на к выборок в соответствии со схемой кросс-валидации;

2) на всех выборках по п раз запускается бинарный метаэвристический алгоритм; в результате каждого из кп запусков выявлялся набор признаков с наиболее высокой точностью на обучающей выборке;

3) полученные признаки ранжируются по частоте встречаемости в наборах;

4) на основе полученных рангов составляются наборы признаков и осуществляется построение классификаторов.

Для подтверждения работоспособности алгоритмов проведены эксперименты на наборах данных, приведенных в таблице 1.

Таблица 1. Наборы данных

Набор данных Число признаков Число образцов Число классов

Vowel 13 990 11

Penbased 16 10992 10

4. Эксперимент проводился по следующей схеме:

Шаг 1. Отбор информативных признаков с использованием бинарных алгоритмов.

Шаг 2. Генерация на отобранных признаках правил нечетких классификаторов [1].

Для оценки статистической значимости различий в рангах отобранных классифицирующих признаков, сформированных алгоритмом гравитационного поиска (АГП), сорняковым алгоритмом (СА), алгоритмом обезьян (АО) и алгоритмом крилей (АК), использованы критерий знаковых рангов Уилкоксона и двухфакторный ранговый дисперсионный анализ Фридмана для связных выборок.

Для первого критерия была сформулирована нулевая гипотеза: на уровне значимости 0.05 медиана разности между парой ранжировок равна нулю.

Для двухфакторного рангового дисперсионного анализа Фридмана для связных выборок критерия была сформулирована нулевая гипотеза: на уровне значимости 0.05 распределения рангов, полученных четырьмя алгоритмами, статистически неразличимы.

В таблице 2 приведены частоты встречаемости признаков и ранги, присвоенные признакам набора данных Vowel алгоритмом гравитационного поиска, сорняковым алгоритмом, алгоритмом обезьян и алгоритмом крилей.

В таблице 3 приведены результаты проверки нулевой гипотезы критерием знаковых рангов Уилкоксона для набора данных Vowel, здесь в ячейке таблицы указана значимость.

Поскольку значимость для этого теста для всех пар больше 0.05, нулевая гипотеза на уровне значимости 95.0% не может быть отклонена. Из чего следует: для набора данных Vowel ранжировки, выполненные четырьмя алгоритмами, попарно статистически неразличимы на заданном уровне значимости.

Для двухфакторного рангового дисперсионного анализа Фридмана для связных выборок получена значимость, равная 0.947, из чего можно сделать вывод: для набора

данных Vowel ранжировки, выполненные четырьмя алгоритмами, статистически неразличимы на заданном уровне значимости.

Таблица 2. Частота встречаемости признаков и их ранги на данных Vowel

№ признака АГ П СА АО А К

Частота Ранг Частота Ранг Частота Ранг Частота Ранг

1 0 11,5 0 11 4 S 0 12

2 12 6 5 l S l 2 9

3 5 S 0 11 2 10 4 6

4 50 3 50 3 50 3 10 1,5

s 50 3 50 3 50 3 10 1,5

6 0 11,5 0 11 1 11 1 10

l 50 3 50 3 50 3 9 3,5

S 50 3 50 3 50 3 9 3,5

9 10 l 9 6 12 6 0 12

10 1 9 0 11 0 12,5 3 l,5

11 0 11,5 0 11 0 12,5 3 l,5

12 50 3 50 3 50 3 S 5

13 0 11,5 1 S 3 9 0 12

Таблица 3. Набор данных Vowel: итоги проверки нулевой гипотезы

критерием знаковых рангов Уилкоксона

Алгоритм АГП СА АО АК

АГП 1.000 0.944 0.944 0.SSS

СА 0.944 1.000 0.lS5 1.000

АО 0.944 0.lS5 1.000 0.944

АК 0.SSS 1.000 0.944 1.000

В таблице 4 приведены частоты встречаемости признаков и ранги, присвоенные признакам набора данных Penbased алгоритмом гравитационного поиска, сорняковым алгоритмом, алгоритмом обезьян и алгоритмом крилей.

Таблица 4. Частота встречаемости признаков и их ранги на данных Penbased

№ признака АГП СА АО АК

Частота Ранг Частота Ранг Частота Ранг Частота Ранг

1 16 9 20 9 1l 9 0 13

2 13 10 14 10 12 11 0 13

3 10 11 0 15,5 11 12 0 13

4 0 16 0 15,5 0 16 0 13

5 4l 4 4S 4 4l 4 S 6

6 6 13 6 12 5 13,5 0 13

l 35 6 25 S 34 6 l l

S 25 S 29 l 31 l 9 4

9 39 5 3S 5 35 5 1 9

10 2S l 31 6 29 S 9 4

11 S 12 10 11 15 10 5 S

12 50 1,5 50 2 50 1,5 10 1,5

13 2 15 2 14 5 13,5 0 13

14 49 3 50 2 49 3 10 1,5

15 4 14 4 13 2 15 0 13

16 50 1,5 50 2 50 1,5 9 4

В таблице 5 приведены результаты проверки нулевой гипотезы критерием знаковых рангов Уилкоксона для набора данных Penbased, здесь в ячейке таблицы указана значимость.

Поскольку значимость для этого теста для всех пар больше 0.05, нулевая гипотеза на уровне значимости 95.0% не может быть отклонена. Из чего следует: для набора данных Penbased ранжировки, выполненные четырьмя алгоритмами, попарно статистически неразличимы на заданном уровне значимости.

Для двухфакторного рангового дисперсионного анализа Фридмана для связных выборок получена значимость, равная 0.917, из чего можно сделать вывод: для набора данных Penbased ранжировки, выполненные четырьмя алгоритмами, статистически неразличимы на заданном уровне значимости.

Таблица 5. Набор данных Penbased: итоги проверки нулевой гипотезы

критерием знаковых рангов Уилкоксона

Алгоритм АГП СА АО АК

АГП 1.000 0.335 0.886 1.000

СА 0.335 1.000 0.782 0.955

АО 0.886 0.782 1.000 1.000

АК 1.000 0.955 1.000 1.000

В таблицах 6 и 7 приведены усредненные значения обучающей (ETr) и тестовой (Etst) точности нечетких классификаторов, построенных на наборах данных Vowel и Penbased соответственно. Первый классификатор обучается на наборе признаков, имеющих наименьший ранг, следующие наборы составляются путем поочередного добавления признаков по возрастанию рангов. Количество признаков в наборе указано в столбце F.

Заключение. Для решения задач отбора признаков для нечетких классификаторов предложено использовать методы ранжирования и схем кроссвалидации. Отбор признаков ведется по методу обертки. Для формирования оптимальных наборов признаков используются бинарные метаэвристические алгоритмы: гравитационный поиск, сорняковый алгоритм, алгоритм обезьян и алгоритм крилей. Сравнительный статистический анализ не выявил алгоритма, превосходящего остальные по точности классификации без оптимизации параметров нечеткого классификатора. Опираясь на «теорему о бесплатных завтраках» [7], можно сделать вывод: для решения оптимизационных задач отбора признаков должны использоваться различные бинарные метаэвристические алгоритмы.

Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 16-07-00034а.

Таблица 6. Набор данных Vowel: результаты построения нечетких классификаторов на

отобранных бинарными алгоритмами наборах признаков

Классификаторы, построенные на признаках, отобранных АГП Классификаторы, построенные на признаках, отобранных СА

№ Ранги Признаки F etr etst № Ранги Признаки F etr etst

1 3 4, S, Т, S, ll 5 4l,2 4l,9 1 3 4, S, Т, S, ll 5 4l,2 4l,9

2 3, 6 l, 4, 5, l, S, 12 6 4l,0 4l,6 2 3, 6 4, 5, l, S, 9, 12 6 46,S 46,9

3 3, 6, l 2, 4, 5, l, S, 9, 12 l 46,9 46,l 3 3, 6, l l, 4, 5, l, S, 9, 12 l 46,9 46,l

4 3, 6, l, S 2, З, 4, 5, l, S, 9, 12 S 46,6 46,1 4 3, 6, l, S 2, 4, 5, l, S, 9, 12, 1З S 45,S 45,4

5 3, 6, l, S, 9 2, 3, 4, 5, l, S, 9, lO, 12 9 44,5 44,0 5 3, 6, l, S, 11 Полный набор 13 39,4 3S,3

6 3, 6, l, S, 9, 11.5 Полный набор 13 39,4 3S,3

Классификаторы, построенные на признаках, отобранных АО Классификаторы, построенные на признаках, отобранных АК

№ Ранги Признаки F etr etst № Ранги Признаки F etr etst

1 3 4, S, Т, S, ll 5 4l,2 4l,9 1 1.5 4, S 2 35,S 36,0

2 3, 6 4, 5, l, S, 9, 12 6 46,S 46,6 2 1.5, 3.5 4, 5, Т, S 4 42,1 42,3

3 3, 6, l l, 4, 5, l, S, 9, 12 l 46,9 46,l 3 1.5, 3.5, 5 4, 5, l, S, ll 5 4l,2 4l,9

4 3, 6, l, S l, 2, 4, 5, l, S, 9, 12 S 46,3 46,0 4 1.5, 3.5, 5, 6 З, 4, 5, l, S, 12 6 4l,0 4l,6

5 3, 6, l, S, 9 1, 2, 4, 5, l, S, 9, 12, 1З 9 44,9 44,4 5 1.5, 3.5, 5, 6, l.5 3, 4, 5, l, S, 10, 11, 12 S 42,4 42,S

6 3, 6, l, S, 9, 10 1, 2, З, 4, 5, l, S, 9, 12, 13 10 44,5 44,0 6 1.5, 3.5, 5, 6, l.5, 9 l, 3, 4, 5, l, S, 10, 11, 12 9 42,2 42,l

l 3, 6, l, S, 9, 10, 11 1, 2, 3, 4, 5, б, l, S, 9, 12, 13 11 41,3 41,3 l 1.5, 3.5, 5, 6, l.5, 9, 10 2, 3, 4, 5, б, l, S, 10, 11, 12 10 41,5 41,4

S 3, 6, l, S, 9, 10, 11, 12.5 Полный набор 13 39,4 3S,3 S 1.5, 3.5, 5, 6, l.5, 9, 10, 12 Полный набор 13 39,4 3S,3

Таблица 7. Набор данных РепЬаБеё: результаты построения нечетких классификаторов на

отобранных бинарными алгоритмами наборах признаков

Классификаторы, построенные на признаках, отобранных АГП Классификаторы, построенные на признаках, отобранных СА

№ Признаки Р рш № Признаки Р Рти рт3т

1 12, 16 2 35,5 35,3 1 12,14,16 3 36,7 36,5

2 12, 14, 16 3 36,7 36,5 2 5, 12, 14, 16 4 41,6 41,6

3 5, 12, 14, 16 4 41,6 41,6 3 5, 9, 12, 14, 16 5 47,4 47,5

4 5, 9, 12, 14, 16 5 47,4 47,5 4 5, 9, 10, 12, 14, 16 6 47,3 47,4

5 5, 7, 9, 12, 14, 16 6 50,5 50,4 5 5, 8, 9, 10, 12, 14, 16 7 47,3 47,3

6 5, 7, 9, 10, 12, 14, 16 7 49,5 49,6 6 5, 7, 8, 9, 10, 12, 14, 16 8 48,9 48,8

7 5, 7, 8, 9, 10, 12, 14, 16 8 48,9 48,8 7 1, 5, 7, 8, 9, 10, 12, 14, 16 9 50,2 50,0

8 1, 5, 7, 8, 9, 10, 12, 14, 16 9 50,2 50,0 8 1, 2, 5, 7, 8, 9, 10, 12, 14, 16 10 48,7 48,6

9 1, 2, 5, 7, 8, 9, 10, 12, 14, 16 10 48,7 48,6 9 1, 2, 5, 7, 8, 9, 10, 11, 12, 14, 16 11 44,3 44,4

10 1, 2, 3, 5, 7, 8, 9, 10, 12, 14, 16 11 47,6 47,4 10 1, 2, 5, 6, 7, 8, 9, 10, 11, 12, 14, 16 12 41,9 42,1

11 1, 2, 3, 5, 7, 8, 9, 10, 11, 12, 14, 16 12 43,5 43,7 11 1, 2, 5, 6, 7, 8, 9, 10, 11, 12, 14, 15, 16 13 38,6 38,7

12 I, 2, 3, 5, 6, 7, 8, 9, 10, II, 12, 14, 16 13 41,6 41,7 12 1, 2, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16 14 36,9 37,1

13 I, 2, 3, 5, 6, 7, 8, 9, 10, II, 12, 14, 15, 16 14 38,4 38,7 13 Полный набор 16 31,9 31,9

14 I, 2, 3, 5, 6, 7, 8, 9, 10, II, 12, 13, 14, 15, 16 15 36,5 36,8

15 Полный набор 16 31,9 31,9

Классификаторы, построенные на признаках, отобранных АО Классификаторы, построенные на признаках, отобранных АК

№ Признаки Р рш ЕтБТ № Признаки Р Рти рт3т

1 12, 16 2 35,5 35,3 1 12, 14 2 35,4 35,4

2 12, 14, 16 3 36,7 36,5 2 8, 10, 12, 14, 16 5 41,1 41,1

3 5, 12, 14, 16 4 41,6 41,6 3 5, 8, 10, 12, 14, 16 6 46,6 46,5

4 5, 9, 12, 14, 16 5 47,4 47,5 4 5, 7, 8, 10, 12, 14, 16 7 48,4 48,4

5 5, 7, 9, 12, 14, 16 6 50,5 50,4 5 5, 7, 8, 10, 11, 12, 14, 16 8 50,2 50,1

6 5, 7, 8, 9, 12, 14, 16 7 49,4 49,2 6 5, 7, 8, 9, 10, 11, 12, 14, 16 9 49,9 49,9

7 5, 7, 8, 9, 10, 12, 14, 16 8 48,9 48,8 7 Полный набор 16 31,9 31,9

8 1, 5, 7, 8, 9, 10, 12, 14, 16 9 50,2 50,0

9 1, 5, 7, 8, 9, 10, 11, 12, 14, 16 10 49,9 49,8

10 1, 2, 5, 7, 8, 9, 10, 11, 12, 14, 16 11 44,3 44,4

11 1, 2, 3, 5, 7, 8, 9, 10, 11, 12, 14, 16 12 43,5 43,7

12 I, 2, 3, 5, 6, 7, 8, 9, 10, II, 12, 13, 14, 16 14 39,5 39,6

13 I, 2, 3, 5, 6, 7, 8, 9, 10, II, 12, 13, 14, 15, 16 15 36,5 36,8

14 Полный набор 16 31,9 31,9

СПИСОК ЛИТЕРАТУРЫ

1. Мех М.А., Ходашинский И.А. Сравнительный анализ применения методов дифференциальной эволюции для оптимизации параметров нечетких классификаторов // Известия Российской академии наук. Теория и системы управления. 2017. № 4. С. 6575.

2. Ходашинский И.А., Бардамова М.Б. Бинаризация алгоритма гравитационного поиска в задачах отбора признаков для нечетких классификаторов // XIII Международная научно-практическая конференция «Электронные средства и системы управления» (Томск, ТУСУР, 29 ноября - 1 декабря 2017 г.). Томск. В-Спектр. 2017. Ч. 2. С. 29-31.

3. Gandomi A.H., Alavi A.H. Krill herd: A new bio-inspired optimization algorithm // Communications in Nonlinear Science and Numerical Simulation. 2012. Vol. 17. Pp. 48314845.

4. Jalalirad A., Tjalkens T. Using feature-based models with complexity penalization for selecting features // Journal of Signal Processing Systems. 2018. Vol. 90. Pp. 201-210.

5. Mehrabian A.R, Lucas C. A novel numerical optimization algorithm inspired from weed colonization // Ecological informatics. 2006. Vol.1. Pp. 355-366.

6. Rashedi E., Nezamabadi-pour H., Saryazdi S. GSA: a gravitational search algorithm // Information Sciences. 2009. Vol.179. Pp. 2232-2248.

7. Wolpert D.H., Macready W.G. No Free Lunch Theorems for Optimization // IEEE Transactions on Evolutionary Computation. 1997. Vol.1. Pp. 67-82.

8. Zhao R., Tang W. Monkey algorithm for global numerical optimization // Journal of Uncertain Systems. 2008. Vol.2. Pp. 165-176.

UDK 004.S

FEATURE SELECTION FOR FUZZY CLASSIFIERS USING THE RANKING AND CROSS-VALIDATION Ilya A. Hodashinsky

Dr., Professor, e-mail: hodashn@rambler.ru Alexander E. Anfilofiev Graduate student, e-mail: yowwi00@gmail.com

Marina B. Bardamova Graduate student, e-mail: 722bmb@gmail.com Sergey S. Samsonov Student, e-mail:723_sss@fb.tusur.ru

Igor V. Filimonenko Student, e-mail: ifilimon96@mail.ru Tomsk State University of Control Systems and Radioelectronics, 40 Lenina Prospect, Tomsk, Russia 634050, Russia

Abstract. The feature selection is an NP-hard problem, it is guaranteed the optimal solution can be found only by a full search. In the article, we describe the approach to feature selection based on ranking and cross-validation. For the formation of optimal

feature sets, binary meta-heuristic algorithms are used: gravitational search algorithm,

weed algorithm, monkey algorithm and krill herd algorithm.

Keywords: cross-validation, feature selection, classifiers, binary metaheuristics.

References

1. Mekh M.A., Hodashinsky I.A. Sravnitel'nyy analiz primeneniya metodov differentsial'noy evolyutsii dlya optimizatsii parametrov nechetkikh klassifikatorov [Comparative analysis of differential evolution methods to optimize parameters of fuzzy classifiers] // Izvestiya RAN. Teoriya i sistemy upravleniya = Journal of Computer and Systems Sciences International. 2017. Vol. 56, No. 4. Pp. 616-626. (in Russian)

2. Hodashinsky I.A., Bardamova M.B. Binarizatsiya algoritma gravitatsionnogo poiska v zadachakh otbora priznakov dlya nechetkikh klassifikatorov [Binarization of the gravitational search algorithm in the feature selection problems for fuzzy classifiers] // XIII Mezhdunarodnaya nauchno-prakticheskaya konferentsiya «Elektronnyye sredstva i sistemy upravleniya» (Tomsk, TUSUR, 29 noyabrya - 1 dekabrya 2017 g.) = XIII International Scientific and Practical Conference "Electronic Tools and Control Systems" (Tomsk, TUSUR, November 29 - December 1, 2017). Tomsk. V-Spektr Publ. 2017. Vol. 2. Pp. 2931. (in Russian)

3. Gandomi A.H., Alavi A.H. Krill herd: A new bio-inspired optimization algorithm // Communications in Nonlinear Science and Numerical Simulation. 2012. Vol. 17. Pp. 48314845.

4. Jalalirad A., Tjalkens T. Using feature-based models with complexity penalization for selecting features // Journal of Signal Processing Systems. 2018. Vol. 90. Pp. 201-210.

5. Mehrabian A.R, Lucas C. A novel numerical optimization algorithm inspired from weed colonization // Ecological informatics. 2006. Vol.1. Pp. 355-366.

6. Rashedi E., Nezamabadi-pour H., Saryazdi S. GSA: a gravitational search algorithm // Information Sciences. 2009. Vol.179. Pp. 2232-2248.

7. Wolpert D.H., Macready W.G. No Free lunch theorems for optimization // IEEE Transactions on Evolutionary Computation. 1997. Vol.1. Pp. 67-82.

8. Zhao R., Tang W. Monkey algorithm for global numerical optimization // Journal of Uncertain Systems. 2008. Vol.2. Pp. 165-176.