CC BY
56
ФОРМИРОВАНИЕ ПРИЗНАКОВОГО ПРОСТРАНСТВА ПО КРИТЕРИЮ СОПРЯЖЕННОСТИ ВЕКТОРОВ ИЗМЕРЕНИЙ
В.А. Фурсов, В.А. Шустов Институт систем обработки изображений РАН
1. Постановка задачи
Проблема формального анализа информативности выбранной системы признаков и обоснования размерности признакового пространства является одной из основных в общей проблеме обучения распознаванию образов. В работе [1] для обучения распознаванию цифр используются меры, основанные на вычислении энтропии. Применение этих мер требует для выявления закономерностей обработки большого числа (ансамбля) реализаций. В работе [2] для выбора размерности признакового пространства при малом числе обучающих объектов предложено использовать меры ориентации векторов признаков относительно нуль-пространства транспонированной матрицы признаков. Эти меры, по существу характеризуют мультиколлинеарность векторов-столбцов, из которых составлена матрица признаков.
В настоящей работе задача формального анализа признакового пространства в задаче, рассматривавшейся в [1] осуществляется с использованием аппарата анализа, предложенного в [2]. При этом по сравнению с [1] изменена также область локализации цифр. В частности, при выборе этой области учитывалось, что вертикальный размер цифр, обычно, больше горизонтального.
2. Основные соотношения
В настоящей работе используется техника вычисления и выбора пространства признаков, основанная на анализе степени сопряженности (мультиколлинеарности) образующих его векторов. Основные соотношения запишем для случая задачи распознавания двух классов. Обобщение на случай многих классов осуществляется как обычно [4].
Задача решается в классе линейных разделяющих функций вида
g(x ) = а г у(х) = Wo +2 WiXi,i = 1^ (1)
где а=^0, ■^г=^о^ь..^<1] - М-мерный вектор искомых параметров (весовых коэффициентов [4]), а Мх 1-вектор у (х) определяется как [1,х]г. После определения признаков N объектов для обучения системы (Ы>М) имеем ^М-матрицу У, строками которой являются векторы ут,/ = 1, N Столбцы матрицы У далее будем обозначать У;-. ] = 1,М .
Задача оценивания параметров классификатора решается следующим образом. Ищется разделяющий вектор а, удовлетворяющий (в смысле критерия среднеквадратической ошибки) уравнению
Уа=Ь, (2)
где Ь - вектор, формируемый по заданным допускам, определяющим область решений [4]. Предполагается, что число строк N матрицы У не намного превышает число столбцов (признаков) М.
При выборе признакового пространства в рамках указанной постановки задачи необходимо иметь в виду следующую трудность. Состав и количество признаков могут оказаться недостаточно информативными на этапе классификации, в частности, конкретная реализация измерений на системе обучающих объектов может оказаться такой, что соответствующая задача оценивания разделяющей поверхности может оказаться плохо обусловленной или почти вырожденной. Связано это с тем, что векторы У}-
матрицы У могут оказаться линейно-зависимыми (или "почти" линейно-зависимыми), так что задача оценивания параметров разделяющей функции не может быть решена. Эта проблема известна как проблема анализа мультиколлинеарности системы векторов [3].
Для преодоления этих трудностей в настоящей работе рассматривается возможность использования предложенного в [2] метода формирования пространства признаков, основанного на вычислении мер взаимной ориентации векторов признаков. В частности, ставится задача исследовать возможность применения для определения информативности признаков изображения так называемого показателя сопряженности векторов У| с нуль-пространством матрицы Уг [5].
В соответствии с этим методом для каждого вектора Уь i = 1, М вычисляется величина
^ = (у То,М-1ТоГМ-1 УГ У21() , (3)
где Т0,М-1 - ^(Ы-М+1) - матрица, составленная из (N-N+1) собственных векторов, соответствующих нулевым собственным значениям матрицы
УМ_1У(М_. Матрица УМ_1 получается из матрицы У путем вычеркивания одного, в данном случае, ьго вектора-столбца УР
С использованием полученных величин Si далее выбираются состав признаков и размерность признакового пространства. Для этого вычисленные значения Si сравниваются с заданным допустимым значением 8 доп . Если оказывается, что
8 < 8 доп , (4)
то столбец Уь исключается. Величина 8доп определяется экспериментально и не должна быть слишком малой, т.к. малые значения Si говорят о сильной мультиколлинеарности векторов матрицы У и, сле-
довательно, о плохой обусловленности задачи оценивания. Основная цель этой работы заключается в установлении порогового значения этого показателя для отбора векторов матрицы У в заданной системе признаков.
3. Описание исходной системы признаков
Рассматривается задача распознавания цифр, записанных с использованием различных шрифтов. Следуя работе [1] система признаков формируется следующим образом. Поле цифры разбивается на квадраты небольших размеров. Фиксируется суммарная величина яркости, приходящаяся на все пикселы, внутри каждого квадрата. Для обозначения квадратиков далее используются две цифры, первая из которых обозначает номер строки (начиная сверху) на растровом изображении, а вторая - номер столбца. Матрица признаков У содержит М столбцов, а число строк - N соответствует числу цифр, предъявляемых для обучения.
Для выбранной системы признаков существенное значение имеют размеры и число квадратов на поле цифры. При разбиении на большое число квадратом малых размеров, наверняка, окажется, что многие из них на поле области, ограничивающей всю совокупность цифр, окажутся малоинформативными. Ясно, что на этапе обучения исключение соответствующих признаков может быть произведено без ущерба для точности классификации, приводя при этом к существенному сокращению размерности пространства решаемой задачи. Более того, это приведет к повышению надежности и быстродействия построенной на выбранной системе признаков процедуры классификации.
Преимущества используемого в настоящей работе подхода к решению задачи формирования системы признаков особенно проявляются в тех случаях, когда обучение распознаванию образов должно осуществляться по малому числу наблюдений. Это может быть связано с нестационарностью распределений образов в признаковом пространстве, требующей частой перенастройки классификатора или с невозможностью получить достаточно большой объем наблюдений. В указанной ситуации использование априорных вероятностных характеристик обучающей выборки для определения информативности признаков [4] не вполне правомерно.
Далее приводятся результаты экспериментов, показывающие возможность снижения размерности указанной системы признаков без ущерба для качества распознавания классов.
4. Результаты экспериментов
Чтобы оценить эффект от использования показателя сопряженности для оценки информативности был проведен эксперимент по классификации цифр. Различные образцы изображения цифр были преобразованы в бинарный растр 32х64. Растр был поделен на фрагменты 8х8 и в качестве признаков изображения использовалось количество черных пик-
селов в фрагменте. Образцов каждой цифры было 20.
На рисунке 1 приведено поле показателя сопряженности признаков (фрагментов растра) для цифр “2” и “3” (более темный цвет соответствует меньшему значению 8^. Для двух фрагментов все компоненты вектора Yi оказались равными нулю (на рисунке соответствующие квадратики отмечены крестиками). Эти признаки были исключены из дальнейшего рассмотрения. Таким образом, матрица У из уравнения 2 имела размерность 40х31.
В таблице приведены минимальные и максимальные значения Si для матрицы У и У’, полученной после исключения из У восьми столбцов с минимальными значениями Si (8доп = 0,05). При этом условию (4) удовлетворяли показатели сопряженности столбцов, соответствующих на рисунке фрагментам 13, 24, 34, 64, 74, 81, 82 и 83. Как видно, после исключения группы признаков их сопряженность значительно уменьшилась.
12 3 4
1 2
3
4
5
6
7
8
Рис. 1. Поле показателей 8 Предельные значения показателей Si
У У’
8 ^шт 0,026 0,092
8 ‘-’шах 0,210 0,510
Проводилось также сопоставление количества исключенных по показателю сопряженности признаков с количеством неправильных классификаций. Оказалось, что все объекты классифицируются правильно при исключении не более 10 признаков с наименьшими показателями сопряженности. Заметное число ошибок классификации стало появляться при исключении более 15 признаков.
Работа выполнена при поддержке РФФИ, грант 99-01-00079.
Заключение Методика формирования системы признаков с использованием мер сопряженности векторов с нуль-пространством позволяет осуществлять обоснованный выбор числа признаков, в частности, снижение размерности задачи без ущерба для качества классификации. В принятой системе признаков может также решаться задача выбора количества фрагментов, на которые разбивается поле цифры.
Литература
1. Chi Z., Yan H., Feature evaluation and selection based on an entropy measure with data clustering// Optical Engineering-1995, Vol. 34 No. 12, p. 3514-3519.
2. Фурсов В. А. Метод проекций на нуль-пространство в проблеме распознавания образов по малому числу наблюдений. Труды Всероссийской конференции “Математические методы распознавания образов” (ММРО-9), Москва, 1519 ноября, 1999 г., с. 119-121.
3. Демиденко Е.З. Линейная и нелинейная регрессии. М.: Финансы и статистика, 1978 г.
4. Р. Дуда, П. Харт. Распознавание образов и анализ сцен. Пер с англ. М.: Мир, 1976, 512 с.
5. Фурсов В.А. Идентификация моделей систем формирования изображений по малому числу наблюдений.- Самара: Издательство Самарского государственного аэрокосмического университета им. Академика С.П. Королева, 1998.218 с.
