CC BY
103
МЕТОД ОТБОРА ИНФОРМАТИВНЫХ ПРИЗНАКОВ НА ЦИФРОВЫХ ИЗОБРАЖЕНИЯХ
Н.И. Глумов, Е.В. Мясников Институт систем обработки изображений РАН Самарский государственный аэрокосмический университет
Аннотация
В статье рассматривается проблема сокращения признакового пространства в задачах распознавания на изображениях и предлагается метод ее решения. Метод позволяет сократить количество признаков, необходимых для решения конкретной задачи распознавания, от нескольких сотен тысяч признаков (пикселов исходного изображения) до нескольких десятков или сотен признаков.
Разработанный метод состоит из 3 этапов. На первом этапе для каждого изображения из обучающей выборки производится расчет двумерных полей признаков (например, результатов обработки пространственными фильтрами, спектральных полей) и на этих полях реализуется предварительный отбор признаков по критерию соотношения общей и средней внутриклассовой дисперсии. Далее отбор осуществляется путем перебора различных комбинаций (методом последовательного присоединения и отбрасывания признаков) с использованием критерия конкретной задачи распознавания, для решения которой отбираются признаки. На последнем этапе выбранные комбинации признаков тестируются на контрольной выборке изображений, и окончательно принимается решение о выборе набора признаков для использования при распознавании.
Предлагаемый метод был успешно апробирован при отборе признаков для реализации в рамках программно-исследовательской системы распознавания личности на изображениях документов.
Введение
Выбор признаков является необходимым этапом при построении систем классификации. Удачное решение данной задачи обеспечивает как снижение размерности вектора измерений и описания объектов, так и повышение эффективности системы классификации в целом.
Пусть все множество изображений О в базе данных (выборке изображений, используемой для отбора признаков) подразделяется на группы (классы): ь-\
о= и О ,
I=0
каждый класс состоит из N изображений
X(п,{):
NI - , ч
ц = и X).
п=0
Каждое цифровое изображение можно рассматривать как множество числовых признаков, заданных в пространстве, размерность которого определяется числом пикселов изображения. Однако классификация объектов (изображений) в таком пространстве практически невозможна вследствие ряда причин. Во-первых, представление изображения является избыточным, признаки оказываются сильно зависимыми. Во-вторых, обучение многопараметрических классификаторов для большой размерности признаков требует значительных ресурсов (временных, объема обучающей выборки и т.д.), причем качество таких классификаторов при реальном применении может не удовлетворять заданным требованиям. В-третьих, поиск изображения в больших базах данных с использованием большого чис-
ла признаков потребует неоправданно больших вычислительных ресурсов. При преобразовании изображения в другое пространство без снижения его размерности (например, путем спектрального преобразования) эти проблемы сохраняются.
Таким образом, необходимо сокращение признакового пространства путем отбора наиболее информативных признаков, обеспечивающих необходимые временные и качественные характеристики разрабатываемой информационной системы.
Выбор признаков может осуществляться без учета связи с качеством классификации, когда признаки выбираются, исходя из минимизации (максимизации) некоторого критерия [1]. Более предпочтительной является процедура отбора признаков с использованием границы Чернова или расстояния Бхатача-рия, однако применимость этих критериев ограничивается кругом задач с известными плотностями вероятностей [2]. В случае известных распределений признаков можно также использовать понятия дивергенции и энтропии [3, 4]. В том случае, когда распределения признаков для классов являются неизвестными, наилучшим выбором является очевидный критерий вероятности ошибки классификации, оцениваемый непосредственным образом.
Для отбора информативных признаков, обеспечивающих решение задачи распознавания, в настоящей работе предлагается метод, состоящий из трех этапов. На первом этапе производится предварительный отбор признаков, на втором этапе с использованием метода присоединения - отбрасывания формируются наиболее информативные множества признаков. На третьем этапе с использованием критерия классификации выбирается одно или несколько множеств признаков, обеспечивающих наиболее эффективное решение задачи классификации.
В представленных ниже разделах приводится описание каждого из этапов предлагаемого метода.
1. Предварительный отбор информативных признаков (первый этап отбора)
Предварительный отбор информативных признаков основан на дисперсионном анализе и позволяет снизить размерность признакового пространства с нескольких сотен тысяч признаков (значений пикселов) до нескольких десятков или сотен признаков. Общая схема информационной технологии предварительного отбора информативных признаков показана на рис. 1.
Входными данными для технологии является база данных изображений с соответствующей семантической информацией, определяющей номер класса, к которому принадлежит изображение. Согласно технологии сначала каждое входное изображение
(п !) (и,/)
X1 '' преобразуется в изображение Хпогт, путем яркостной нормализации и приведения к фиксированному размеру. Далее для каждого нормализованного изображения вычисляются поля признаков
У(п,/,г), 0 < г < I -1 размерами УегБ11в( х ИотБ^е^^ , где I - номер признакового поля, I - количество используемых типов признаков. В качестве признаков могут использоваться как локальные (вычисляемые в скользящем окне по изображению результаты сверток с заранее рассчитанными импульсными характеристиками, статистические моменты, геометрические, текстурные признаки и др.), так и глобальные - компоненты спектральных разложений изображения.
Для всех типов признаков вычисляются поля отношений общей (по всем полям признаков одного типа) дисперсии и средней внутриклассовой дисперсии:
Я(г )(у, И ) = )(у, И )/4 )(у, И ),
где
И ) = Ь-£ П()(у, И ) Ь /=0
- средняя внутриклассовая дисперсия,
N.-1
количество изображений в базе (выборке).
м(/)(у,и)=N £ у{пХг)(у,И),
1 п=0 N. -1
4((,г )(у, и)=n £ (у (п,/^ )(у, и)- м(г )(у, и)/
Nl п=0 ^ ^
поля внутриклассовых средних значений и дисперсий,
1 ь-1N-1 ( 1 ■)
1 х—* х—* -.-Л п,1 ,г)
М(>,И)= N££ у(п,/,г)(у,И/
N 1=0 п=0 Ь-1 N.-1 ,
4И)= - £ £ (у(п,/,г)(у,И)-МИ/
N 1=0 п=0 ^ ^
поля общих средних значений и дисперсий,
Рис. 1. Схема предварительного отбора информативных признаков
В соответствии с теорией однофакторного дисперсионного анализа к наиболее «полезным» признакам относятся те, дисперсия которых внутри класса существенно меньше, чем дисперсия по всем возможным объектам. Следовательно, необходимо выбрать максимальные значения на полях отношений
дисперсий Я( )(у, И), т. е. определить индексы выбранных значений, которые будут использоваться для расчета признаков при дальнейшем распознавании.
Если поле признаков У(п,/,г) является спектральным изображением, то выбираемые отсчеты могут находиться на любом расстоянии друг от друга, поскольку являются независимыми. В случае если поле признаков получено путем локальной пространственной фильтрации, то в качестве искомых должны браться отсчеты, которые являются локальными экстремумами (максимумами) полей отношений дисперсий, определяемыми в квадратном окне. Отметим, что количество определяемых экстремумов
А*)
К ' и размер окна являются параметрами метода. Таким образом, определяются и сохраняются массивы индексов экстремумов.
С использованием сохраненных индексов из по-
N = £ N -
1=0
лей признаков У признаков
(п,1 ,г
формируется массив векторов
Ь-1
г,1)_
{г {п1г)(к )}
K-1
к_о'
где
1 -1 !Л
K _I K(г)
г _0
- общее число предварительно отбираемых признаков. По массиву векторов признаков рассчитываются коэффициенты нормализации признаков:
/ ч 1 / ч M(к)
a(к)_ , , b(к)_- , v ' , где
1 L-1N -1 ( )
M (к)_ NII г(п,1,г )(к),
N i_о п_о
1 L-1 Ni-1, ( ) -2
D (к )_ N Il(r^,г )к )-M (к ))
N 1_0 n_0 V '
- среднее значение и дисперсия каждого отобранного признака.
Таким образом, формируется промежуточный набор признаков, с использованием которого производится окончательный отбор признаков, ориентированных на решение конкретной задачи распознавания (поиска изображения в базе данных, идентификации). Для окончательного отбора должна использоваться другая обучающая выборка (более крупная, чем для предварительного отбора), поскольку далее отбор признаков производится не непосредственно по изображениям, а по рассчитанному массиву векторов признаков.
2. Формирование множеств информативных признаков (второй этап отбора)
Сформированный на первом этапе набор признаков (определяемый набором индексов пикселов на полях признаков, рассчитываемых по заданным алгоритмам) является сильно избыточным, однако он может служить основой для дальнейшего отбора признаков.
Цель второго этапа отбора признаков - найти различные варианты комбинаций признаков, обеспечивающие наилучшие результаты классификации для различных типов классификаторов и критериев классификации.
Полный перебор всех возможных комбинаций признаков является практически не реализуемой задачей (при априорно не заданном количестве отбираемых признаков общее число комбинаций составляет 2K -1, где K - количество отобранных на первом этапе признаков). Поэтому в настоящей работе вместо полного перебора предлагается комбинация алгоритмов последовательного присоединения и последовательного отбрасывания признаков. Таким образом, отбор признаков на втором этапе состоит из следующих шагов:
1. Для заданной обучающей выборки изображений рассчитывается массив векторов признаков (в соответствии с первым этапом);
2. Задается вид классификатора и критерий классификации;
3. Реализуется алгоритм последовательного присоединения признаков. Для каждого из признаков обучается классификатор и рассчитывается значение критерия. По критерию выбирается наилучший признак, далее рассматриваются все комбинации двух признаков (один из которых фиксирован), определяется и фиксируется наилучшая по критерию пара и т.д. Процесс продолжается до тех пор, пока значение критерия не начнет уменьшаться (наступает «переучивание» классификатора - число признаков слишком велико для данной обучающей выборки), или значение критерия становится постоянным на некотором количестве (например, пяти) последних зафиксированных выбранных множествах признаков.
4. Для отобранного множества признаков реализуется алгоритм последовательного отбрасывания признаков. Если отобрано К признаков, то сначала рассматриваются все возможные комбинации из К -1 признака. Для каждой комбинации обучается классификатор, рассчитывается значение критерия, выбирается и фиксируется наилучшая по критерию комбинация, т. е. отбрасывается самый «бесполезный» признак. Далее процесс продолжается пока не останется априорно заданное малое количество признаков, заведомо не обеспечивающее требуемое качество классификации.
5. Шаги 2-4 повторяются для различных видов классификаторов и критериев классификации.
Таким образом, для различных видов классификаторов и критериев классификации формируются по две зависимости значения критерия классификации от числа признаков, при этом каждому числу признаков соответствует конкретное множество признаков. Однако некорректно выбирать наилучший набор признаков, ориентируясь только на результаты обучения, поскольку набор признаков, показавший лучшее значение критерия при обучении, может дать худшие результаты при применении на контрольной выборке.
3. Окончательный отбор признаков (третий этап отбора)
Сравнительно небольшое число множеств признаков (несколько десятков), полученных на втором этапе, позволяет провести полноценное моделирование с целью окончательного отбора признаков. При этом вместо обучающей выборки должны использоваться эталонная и контрольная выборка, объем которых определяется необходимой достоверностью получаемых результатов классификации. При этом эталонная выборка может пересекаться или полностью совпадать с обучающей, а контрольная выборка должна включать как новые изображения классов, входящих в эталонную выборку, так и изображения новых классов.
Отбор признаков на третьем этапе состоит из следующих шагов:
1. Для заданных эталонной и контрольной выборок изображений рассчитываются массивы векторов признаков.
2. Рассматриваются все (или с некоторым шагом по количеству признаков - например, последовательно 5, 10, 15, 20 признаков) множества признаков, полученные на втором этапе отбора признаков. При этом для каждого множества известен вид классификатора и критерия классификации, при которых это множество было отобрано. Для каждого такого множества производится обучение классификатора (если результаты не сохранены) и тестирование с использованием эталонной и контрольной выборок.
3. Окончательно выбираются одно (или несколько, если необходимо) множество признаков, исходя из результатов тестирования и применяемого критерия классификации.
4. Применение разработанного метода
Изложенный в настоящей работе метод был успешно применен при отборе признаков для создания системы распознавания личности по фотоизображению лица [5]. В результате исследования различных типов признаков (вероятностных, геометрических, спектральных признаков) были отобраны локальные статистические признаки (моменты начальных порядков, рассчитанные по определенным локальным областям), а также ряд спектральных признаков (рассчитываемых на основе преобразования Хартли). Центры локальных областей, найденные с помощью предлагаемого метода отбора признаков, показаны на рис. 2.
Отметим, что использование рассмотренного в настоящей работе метода отбора признаков позволило достичь в системе распознавания личности по фотоизображению лица вероятности верного узнавания p11 = 0,926, вероятности верного отсеивания p00 = 0,966 при использовании классификатора по расстоянию Махаланобиса, основанного на стратегии Неймана-Пирсона (p11 —max при ограничении на вероятность ложного обнаружения p01 < 0.05). Размер базы данных при проведении экспериментов составлял 4800 изображений.
Заключение
В работе предложен трехэтапный метод отбора информативных признаков, основанный на расчете как локальных, так и глобальных признаков, использовании алгоритма присоединения - отбрасывания признаков и критериев классификации.
Предложенный метод был использован при создании системы распознавания личности по фотоизображению лица [5], где показал свою эффективность.
Благодарности
Работа выполнена при поддержке Российского фонда фундаментальных исследований: проекты № 06-01-00616-а, 07-07-97610-р_офи и в рамках российско-американской программы «Фундаментальные исследования и высшее образование» (CRDF Project RUX0-014-SA-06).
4.
Рис. 2. Области для расчета признаков (области для расчета локальных признаков обозначены крестиками)
Литература
Ту Дж., Гонсалес Р. Принципы распознавания образов. - М.: Мир, 1978.
Фукунага К. Введение в статистическую теорию распознавания образов. - М.: Наука, 1979, 368 с. Анисимов Б.В., Курганов В.Д., Злобин В.К. Распознавание и цифровая обработка изображений. - М.: Высш. шк., 1983. - 295с.
Ковалевский В.А. Методы оптимальных решений в распознавании изображений: М.:Наука, 1976. - 328с. Glumov N.I., Koryakin A.V., Myasnikov E.V., Ser-geyev V.V., Chihonadskih A.P., Terent'eva I.Yu. A person recognition program - researching system by a face facsimile on the documents" // 8-th International Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA-8-2007). Conference Proceedings. Yoshkar-Ola, 2007.
