CC BY
38Journal of Siberian Federal University. Engineering & Technologies 5 (2012 5) 495-506 УДК 528.8:004.4
Эффективность непараметрических классификаторов в условиях лимитированной обучающей выборки
А.А. Романов*, К.А. Рубанов
Сибирский федеральный университет, Россия 660041, Красноярск, пр. Свободный, 79 1
Received 06.09.2012, received in revised form 13.09.2012, accepted 20.09.2012
В работе представлен сравнительный анализ эффективности применения метода опорных векторов и искусственных нейронных сетей для классификации космических снимков среднего пространственного разрешения на примере области высокой степени гетерогенности и лимитированной обучающей выборки. В качестве исходных данных для формирования тестовых наборов использовались результаты полевых исследований. Нейросетевой подход показал незначительно лучший результат по точности классификации (89,9 против 86,2 % метода опорных векторов), но при этом оказался более требовательным относительно временных ресурсов.
Ключевые слова: дистанционное зондирование, распознавание образов, управляемая
классификация, нейронные сети, метод опорных векторов.
Введение
Принимая во внимание современной уровень развития космической техники и соответствующих аппаратных средств, можно без преувеличения утверждать, что дистанционное зондирование Земли (ДЗЗ) из космоса является важнейшим источником информации о поверхности планеты и эффективным средством мониторинга состояния окружающей среды. Процесс совершенствования технологий бесконтактного изучения сопровождается как значительным увеличением объемов данных, получаемых с помощью дистанционного зондирования, так и уменьшением стоимости их получения. Ключевым достоинством ДЗЗ с учетом специфики территориальных характеристик нашей страны служит возможность собирать информацию о большой области земной поверхности за короткий промежуток времени, в особенности в условиях, сложных для непосредственных измерений, например при изучении труднодоступных областей. Космические снимки используются для прогнозирования и мониторинга состояния сельскохозяйственных земель и культур, лесных и водных ресурсов, стихийных бедствий: лесных пожаров, наводнений, землетрясений - и техногенных катастроф, а также для оценки последствий этих явлений.
Характеристики объектов в виде результатов измерения электромагнитного излучения, отражаемого или излучаемого объектом самостоятельно в различных спектральных диапазо-
* Corresponding author E-mail address: arom_work@yahoo.com
1 © Siberian Federal University. All rights reserved
нах, фиксируются системой дистанционного зондирования и затем выдаются в цифровом виде потребителям. Важным этапом обработки данных ДЗЗ является классификация - процедура, позволяющая на основании некоторого множества признаков того или иного объекта обозначить его принадлежность соответствующему классу.
С момента возникновения космических систем ДЗЗ были разработаны различные алгоритмы классификации поступающих от них данных. Одним из наиболее популярных классификаторов служит метод максимального правдоподобия (Maximum likelihood classifier, MLC) - параметрический классификатор, основанный на статистических закономерностях и предположении о соответствии распределения яркости пикселов нормальному закону. В случае такого совпадения MLC демонстрирует достаточно высокую эффективность, хотя и требует большого объема априорной информации, получаемой путем тщательного подбора репрезентативных обучающих образов.
Искусственные нейронные сети (Artificial Neural Networks, ANN) - непараметрический подход, ставший эффективным инструментом для практического применения в различных задачах распознавания образов. Исследования применимости нейронных сетей (НС) для тематического дешифрирования данных ДЗЗ ведутся с начала 1990-х годов. Научное сообщество обратило внимание на этот метод, потому что его использование, как правило, не требует априорного знания о статистическом распределении данных. Первые попытки применения нейронных сетей для распознавания данных ДЗЗ показывали ограниченные возможности и крайне низкие результаты, однако моделирование новых архитектур дало толчок использованию НС. Исследования, направленные на сравнение результатов классификации стандартных статистических методов и нейросетевых подходов, в большинстве случаев демонстрируют, что точность последних значительно превосходит показатели традиционных алгоритмов.
Метод опорных векторов (Support Vector Machine, SVM) - общее название для группы непараметрических алгоритмов, основанных на теории статистического обучения и принципе минимизации эмпирического риска. Изначально разработанный в серии исследований В.Н. Вап-ника как линейный классификатор, он сейчас успешно используется для задач классификации и регрессионного анализа [1]. Эксперименты по применению SVM для обработки данных ДЗЗ показали, что демонстрируемая им точность классификации позволяет соперничать с такими производительными алгоритмами, как нейронные сети и деревья решений (Decision tree, DT), особенно отмечается высокая эффективность в распознавании гиперспектральных данных [2, 3]. Одним из основных достоинств этого метода является использование квадратичного программирования, обеспечивающего нахождение глобального, а не локального минимума, что служит важным отличием алгоритма от нейросетевых классификаторов.
Целью данной работы стало сравнение двух описанных выше непараметрических классификаторов для классификации объектов космического снимка в условиях лимитированной обучающей выборки.
Методы
Искусственные нейронные сети
Один из вариантов базовой архитектуры искусственной нейронной сети, состоящей из трех слоев: среднего (скрытого), входного и выходного, - представлен на рис. 1.
Виходию^
1КЦ7Ч5 I |> ,
Скрикым
Рис. 1. Архитектура нейронной сети
Входные
сигналы
узла
>• Выход узла
Рис. 2. Узел нейронной сети
Узлы входного и выходного слоев представляют собой внешние интерфейсы для входных (признаков объектов, используемых для распознавания) и выходных (идентификаторы классов) образов, в то время как скрытый слой состоит из узлов (нейронов), содержащих обрабатывающие элементы, выполняющие суммирование и преобразование (рис. 2).
В простейшем случае входными данными являются многоспектральные векторы обучающих пикселов, каждый компонент которых характеризует яркость пикселя в определенном спектральном диапазоне. Также могут быть использованы другие признаки, например пространственные характеристики пикселов или текстурные атрибуты.
В каждом /-м узле скрытого слоя выполняется следующая операция над входным образом р,-, приводящая к выходному образу к/.
который направлен на каждый узел выходного слоя к, где рассчитывается выходной образ ок:
В приведенных выше формулах входной образ р1 представлен вектором, составленным из значений яркостей пикселя в имеющихся спектральных каналах, выходной образ ок характеризует класс, к которому принадлежит рассматриваемый элемент. Значения и wkJ - весовые
(1)
выходной слой:
(2)
)
коэффициенты, рассчитываемые при обучении нейронной сети. В качестве функции преобразования ^) широко используется сигмоидальная функция
(3)
представленная на рис. 3. Возможность нейронной сети различать те или иные образы обусловлена ее весовыми коэффициентами. В процессе обучения они итеративно корректируются в направлении конфигурации, которая позволяет сети определять представляющие интерес образы прототипа.
Ключевым отличием нейросетевого классификатора от традиционных алгоритмов является то, что границы решения не фиксируются детерминированным правилом, применяемым к характерным признакам прототипа, а определяются в итеративной форме путем минимизации критерия ошибки при обработке обучающих данных [4].
Один из первых случаев успешного применения НС для классификации данных ДЗЗ описывается в работе [5], где сравнивается качество классификации нейронной сети с архитектурой многоуровневого персептрона и одного из Байесовских классификаторов. Было установлено, что НС позволяет произвести распознавание с более высокой точностью, чем статистические методы.
Результаты некоторых исследований показали, что нейросетевой подход дает возможность лишь незначительно улучшить результаты классификации по сравнению с традиционными методами [6-10]. А иногда статистические классификаторы демонстрировали лучшее качество распознавания, чем нейронные сети [11].
Работа [12] направлена на установление причин таких противоречивых результатов точности классификаторов. Одним из факторов может быть несравнимость экспериментальных настроек алгоритмов. Например, структурные параметры объектов, используемые для обучения НС, не были задействованы стандартными классификаторами. Другой вероятной причиной может быть ограниченность допущений, принимаемых для определенных наборов данных, используемых в процедурах обучения классификаторов.
НС были успешно использованы для обработки материалов среднего пространственного разрешения спутника LANDSAT [9, 13], высокого пространственного разрешения аппарата IKONOS [14]. Также НС демонстрируют высокую точность классификации в задачах анализа
гиперспектральных данных ДЗЗ [15]. В этой работе по изучению тропических лесов на основе данных спектрометра АКА (высота сенсора 1000 м, 20 спектральных каналов разрешением 1 м) были получены следующие показатели: наибольшая точность отмечается у MLC - 85,56 % и НС - 83,61 %, худшая производительность - у метода спектрального угла и дерева решений - 48,83 и 50,67 % соответственно. Высокая точность, показанная MLC, объясняется тем, что гиперспектральная информация, полученная с бортового сенсора, достаточно точно соответствовала распределению Гаусса, что способствовало полному описанию распознаваемых классов и выполнению требований для этого параметрического алгоритма. Непараметрические классификаторы демонстрируют более высокую точность в тех случаях, когда пределы решений лежали на границах распределения классов, чем когда границы решений менее разделены в спектральном пространстве.
Метод опорных векторов
Метод опорных векторов основан на теории статистического обучения и принципе минимизации эмпирического риска. Главная идея заключается в нахождении оптимальной разделяющей гиперплоскости (ОРГ), позволяющей минимизировать ошибку классификации, максимизируя расстояние между плоскостями, характеризующими два класса в границах пространства решений (рис. 4). Эти плоскости определяются опорными векторами - точками, лежащими на границе каждого класса в пространстве признаков ближе всего к ОРГ.
Пусть имеется обучающий набор точек вида {(хь сО, (х2, с2),..., (хп, сп)}, где х; - это п-мерный вещественный вектор, а с принимает значение 1 или -1 в зависимости от того, какому классу принадлежит точка х;. Для классификации необходимо построить разделяющую гиперплоскость следующего вида: wx + Ь = 0, где м> - перпендикуляр к разделяющей гиперплоскости, Ь определяется кратчайшим расстоянием между гиперплоскостью и началом координат. Так как мы определяем оптимальное разделение, то нас интересуют параллельные ОРГ и ближайшие к опорным векторам детерминируемых классов гиперплоскости, которые могут быть описаны следующими уравнениями: wx + Ь = 1 и wx + Ь = -1, ширина полосы между которыми равна
2/|М|.
(
Опорные векторы
Рис. 4. Метод опорных векторов
В случае линейной разделимости учебного набора данных требуется выбрать эти гиперплоскости таким образом, чтобы между ними не лежала ни одна точка обучающей выборки, а затем максимизировать расстояние между гиперплоскостями.
с,(^ ■ X/ + Ь)>1, 1 < і < п, которая является стандартной задачей квадратичного программирования и решается с помощью множителей Лагранжа. В итоге алгоритм классификации может быть записан в виде
где [X = (Х]ь ., Х„) - вектор множителей Лагранжа.
Описанный выше алгоритм построения ОРГ, предложенный в 1963 году В. Вапником, является методом линейной классификации, однако затем был предложен способ создания нелинейного классификатора, в основе которого лежит переход от скалярных произведений к произвольным ядрам, позволяющий строить нелинейные разделители. Результирующий алгоритм похож на алгоритм линейной классификации с той лишь разницей, что каждое скалярное произведение заменяется нелинейной функцией ядра (скалярным произведением в пространстве с большей размерностью). В этом случае поступают так: все элементы обучающей выборки вкладываются в пространство X более высокой размерности с помощью специального отображения
при этом отображение ф выбирается так, чтобы в новом пространстве X выборка была линейно разделима. Чаще всего на практике встречаются следующие функции ядра: полиномиальная, радиальная базисная функция, Гауссова радиальная базисная функция, сигмоид.
Результаты опубликованных работ показывают, что применение SVM обеспечивает лучшие результаты, чем нейронные сети или деревья решений, отмечается, что SVM имеют большой потенциал для высокоточной классификации мультиспектральных и гиперспектральных данных ДЗЗ [16, 17, 18, 19].
Сравнительное исследование метода опорных векторов, нейронной сети и метода максимального правдоподобия, представленное в [20], свидетельствует, что SVM превосходит традиционные статистические классификаторы. Оценка эффективности алгоритмов проводилась на основе двух наборов данных: 1) двух каналов LANDSAT ТМ (красного и БИК-каналов) и индекса NDVI и 2) шести каналов видимого и инфракрасного диапазонов LANDSAT ТМ и индекса NDVI. В среднем, точность метода опорных векторов в случае семи переменных оказалась на 1-2 % выше, чем показатели НС, и на 2-4 % выше результатов MLC. В случае трех переменных средняя точность SVM превысила показатели MLC на 1-2 %. Что же касается сравнения с нейронной сетью, то в большинстве случаев SVM проиграл по точности этому классификатору, что сами исследователи связывают с ошибками преобразования нелинейных границ классов в исходном пространстве признаков в линейные границы в многомерном пространстве при предопределенных классах и использованном наборе данных. Также отмечается, что архитектура нейронной сети способна аппроксимировать сложные границы решений даже в тех случаях, когда данные, характеризующие объекты, имеют малую размерность.
Таким образом, задача сводится к оптимизации: |М| — ™ Е: при условии, что
(4)
.V ,
(5)
В [21] проводится сравнение SVM, дерева решений и нейронных сетей двух видов: обратного распространения (НСОР) и радиальных базисных функций (НСРБФ) - для 16-классово-го дешифрирования гиперспектральных данных сенсора AVIRIS (использовались 185 каналов). Точность SVM с полиномиальным ядром второй степени даже с учетом малого числа обучающих образов составила 97 %, в то время как нейронные сети показали результат в 38 % (НСОР) и 95 % (НСРБФ). DT - 74,75 %. В заключение авторы отмечают, что несмотря на незначительное превосходство SVM, метод опорных векторов более эффективен для гиперспектральных данных, чем НС.
Часто для определенных задач спектральной информации, полученной от одного сенсора, бывает недостаточно, а объединение различных источников, таких как ЦМР, геофизические или геологические данные, может способствовать более точной классификации. Исследование
[22] направлено на оценку применимости SVM для задач совместной классификации данных на основе нескольких источников. Для этой цели использовались космические снимки спутника IRS-1C LISS III (разрешение 23,5 м, четыре спектральных канала: 0,52-0,59, 0,62-0,68, 0,77-0,86,1,55-1,70 нм), цифровая модель рельефа и индекс NDVI. Точность классификатора, основанного на SVM, сравнивалась с MLC и другими непараметрическими алгоритмами: деревом решений и двумя нейронными сетями: обратного распространения и радиальных базисных функций. В итоге SVM показала более высокую точность классификации, чем MLC и НСРБФ, однако по сравнению с НСРБФ результаты отличаются незначительно.
В работе [23] делается попытка оценить применимость SVM для распознавания растительного покрова с использованием мульти- и гиперспектральных наборов данных и сравнить этот классификатор с двумя другими алгоритмами: НСОР и MLC. Было получено несколько интересных результатов: метод SVM превосходит MLC и НС по точности классификации для обоих наборов данных. Также отмечается, что несколько задаваемых пользователем параметров в случае распознавания методом опорных векторов облегчает процесс нахождения оптимальных значений, чем в случае настройки нейросетевого классификатора.
Точность распознавания исходного изображения, полученного методом опорных векторов, оказалась выше, чем соответствующие показатели MLC и НС при использовании небольшого набора обучающих данных, что демонстрирует эффективность SVM на небольших наборах обучающих данных независимо от числа использованных признаков. Результаты, полученные путем анализа гиперспектральных данных, показывают, что точность классификации с использованием SVM почти непрерывно увеличивается в зависимости от числа признаков с постоянным размером обучающего набора данных, тогда как средняя точность классификации методов MLC, DT и НС незначительно снижается, как только число признаков (каналов) превышает 50.
Данные
Для сравнения качества классификации рассматриваемых алгоритмов был выбран космический снимок мультиспектрального сенсора SPOT 4, полученный летом 2012 года на приемноантенный комплекс Сибирского федерального университета. Снимок покрывает часть Государственного природного биосферного заповедника «Центральносибирский», территорию Комсинского лесничества (южная часть Туруханского района Красноярского края). Исходное изображение исследуемой территории представлено на рис. 5.
Рис. 5. Участок исходного снимка SPOT 4
Спектральные каналы съемочной аппаратуры спутника:
• зеленый (длина волны 0,50-0,59 мкм) - диапазон соответствует максимальному коэффициенту отражений здоровой растительности и используется для таксации леса;
• красный (длина волны 0,61-0,68 мкм) - содержит полосу поглощения хлорофилла, что дает возможность использовать его для определения видового состава растений;
• ббижний инфрокрасный (длина волны 0 ,18-0,89 мкм) - диапазон соответствует максимальному отражению растительности, определяемому в значительной степени ее структурными свойствами;
• среднсй инфрокртсньш (длина волны с,58-1,75 мкм) - зона чувствительна к содержанию воды в растительности и почвах, оценка которого является полезной для изучения засухи и исследований здоровая ростений.
Пространственное разрешение снпмка составляет 20 м (мультиспектральный набор данных), и 10 м - панхроматический канал.
Данные для обучающей выборки были получены в результате экспедиций, совершенных в июле-атгусте 2009а2011 годос. Набор обучающих данных, пол°ченных в резусьтсте этих исследований , представлон 44 тестовыми полигонами линейным размером 20 на 20 м (в соответствии с про стрснстоенным разрешением снимка); атрибутивная информация каждого полигона состоит из нсбора Г8 параметров, основнымиз которых является преобладающая порода деревьев (определялся по относительной плотности всех представителей). По данным полевых исследований было сгенерирован общий набор обучающих данных, позволивший достаточно репрезентатитно представить шести целавых клнссов.
Для составления ксасоовых описаний были использованы сотдующие основные пододы: лиственнице, тбь, кедр, аихта, береза, осина, - спектральные характерисйиас которых представлены на рис. 6.
--1--------1--------1--------1-----►
0.45 0,й0 0.7І 0,80
ДШиіа Пі*Ній, МИЛІ
Рис. 6. Спектральные характеристики пород деревьев
Эксперимент
В качестве рабочей среды был выбран программный пакет ENVI, предназначенный для визуализации и обработки данных дистанционного зондирования Земли. Помимо стандартных статистических алгоритмов он также содержит реализацию методов SVM и НС.
В качестве ядра метода SVM была выбрана радиальная базисная функция
которая в большинстве случаев показывает хорошие результаты классификации. Было проведено распознавание исходного изображения данным методом с различными комбинациями параметров. Комбинации, показавшие лучшие результаты, представлены в табл. 1.
Во втором столбце табл. 1 приведены значения у согласно (6). Значение штрафа определяет баланс между ошибками, совершаемыми в процессе обучения, и установкой жестких границ. Более высокие значения увеличивают влияние неправильно определенных пикселей, что способствует созданию более точной модели. Значение порога позволяет отбрасывать пиксели, у которых значение вероятности принадлежности определенному классу меньше, чем заданная величина порога.
Из таблицы видно, что лучшее качество распознавания показала следующая комбинация параметров: у = 0,5, штраф - 2000, значение порога - 0,25, точность классификации при этом составила 86,2 %.
В качестве нейросетевого классификатора был выбрана однослойная нейронная сеть с функцией активации (3). Как и в случае с методом опорных векторов, было проведено распознавание исходного изображения нейронной сетью с различными комбинациями параметров. Комбинации, показавшие лучшие результаты, представлены в табл. 2.
Количество итераций - число перестроек весовых коэффициентов нейронной сети в процессе обучения. Значение порога воздействия используется для регулировки изменения весовых коэффициентов (ВК) и определяет их влияние относительно уровня активации узла. Коэф-
- 503 -
Таблица 1. Результаты распознавания методом опорных векторов
№ Y Значение штрафа Значение порога Точность, %
1 0,25 100 0 75, 25
2 0,25 1000 0,1 76,10
3 0,5 100 0,1 82,02
4 0,5 2000 0,25 86,20
5 0,75 1000 0,25 84,26
Таблица 2. Результаты распознавания искусственной нейронной сетью
№ Количество итераций Порог воздействия Коэффициент обучения Тренировочный шаг Точность, %
1 100 0,01 0,05 0,1 72,87
2 200 0,02 0,1 0,3 76,56
3 100 0,04 0,2 0,25 73,34
4 200 0,02 0,25 0,25 74,67
5 200 0,1 0,25 0,5 88,86
фициент обучения задает амплитуду корректировки ВК. Высокий уровень ускоряет обучение, но также увеличивается риск неправильной настройки нейронной сети. Величина тренировочного шага определяет ширину интервала в процессе обучения, что способствует изменению ВК в нужном направлении.
Из табл. 2 видно, что лучшее качество распознавания показала следующая комбинация параметров: количество итераций - 200, порог воздействия - 0,1, коэффициент обучения - 0,25, тренировочный шаг - 0,5, при этом точность классификации составила 88,9 %.
Заключение
В работе продемонстрировано, что метод опорных векторов и искусственные нейронные сети - два перспективных подхода к обработке данных дистанционного зондирования Земли. Будучи по своей природе непараметрическими, эти методы обеспечивают хорошие результаты автоматического дешифрирования безотносительно функций распределения вероятностей, описывающих классы образов, и показывают достаточную эффективность для широкого спектра распределений класса до тех пор, пока характеристики классов достаточно различимы в пространстве признаков. Слабые места традиционных параметрических классификаторов, основанных на статистическом подходе, характерно проявляются при обработке данных высокого и сверхвысокого пространственного разрешения. Высокий уровень различий спектральных характеристик пространственно близких областей значительно уменьшает точность результатов классификации. В данных условиях эвристические методы могут давать более эффективные результаты, чем традиционные алгоритмы, например такие, как метод максимального правдоподобия.
Задачей данного исследования было сравнение НС и SVM для классификации космического снимка лесов северной территории Красноярского края со спутника SPOT 4 в условиях
ограниченной обучающей выборки. Максимальная точность, достигнутая при помощи SVM, составила 86,2 % (радиальная базисная функция в качестве ядра), в то время как соответствующий показатель НС - 88,9 %. Нейронная сеть имеет лучшие результаты, однако следует отметить, что в отличие от SVM процесс распознавания (с учетом обучения) с помощью НС является достаточно длительным. Продолжительность одного эксперимента по распознаванию в среднем составила 30 мин для нейронной сети и 15 мин для SVM. Более тонкая настройка процесса обучения и конфигурирования структуры нейронной сети может обеспечить сокращение временных затрат на классификацию.
Метод опорных векторов перспективен при изучении лесных территорий северных и центральных районов Красноярского края.
Работа выполнена при финансовой поддержке грантов Правительства РФ в рамках договора № 11.G34.31.0014между Минобрнауки РФ, СФУ и Эрнстом-Детлефом Шульце, осуществляющим руководство научным исследованием, о выделении гранта Правительства РФ для государственной поддержки научных исследований, проводимых под руководством ведущих ученых в российских образовательных учреждениях высшего профессионального образования, Тематического плана СФУ, выполняемого по аналитической ведомственной целевой программе Минобрнауки РФ «Развитие научного потенциала высшей школы» (мероприятие 1), и РФФИ (11-05-98056).
Список литературы
[1] Vapnik V. N. The Nature of Statistical Learning Theory. New York: Springer-Verlag, 1995. 314 p.
[2] Gualtieri J. A., Cromp R. F. // In Proceedings of the 27th AIPR Workshop: Advances in Computer Assisted Recognition. Washington, DC. 1998. P. 221-232.
[3] Watanachaturaporn P., Arora M.K., Varshney P.K. // In Proceedings of the ASPRS 2005 Annual Conference. Baltimore, Maryland, USA. 2005. P. 242.
[4] Шовенгердт Р.А. Дистанционное зондирование. Модели и методы обработки изображений. М.: Техносфера, 2010. C. 560.
[5] Decatur S.E. // Proc. Internat. Joint Conf. on Neural Networks. Washington, DC. 1989. Vol. 1. P. 283-288.
[6] Paola J.D., Schowengerdt R.A. // IEEE Trans. Geoscience Remote Sensing 33. 1995. P. 981996.
[7] Hepner G.F., Logan T., Ritter N., Bryant N. // Photogrammetric Engineering and Remote Sensing. 1990. Vol. 56. No. 4. P. 469-473.
[8] Key J, Maslanik J.A. Schweiger A.J. // Proceedings of the International Geoscience and Remote Sensing Symposium IGARSS’90, College Park, Maryland, USA. 1990. P. 1277-1280.
[9] Bischof H., Schneider W., Pinz A. J. // IEEE Transactions on Geoscience and Remote Sensing. 1992. Vol. 30. P. 482-490.
[10] Kanellopoulos I., Varfis A., Wilkinson G.G., Megier J. // In Proc. IGARSS’91 Intern. Geoscience Remote Sensing Symposium, IEEE, Espoo, Finland. 1991. Vol. 4. P. 2215-2218.
[11] Benediktsson J.A., Swain P.H., Ersoy O.K. // IEEE transactions on geosciencesand remote sensing. 1990. Vol. 28. No 4. P. 540-552.
[12] Fierens F., Kanellopoulos I., Wilkinson G.G., Megier J. // International Geoscience and Remote Sensing Symposium, Pasadena, California, USA. 1994. P. 1880-1882.
[13] Lee J., Weger R.C., Sengupta S.K., Welch, R.M. // IEEE Trans. Geoscience Remote Sensing. 1990. Vol. 28. P. 846-855.
[14] Keramitsoglou I., Sarimveis H., Kiranoudis C.T., Sifakis N. // Intern. Jour. Rem. Sens. 2005. Vol. 26. No. 9. P. 1861-1880.
[15] Shafri H.Z.M., Suhaili A., Mansor S. // Jour. Comp. Science. 2007. V. 3. N. 6. P. 419-423.
[16] Gualtieri J. A., CrompR. F. // Proceedings of the of the SPIE, 27th AIPR Workshop: Advances in Computer Assisted Recognition. Washington, DC. 1998. P. 221-232.
[17] Gualtieri J.A., Chettri S.R., Cromp R.F., Johnson L.F. // The Summaries of the Eighth JPL Airborne Earth Science Workshop. 1999.
[18] Foody G.M., Mathur A // IEEE Transactions on Geoscience and Remote Sensing. 2004. Vol. 42. No. 6. P. 1335-1343.
[19] Foody G.M., Mathur A. // Remote Sensing of Environment. 2004. Vol. 93. No. 1-2. P. 107117.
[20] Huang C., Davis L. S., Townshed J. R. G // International Journal of Remote Sensing. 2002. Vol. 23. P. 725-749.
[21] Watanachaturaporn P., Arora M. K., Varshney P. K. // American Society for Photogrammetry & Remote Sensing (ASPRS) 2005 Annual Conference. Baltimore, MD, USA. 2005.
[22] Watanachaturaporn P., Arora M.K., Varshney P.K. // Photogrammetric Engineering and Remote Sensing. 2008. Vol. 74. P. 239-246.
[23] Pal M., Mather P.M. // Proceedings of Map India 2003, 6thAnnual International Conference and Exhibition. New Delhi, India. 2003.
The Effectiveness of Non-Parametric Classifiers in a Limited Training Set
Aleksey A. Romanov and Kirill A. Rubanov
Siberian Federal University 79 Svobodny, Krasnoyarsk, 660041 Russia
This paper presents a comparative analysis of the effectiveness of the method of support vector machine and artificial neural networks for classification of satellite images medium spatial resolution as an example of a high degree of heterogeneity and limited training data. The results offield-based researches have been used for test cases generation. Neural network approach showed the best result for classification accuracy (89,9 % vs. 86,2 % support vector), but was significantly less speed.
Keywords: remote sensing, pattern recognition, supervised classification, neural networks, support vector machine.
