Сучасні критерії оцінки точності класифікації аерокосмічних зображень Текст научной статьи по специальности «Математика»

УДК 528.06 С.І. АЛЬПЕРТ*

СУЧАСНІ КРИТЕРІЇ ОЦІНКИ ТОЧНОСТІ КЛАСИФІКАЦІЇ АЕРОКОСМІЧНИХ ЗОБРАЖЕНЬ

*

Науковий Центр аерокосмічних досліджень Землі ІГН НАН України, Київ, Україна

Анотація. У статті розглянуто загальні властивості коефіцієнтів, які використовуються для оцінки точності тематичних карт. Запропоновано такі коефіцієнти, як середньокласова точність, загальна точність класифікації та к-індекс. Проаналізовано оцінку точності тематичних карт за допомогою нечітких множин, запропоновано побудувати нову матрицю помилок, де елементами будуть виступати нечіткі функції, такі як функції CONFUSION та AMBIGUITY. Також проаналізовано метод Демпстера-Шафера та запропоновано побудувати нову матрицю помилок для теорії Демпстера-Шафера.

Ключові слова: матриця помилок, к-індекс, теорія Демпстера-Шафера з доведенням, інформація Кульбака-Лейблера.

Аннотация. В данной статье рассмотрены основные свойства коэффициентов, которые используются для оценки точности тематических карт. Предложены такие коэффициенты, как среднеклассовая точность, общая точность классификации и к-индекс. Проанализирована оценка точности тематических карт с помощью нечетких множеств, предложено построить новую матрицу ошибок, где элементами будут выступать нечеткие функции, такие как функции CONFUSION и AMBIGUITY. Также проанализирован метод Демпстера-Шафера и предложено построить новые матрицы ошибок для теории Демпстера-Шафера.

Ключевые слова: матрица ошибок, к-индекс, теория Демпстера-Шафера с доказательством, информация Кульбака-Лейблера.

Abstract. In this article we discussed main properties of coefficients for accuracy assessment of thematic maps. We proposed such coefficients as class-averaged statistic, overall accuracies, and kappa statistic. We also analyzed accuracy assessment of thematic maps using fuzzy sets. We proposed to build a new error matrix, where elements were fuzzy functions, such as CONFUSION and AMBIGUITY functions. The method of Dempster-Shafer was analyzed. It was proposed to build a new error matrix for Dempster-Shafer Evidence Theory.

Keywords: error matrix, kappa statistic, Dempster-Shafer Evidence Theory, Kullback-Leibler information.

1. Вступ

Метою даної статті є ознайомлення та порівняння різноманітних коефіцієнтів та їх властивостей, що використовуються для оцінки точності класифікації космічних зображень, а саме, розглядаються такі коефіцієнти та індекси: к-індекс, загальна точність класифікації, середньокласова точність класифікації. В роботі будуть наведені певні недоліки к-індексу. Буде показано, що к-індекс повинен використовуватися як коефіцієнт погодження, а не як коефіцієнт оцінки точності; к-індекс оцінюється тільки за допомогою діагональних елементів, суми елементів рядків та стовпчиків матриці помилок. Усі недіагональні елементи не враховуються, тобто, типи неправильних класифікацій не розрізняються й не розглядаються. Пропонується інший коефіцієнт, альтернатива к-індексу, в основі якого лежить інформація Кульбака-Лейблера.

Метою даної роботи є проведення порівняльного огляду сучасних критеріїв оцінки точності класифікації космічних зображень. Ми розглянемо, як ці критерії оцінки точності можуть бути застосовані для методу Демпстера-Шафера. Відомо, що при використанні ймовірнісного підходу [1] кожному об’єкту відповідає одне значення ймовірності. В теорії Демпстера-Шафера, на відміну від імовірнісного підходу, кожному об’єкту відповідають дві ймовірності: нижня і верхня ймовірності (функція довіри і міра правдоподібності).

© Альперт С.І., 2013

ISSN 1028-9763. Математичні машини і системи, 2013, № 4

Звідси випливає, що в теорії Демпстера-Шафера використовувати таку ж саму матрицю помилок, як при ймовірнісному підході, ми не зможемо. В цьому випадку нам треба буде побудувати нову матрицю помилок або декілька матриць, які будуть побудовані на основі цих двох імовірностей: функції довіри та міри правдоподібності.

У роботі буде показано, що використання нечітких множин при оцінці точності карти дає більше інформації про природу, частоту, величину та джерело помилок у тематичних картах, ніж традиційні методи. У даній статті будуть описані та проаналізовані нечіткі оператори, які можуть бути використані для більш детального аналізу помилок. Новизна полягає у тому, що буде запропоновано використовувати нову матрицю помилок, елементами якої виступають нечіткі оператори. Даний підхід вже згадувався у статті С. Гопал та К. Вудкока “Теорія та методи оцінки точності тематичних карт, використовуючи нечіткі множини” [2]. Але цей підхід ще не був детально розроблений, проаналізований та застосований для розв’язання задач класифікації космічних зображень.

2. Матриця помилок і коефіцієнти точності

Як відомо, метою і змістом класифікації космічних зображень є віднесення зображених

об’єктів до відповідних класів (категорій). Позначимо через показник х, кількість

V

об’єктів, які відкласифіковані на зображенні як такі, що належать до категорії С, хоча в дійсності вони належать до категорії Сі, і,і = 1,2,..., г; г - загальна кількість класів (категорій) об’єктів. З таких показників формується матриця помилок

Х11 ... хіг

(1)

V Хг 1 Хгг ]

яка є інформативною основою для оцінювання точності класифікації. Надалі будемо використовувати такі позначення:

Г

^ Х ° Х + - кількість об’єктів пі з категорії Сі;

і=і г

£ х.. = х+ ■ - кількість об’єктів, віднесених при класифікації до категорії С,;

І = 1

Г

N = ^ п ■ - кількість усіх ділянок.

і= 1

З матриці помилок отримуються коефіцієнти для оцінки точності, а саме:

1 -у

С (X) = — ^ Хіі / пі - середньокласова точність, (2)

Г і=1

де пі - кількість тестових ділянок з категорії С, де і = 1,2,...,г;

1 г

А(X) = — ^ Х - загальна точність класифікації, (3)

д/ 11

і=1

£ (хіі - Піх+і / N) к ( X ) = —--------г-----------------к-індекс, (4)

N - £ піх+■ / N

+ і

і=1

і=1

Але у метода, що використовує матрицю помилок, є певні недоліки:

1) потреба у великих статистичних вибірках;

2) імовірнісний підхід не завжди підходящий, оскільки матриця помилок не завжди відображає реальну точність класифікації, тобто не приймає до уваги поняття позиційної точності.

Позиційні помилки відображають, наскільки точно вдається встановити відповідність між координатами об’єкта на знімку та карті;

3) відповідність вимогам до розташування об’єктів на землі.

Також слід зауважити, що к-індекс теж має певні недоліки. к-індекс не є підходящим коефіцієнтом для оцінки точності класифікації. Також к-індекс не враховує недіаго-нальні елементи, тобто не може бути застосований для розпізнавання типів неправильних класифікацій. к-індекс є мірою погодження між двома спостерігачами (двома джерелами інформації) [3-5].

Розглянемо на прикладі, як обчислюються коефіцієнти, що використовуються для оцінки точності класифікації, а саме: середньокласова точність, загальна точність класифікації та к-індекс.

Приклад 1

Спочатку розглянемо результат класифікації 2100 ділянок за двома категоріями: “дорога” та “ліс”, що наведений у табл. 1.

Матриця помилок, що відповідає табл. 1, має вигляд Хх =

90 10

Для матриці Х1 маємо: г = 2 (кількість категорій). Таблиця 1. Результат класифікації 2100 ділянок за

Завіркові дані Класифіковані дані Загальна

Дорога Ліс сума

Дорога 90 10 100

Ліс 200 1800 2000

Загальна сума 290 1810 2100

Використовуючи формули (2)-(4), обчислюємо коефіцієнти точності для матриці помилок Х1 . хп = 90; х22 = 1800 (діагональні

елементи матриці Х1). щ = 100; п2 = 2000 (суми елементів у першому та другому рядках відповідно);

х+1 = 90 + 200 = 290; х+2 = 10 + 1800 = 1810 - кількість ділянок, віднесених до першої та другої категорій відповідно;

N ° £ п. = 100 + 2000 = 2100;

і=1

1 ^ 1 ( 90 1800 А

С(Х,) = -£ х. /Пі =- — +-----------------І =

гі=1 2

0, 9 -

середньокласова точність;

1 г

А (X1) = — £ 1 NІ=1

хп =

1

2100

100 2000J

(90 +1800) = 0,9 - загальна точність класифікації;

X (ХН - пгх+і / N)

к ( *,) = ^-------г------------

N - X пх+і1N

і=1

" 100 • 290" + " 2000•1810" 1 олл

_ 2100 _ _ 2100

2100 - " 100 • 290 2000•1810"

_ 2100 т 2100 _

0,4205 -

к-індекс.

3. Інформація Кульбака-Лейблера

Розглянемо альтернативний коефіцієнт для оцінки точності класифікації - інформацію Кульбака-Лейблера, що вказує на взаємозв’язок між результатом повної класифікації (випадок, коли всі ділянки відкласифіковані вірно) та дійсним результатом класифікації. Інформація Кульбака-Лейблера визначається за формулою

1 = -£рі І0§ Рт - 0

(5)

і=1

де р - апріорні ймовірності категорій С і , Рі|і - сукупність імовірностей того, що ділянки з категорії С і правильно віднесені до С і. Для зручності будемо надалі використовувати J ° в~1, оскільки J приймає значення від нуля до одиниці [6-8]. Оцінка, що має за основу матрицю помилок X, має вигляд

J (X) °П

С 1 ^

Х'г + 2 1

п + —

г 2;

(6)

Різниця між незалежними матрицями помилок X та У має стандартний нормальний розподіл N (0,1), тобто:

де

1ов J (X) - 1ов J (У) ~ ^2( X) + д2(У)

1 л

<У2( X)=X

Я Рг]/П<

■ Хгг + 2

N (0,1),

Ргіг =

(7)

(8)

(9)

Розглянемо два типи апріорних імовірностей:

1

р = — (однакові апріорні ймовірності), г

Рі = П— (пропорційні апріорні ймовірності).

(10)

(11)

Підставляючи вираз (10) у (6), маємо

і =1

(X) °ГЇ

2

1

п +—

V г 2 )

(12)

Аналогічно, підставляючи вираз (11) у формулу (6), маємо

■>„. (х) = ГЇ

X.. +—

Л__________2_

1

п. +—

V ' 2 )

N

(13)

де пі та хіі приймають великі значення, а коефіцієнти Зипі (X) та J рго (X) апроксимую-ються коефіцієнтами J*unj (X) та J*рго (X), що обчислюються за такими формулами:

1 п

(Аг г ( х ЛN

3 ’«(х) °гї - , ' рго (х) °гї

V п )

(14)

Коефіцієнти (х) та 3рго(X) задовольняють таким умовам:

1) Juni (X) та J (X) монотонно зростають, тоді, коли хоча б один діагональний елемент

зростає в незначному діапазоні;

3ит (X) < 1, 3рг0 (X) < 1,

2)

3ипі (X) = 1, 3роо (X) = 1 о коли всі ділянки класифіковані вірно;

3) г

3 (X) > ГЇ (2Пі + 1)

і =1

3(X) = ГЇ (2п + 1)о коли всі ділянки неправильно класифіковані.

і =1

Т* т*

Ця властивість також виконується для 3ипі (X) та 3 рго (X) .

3* (X) > 0,

3* (X) = 0 о коли всі ділянки принаймні з однієї категорії неправильно класифіковані. Розглянемо на прикладі, як обчислюються дані коефіцієнти для матриці X1.

Приклад 2

4)

3ипі ( X,) °ГЇ

і=1

( 1Л X.. +— 11 2 г 90 +1 2 2 1800 +1 2

1 п. +— V 1 2 ) 100 +1 _ 2 _ 2000 +1 _ 2 _

0,9003;

3\Л X1) °ГЇ

і=1

А \

X,,.

V пі )

^ 90 ^

100

1800

2000

= 0,9;

1

г

і =1

п

1

і=1

і=1

і=1

г

2

2

(-у,) °П

і= 1

( 1 ^ х +— " 2 N 1 90 + — 2 21 1 1800 + — 2

1 1 1

п + 1 100 + — 2000 + -

V 2 7 - 2 - - 2 -

де

П, = 100 = 1 П2 = 2000 = 20

N 2100 21’ N 2100 21 ’

0,9,

■!‘(У.) °П

і=1

с \

X,,

V п

N

90

100

1800

2000

= 0,9

4. Метод Демпстера-Шафера та його узагальнення

Розглянемо методику оцінки точності класифікації космічних зображень на основі підходу Демпстера-Шафера. Цей підхід був детально розглянутий та проаналізований у роботах Шафера, Абіді, Гонсалеса та ін. [9-10]. Зміст цього підходу полягає в тому, що точність класифікації описується не одним числом, як в теорії ймовірностей, а кількома. Оскільки баєсівська ймовірність не може ефективно описати незнання, тобто не може відділити відсутність довіри від недовіри. В теорії Демпстера-Шафера вводяться нижня і верхня ймовірності (функція довіри та міра правдоподібності) [11-12]. Також при використанні підходу Демпстера-Шафера напряму використовувати матрицю помилок ми вже не зможемо. Нашим новим завданням є побудова функції довіри і міри правдоподібності та побудова нової матриці помилок чи декількох матриць помилок, що будуються на основі цих двох функцій.

Нижня і верхня ймовірності визначаються за допомогою базової ймовірності. Базова ймовірність т( А) “замикається” у підмножині Лі.

Нехай Л0 - обмежена множина, а Лі (і = 1,2,...) - його підмножини, тоді базова ймовірність визначається через функцію т , яка задовольняє таким умовам:

т(0) = 0,

X т(Лі) = 1, (і = 0,1,2,...).

(15)

[5]:

Нижня ймовірність визначається за допомогою базової ймовірності таким чином

Р*(Л,) = X т(Аі)• (16)

Верхня ймовірність визначається за формулою

р*(4> = 1 -Р,(Д) = 1 - У т(А).

(17)

Також важливе значення має правило комбінації Демпстера.

Нехай т1 і т2 - базові ймовірності гіпотези, отриманої з незалежних доведень, а

А та A2j (і,] = 0,1,2,...) - відповідні центральні елементи. Тоді правило комбінації Демпстера задає нову базову ймовірність, яку можна представити за допомогою такої формули:

п

Лі с Ло

А с Лі

т (Лк)

У тД А, )т2(Л2 і )

Лі1 П Л2 ] = Л_____________

1 - У т1(Л1і )т2(Л2і)

’ (Лк *0).

(18)

Новизна нашої пропозиції полягає у проведенні узагальнення методу, що використовує матрицю помилок. Головною нашою метою є побудова нової узагальненої матриці помилок для теорії Демпстера-Шафера, коли кожному об’єкту відповідають два значення ймовірності: функція довіри та міра правдоподібності. За допомогою такої нової матриці ми зможемо ефективно описати незнання. Елементами нової матриці помилок будуть вже не числа, які вказують на кількість об’єктів, які були правильно чи неправильно класифіковані, а вже функції довіри чи міри правдоподібності. В теорії Демпстера-Шафера значення нижньої ймовірності гіпотези Л може бути інтерпретовано як мінімальна міра довіри у даному свідченні. Верхнє значення ймовірності є максимальною довірою у свідченні.

При застосуванні теорії Демпстера-Шафера ми отримуємо дві матриці помилок. Перша матриця помилок буде мати такий вигляд

Р*(х11) Р*(хг 1)

Р*( х1г )

Р*( хгг )

(19)

де Р*(х) - це нижня ймовірність того, що число тестових ділянок х■■, які в дійсності на-

^ У

лежать до категорії Сі, віднесені до категорії Сі, де і,і = 1,2,...,г; г - кількість даних категорій.

Друга матриця помилок буде мати вигляд:

ґ

Р * =

Р*(хп)

Р *( Х1г )

Р *( Хг!)

Р *( Хгг )

(20)

де Р *(Ху) - це верхня ймовірність того, що число тестових ділянок Ху, які в дійсності належать до категорії Сі, віднесені до категорії Су, де і,і = 1,2,...,г; г - кількість даних категорій.

5. Нечіткі множини та нечіткі оператори

Нечіткі множини використовуються для опису неточності та невизначеності у складних системах. Нечітка множина визначається таким чином.

Нехай X - простір точок (об’єктів), х - загальний елемент простору X. Покладемо, що X ° Л . Тоді множина Л описується характеристичною функцією Цл, яка кожній

точці з простору X ставить у відповідність дійсне число з сегменту [0,1]. Значення Ца (х)

у точці х представляє рівень наявності х у множині Л. Це визначається таким чином:

А ={(х,тА(х))|хє X} . Визначимо булевську функцію 8, таку, що виконується:

(21)

Ап П Л2 і =0

Г1, х є С,

8( х, С) = ^

[ 0, х ї С.

Якщо 8( х, с( х)) = 1, то існує відповідність між даними карти та експертними даними на полігоні х, а якщо 8( х, %(х)) = 0, то маємо невідповідність між даними карти та експертними даними.

Для кожної категорії С є С ми обчислюємо 2 функції [13-14]:

(22)

W = {x є S \z(x) = C і d(x, C ) = l}|, Wc = {x є S |c(x) = C і d(x, C) = 0}|.

Визначимо дві функції, які можуть бути використані як d.

Одна з них називається MAX і визначається таким чином:

| 1, якщо m (x) > m , (x) для V C 'є С ,

MAX (x, C) = < C C (23)

[0, в інших випадках.

Друга функція, яка може бути використана як d, - це функція RIGHT.

Полігон x “належить” категорії C, якщо її характеристична функція mC (x) > t:

І 1, якщо m ( x) > t,

RIGHT (x, C) = < C (24)

[ 0, в інших випадках.

Для того, щоб виміряти величину помилки, наводиться функція А: S ® Z. Для даного полігону x, А(x) вимірює різницю між оцінкою, наданою полігону x в категорії C(x) на карті та самою вищою оцінкою, що надана полігону x серед усіх інших категорій

C.

А(x) = mxix)(x) - max mc (x); - 4 £ А(x)£ 4. (25)

CєС C *x( x)

Класові помилки виявляються за допомогою функції MEMBERSHIP, що визначається таким чином:

l : N ® Z, яка вимірює кількість класів, до яких може належати даний полігон.

1( x) =

|c|c є С і mC (x) ^ t}

(26)

де t - деяке порогове значення.

Важливе значення має також природа помилок. У традиційному підході інформація про природу помилок міститься в недіагональних елементах матриці помилок. Але ми можемо побудувати аналогічні матриці помилок, де елементами будуть функції CONFUSION та AMBIGUITY. Цей підхід вже згадувався у статті С. Гопал та К. Вудкока. “Теорія та методи оцінки точності тематичних карт, використовуючи нечіткі множини” Але цей новий підхід ще не був детально розроблений, вивчений та застосований при розв’язанні задач класифікації.

Функція CONFUSION Z : N ® 2C визначає категорії з більшим значенням характеристичної функції, ніж значення характеристичної функції, яке надано категорії c(x) на карті.

Z(x) = {C|C є С і mC(x) > mxix)(x)}. (27)

Ми можемо побудувати нову узагальнену матрицю помилок, де елементами виступають функції CONFUSION: для кожної пари категорій C, C 'є C ми рахуємо ZCC’ - кількість полігонів x, таких, що c(x) = C і mC' (x) > mC (x).

f С Г \

AA

Маємо матрицю: Z

AD

Г

Г

DD У

Таблиця 2. Узагальнена матриця помилок, де елементами виступають функції CONFUSION

Позначення Експертні оцінки

на карті Клас A Клас B Клас C Клас D

Клас A Гал Глв Глс Cad

Клас B Гвл Свв Свс Ссе С Cbd

Клас C Сел Ссв 9* bCD 9*

Клас D Cda ZDB DC VDD

Функція AMBIGUITY h : N ® 2C визначає кількість таких категорій, у яких значення характеристичної функції дорівнює значенню характеристичної функції, яке надано категорії c( x) на карті.

h(x) = |с|с є С і me (x) = mc(x)(x)}.

(28)

Аналогічно знаходимо елементи матриці помилок, де елементами виступають функції AMBIGUITY: для кожної пари категорій C, C'є C ми рахуємо hCC> - кількість полігонів x, таких, що Х(x) = C і mC' (x) = mC (x).

Маємо матрицю: N =

h.A h DA

hAD h DD

Або ж запишемо отриманий результат у такій формі.

Зауважимо, що з цих двох узагальнених матриць ми можемо отримати коефіцієнти для оцінки точності класифікації космічних зображень аналогічно, як у традиційному ймовірнісному підході.

Т аблиця 3. Узагальнена матриця помилок, де елементами виступають фун^и^МЕШ^!^

Позначення на карті

Експертні оцінки

Клас A

Клас B

Клас C

Клас D

Клас A Клас B Клас C Клас D

hлв

б. Висновки

У даній роботі було розглянуто й порівняно різноманітні коефіцієнти, що використовуються для оцінки точності класифікації космічних зображень. Було показано, що к-індекс має певні недоліки і тому не може бути використаний для оцінки точності класифікації. Також було запропоновано альтернативу к-індексу — коефіцієнт, який побудований на основі інформації Кульбака-Лейблера. Були отримані два коефіцієнти:

Juni (X) та Jpro(X) і їх апроксимації, які можуть бути використані для оцінки точності

класифікації. У статті були також перелічені властивості цих коефіцієнтів та їх апроксимацій.

Для того, щоб перевірити, чи певна ділянка була правильно класифікована, слід використовувати Jpro (X) або його апроксимацію J* pro (X) як коефіцієнти для оцінки точності. Отримані оцінки точності можуть бути використані для вивчення матриці помилок та її властивостей.

Також у даній статті були розглянуті та проаналізовані різноманітні методи й підходи для оцінки точності класифікації аерокосмічних зображень.

Було розглянуто ймовірнісний підхід, що застосовує матрицю помилок, наведені та проаналізовані недоліки, властиві методу, що використовує матрицю помилок, запропоновано нову методику оцінки точності класифікації космічних зображень на основі теорії Демпстера-Шафера, яка дає змогу ефективно описати незнання, на відміну від імовірнісного підходу, що базується на матриці помилок.

У теорії Демпстера-Шафера ми маємо дві функції: функцію довіри та міру правдоподібності. Нашим завданням є розробка методики побудови таких функцій. Також при використанні підходу Демпстера-Шафера ми вже не зможемо напряму використовувати матрицю помилок, а треба буде побудувати нову матрицю чи декілька матриць помилок на основі функції довіри та міри правдоподібності. Цей підхід є новим, оскільки він ще детально не розглядався й не застосовувався при розв’язанні задач класифікації космічних зображень. У подальшому дана методика буде перевірятися підчас розв’язання тематичних задач, якими займається Центр аерокосмічних досліджень. Це насамперед задачі, що стосуються класифікації лісів, сільськогосподарських земель та різних об’єктів [13-14].

Також у даній статті був описаний новий підхід для оцінки точності тематичних карт, заснований на використанні нечітких множин. Цей метод має певні переваги над традиційним підходом, що використовує матрицю помилок. Завдяки цьому методу ми отримуємо більше інформації про величину, частоту, природу та джерела помилок.

У роботі були описані нечіткі функції, які використовуються для оцінки точності класифікації зображень. А саме: комбіноване використання функцій MAX і RIGHT дає більше інформації про частоту помилок. Функції CONFUSION та AMBIGUITY надають додаткову інформацію про природу помилок. Також ми в подальшому можемо побудувати матриці помилок, елементами яких виступають ці функції. Цей підхід вже згадувався у

статті С. Гопал та К. Вудкока, але ще не був досконало вивчений, проаналізований та застосований при розв’язанні задач класифікації космічних зображень. Даний підхід є новим і потребує детального подальшого вивчення та перевірки. Міра DIFFERENCE вказує на величину помилок. Функція MEMBERSHIP вказує, де сконцентровані помилки, що згодом дасть змогу ізолювати джерела помилок на карті. Методика, що використовує нечіткі множини, може використовуватися для роботи з неточними та невизначеними даними [14].

Результати даної методики надають корисну інформацію як для виробника, так і для споживача тематичних карт. Виробники можуть покращувати, вдосконалювати методи побудови карт і надавати інформацію про точність класифікації зображень та помилки споживачу.

СПИСОК ЛІТЕРАТУРИ

1. Congalton R.A. Review of Assessing the Accuracy of Classifications of Remotely Sensed Data / R.A. Congalton // Remote Sensing of Environment. - 1991. - N 37. - P. 35 - 46.

2. Gopal S. Theory and Methods for Accuracy Assessment of Thematic Maps Using Fuzzy Sets / S. Gopal, C. Woodcock // Photogrammetric Engineering @ Remote Sensing. - 1994. - Vol. 60, N 2. -P.181 - 188.

3. Story M. Accuracy assessment: A user’s perspective / M. Story, R.G. Congalton // Photogramm. Eng. Remote Sensing. - 1986. - Vol. 52. - P. 397 - 399.

4. Brownlee K.A. Statistical theory and methodology in science and engineering / Brownlee K.A. - New York: John Wiley and Sons, 1965. - P. 580 - 590.

5. Попов М.А. Методология оценки точности классификации объектов на космических изображениях / М.А. Попов // Проблемы управления и информатики. - 2007. - № 1. - C. 97 - 103.

6. Congalton R.G. Assessing Landsat classification accuracy using discrete multivariate analysis statistical techniques / R.G. Congalton, R.G. Oderwald, R.A. Mead // Photogramm. Eng. Remote Sensing. - 1983. -Vol. 1. - P. 1671 - 1678.

7. Janssen L.L.F. Accuracy assessment of satellite derived land-cover data: A review / L.L.F. Janssen,

F.J.M. van der Wel // Photogramm. Eng. Remote Sensing. - 1994. - Vol. 60. - P. 419 - 426.

8. Rosenfield G.H. A coefficient of agreement as a measure of thematic classification accuracy /

G.H. Rosenfield, K. Fitzpartrick-Lins // Photogramm. Eng. Remote Sensing. - 1986. - Vol. 52. - P. 223 -227.

9. Hegarat-Mascle S. Application of Dempster-Shafer Evidence Theory to Unsupervised Classification in Multisource Remote Sensing / S. Hegarat-Mascle, I. Bloch, D. Vidal-Madjar // IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING. - 1997. - Vol. 35, N 4. - P. 1018 - 1031.

10. Abidi M.A. Data Fusion in Robotics and Machine Intelligence / M.A. Abidi, R.C. Gonzalez. - New York: Academic, 1992. - P. 562 - 569.

11. Shafer G. A Mathematical Theory of Evidence / Shafer G. - Princeton, NJ: Princeton University Press, 1976. - P. 875 - 883.

12. Barnett J.A. Calculating Dempster-Shafer plausibility / J.A. Barnett // IEEE Trans. Pattern Anal. Machine Intell. - 1991. - Vol. 13. - P. 599 - 602.

13. Dubois D. Fuzzy Sets and Systems: Theoty and Applications / D. Dubois, H. Prade. - New York: Academic Press, 1980. - P. 645 - 651.

14. Попов М.О. Сучасні погляди на інтерпретацію даних аерокосмічного дистанційного зондування Землі / М.О. Попов // Космічна наука і технологія. - 2002. - Т. 8, № 2/3. - C. 110 - 115.

Стаття надійшла до редакції 26.06.2013