CC BY
16
Для цитирования: В.Б. Мелехин, В.М. Хачумов. Устойчивые дескрипторы в задачах распознавания изображений. Вестник Дагестанского государственного технического университета. Технические науки. 2020; 47(3): 93-100. DOI: 10.21822/2073-6185-2020-47-3-93-100
For citation: V.B. Melekhin, V.M. Khachumov. Stable descriptors in image recognition tasks. Herald of Daghestan State Technical University. Technical Sciences. 2020; 47 (3): 93-100. (In Russ.) DOI:10.21822/2073-6185-2020-47-3-93-100
ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ COMPUTER SCIENCE, COMPUTER ENGINEERING AND MANAGEMENT
УДК 004.93.11
DOI: 10.21822/2073 -6185-2020-47-3 -93 -100
УСТОЙЧИВЫЕ ДЕСКРИПТОРЫ В ЗАДАЧАХ РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ
В.Б. Мелехин1, В.М. Хачумов2'3'4
1 Дагестанский государственный технический университет, 2Институт программных систем им. А.К.Айламазяна РАН, 3Федеральный исследовательский центр «Информатика и управление» РАН, 4Российский университет дружбы народов, 1367026, г. Махачкала, пр. Имама Шамиля, 70, Россия,
2152021, Ярославская область, Переславский район, с.Веськово,ул.Петра Первого, 4а,Россия 3119333, Москва, ул. Вавилова, д.44, кор.2, Россия, 4117198, ЮЗАО, г. Москва, ул. Миклухо-Маклая, 6, Россия
Резюме. Цель. Целью исследования является определение различных устойчивых характеристик изображений (полуинварианты и инварианты) как дескрипторы, необходимые для формирования признакового пространства эталонов, предназначенных для распознавания образов различной природы относящихся к различным классам объектов. Метод. В качестве методических основ, лежащих в построении методов распознавания образов, предлагаются метрики оценки близости распознаваемого изображения к заданному эталону в пространстве матриц ковариаций, опирающиеся на полученные дескрипторы. Результат. Разработано содержание основных этапов выделения дескрипторов заданного класса объектов с учетом различной освещенности распознаваемых изображений. Эффективность полученных результатов подтверждается проведенными экспериментальными исследованиями, связанными с решением задачи распознавания специальных снимков - фаций. Выводы. Определение устойчивых дескрипторов изображения как инвариантов или полуинвариантов к преобразованиям масштабирования и яркости позволяет решать задачи классификации фаций в условиях нестабильности съемки распознаваемых изображений. При этом изображения могут быть повернуты и сдвинуты произвольным образом. В целом предложенный подход позволяет разработать эффективную систему распознавания образов при наличии различного рода помех на распознаваемых изображениях.
Благодарности. Работа выполнена при частичной финансовой поддержке РФФИ (проекты 20-07-00022 А и 17-29-07002 офи м).
Ключевые слова: дескриптор, метрика, инвариант, полуинвариант, матрица ковариаций, классификация образов
STABLE DESCRIPTORS IN IMAGE RECOGNITION TASKS V. B. Melekhin, V. M. Khachumov
1 Daghestan State Technical University, 2 A.K. Aylamazyan Institute of Software Systems Russian Academy of Sciences, 3Federal Research Center "Informatics and Control" Russian Academy of Sciences, 4Russian Peoples' Friendship University, 1701. Shamil Ave., Makhachkala 367026, Russia, 2 4a Petra Pervogo St., Yaroslavl region, Pereslavsky district, Veskovo village 152021, Russia
3 44 Vavilova St., building 2, Moscow119333, Russia, 4 6Miklukho-Maklaya St., Moscow 117198, Russia
Abstract. Objective. The objective of the study is to determine various stable characteristics of images (semi-invariants and invariants) as descriptors necessary for the formation of a feature space of standards intended for recognizing images of different nature belonging to different classes of objects. Methods. The authors propose metrics for evaluating the proximity of the recognized image to a given standard in the space of covariance matrices, based on the obtained descriptors as a methodological basis for constructing image recognition methods. Results. The content of the main stages of selecting descriptors for a given class of objects is developed, taking into account the different illumination of the recognized images. The effectiveness of the results obtained is confirmed by experimental studies related to the solution of the problem of recognition of special images - facies. Conclusions. The definition of stable image descriptors as invariants or semi-invariants to zoom and brightness transformations allows solving the problems of facies classification in conditions of the unstable shooting of recognized images. The images can be rotated and shifted in any way. In general, the proposed approach allows developing an effective image recognition system in the presence of various types of interference on the recognized images.
Acknowledgement. This work was carried out with partial financial support from the Russian Foundation for Basic Research (projects 20-07-00022 A and 17-29-07002 ofi_m).
Key words: descriptor, metric, invariant, semi-invariant, covariance matrix, image classification
Введение. Понятие «инварианта» является одним из важнейших понятий математики [1]. Инвариантность - есть свойство математического выражения оставаться неизменным при выполнении определенных преобразований, что важно для задач классификации и распознавания объектов различной природы. Системы инвариантов позволяют объединять объекты одного класса и, напротив, разделять объекты, принадлежащие разным классам в рассматриваемой совокупности.
В настоящей работе под инвариантами, применительно к задаче распознавания, понимаются в широком смысле дескрипторы - неизменные математические конструкции аналитического (алгебраического и геометрического), вероятностного или статистического характера [2,3], служащие для описаний объектов, позволяющих осуществлять их поиск и распознавание.
Отдельно следует отметить, например, широко используемые в распознавании алгебраические многочлены для бинарных и полутоновых 2D и 3D изображений, которые являются инвариантами относительно аффинных преобразований [4-6]. В этом случае, относительной устойчивостью к яркостным преобразованиям обладают линии положения, характеризующие ориентацию графического объекта при известных расположениях его точек [7].
Помимо этого, к инвариантам можно отнести некоторые интегрированные числовые характеристики и конструкции (множества), например:
1) нормализованные гистограммы распределения яркостей в классе изображений,
2) подготовленные для распознавания или измерения расстояний матрицы ковариаций для каждого класса объектов,
3) средние значения (математические ожидания) вероятности распределения яркостных оттенков и значения отдельных признаков, характерных для всего класса объектов;
4) любые характеристики движения, при которых сохраняются расстояния между точками: площадь геометрической фигуры, угол между двумя прямыми - инвариант движения.
Постановка задачи. Следует отметить, что многие инвариантные конструкции обладают определенной устойчивостью (в определенных пределах) к изменениям отдельных характеристик объектов относящихся к рассматриваемому классу, но не гарантируют их полной или строгой инвариантности, следовательно, их целесообразно называть субинвариантами.
Довольно часто различные конструкции инвариантны только по отношению к части возможных преобразований входных данных, в этом случае их называют полуинвариантами.
Таким образом, возникает актуальная проблема, решение которой сводится к нахождению для исходных изображений вектора устойчивых признаков, который в последующем применяется для решения задачи классификации распознаваемых изображений. Причем, здесь не рассматриваются вопросы поиска и описания особых точек изображения, подобных методу SURF (Speeded Up Robust Features) инвариантных к масштабу и вращению или вопросы поиска алгебраических инвариантов.
Упор делается на поиск относительно устойчивых к смене освещения и изменения яр-костных характеристик распознаваемых объектов. Подобные дескрипторы, как правило, устойчивы к аффинным преобразованиям, поскольку не связаны с координатами пикселей.
Методы исследования. 1. Нахождение устойчивых дескрипторов для распознавания изображений.
Рассмотрим функцию яркости цифрового изображения [8], дескрипторами которого служат числовые характеристики случайного стационарного процесса. Для ее анализа выберем гистограмму распределения значений яркости на изображении, начальные и центральные моменты, а также другие выделенные дескрипторы.
Выделение дескрипторов включает следующие основные этапы.
n
1. Построение нормализованной гистограммы изображения p(zi ) = —-, где ni - число пик-
n
селей i уровня яркости zt (i=0,.. ,,L-1), n - общее число пикселей изображения, величина L обычно является степенью двойки (например, 64, 256) в цветовой модели RGB и называется глубиной изображения.
Величина p(z) определяется оценкой вероятности появления пикселя с интенсивностью zi.
L-1
Условие нормирования S p( z ) = 1.
i=0
Нормализованная гистограмма представляет собой полуинвариант, поскольку остается неизменной по отношению к масштабированию изображения. После выделения наиболее значимой части яркостного диапазона можно выполнить приведение гистограммы к шкале всего яркостного диапазона.
2. Построение матрицы совместной встречаемости пикселей:
C r = - S Р2(zi - zj),
s zi,zj:;r
где r - отношение, в котором находятся пиксели i и j, а величина s соответствует числу сочетаний элементов, состоящих в отношении r. Она представляет собой оценку плотности распределения вероятности второго порядка p2(zi, zj) [9].
Все диагональные элементы матрицы совместной встречаемости cii равны площадям соответствующих областей изображения, значение яркости которых равно zi.
Элементы матрицы cj (i Ф j), находящиеся вне главной диагонали, равны длинам границ разделяющих соответствующие области изображения, которые образованы пикселями с яркостями Zi и Zj.
Отношение r определяется с помощью расстояния d = 1 и одного из зафиксированных значений угла в, который может быть: 0°, 45°, 90° и 135°.
L-1
3. Вычисление дисперсии: <j2(z) = S(Z -т)2Р(Z). Дисперсия отражает разброс распреде-
i=0
ления яркостей изображения вокруг среднего значения. Она служит одной из устойчивых характеристик класса распознаваемых объектов.
2. Проведение экспериментов. Классификация изображений фаций. Эксперименты по распознаванию образов проводились на изображениях фаций - кристаллизованных капель биологической жидкости (в данном случае капель жидкости, выделяемой больным человеком) [10].
Исходные изображения фаций, представленные в формате JPEG и цветовой модели RGB, преобразовывались в формат NTSC (National Television System Committee) [11].
Обсуждение результатов.
Эксперимент 1. Для классификации используем метрику Махаланобиса [12,13], которая учитывает корреляцию между компонентами векторов (признаками):
dM =sl ( * - y)TC X - y),
где C - матрица ковариаций выделенных дескрипторов.
Матрица ковариаций для класса, представленного обучающей выборкой X, определяется следующим образом
1 - г -
c =-( x - x )T (X- x ),
n -1
где X - «центр» класса, n х n - размерность матрицы C .
Процесс выбора подходящих дескрипторов является процедурой эвристической, зависящей во многом от предметной области.
Использовались следующие устойчивые признаки-дескрипторы (табл. 1).
Таблица 1. Устойчивые дескрипторы Table 1. Persistent descriptors
Наименование Name Формула Formula
1 Математическое ожидание случайной величины z Mathematical expectation of a random variable z L-1 m = Z z ) i=0
2 Дескриптор относительной гладкости Descriptor of relative smoothness R = 1 1/(1 + CT2(Z)2) (L -1)2
3 Однородность изображения Image uniformity L-1 U = Z p 2( z ) i=0
4 Однородность матрицы Matrix uniformity L-1 L-1 U,=Z Z cj i=0 j=0
5 Максимум вероятности Maximum probability Pmax = max(cj ) i, j
6 Энтропия изображения Image entropy L-1 e = -Z p( z )lo§2p( z) i=0
7 Средняя энтропия для матрицы Сг Average entropy for the matrix Cr L-1 L-1 ec =-ZZcj l0§2 Cj i=0 j=0
Указанные в табл.1 яркостные характеристики применялись для формирования учебной выборки и бинарной классификации графических образов. Примеры фаций показаны на рис. 1 и 2.
На рис.1 и 2 представлены пары расстояний , измеренных до классов «High» (высокая степень заболевания) и «Normal» (отсутствие заболевания) соответственно.
Рис. 1. Фации класса «High» Fig. 1. Facies of class «High»
(5.055E15, 6.125)
(9.578E12, 6.125)
(8.279E14, 6.125)
(1.514E16, 6.125)
Рис. 2. Фации класса «Normal» Fig. 2. «Normal» class facies
Преимуществом матрицы ковариаций является её инвариантность относительно некоторых преобразований. Если, например, два изображения отличаются лишь на постоянную составляющую интенсивности яркости, то после вычета средних матрицы становятся одинаковыми, обеспечивая устойчивость к аддитивному изменению яркости, и являются полуинвариантами.
Поскольку матрица ковариаций не несет в себе информации о порядке, номерах и координатах точек, то это определяет ее инвариантность относительно операций масштабирования и поворота.
Для того, чтобы получить инвариант к мультипликативным изменениям изображения необходимо выполнить дополнительное преобразование:
C = (x ~ x) (x ~ f}, где ¡ГЦ - норма, Щ = B2(i, j) , B(i, j) e B . (n -1)| x - x| |
Заметим, что матрица ковариаций входит составной частью в метрику Махаланобиса, используемую для классификации.
Из выполненных исследований видно, что метрика, основанная на матрице ковариаций, обладает достаточной дискриминантной силой для уверенного выявления заболевания по снимку.
Эксперимент 2. Будем строить матрицы ковариаций на основе следующих пяти характеристик: интенсивности яркости I(x, y), производных первого и второго порядка по x и по y . Таким образом, каждый пиксель изображения представляется в виде вектора:
rv Л (тГ Л & & д21 д21 ^
F (x y) = 1 (x, у),-
У дх' ду' дх2'ду2 j
Пусть имеются три класса с соответствующими градациями камнеобразования «Normal», «Average» и «High». Примеры эталонных фаций для указанных классов представлены на рис.3.
Фации класса «Normal»
Фации класса «Average»
Фации класса «High»
Рис.3.Примеры эталонных фаций Fig. 3. Examples of reference facies
В пределах границ фаций выбирались случайно s квадратных областей (в экспериментах s=100). Вычислялись матрицы ковариаций для каждой области размером 16х16 и 128x128 пикселей. Для распознавания применялась метрика, основанная на использовании матриц ковариаций следующего вида [14]:
P(C1, C2) =
V
n
Z 1п2л (q, C2 ):
i=1
где Л{(СУ,C2), i = !>•••>n - обобщенные собственные векторы матриц ковариаций C1 и C2 , вычисляемые из уравнения - с2| = 0.
Определим свойства предложенной метрики.
1. р(С1, С2) > 0 и р(С1, С2) = 0 только при условии С1 = С2 ;
2. p(Q,С2) = Р(С2,С1) ;
3. рС С2) + р(С2, С3) >p(Q, С3).
Для метрики р(С1, С2) доказано выполнение свойств инвариантности относительно аффинных преобразований координат и операции инверсии для положительно определенных матриц. Проведен расчет расстояния от тестируемой фации до матриц каждого представителя эталонных изображений.
На рис.4 представлены средние значения минимальных расстояний до соответствующих классов, которые определяют принадлежность фации.
# It:
«Normal», 0.18 Average», 0.24 «High», 0.34
Рис. 4. Примеры фаций из тестовой выборки Fig. 4. Examples of facies from the test sample
На основании того, какой класс получил больше голосов, выносится решение. В ходе экспериментов было распознано правильно около 90% снимков.
Вывод. Выделение устойчивых дескрипторов изображения как инвариантов или полуинвариантов к преобразованиям масштабирования и яркости позволяет решать задачи классификации фаций в условиях возможной нестабильности съемки. При этом изображения могут быть повернуты и сдвинуты произвольным образом.
В этих условиях применение яркостных характеристик в качестве дескрипторов для классификаторов, построенных на матрицах ковариаций, демонстрирует уверенное выявление тяжелого заболевания мочекаменной болезни и нормы в бинарной задаче и удовлетворительное качество при делении фаций на три класса.
Для большей уверенности в правильности выбранного признакового пространства необходимо существенно увеличить число эталонных и тестируемых снимков.
Благодарности. Работа выполнена при частичной финансовой поддержке РФФИ (проекты 20-07-00022 А и 17-29-07002 офи_м).
Библиографический список:
1. Винберг Э.Б., Попов В.Л. Теория инвариантов. - Итоги науки и техн. Сер. Соврем. пробл. мат. Фундам. направления, 1989, том 55, с.137 - 309.
2. Дьёдонне Ж., Керрол Дж., Мамфорд Д. Геометрическая теория инвариантов. М.: Мир, 1974. 278 с.
3. Зубков А.Н. Обзор по теории инвариантов и ее приложениям // Прикладная математика и фундаментальная информатика. 2014. №1. C. 45 - 49.
4. Абрамов Н.С., Хачумов В.М. Распознавание на основе инвариантных моментов // Вестник Российского университета дружбы народов. Серия: Математика, информатика, физика. 2014. №2, С.142 -149.
5. Абрамов Н.С., Фраленко В.П. Определение расстояний на основе системы технического зрения и метода инвариантных моментов // Информационные технологии и вычислительные системы. 2014. №4. С.32 -39.
6. Хачумов М.В. Инвариантные моменты и метрики в задачах распознавания графических образов // Современные наукоемкие технологии. 2020. №4, Ч.1. С. 69 - 77.
7. Трушков В.В., Хачумов В.М. Определение ориентации объектов в трехмерном пространстве // Автометрия. 2008. Т.44. №3. С. 75 - 79.
8. Методы компьютерной обработки изображений / Под ред. Сойфер В.А. М.: Физматлит, 2003. 784 с.
9. Павлидис Т. Алгоритмы машинной графики и обработки изображений. М.: Радио и связь, 1991. 400 с.
10. Мажуга В.В., Хачумов М.В. Алгоритмы обработки изображений для классификации состояний биологических систем // Информационные технологии и вычислительные системы. 2012. № 2. С.54 -3.
11. NTSC. - http://en.wikipedia.org/wiki/NTSC
12. Хачумов М.В. Расстояния, метрики и кластерный анализ // Искусственный интеллект и принятие решений/ № 1, 2012. C. 81 - 89.
13. Хачумов М.В. Применение нейрона и расстояния Евклида-Махаланобиса в задаче бинарной классификации // Наука и современность. 2010. №2-3. С. 82-86.
14. Forstner V., Moonen B. A metric for covariance matrices. - Technical report, Dep. Of Geodesy and Geoinformat-ics, Stuttgart, 1999, pp. 113-128.
References:
1. Vinberg E.B., Popov V.L. Teoriya invariantov [Theory of invariants]. Itogi nauki i tekhn. Ser. Sovrem. probl. mat. Fundam. napravleniya, 1989, Vol. 55. рp.137 - 309. (In Russ)
2.D'yodonne ZH., Kerrol Dzh., Mamford D. Geometricheskaya teoriya invariantov [Geometric theory of invariants]. Moscow: Mir, 1974. 278 p. (In Russ)
3.Zubkov A.N. Obzor po teorii invariantov i ee prilozheniyam [Review of the theory of invariants and its applications]. Prikladnaya matematika i fundamental'naya informatika [Applied Mathematics and Fundamental Informatics]. 2014. №1. pp. 45 - 49. (In Russ)
4. Abramov N.S., Hachumov V.M. Raspoznavanie na osnove invariantnyh momentov [Recognition based on invariant moments]. Vestnik Rossijskogo universiteta druzhby narodov. Seriya: Matematika, informatika, fizika [Bulletin of the Peoples' Friendship University of Russia. Series: Mathematics, computer science, physics]. 2014. No. 2. pp.142 - 149. (In Russ)
5. Abramov N.S., Fralenko V.P. Opredelenie rasstoyanij na osnove sistemy tekhnicheskogo zreniya i metoda invariantnyh momentov [Determination of distances based on the technical vision system and the method of invariant moments]. Informacionnye tekhnologii i vychislitel'nye sistemy [Information technologies and computational systems]. 2014. No.4. pp.32 - 39. (In Russ)
6. Hachumov M.V. Invariantnye momenty i metriki v zadachah raspoznavaniya graficheskih obrazov [Invariant moments and metrics in graphic image recognition problems]. Sovremennye naukoemkie tekhnologii [Modern science-intensive technologies]. 2020. No.4, Ch.1. pp. 69 - 77. (In Russ)
7. Trushkov V.V., Hachumov V.M. Opredelenie orientacii ob"ektov v trekhmernom prostranstve [Determination of the orientation of objects in three-dimensional space]. Avtometriya [Avtometriya]. 2008. No.3 (44). pp. 75-79. (In Russ)
8.Metody komp'yuternoj obrabotki izobrazhenij [Methods of Computer Image Processing]. Pod red. V.A. Sojfer . Moscow: Fizmatlit, 2003. 784 p. (In Russ)
9.Pavlidis T. Algoritmy mashinnoj grafiki i obrabotki izobrazhenij [Algorithms of computer graphics and image processing]. Moscow: Radio i svyaz', 1991. 400 p. (In Russ)
10.Mazhuga V.V., Hachumov M.V. Algoritmy obrabotki izobrazhenij dlya klassifikacii sostoyanij biologicheskih sistem [Image processing algorithms for classifying the states of biological systems]. Informacionnye tekhnologii i vychislitel'nye sistemy [Information technologies and computing systems]. 2012. No.2. pp.54 -63. (In Russ)
11.NTSC. http://en.wikipedia.org/wiki/NTSC
12.Hachumov M.V. Rasstoyaniya, metriki i klasternyj analiz [Distances, metrics and cluster analysis]. Iskusstven-nyj intellekt i prinyatie reshenij [Artificial intelligence and decision making]. No. 1, 2012, pp. 81 - 89. (In Russ)
13.Hachumov M.V. Primenenie nejrona i rasstoyaniya Evklida-Mahalanobisa v zadache binarnoj klassifikacii [Application of a neuron and Euclidean-Mahalanobis distance in the problem of binary classification]. Nauka i sovremennost' [Science and Modernity]. 2010. No. 2-3. pp. 82 - 86. (In Russ)
14.Forstner V., Moonen B. A metric for covariance matrices. Technical report, Dep. Of Geodesy and Geoinformat-ics, Stuttgart, 1999. pp. 113 - 128.
Сведения об авторах:
Мелехин Владимир Борисович, доктор технических наук, профессор, кафедра программного обеспечения вычислительной техники и автоматизированных систем; е-mail: pashka1602@rambler.ru
Хачумов Вячеслав Михайлович, доктор технических наук, профессор, заведующий лабораторией интеллектуального управления.
Information about the authors:
Vladimir B. Melekhin , Dr. Sci. (Technical), Prof., Department of Computer Software and Automated Systems; е-mail: 915533@mail.ru
Vyacheslav M. Khachumov, Dr. Sci. (Technical), Prof., Head of the Intelligent Control Laboratory.e-mail:3 vmh@isa.ru
Конфликт интересов. Conflict of interest.
Авторы заявляют об отсутствии конфликта интересов. The authors declare no conflict of interest.
Поступила в редакцию 03.08.2020. Received 03.08.2020.
Принята в печать 12.09.2020. Accepted for publication 12.09.2020.
