CC BY
28
УДК 004.021:681.5
А.Н. Горитов, А.А. Бодрухин
Сравнение методов выделения особых точек объектов на изображениях рабочей сцены робота-манипулятора
Методы поиска особых точек находят широкое распространение в задачах сравнения изображений, совмещения панорамных снимков, распознавания объектов. В настоящее время разработано большое число методов, позволяющих выделять особые точки. Среди них можно отметить методы, предложенные такими авторами, как H. Moravec, C.G. Harris, J. Shi, C. Tomasi, W. Förstner, S.M. Smith, J.M. Brady, E. Rosten, T. Drummond и др. Методы, успешно выполняющие поиск особых точек в одной предметной области, часто показывают более низкие результаты на изображениях из другой предметной области. В работе проведен сравнительный анализ наиболее известных методов выделения особых точек.
Ключевые слова: промышленный робот, техническое зрение, обработка изображения, особые точки. doi: 10.21293/1818-0442-2019-22-3-61-66
Современные манипуляционные роботы позволяют выполнять сложные операции и обладают высокой точностью позиционирования. Благодаря этим свойствам роботы находят широкое применение в промышленности [1]. Роботы могут выполнять как простые операции, такие как сортировка, укладка в заранее подготовленную тару, так и сложные операции, требующие высокой точности. Объекты, с которыми взаимодействует робот, могут иметь сложную форму. Выполнение операций с такими объектами требует точного определения их положения в рабочем пространстве робота. Ошибки в определении пространственного положения объектов могут иметь негативные последствия как для окружающего оборудования, так и для обслуживающего персонала.
Система управления адаптивным роботом получает информацию о расположении объектов во внешней среде. В качестве основы для построения системы управления адаптивным роботом в настоящее время широко используются системы технического зрения (СТЗ) [2, 3]. Для получения информации об объектах внешней среды в СТЗ применяют видеокамеры [4]. Как правило, изображение, полученное с помощью видеокамеры, содержит много избыточной информации и требует предварительной обработки [5, 6].
Предварительная обработка изображения является важным этапом работы с изображением внешней среды манипуляционного робота [7]. На этапе предварительной обработки изображения выполняются удаление шума, переход от цветного к полутоновому изображению и т.д. [5, 6].
Одной из актуальных задач промышленной робототехники является возможность выделения на изображении объектов, имеющих сложную форму, и проведения классификации выделенных объектов [8].
Одним из подходов для решения этой задачи является выделение особых точек на изображении объекта.
Особые точки, выделенные из объектов, обладают такими свойствами, как инвариантность относительно смещения, поворот, изменение масштаба,
изменение яркости. Эти свойства позволяют использовать особые точки при классификации объектов.
В настоящее время разработано большое число методов поиска особых точек на изображениях. Наиболее известными среди методов поиска особых точек следует отметить методы, разработанные такими авторами, как H. Moravec, C.G. Harris, J. Shi, C. Tomasi, W. Forstner, S.M. Smith, J.M. Brady, E. Rosten, T. Drummond и др.
Разработанные методы широко используются в различных проблемных областях. Так как изображения в каждой проблемной области имеют свои особенности, то необходимо провести анализ известных методов с тем, чтобы определить наиболее эффективные методы выделения особых точек на изображениях рабочего пространства манипуляционного робота.
Обзор методов выделения особых точек
В 1981 г. Моравец предложил метод нахождения особых точек на изображении [9]. Детектор рассматривает изменение яркости окна W на 1 пиксель в восьми направлениях: {(-1, 1), (0, 1), (1, 1), (-1, 0), (0, 1), (-1, -1), (0, -1), (1, -1)}. Изменение яркости рассчитывается по следующей формуле:
Е(и, v) = £ w(x, y)(Ix+u,y+v - Ix,y )2 ,
x, y
где I - яркость изображения, E - изменение, вызванное сдвигом (u, v), w - окно изображения (как правило, используются окна размерами 3*3, 5*5, 7*7 пикселей).
Локальные минимумы точек E, значения которых выше некоторого порогового значения, являются угловыми точками изображения.
К недостаткам детектора Моравеца относятся большое количество ошибок при наличии диагональных ребер и отсутствие инвариантности к поворотам изображения.
В 1988 г. Харрис предложил [10] модификацию детектора Моравеца.
Харрис предложил рассматривать производные яркости по всем направлениям, что значительно снизило количество ошибок при наличии диаго-
нальных ребер. Формула для расчета изменения яркости в детекторе Харриса имеет вид
E(u,v) = £Wxy)(I2xu2 + I2yv2 + 2IxIyUv)2 ,
x, y
где Ix и Iy - производные по направлениям x и y соответственно.
Для достижения инвариантности к поворотам изображения было предложено использовать матричную форму записи:
M = ^ w(u, v)
u,v
IxIy
IxIy
Матричная форма используется для расчета меры откликаR:
R = det(M)-к*tr(M)2 = Х{к2 -к(к1 +А2)2 , где det(M) - определитель матрицы; tr(M) - след матрицы; А^ , А2 - характеристические числа матрицы M; к - константа (используется значение от 0,04 до 0,06).
Результат работы детектора Harris на тестовом изображении представлен на рис. 4, а.
На практике оказалось, что детектор Harris является достаточно нестабильным. Причиной этому был используемый метод расчета отклика R.
Детектор Shi-Tomashi был опубликован в 1994 г. [11] и является модификацией детектора Харриса. Модификация заключается в изменении метода подсчета меры отклика R: R = min^,А2) .
Сравнить функцию отклика детектора Shi-Tomashi с функцией отклика детектора Харриса можно, построив график этих функций (рис. 1).
Х2 Л11Ш1 Х2
а б
Рис. 1. Графики функций отклика. Детекторы: Харриса - а; Shi-Tomashi - б
Результат работы детектора Shi-Tomashi на тестовом изображении представлен на рис. 4, б.
Детектор Fбrstner был опубликован [12] в 1986 г. и использует ту же меру угловатости, что и детектор Харриса. Этот детектор использует следующую функцию отклика:
ёе1(М)_ ( Х{к2
R = -
tr(M )2
Л
-X
'2 J
Помимо этого, детектор дополнительно рассчитывает меру округлости угла С, что крайне положи-
тельно сказывается на поиске отверстий на изображении:
2
4det(M)
C =-X =1-
X1 -X2 X1 +X2
tr(M)2
Результат работы детектора Förstner на тестовом изображении представлен на рис. 4, в.
Детектор SUSAN (Smallest Univalue Segment Assimilation Nucleus) [13] существенно отличается от алгоритмов, рассмотренных ранее.
Для каждого пикселя изображения рассматривается круговой регион некоторого фиксированного радиуса. Далее сравнивается интенсивность пикселей этого региона с интенсивностью центрального пикселя (ядра). В итоге сравнения пиксели региона разделяются на две категории, интенсивность которых близка к интенсивности ядра (такие области называются USAN) и остальные. Формула сравнения интенсивности ядра с другой точкой региона имеет вид
с(г,г0)
= е
Дг)-Д'0)
где 7¡) - ядро; г - другая точка региона; / - функция интенсивности точки; t - пороговое значение.
В зависимости от занимаемой области регионом USAN можно судить о типе ядра (рис. 2):
- если USAN занимает большую часть региона, то ядро является частью однородного участка изображения;
- если USAN занимает примерно 50% региона, то ядро является ребром;
- если USAN занимает меньшую часть региона, то ядро является углом.
а б в
Рис. 2. Поиск регионов USAN. Ядро является: углом - а; ребром - б; частью однородного участка - в
Результат работы детектора SUSAN на тестовом изображении представлен на рис. 4, г.
Детектор FAST [14] разрабатывался с целью обеспечить наилучшее быстродействие среди детекторов поиска углов. Принцип работы этого детектора схож с принципом работы SUSAN.
Вокруг каждого пикселя изображения строится окружность, состоящая из 16 пикселей. Центральная точка считается углом, если построенная окружность содержит последовательность, состоящую из n точек, интенсивность которых больше, чем интенсивность центральной точки (рис. 3).
Результат работы детектора FAST на тестовом изображении представлен на рис. 4, д.
Рис. 3. Построение окружности из 16 точек вокруг центра p; p - угловая точка, так как существует последовательность точек (точки с 6 по 11), интенсивность которых больше интенсивности центральной точки
Детектор CSS был опубликован в 1992 г. [15]. Основан на принципе кривизны масштабного пространства. Алгоритм поиска углов состоит из следующих шагов:
1. Найти границы объектов на изображении, используя метод Canny.
2. Выделить контуры на изображении. Соединить концы смежных контуров. Если конец контура соединяется с границей, то отметить точку как Т-связный угол.
3. Для каждого контура вычислить значения кривизны при наибольшем масштабе chigh. Начальными углами считаются локальные максимумы, значения которых больше некоторого порогового значения и вдвое больше значений соседних локальных минимумов.
4. Отследить углы от наибольшего масштаба до наименьшего для улучшения свойства локализации.
5. Сравнить Т-связные углы с остальными углами. Если угол расположен рядом с другим углом, то удалить один из углов.
На основе детектора CSS были предложены различные модификации, которые используют другие методики для расчета значения кривизны (шаг № 3). К этим модификациям относятся детекторы CPDA и GLCP.
Детектор CPDA (Chord-to-Point Distance Accumulation) был опубликован в 2008 г. Mohammad Awrangjeb [16].
Детектор использует дискретную оценку кривизны, устойчивую к локальным изменениям. Используется 3 хорды различной длины для оценки 3 нормированных дискретных значений кривизны в каждой точке сглаженной кривой.
Результат работы детектора CPDA на тестовом изображении представлен на рис. 4, е.
Детектор GLCP (оригинальное название Corner detector based on global and local curvature properties) [17] был опубликован в 2008 г.
Основная идея детектора состоит в использовании глобальных и локальных свойств кривизны и балансировке их влияния при поиске углов.
Результат работы детектора GLCP на тестовом изображении представлен на рис. 4, ж.
д
Рис. 4 (начало)
а
Рис. 4 (окончание). Результаты работы детекторов на тестовом изображении. Детекторы: Harris - а; Shi-Tomashi - б; Förstner - в; SUSAN - г;
FAST - д; CPDA - е; GLCP - ж
Методика сравнения
Для сравнения методов выделения особых точек использовалась серия из 28 снимков, на которых находились объекты квадратной (40*40 мм) и прямоугольной (24*32 мм) формы. Объекты имели отверстия диаметром 2,5; 3,5 и 5 мм.
В сравнении участвовали семь алгоритмов: Harris, Shi-Tomashi, Förstner, SUSAN, FAST, CPDA, GLCP. Оценка методов проводилась по следующим критериям:
1. Количество верно отмеченных угловых точек.
2. Количество пропущенных угловых точек.
3. Количество верно отмеченных отверстий.
4. Количество пропущенных отверстий.
5. Количество ложных отметок.
Для количественной оценки анализируемых методов проведем сравнение по следующим величинам:
1. Ошибка нахождения угловой точки Ec рассчитывалась следующим образом:
C
ß _ ^m
с с '
Ca
где Ст - количество пропущенных углов; Са - всего углов.
2. Ошибка нахождения отверстия Eh рассчитывалась следующим образом:
ZJ
77 _ Hm
EU--,
h Ha '
где Hm - количество пропущенных отверстий; Ha -всего отверстий.
3. Вероятность ложной точки Ef рассчитывалась следующим образом:
Иг
* Иа
где - количество ложных отметок; Ма - всего отметок.
Дополнительно учитывались критерии качества методов поиска угловых точек [13], а именно:
1. Хорошее определение: количество ложных и пропущенных углов должно быть минимально.
2. Хорошая локализация: чем ближе найденная детектором особая точка к своему действительному расположению, тем лучше.
3. На один действительный угол или отверстие должна приходиться одна особая точка.
Результаты
В таблице приведены вычисленные значения ошибок для рассматриваемых в статье методов.
Рассчитанные ошибки
Алгоритм Ec Eh Ef
Harris 0,3285 0,9989 0
Shi-Tomashi 0,0178 0,4957 0,0321
Förstner 0,0017 0,1324 0,0391
SUSAN 0,0250 0,0836 0,0772
FAST 0,0017 0,0487 0,0267
CPDA 0 1 0
GLCP 0,0017 1 0,1538
На основе результатов из таблицы, учитывая критерии качества методов поиска угловых точек (см. рис. 4), можно сделать следующие выводы:
- детектор Harris справился с задачей хуже всего: несмотря на хорошую локализацию, детектор допускает большое количество пропусков углов и почти полностью игнорирует отверстия (см. рис. 4, а);
- детектор Shi-Tomashi справился с задачей лучше, чем детектор Харриса: количество пропущенных углов и отверстий намного меньше (см. рис. 4, б);
- детектор Förstner отличился хорошим распознаванием углов и отверстий. Хорошая локализация и отсутствие дубликатов найденных углов (см. рис. 4, в);
- детектор SUSAN хоть и имеет большой процент найденных углов, показывает плохую локализацию этих углов. Отмечает большое количество дубликатов при поиске отверстий (см. рис. 4, г);
- детектор FAST имеет один из лучших показателей найденных углов и отверстий, однако детектор отмечает огромное количество дубликатов рядом с действительным углом; плохая локализация найденных точек (см. рис. 4, д);
- детектор CPDA идеально справился с задачей поиска углов: отсутствие ложных точек и дубликатов, отличная локализация. Однако детектор полностью игнорирует отверстия (см. рис. 4, е);
- детектор GLCP справился чуть хуже детектора CPDA: случаются пропуски угловых точек, а также присутствует большое количество дубликатов найденных точек (см. рис. 4, ж).
Для повышения эффективности определения особых точек предлагается использовать комбинированный метод, который включает в себя: детектор CPDA для поиска углов и детектор Forstner, специально настроенный для наилучшего поиска отверстий. Объединение этих детекторов позволяет получить новый метод с лучшими свойствами поиска особых точек, а именно:
- ошибка нахождения угла - 0;
- ошибка нахождения отверстия - 0,1016;
- вероятность ложной точки - 0,0007.
В соответствии с проведенным анализом можно сделать вывод, что в данной предметной области наилучшие результаты показал комбинированный метод поиска особых точек.
Литература
1. Корендясов А.И. Теоретические основы робототехники: в 2 кн. - Кн. 2 / А.И. Корендясов, Б.П. Саламандра, Л.И. Тывес. - М.: Наука, 2006. - 376 с.
2. Клевалин В.А. Системы технического зрения в промышленной робототехнике / В.А. Клевалин, А.Ю. Поливанов // Мехатроника, автоматизация, управление. -2010. - № 9. - С. 26-36.
3. Техническое зрение роботов / под ред. А. Пью. -М.: Машиностроение, 1987. - 320 с.
4. Воротников С.А. Информационные устройства ро-бототехнических систем. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2005. - 384 с.
5. Хорн Б.К.П. Зрение роботов. - М.: Мир, 1989. -487 с.
6. Гонсалес Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. - М.: Техносфера, 2005. - 1072 с.
7. Горитов А.Н. Предварительная обработка изображений в системах технического зрения // Доклады ТУСУР. -2018. - Т. 21, № 4-1. - С. 53-58.
8. Горитов А.Н. Выделение на изображении низкого разрешения параметрически задаваемых объектов / А.Н. Горитов, С.И. Яковченко // Доклады ТУСУР. - 2017. -Т. 20, № 2. - С. 88-90.
9. Moravec H. Rover visual obstacle avoidance // Proc. International Joint Conference on Artificial Intelligence. -1981. - P. 785-790.
10. Harris C.G. Determination of Ego-motion from Matched Points // Alvey Vision Conference. - 1987. - P. 189-192.
11. Shi J. Good features to track / J. Shi, C. Tomasi // Proc. IEEE Conference on Computer Vision and Pattern Recognition. - 2004. - P. 593-600.
12. Forstner W. A feature based correspondence algorithm for image matching // Intl. Archives of Photogrammetry and Remote Sensing. - 1986. - Vol. 26. - P. 150-166.
13. Smith S.M. SUSAN - A New Approach to Low Level Image Processing / S.M. Smith, J.M. Brady // International Journal of Computer Vision. - 1997. - Vol. 23, No. 1. - P. 45-78.
14. Rosten E. Machine learning for high-speed corner detection / E. Rosten, T. Drummond // Proc. European Conference on Computer Vision. - 2006. - Vol. 1. - P. 430-443.
15. Rattarangsi A. Scale-based detection of corners of planar curves / A. Rattarangsi, R.T. Chin // IEEE Trans. Pattern Anal. Mach. Intell. - 1992. - P. 430-449.
16. Awrangjeb M. Robust image corner detection based on the chord-to-point distance accumulation technique / M. Awrangjeb, G. Lu // Multimedia, IEEE Transactions. -2008. - Vol. 10, No. 6. - P. 1059-1072.
17. He X.C. Corner detector based on global and local curvature properties / X.C. He, H.C. Yung // Optical Engineering. - 2008. - Vol. 47, No 5. - P. 057008-1-057008-12.
Горитов Александр Николаевич
Д-р техн. наук, профессор каф. автоматизированных систем управления (АСУ) Томского государственного ун-та систем управления и радиоэлектроники (ТУСУР) Ленина пр-т, д. 40, г. Томск, Россия, 634050 Тел.: (382-2) 70-15-36 Эл. почта: ang@asu.tusur.ru
Бодрухин Александр Александрович
Магистрант каф. АСУ ТУСУРа
Ленина пр-т, д. 40, г. Томск, Россия, 634050
Тел.: (382-2) 70-15-36
Эл. почта: bodro96@gmail.com
Goritov A.N., Bodrukhin A.A.
Comparison of feature points detection methods
Methods of selecting feature points are widely used in tasks of comparing images, combining panoramic images, object recognition. Currently, a large number of methods have been developed that detect feature points. Among them are methods proposed by such authors as H. Moravec, C.G. Harris, J. Shi, C. Tomasi, W. Forstner, S.M. Smith, J.M. Brady, E. Rosten, T. Drummond and others. Methods that successfully detect feature points on images in one subject area often show lower results on images from another subject area. This paper compares the best-known methods of selecting feature points. Keywords: industrial robot, computer vision, image processing, feature points. doi: 10.21293/1818-0442-2019-22-3-61 -66
References
1. Korendyas A.I. Salamander B.P., Tyves L.I. Teoretich-eskiye osnovy robototekhniki [Theoretical foundations of robotics]. Moscow, Science, 2006, vol. 2, 2006, 376 p. (in Russ.).
2. Klevalin V.A., Polivanov A.Yu. [Vision systems in industrial robotics]. Mechatronics, automation, control, 2010, no. 9, pp. 26-36. (in Russ.).
3. Tekhnicheskoye zreniye robotov [Technical vision of robots]. Ed. A. Pugh. M., Engineering, 1987, 320 p. (in Russ.).
4. Vorotnikov S.A. Informatsionnyye ustroystva roboto-tekhnicheskikh sistem [Information devices of robotic systems]. Moscow, Publishing House of Moscow State Technical University. N.E. Bauman, 2005, 384 p. (in Russ.).
5. Horn B.K.P. Zreniye robotov [Robot vision]. M., World, 1989, 487 p. (in Russ.).
6. Gonzalez R., Woods R. Tsifrovaya obrabotka izobra-zheniy [Digital image processing]. M., Technosphere, 2005, 1072 p. (in Russ.).
7. Goritov A.N. [Preliminary image processing in vision systems]. Proceedings of TUSUR University, 2018, vol. 21, no. 4-1, pp. 53-58 (in Russ.).
8. Goritov A.N., Yakovchenko S.I [Highlighting of par-ametrically specified objects on the low resolution image]. Proceedings of TUSUR University, 2017, vol. 20, no. 2, pp. 88-90 (in Russ.).
9. Moravec H. Rover visual obstacle avoidance. Proc. International Joint Conference on Artificial Intelligence, 1981, pp. 785-790.
10. Harris C.G. Determination of Ego-motion from Matched Points. Alvey Vision Conference, 1987, pp. 189-192.
11. Shi J., Tomasi C. Good features to track. Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2004, pp. 593-600.
12. Forstner W. A feature based correspondence algorithm for image matching. Intl. Archives of Photogrammetry and Remote Sensing, 1986, vol. 26, pp. 150-166.
13. Smith S.M., Brady J.M. SUSAN - A New Approach to Low Level Image Processing. International Journal of Computer Vision, 1997, vol. 23, no. 1, pp. 45-78.
14. Rosten E., Drummond T. Machine learning for highspeed corner detection. Proc. European Conference on Computer Vision, 2006, vol. 1, pp. 430-443.
15. Rattarangsi A., Chin R.T. Scale-based detection of corners of planar curves. IEEE Trans. Pattern Anal. Mach. Intell, 1992, pp. 430-449.
16. Awrangjeb M., Lu G. Robust image corner detection based on the chord-to-point distance accumulation technique. Multimedia, IEEE Transactions, 2008, vol. 10, no. 6, pp. 1059-1072
17. He X.C., Yung H.C. Corner detector based on global and local curvature properties. Optical Engineering, 2008, vol. 47, no 5, pp. 057008-1-057008-12.
Aleksandr N. Goritov
Doctor of Engineering Science, Professor, Department Automated Control Systems (ACS), Tomsk State University of Control Systems and Radioelectronics (TUSUR) 40, Lenin pr., Tomsk, Russia, 634050 Phone: +7 (382-2) 70-15-36 Email: ang@asu.tusur.ru
Aleksandr A. Bodrukhin
Master Student, Department Automated Control Systems
(ACS), Tomsk State University of Control Systems
and Radioelectronics (TUSUR)
40, Lenin pr., Tomsk, Russia, 634050
Phone: +7 (382-2) 70-15-36
Email: bodro96@gmail.com
