CC BY
96
НАУЧНОЕ ИЗДАНИЕ МГТУ ИМ. Н. Э. БАУМАНА
НАУКА и ОБРАЗОВАНИЕ
Эл № ФС77 - 48211. Государственная регистрация №0421200025. ISSN 1994-0408
электронный научно-технический журнал
Нормирование пространства признаков при использовании
обобщенного преобразования Хафа
# 02, февраль 2014
DOI: 10.7463/0214.0697554
Бобков А. В.
УДК 004.93
Россия, МГТУ им. Н.Э. Баумана bobkovffiiul -bmistU-Ш
Введение
Преобразование Хафа (Hough Transform, HT) -классический метод теории распознавания изображений, нашедший широкое применение на практике. Метод позволяет находить на изображении объекты по заданным контурам. Традиционно НТ используется для выделения относительно простых объектов - линий, отрезков, дуг [Leavers], однако существует и обобщение метода для произвольного типа контуров [2].
Преобразование Хафа играет особую роль в приложениях реального времени, поскольку является однопроходным алгоритмом со сравнительно низкой вычислительной сложностью, и алгоритмы на его основе способны обрабатывать изображения по мере их получения. Преобразование Хафа может быть вычислительно эффективно реализовано на встраиваемых вычислителях [3], или, например, в виде аппарата нейронных сетей [4]. Основные недостатки преобразования Хафа хорошо известны - это сложность применения при наличии геометрических искажений образца (например, из-за разных ракурсов съемки образца и изображения) и сложность расчета вероятности обнаружения объекта [1,2].
В последнее время интерес к преобразованию Хафа снова вырос в связи с появлением алгоритмов обнаружения объектов в трехмерных сценах. Это прежде всего модель ISM (Implicit Shape Model) [5] и подходы с использованием лесов Хафа [5-10]. Эти методы используются для обнаружения на сцене трехмерных объектов, заданных структурно, без использования поисковых скользящих окон. Однако для настройки или обучения подобных методов может требоваться существенное время, что проблематизирует их применение в приложениях реального времени.
В данной работе рассмотрены вопросы нормирования пространства параметров при наличии на изображении неучтенных геометрических искажений. Такие искажения могут возникать из-за несовпадения ракурсов съемки образца и изображения, из-за небольшого поворота объекта (по всем трем осям), изменения размеров - которые невозможно или слишком сложно (и потому - нецелесообразно) определять и корректировать.
При наличии таких искажений отклики объекта в пространстве параметров будут размываться достаточно сложным и существенно негауссовым образом, зависящим как от формы самого объекта, так и от имеющихся неизмеримых искажений. Поэтому известные методы обработки пространства признаков [11,12,13] ни классические, ни современные не позволяют добиться существенных результатов.
Поэтому в работе используется иной подход, основанном на определенном сходстве между откликами пространства признаков и корреляционной функцией. Это позволяет связать значения этих откликов с вероятностью обнаружения в данном месте объекта в явном виде.
1 Вычислительная схема GHT
Если образец £ и изображение I представлены списками точек границы с известным направлением градиента яркости, то схему ОНТ можно представить в следующем виде [14]. Каждая пара точек границ объекта и изображения с одинаковой ориентацией создает одну гипотезу о совпадении этих точек, и соответственно, о положении объекта на изображении (рис. 1). Если перенести все возможные гипотезы в пространство поиска И(Ах, Лу), то все верные гипотезы совпадут, образуя суммарный отклик И*(Лх*, Лу*), а неверные гипотезы будут распределены хаотически беспорядочно, не создавая существенных максимумов. Величина отклика И* равна количеству совпавших точек, а координаты отклика Лх*, Лу* будут равны искомому положению объекта на изображении (рис. 1). Вычислительный алгоритм преобразования будет сводиться к перебору всех гипотез (Лх, Лу), их накоплению в массиве счетчиков, представляющих пространство признаков, и в последующем поиске локальных максимумов в этом массиве.
Пространство координат гаображення
Пространство параметров поиска
А
клУ
случайно распределенные неверные гипотезы
В
о
А
/ X
8
>
о
Рис. 1. Вычислительная схема ОНТ
2 Компенсация геометрических искажений
При наличии геометрических искажений найти положение объекта, при котором точки его границ совпадут с границами изображения, будет невозможно. Соответственно, в пространстве поисков верные гипотезы уже не будут совпадать, а будут занимать некоторую небольшую область - кластер верных гипотез (рис.2). Величина максимума Н* при этом существенно уменьшается и может быть потеряна в шуме. Более того, максимум может размываться кольцеобразно, так, что в центре кластера верных гипотез, соответствующему наиболее вероятному положению объекта на изображении, не окажется сколько-нибудь значимых величин Н*.
Для того, чтобы устранить этот недостаток, нужно восстанавливать значение и положение исходного, неискаженного максимума. Этот этап будем называть коррекцией геометрических искажений, поскольку будем устранять последствия изменения ракурса съемки.
Для восстановления максимума можно использовать, например, суммирование откликов по некоторому окну. Размеры окна оцениваются исходя из предполагаемого размытия максимума, вносимого геометрическими искажениями. В этом случае положение максимума будет восстановлено, а его значение снова поднимется над уровнем шума, и сделает возможным надежное обнаружение объекта на изображении.
Алгоритм суммирования по окну требует достаточно небольшого количества операций (четыре сложения на точку), поскольку его можно реализовать за два прохода по изображению.
Однако восстановленный таким образом отклик Н* больше не имеет смысла количества совпавших точек образца и изображения, и рассчитать вероятность обнаружения объекта в
заданном положении достаточно сложно: сильно зашумленные области изображения с обилием точек границ способны производить ложные восстановленные максимумы.
Чтобы справиться с таким недостатком, необходимо предварительно нормировать пространство поиска.
^ ^ ^ ^ ^ -нК ^
0° 1° 2° 3° 4° 5° 10°
44 ^ ^ ^ нк ^
^ ^ нк ^ ^ ^ ^ ^
100%
а)
^ ^ ^ ^ нк ^ч
90%
80%
75%
50%
б)
Рис. 2. Пространство поиска при наличии геометрических искажений
а) Изображение объектов с различным масштабом и углом поворота
б) Пространство признаков
3 Нормирование пространства поиска
Целью нормирования является снижение стоимости отклика в областях изображения с большим количеством точек и повышение ее в областях с меньшим количеством. Однако первые же эксперименты показали, что интуитивный подход - взять в качестве нормирующего множителя количество точек контура в области или их квадрат - к положительным результатам не приводят.
В качестве меры похожести образца и изображения удобно использовать косинус угла между векторами, представляющими точки границ образца и изображения.
Сформируем эти вектора следующим образом. Пусть размерность обоих векторов равна размеру (количеству всех точек) образца. Пусть координата вектора равна 1, если данная точка есть точка границы и 0, если нет. Очевидно, что длина такого вектора равна: корню квадратному из количества точек границ образца.
Аналогично для вектора изображения берем его фрагмент, равный по размеру образцу и начинающийся в точке (Ах, Ду). Его длина Ы также равна корню квадратному из количества точек границ во фрагменте. Тогда
^ /[Дх, Ay]kSk
cos ф[ Дх, Ду] =
к=1
|/[Дх, Ду]|| S |
Числитель этого выражения равен количеству совпавших точек и очень близок по смыслу к Н(Дх, Ду), однако при вычислении Н(Дх, Ду) учитываются только точки с одинаковыми градиентами яркости. Чтобы учесть этот факт, введем расширенные вектора образца S' и изображения /', которые состоят из нескольких векторов S [gi] и /[gi] соответственно. В вектор S[gi] и /[gi] входят только те точки, которые имеют направление градиента . gi:
/' = < /[g1], /[g2].../[gn]> S' = < S[g1], S[g2]...S[gn]>
Очевидно, что общее количество точек границ и длинна векторов от этого не изменится.
Тогда:
¿/■[Дх, Ду]кЯк ] ^ф'[Дх, Ду] = ^-= —1-(= const) • - Н [[Дх Ду]
|/||S| VS Sk VE / [Дх, Ду]
к
Коэффициент зависит только от образца и не зависит от координаты на
изображении, и в большинстве случаев он может быть опущен и учтен позже. Нормирующим
1
множителем выступает величина
^ I[Ах, Ау]к '
Величина ^ 1[Ах, Ау]к представляет собой сумму точек контура по окну, и как и в случае с
восстановлением максимума, может быть рассчитана за два прохода по изображению. В первом проходе вычисляется среднее в окне по строкам, на втором - среднее в окне по столбцам от предыдущего шага. Суммы в соседних окнах отличаются только на два компонента, и для получения последующей суммы достаточно скорректировать предыдущую, не вычисляя значение заново.
Вычисление единицы, деленной на корень, может быть выполнено таблично, поскольку подкоренное значение является целым числом, не превышающим общего количества точек образца. Значение может быть представлено в виде числа с фиксированной точкой для использования операции целочисленного умножения.
Для областей, не содержащих контуров и всегда дающие Н=0, нормирующий множитель выставлялся равным нулю во избежание появления неопределенности и деления на ноль.
Таким образом, алгоритм коррекции потребует дополнительно одну длинную операцию (целочисленное умножение) на точку, и может выполняться в режиме реального времени.
4 Эксперименты
С целью экспериментального определения ожидаемых характеристик, метод был реализован в виде алгоритма поиска образца на изображении.
В качестве тестового изображения были выбраны (рис.3):
1 .Изображение самолета
2.Изображение половины самолета
3.Изображение самолета, зашумленное шумом типа соль
4.Сильно зашумленная область
5.Структурированная помеха, содержащая элементы объекта
6.Объекты из пп.1-5, уменьшенные на 90% и 80%.
Исходный алгоритм без нормирования пространства признаков дал следующие результаты (рис.4).
При отсутствии искажений алгоритм позволяет выделить объект.
При искажении размеров в 90% теряется объект-половинка(2) - его отклик (61%) становится меньше отклика шума (66%).
При искажении размеров в 80% теряются все объекты.
Также видно, что структурная помеха является менее опасной, чем сильное зашумление.
Результаты применения алгоритма с нормированием приведены на рисунке 5.
Видно, что отклик шума существенно уменьшился (в три раза), тогда как отклики самих объектов изменились незначительно: отклики исходного объекта (1) и объекта-половинки(2) выросли, а отклики зашумленного объекта незначительно уменьшились. Теперь все типы объектов имеют отклики выше уровня шума при изменении размеров до 80%.
Сравнительные результаты работы двух алгоритмов представлены в таблице 1.
Рис. 3. Объекты, используемые для эксперимента
Рис. 4. Отклики в пространстве параметров алгоритма без нормализации
Рис. 5. Отклики в пространстве параметров предложенного алгоритма, использующего
нормализацию
Таблица 1. Изменение распределения откликов при использовании нормализации
пространства параметров
Масштаб Самолет Половинка Зашумленный Шум Помеха
было стало было стало было стало было стало было стало
100% 100 100 72 80 106 56 66 26 44 35
90% 82 86 61 71 86 51 56 23 40 29
80% 51 68 44 62 50 35 36 17 30 25
Таким образом, предложенный алгоритм нормирования позволяет повысить надежность детектирования объектов с учетом возможного наличия неучтенных геометрических искажений.
Общее время вычислений алгоритма с нормализацией увеличивается примерно на 12%, в то время как использование нормировки позволяет устранить порядка 30% ложных срабатываний. Дополнительные вычисления представляются приемлемой ценой за повышение надежности распознавания.
Как и ожидалось, применение нормировки позволяет эффективно подавлять отклики сильно зашумленных областей с большим количеством хаотически расположенных точек границ (в
которых можно «разглядеть буквально все»), поскольку коэффициент ^^ Sk растет для них
гораздо быстрее Н.
В свою очередь, области с небольшим количеством точек не получают большого нормирующего множителя и тоже будут эффективно отсеяны.
Отклики объектов с полным составом вектора, но искаженные геометрически, за счет небольшой смены масштаба и ракурса, успешно восстанавливаются описанным алгоритмом коррекции.
Заключение
Таким образом, предложен достаточно производительный и надежный метод нормировки, позволяющий повысить качество обнаружения объектов на изображении с использованием GHT, и органически сочетающийся с алгоритмом коррекции неучтенных геометрических искажений.
Список литературы
1. Brown L. A Survey of Image Registration Techniques // ACM Computing Surveys. 1992. Vol. 24, no. 4. P. 325-376. DOI: 10.1145/146370.146374
2. Davies E.R. Computer and Machine Vision. Theory, Algorithms, Practicalities. 4th ed. Academic Press, 2012. 871 p.
3. Karabernou S.M., Terranti F. Real-time FPGA implementation of Hough transform using gradient and CORDIC algorithm // Image Vision Comput. 2005. Vol. 23, no. 11. P. 1009-1017.
4. Basak J., Das A. Hough transform network: A class of networks for identifying parametric structures // Neurocomputing. 2003. Vol. 51. P. 125-145.
5. Bastian Leibe, Ales Leonardis, Bernt Schiele. Combined object categorization and segmentation with an implicit shape model // In: ECCV Workshop on Statistical Learning in Computer Vision, 2004. P. 17-32.
6. Vijay Kumar B.G., Ioannis Patras. A Discriminative Voting Scheme for Object Detection using Hough Forests // In: Proc. British Machine Vision Conference (BMVC), 2010.
7. Chao Gao, Xiaobo Deng, Changhai Shi. Detection of Dim Maneuvering Target Ased on Randomized Hough Transform // In: International Workshop on Information and Electronics Engineering (IWIEE), 2012. P. 808-813.
8. Angela Yao, Juergen Gall, Luc Van Gool. A Hough Transform-Based Voting Framework for Action Recognition // IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2010. P. 2061-2068. DOI: 10.1109/CVPR.2010.5539883
9. Gall J., Lempitsky V. Class-specific Hough forests for object detection // IEEE Conference on Computer Vision and Pattern Recognition (CVPR'09), 2009. P. 1022-1029. DOI: 10.1109/CVPR.2009.5206740
10. Payet N., Todorovic S. Hough Forest Random Field for Object Recognition and Segmentation // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2013. Vol. 35, iss. 5. P. 1066-1079. DOI: 10.1109/TPAMI.2012.194
11. Leavers V.F. Which Hough transform? // Computer Vision Graphics and Image Understanding: Image Processing. 1993. Vol. 58, no. 2. P. 50-64. DOI: 10.1006/ciun.1993.1041
12. Siyu Guo, Tony Pridmore, Yaguang Kong, Xufang Zhang. An improved Hough transform voting scheme utilizing surround suppression // Pattern Recognition Letters. 2009. Vol. 30. P. 1241-1252.
13. Grigorescu C., Petkov N., Westenberg M.A. Contour and boundary detection improved by surround suppression of texture edges // Image Vision Comput. 2004. Vol. 22, no. 8. P. 609-622.
14. Бобков А.В. Поиск объекта на изображении путем сравнения контуров // Труды восьмого международного симпозиума «Интеллектуальные системы» (INTELS'2008) (Нижний Новгород, 30 июня - 4 июля 2008). НГТУ, 2008. С. 254.
SCIENTIFIC PERIODICAL OF THE BAIJMAN MS TU
SCIENCE and EDUCATION
EL № FS77 - 48211. №0421200025. ISSN 1994-0408
electronic scientific and technical journal
Parameter space normalization in General Hough transform # 02, February 2014 DOI: 10.7463/0214.0697554 A. V. Bobkov
Bauman Moscow State Technical University, 105005, Moscow, Russian Federation
bobkovffiiul .bmstu.ru
The paper considers an issue of object registration in the image through the generalized Hough transform with uncompensated geometric distortions being available. It proposes the method of geometric distortion correction and the method of parameter space normalization. The paper shows that the proposed algorithms require a relatively small amount of computations, but significantly improve the reliability of object detection. The paper may be of interest to professionals working in the field of pattern recognition as well as to graduate and undergraduate students attending lectures on the pattern recognition.
Publications with keywords: object registration, generalised Hough transform Publications with words: object registration, generalised Hough transform
References
1. Brown L. A Survey of Image Registration Techniques. ACM Computing Surveys, 1992, vol. 24, no. 4, pp. 325-376. DOI: 10.1145/146370.146374
2. Davies E.R. Computer and Machine Vision. Theory, Algorithms, Practicalities. 4th ed. Academic Press, 2012. 871 p.
3. Karabernou S.M., Terranti F. Real-time FPGA implementation of Hough transform using gradient and CORDIC algorithm. Image Vision Comput, 2005, vol. 23, no. 11, pp. 1009-1017.
4. Basak J., Das A. Hough transform network: A class of networks for identifying parametric structures. Neurocomputing, 2003, vol. 51, pp. 125-145.
5. Bastian Leibe, Ales Leonardis, Bernt Schiele. Combined object categorization and segmentation with an implicit shape model. In: ECCV Workshop on Statistical Learning in Computer Vision, 2004, pp. 17-32.
6. Vijay Kumar B.G., Ioannis Patras. A Discriminative Voting Scheme for Object Detection using Hough Forests. In: Proc. British Machine Vision Conference (BMVC), 2010.
7. Chao Gao, Xiaobo Deng, Changhai Shi. Detection of Dim Maneuvering Target Ased on Randomized Hough Transform. In: International Workshop on Information and Electronics Engineering (IWIEE), 2012, pp. 808-813.
8. Angela Yao, Juergen Gall, Luc Van Gool. A Hough Transform-Based Voting Framework for Action Recognition. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2010, pp. 2061-2068. DOI: 10.1109/CVPR.2010.5539883
9. Gall J., Lempitsky V. Class-specific Hough forests for object detection. IEEE Conference on Computer Vision and Pattern Recognition (CVPR'09), 2009, pp. 1022-1029. DOI: 10.1109/CVPR.2009.5206740
10. Payet N., Todorovic S. Hough Forest Random Field for Object Recognition and Segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, vol. 35, iss. 5, pp. 1066-1079. DOI: 10.1109/TPAMI.2012.194
11. Leavers V.F. Which Hough transform? Computer Vision Graphics and Image Understanding: Image Processing, 1993, vol. 58, no. 2, pp. 50-64. DOI: 10.1006/ciun.1993.1041
12. Siyu Guo, Tony Pridmore, Yaguang Kong, Xufang Zhang. An improved Hough transform voting scheme utilizing surround suppression. Pattern Recognition Letters, 2009, vol. 30, pp. 1241-1252.
13. Grigorescu C., Petkov N., Westenberg M.A. Contour and boundary detection improved by surround suppression of texture edges. Image Vision Comput., 2004, vol. 22, no. 8, pp. 609-622.
14. Bobkov A.V. [Search object in the image by comparing the contours]. Trudy vos'mogo mezhdunarodnogo simpoziuma "Intellektual'nye sistemy"(INTELS'2008) [Proc. of the Eighth International Symposium "Intelligent Systems" (INTELS'2008)]. Nizhniy Novgorod, 30 June - 4 July 2008. NSTU Publ., 2008, pp. 254.
