CC BY
98
Фрактальный метод обнаружения групповых объектов транспортной инфракструктуры на изображениях
Марков Е. П. ООО «Аметист» Санкт-Петербург, Россия e_markov@mail.ru
Аннотация. Задача распознавания объектов на цифровых изображениях становится все более актуальной в связи с развитием интеллектуальных роботизированных систем. Первоначальным этапом любых методик распознавания является предварительная селекция объектов. Предлагается метод селекции объектов, обладающий высокой точностью и низкой вычислительной сложностью.
Ключевые слова: летательный аппарат, антропогенный объект, распознавание, фрактальный метод.
Введение
В настоящее время в рамках повышения безопасности движения железнодорожного транспорта планируется применять беспилотные летательные аппараты, с помощью которых можно в режиме реального времени получать изображения транспортной инфраструктуры. Особый интерес при этом представляет автоматическое определение расположения и оценка состояния подвижного состава железнодорожного транспорта. Решение поставленной задачи включает в себя несколько этапов.
Первый этап состоит в обнаружении объектов искусственного происхождения, в частности подвижного состава железнодорожного транспорта. Под обнаружением объектов понимается принятие решения о наличии или отсутствии объектов в анализируемом изображении [1]. Так как в поле зрения съемной камеры беспилотного летательного аппарата, как правило, попадает не один элемент подвижного состава (вагон), а несколько, то речь должна идти об автоматизации обнаружения групповых антропогенных объектов транспортной инфраструктуры. Также выделяются обнаруженные объекты: обозначаются, подсвечиваются, маркируются участки снимка, на котором алгоритм «подозревает» наличие искусственных объектов.
На втором этапе распознавания проводится селекция объекта: точно определяется местоположение, линейные размеры, ориентация и геометрический центр объекта в системе координат снимка.
Третий этап включает распознавание, т. е. поиск и анализ признаков объектов для решения конкретной задачи. В частности, в некоторых случаях при помощи простейших методов можно распознать объект до класса, анализируя линейные размеры его изображения.
Методы распознавания объектов на изображениях, полученных с помощью оптико-электронных систем, развиваются с 1970-х годов - с того времени, когда появились первые
Андрусенко А. С., Шабаков Е. И.
ФГКВОУ ВО «Военно-космическая академия им. А. Ф. Можайского», МО РФ
Санкт-Петербург, Россия artyom.andrusenko@gmail.com
цифровые изображения, пригодные для анализа с помощью компьютеров [2, 3]. Последние 10 лет задачи распознавания находят все новые прикладные области применения. Широко известны и применяются автоматические системы распознавания автомобильных номеров [4], идентификация человека по изображению лица [5], автоматический анализ сцен в целях безопасности, системы технического зрения в робототехнике [6] и т. д.
Цель настоящей статьи - разработать и исследовать алгоритм автоматического обнаружения групповых антропогенных объектов транспортной инфраструктуры по аэрокосмическим снимкам на основе фрактальных преобразований.
Любое изображение земной поверхности содержит два класса объектов: естественные (природные) и искусственные (антропогенные). Для моделирования природных объектов используется фрактальная геометрия, которая была введена Б. Мандельбротом в классических работах в 1977-1982 гг. [7, 8].
Согласно пояснениям Мандельброта, термин «фрактал» происходит от латинского йгас^ - изломанный, дроблёный [9]. Фракталом называется математическое множество, обладающее свойством самоподобия (объект, в точности или приближенно совпадающий с частью себя самого, т. е. имеет ту же форму, что и одна или более частей), для которого существует метрика Хаусдорфа Безиковича и она строго больше евклидовой метрики. Если взять евклидову плоскость, то она будет «гладкой» в любом направлении, а движущаяся точка может менять координаты X и Y, но никогда не приподнимется над плоскостью и не опустится ниже (координата Z постоянна). В этом случае метрика Хаусдорфа строго равна евклидовой. Если же поверхность фрактальна, то плоскость становится изломанной, и движущаяся точка, во-первых, пройдет больший путь, во-вторых, будет немного менять свою координату Z с точки зрения наблюдателя, находящегося вне такой плоскости. При этом движущаяся точка остается на плоскости. Для такой фрактальной плоскости метрика Хаусдорфа строго больше евклидовой. Чем больше метрика Хаусдорфа, тем более изломана поверхность.
Фундаментальными характеристиками фракталов, позволяющими моделировать природные объекты, являются:
1) зависимость их метрических свойств (длина, ширина, площадь) от масштаба измерения, которая выражается параметром, называемым фрактальной размерностью Б (коэффициентом, описывающим фрактальные структуры или множества на основе количественной оценки их сложности);
2) самоподобие - способность увеличенного фрагмента объекта выглядеть идентично исходному объекту.
В математике существует целый класс множеств, которые называются фрактальными. Они обладают самоподобием в строгом смысле. В качестве примера можно привести фракталы Мандельброта, Жулиа.
В основе практических приложений фрактальной геометрии лежит вычисление фрактальной размерности D исследуемых объектов. Получение численного значения D позволяет сделать вывод о принадлежности объекта к классу природных или, наоборот, смоделировать объект с заранее заданной степенью «природности» по заданному значению D0.
Для реальных объектов и их изображений строгое математическое вычисление фрактальной размерности неприменимо. Вместо этого используются различные оценочные методы. Применительно к фрактальному анализу изображений, полученных с беспилотных летательных аппаратов, подходят методы, вычисляющие D поверхности, формируемой значениями яркости цифрового оптико-электронного изображения. Для этого используют скользящие окна разных размеров, зависящих от целевого назначения, и применяют фрактальные методы (призм, подсчета кубов, броуновской модели и другие) [10].
Метод призм разработал Кларк в 1986 г. для вычисления D топографических поверхностей. По цифровому изображению перемещается скользящее окно «window size». Определяются значения яркости для угловых и центральных пикселов. Затем вычисляются площади четырех пространственных треугольников, сформированных соответствующими отсчетами яркости. Каждый такой треугольник является верхней поверхностью призмы, построенной от основания (яркость 0) до соответствующих значений яркости (рис. 1).
Очевидно, что суммарная площадь всех четырех пространственных треугольников, формирующих фрактальную поверхность, будет больше либо равна евклидовой площади скользящего окна. Фрактальная размерность вычисляется как отношение логарифмов площадей фрактальной и евклидовой поверхностей в окне:
D =
log(S )
(1)
Для корректного вычисления Б методом призм требуется правильный выбор размера окна. При слишком малом размере окна результат будет выглядеть слишком гладким,
маленькое окно будет скользить по «склонам» волн яркости, выдавая минимальные значения D. При слишком большом размере окна пропускаются перепады яркости и результат, вообще говоря, становится случайным. Правильный размер окна должен соответствовать размеру элемента самоподобия изображения. Это, например, размер транспортного средства, расстояние между волнами на морской поверхности, средний размер склона горного массива, средний размер «завитка» облака и т. д.
Точное суммирование поверхностей всех элементарных призм в окне дает более точные результаты и позволяет уменьшить влияние размера окна на релевантность метода [10].
Основой для клеточного метода (box-counting) является приближенная формула для вычисления фрактальной размерности [11]:
logN (е) = log c - D log e,
(2)
где e - размер скользящего окна; N(e) - количество окон, перекрывающих изображение; с - константа.
Геометрически фрактальная размерность D представляет собой угол наклона графика зависимости logN(e) от loge.
Для вычисления D необходимо произвести несколько измерений с разными размерами окна е. При использовании двух размеров окон получаем систему линейных уравнений, из которой можно получить значение D:
LogN (е1 ) = log c - D log e1; LogN (e2) = log c - D log e2.
(3)
При большем выборе размеров окон точность вычисления повышается. При этом целесообразно применить метод наименьших квадратов.
Для выделения областей изображения, в которых могут находиться цели, применяются методы фрактальной обработки. Результатом их работы является бинарное изображение с выделенными участками, на которых расположены антропогенные объекты (рис. 2).
Фрактальные методы рассчитывают для каждой точки изображения значение фрактальной размерности - базового параметра фрактальной геометрии. Установив пороговое значение фрактальной размерности, можно определить, относится ли данная точка изображения к природному или к антропогенному объекту. Исследования, проведенные
Рис. 1. Треугольная призма (а) и регрессирующий участок D (б)
Рис. 2. Выделение типов объектов методом фрактальной селекции
Фрактальная размерность есть вещественное число и применительно к «прямой» лежит в диапазоне 1 < Б < 2, к «плоскости» - в диапазоне 2 < Б < 3.
Объект обладает самоподобием, если любой его произвольный фрагмент, будучи увеличен до размеров исходного объекта, становится подобен (в строгом смысле - идентичен) этому объекту [13]. Например, если взять ветку цветной капусты и последовательно отделять от нее все более мелкие побеги, то при одинаковом увеличении г-го элемента в поле кадра все итерации будут малоразличимы между собой (подобны).
Вслед за вычислением фрактальной размерности Б для решения задачи фрактальной селекции целей необходимо на фрактальном бинарном изображении обнаружить все области, где предполагается наличие цели. Как видно из рис. 2, области расположения природных объектов на фрактальном бинарном изображении обладают нулевой яркостью, а области расположения антропогенных объектов - максимальной яркостью.
Фрактальное бинарное изображение объекта представляет собой скопление точек с максимальной яркостью, размер и форма которого соответствует эталонному изображению объекта в заданном масштабе снимка. При этом общее количество ярких точек бинарного изображения объекта С1 стабильно и может быть получено экспериментальным путем из эталонного изображения объекта.
в [12], определяют порог фрактальной размерности для снимков, полученных с беспилотных летательных аппаратов и космических оптико-электронных снимков, в диапазоне 2,5-2,7.
Результат фрактальной бинаризации цифрового изображения, полученного с низковысотного малого беспилотного летательного аппарата, представлен на рис. 2.
Для фрактала метрические свойства (длина, ширина, площадь) пропорциональны масштабу. При этом, например, для длины Ь будет выполняться равенство [13]
Ь(5) = к 5(1-Б), (4)
где 5 - масштаб; Б - фрактальная размерность; к - коэффициент пропорциональности.
Это означает, что при последовательном увеличении изображения линейные размеры фрактала также увеличиваются за счет появления новых, ранее не видных, мелких деталей. Классический пример - береговая линия, которая при приближении открывает все новые изгибы, приводящие к увеличению ее известной общей протяженности [14].
Фрактальная размерность Б характеризует степень фрак-тальности связей элементов множества и определяется [13]
Б = Е +1 - И, (5)
где Е - число независимых измерений; Н - параметр самоподобия (0 < Н < 1).
1Ше11ееШа1 Теекпо^1е$ оп ТгатроМ. 2016. N0 4
Для обнаружения всех участков снимка, на которых может заходиться изображение объекта, необходимо сканировать снимок при помощи скользящего окна, размер которого соответствует размеру объекта. На каждом шаге сканирования требуется подсчитывать яркие пикселы фрактального бинарного изображения в окне и при совпадении вычисленного С( с эталонным отмечать данное положение окна как область возможного расположения объекта для последующего анализа.
Подвижной состав железнодорожного транспорта обладает известными размерами, которые позволяют определить длину стороны скользящего окна при поиске объекта на цифровом изображении. Как правило, фотограмметрические параметры изображения известны, поэтому приведение линейных размеров объекта к предполагаемому изображению объекта на снимке не вызывают трудностей [9].
Так как предлагаемый метод сегментации объектов работает с бинарными изображениями, его вычислительная сложность незначительна.
Анализ процесса перемещения скользящего окна, размер которого соответствует размеру объекта, по фрактальному бинарному изображению показывает, что по мере наполза-ния скользящего окна на изображение объекта вычисленное С будет увеличиваться и достигнет максимума, когда объект полностью попадет в окно (см. график 4 на рис. 3). При дальнейшем движении окна С1 оно начнет уменьшаться.
Для дальнейших расчетов целесообразно ввести понятие фрактальной плотности БЫ. в апертуре [Ь( х Ь(]:
(Ь,Ь, >\
Ш1г =
X В(г, у)
ЛУ=о
/ С
(6)
где В(Л, у) е [0,1] - яркость фрактального бинарного изображения в точке [Л,у]; Ь 1 - наибольший размер объекта в пикселах; С - число пикселов в эталонном фрактальном бинарном изображении объектов.
При значении фрактальной плотности для заданной цели БЫ> 1 в точке бинарного изображения Л, у фиксируется центр области изображения [Ь( х Ь(], в котором может находиться объект.
Максимальный критерий поиска объекта:
Стах = Ш/г > 1. (7)
Критерий Отх учитывает наличие в окне фрактального бинарного шума и фрагментов других антропогенных объектов. Отметим, что критерий 0т!х является слишком строгим для практического применения. В самом деле, существует
множество факторов, которые могут привести к уменьшению числа пикселов реального фрактального бинарного изображения объекта относительно эталонного. Это может привести к пропуску объекта. Поэтому возможно применение более мягких критериев, например:
Оо9 = БЫ. > 0,9.
(8)
Выбор критерия поиска объекта требует дальнейшего экспериментального изучения.
Очевидно, что при любом критерии обнаружения объекта всегда возможна ситуация, когда на изображении будет присутствовать антропогенный объект, С. которого больше, чем С- объекта транспортной инфраструктуры, что приведет к ошибке типа «ложное обнаружение».
Так как на первом этапе определяются только области возможного нахождения групповых объектов транспортной инфраструктуры, когда стоит задача минимизировать вероятность пропуска объекта, увеличение вероятности ложного обнаружения допустить можно.
В общем случае объект на снимке имеет произвольную ориентацию. Скользящее окно, размер которого точно соответствует размеру объекта, будет давать ошибки типа «пропуск объекта» из-за того, что произвольно ориентированный объект никогда не попадет полностью в окно. Это проблема решается за счет увеличения размера скользящего окна до максимальной длины объекта Ь. В пределах окна [Ь( х Ь(] объект может располагаться произвольным образом - всегда найдется несколько положений окна, в которых объект полностью попадает в него.
Такое решение существенно уменьшает вычислительную сложность метода, так как отпадает необходимость в сложной процедуре подбора ориентации объекта с использованием аффинных преобразований [9] на каждом шаге скользящего окна. В результате алгоритм становится однопроходным.
Эксперимент с аэроснимками, на которых находятся групповые объекты (см. рис. 2), показал применимость фрактального метода для автоматической селекции групповых антропогенных объектов транспортной инфраструктуры и оценки выявления масштаба, порогового значения.
Заключение
Разработан и исследован алгоритм автоматической селекции групповых антропогенных объектов транспортной инфраструктуры.
Алгоритм основан на фрактальных преобразованиях, в основу которых положен метод призм. Предложенный ал-
Рис. 3. Графики фрактальной селекции
горитм чувствителен к масштабу исходного изображения и пороговому значению. Для его реализации необходимо знать линейные размеры выделяемых объектов, что выполняется для объектов транспортной инфраструктуры.
Исследования показали, что размер скользящего окна надо выбирать компромиссно, применительно к конкретным условиям съемки и конкретным параметрам съемочной аппаратуры беспилотного летательного аппарата, с учетом вероятности пропуска объекта и вероятности ложного обнаружения.
Метод фрактальной селекции применим к любым типам цифровых изображений и демонстрирует надежные результаты в обнаружении групповых антропогенных объектов транспортной инфраструктуры. Доля ошибок типа «пропуск объекта» составляет не более 8,5 % в зависимости от ландшафта и условий наблюдения.
Метод обладает низкой вычислительной сложностью, что позволяет реализовать автоматический поиск объектов в режиме поступления данных.
Литература
1. Марков Е. П. Фрактальная модель космических оптико-электронных изображений / Е. П. Марков // Исследования Земли из космоса. - 1996. - № 1. - С. 56-61.
2. Duda R. O. Pattern Classification and Scene Analysis / R. O. Duda, P. E. Hart, D. G. Stork. - NY: John Wiley and Sons, 1973.
3. Потапов А. А. Фракталы в радиофизике и радиолокации: Топология выборки / А. А. Потапов. - 2-е изд., перераб. и доп. - М.: Университет. книга, 2005.
4. Markus F. Automatic number plate recognition for the observance of travel behavior / F. Markus, J. Prokop, Sch. Johannes. - 8th Int. Conf. Survey Meth. Transp.: Harmonisation
and Data Comparability, May 2008, Annecy, France. - Annecy, 2008.
5. Brunelli R. Face Recognition: Features versus Templates / R. Brunelli, T. Poggio // IEEE Trans. on PAMI. - 1993. -№ 15 (10). - P. 1042-1052.
6. Horn B. Robot vision / B. Horn. - Cambridge, Mass.: MIT Press, 1986. - 509 p.
7. Mandelbrot В. B. The Fractals Geometry of Nature / В. B. Mandelbrot. - San Francisco: W. H. Freeman, 1982. -625 p.
8. Pentland А. Р. Fractal-based description of natural scenes / А. Р. Pentland // IEEE Trans. Pattern Anal. Mach. Intell. -1984. - Vol. PAMI-6 (6). - P. 661-674.
9. Mandelbrot В. В. Fractals: Form, Chance and Dimension / В. В. Mandelbrot. - San Francisco: Freeman, 1977. -470 p.
10. Sun W. Fractal analysis of remotely sensed images: A review of methods and applications / W. Sun, G. Xu, P. Gong, S. Liang // Int. J. Remote Sens. - 2006. - Vol. 27, no 22, 20 November. - P. 4963-4990.
11. Кроновер P. M. Фракталы и хаос в динамических системах. Основы теории / P. M. Кроновер. - М., 2000. -352 c.
12. Markov E. Fractal methods for extracting artificial objects from the unmanned aerial vehicle images / E. Markov // J. Appl. Remote Sens. - 2016. - № 10 (2). DOI 10.1117/1. JRS.10.025020.
13. Privitera С. Algorithm for defining visual regions-of-inter-est: Comparison with eye fixations / С. Privitera, L. Stark // IEEE Trans. Pattern Anal. Mach. Intell. - 2000. - Vol. 22, no. 9. -P. 970-982. DOI 10.1109/34.877520.
14. Jain A. K. Statistical pattern recognition: a review / A. K. Jain, R. P. W. Duin, J. Mao // IEEE Trans. Pattern Anal. Mach. Intell. - 2002. - Vol. 22 (1). - P. 4-37. DOI 10.1109/ 34.824819.
Fractal Method for Detecting a Group of Objects of Transport Infrastructure on the Images
Markov E. P. Andrusenko A. S., Shabakov E. I.
OOO «Аметист» Mozhaisky Military Space Academy St.Petersburg, Russia St. Petersburg, Russia e_markov@mail.ru artyom.andrusenko@gmail.com
Abstract. The task of objects recognition on digital images is becoming increasingly urgent in connection with the development of intelligent robotic system. The initial stage of any methods of recognition is a pre-selection of targets. A method of objects selection which has high accuracy and low computational complexity.
Keywords: aircraft, anthropogenic object, recognition, the fractal method.
References
1. Markov E. P. Fractal Model Space Optoelectronic Image [Fraktalnaya model kosmicheskikh optiko-elektronnykh izo-brazheniy], Studies of Earth from Space [Issledovanie Zemli iz kosmosa], 1996, no. 1, pp. 56-61.
2. Duda R. O., Hart P. E., Stork D. G. Pattern Classification and Scene Analysis, NY, John Wiley and Sons, 1973.
3. Potapov A. A. Fraktaly v radiofizike I radiolokatsii: To-pologiya vyborki [Fractals in Radiophysics and Radar], Moscow, Universitetskaya kniga, 2005.
4. Markus F., Prokop J., Johannes Sch. Automatic number plate recognition for the observance of travel behavior. 8th Int. Conf. Survey Meth. Transp.: Harmonisation and Data Comparability, May 2008, Annecy, France. Annecy, 2008.
5. Brunelli R., Poggio T. Face Recognition: Features versus Templates, IEEE Trans. on PAMI, 1993, no. 15 (10), pp. 10421052.
6. Horn B. Robot vision. MIT Press, Cambridge, Mass. 1986, 509 p.
7. Mandelbrot B. B. The Fractals Geometry of Nature. San Francisco: W. H. Freeman, 1982. 625 p.
8. Pentland A. P. Fractal-based description of natural scenes, IEEE Trans. Pattern Anal. Mach. Intell., 1984, Vol. PAMI-6 (6), pp. 661-674.
9. Mandelbrot B. B. Fractals: Form, Chance and Dimension. San Francisco: Freeman, 1977. 470 p.
10. Sun W., Xu G., Gong P., Liang S. Fractal analysis of remotely sensed images: A review of methods and applications, Int. J. Remote Sens., 2006, Vol. 27, no 22, 20 November, pp. 49634990.
11. Kronover R. M. Fraktaly I khaos v dinamicheskikh siste-makh. Ocnovy teorii [Fractals and Chaos in Dynamic Systems. Basic Theory]. Moscow, 2000. P. 352.
12. Markov E. Fractal methods for extracting artificial objects from the unmanned aerial vehicle images, J. Appl. Remote Sens., 2016, no 10 (2). doi:10.1117/1.JRS.10.025020.
13. Privitera C., Stark L. Algorithm for defining visual re-gions-of-interest: Comparison with eye fixations, IEEE Trans. Pattern Anal. Mach. Intell., 2000, Vol. 22, no. 9, pp. 970-982. doi: 10.1109/34.877520.
14. Jain A. K., Duin R. P. W., Mao J. Statistical pattern recognition: a review, IEEE Trans. Pattern Anal. Mach. Intell., 2002, no. 22 (1), pp. 4-37. doi:10.1109/34.824819.
