CC BY
42
Модель оценивания вычислительной сложности интеллектуального распознавания объектов на изображениях на борту беспилотных летательных аппаратов
Е.Л. Яковлев
Военно-космическая академия имени А.Ф.Можайского Санкт-Петербург, Россия evgen-1932@yandex.ru
Аннотация. Предложена модель системы автоматического распознавания объектов, основанная на использовании базы знаний. База знаний состоит из набора заранее подготовленных модулей. Каждый модуль характеризуется определённым классом объектов, условиями применения, вычислительной сложностью. Критерием выбора модуля является пространственное пиксельное разрешение. На основе предложенной модели проведен сравнительный расчет вычислительной сложности алгоритмов распознавания изображений.
Ключевые слова: система автоматического распознавания объектов на изображениях, вычислительная сложность, беспилотный летательный аппарат.
Введение
Отличительной особенностью развития авиационной техники конца XX - начала XXI века является быстрое развитие и широкое использование различных беспилотных летательных аппаратов (БЛА). Причинами такого успеха является возможность применения БЛА в условиях, когда использование пилотируемых летательных аппаратов невозможно либо экономически нецелесообразно. БЛА активно применяются вооруженными силами многих государств для решения таких задач, как обнаружение, идентификация и поражение наземных стационарных и подвижных объектов, морских и воздушных целей; подавление средств противовоздушной обороны; радиоэлектронная борьба для вывода из строя средств связи и управления противника; вспомогательные задачи по обеспечению войск: ретрансляция радиосигналов, доставка грузов, метеорологическое обеспечение и др.
Сфера применения БЛА постоянно расширяется в различных сферах: мониторинг подстилающей поверхности, атмосферы, объектов инфраструктуры и других объектов; ретрансляция радиосигналов; доставка и сброс грузов службы ликвидации чрезвычайных ситуаций; сельское хозяйство, геологоразведка и др.
Перспективным представляется использование БЛА с целью обследования объектов железнодорожной инфраструктуры для обеспечения безопасности. Для широкого использования подобных комплексов необходимо, чтобы БЛА обладали высокой степенью автономности и оперативности - могли в автоматическом режиме распознавать опасные объекты с помощью бортовой информационной
системы (БИС) и передавать об этом информацию на ближайший поезд, станцию, так как постоянное поддержание информационного канала с пунктом управления не всегда возможно. Этому могут препятствовать как естественные преграды - горная местность, так и целенаправленное радиоэлектронное воздействие на информационные каналы управления, телеметрии, передачи данных и приёма сигналов глобальных навигационных систем БЛА. Кроме этого, анализ на земле данных, получаемых с оптико-электронных датчиков, требует создания инфраструктуры по обработке этих данных - операторов или автоматических систем. Реализация автоматического распознавания объектов на изображениях от оптико-электронных датчиков в БИС позволит создавать БЛА, способные решать задачу по мониторингу объектов ж.-д. транспорта в автоматическом режиме.
При построении интеллектуальных БИС БЛА, способных решать задачи обнаружения и распознавания объектов по данным систем технического зрения, необходимо учитывать преимущества и недостатки применения различных датчиков, создавать системы, обрабатывающие потоки информации от нескольких датчиков в режиме реального времени. В [1] приводится обзор датчиков различной физической природы: оптические, ИК, акустические, радиолокационные, лазерные и др.
В настоящее время существует ряд систем автоматического распознавания объектов на изображениях, получаемых с датчиков различной физической природы, в основном они применяются в гражданских сферах деятельности общества:
- системы распознавания регистрационных номеров автомобилей в потоке;
- системы опознавания людей по изображению лица;
- системы распознавания по отпечаткам пальцев и сетчатке глаз и др.
За последние годы в данном направлении появилось несколько подходов по автоматическому распознаванию объектов на изображениях: в [2] предлагается идея на основе вейвлет-методов, в [3] рассматривается алгоритм Виолы-Джонса с модификациями, в [4] использовались совместно технологии BOW (bag of words), SVM и SIFT. Однако анализ вычислительной сложности этих моделей
1п1е11есШа1 Technologies оп ТгатроН. 2018. № 3
приводит к необходимости разработки новой модели автоматического распознавания объектов в БИС БЛА.
Для решения задачи автоматического распознавания заданных объектов и их параметров предлагаем модель процесса распознавания объектов с учетом аппаратных и временных ограничений, которая позволяет оценить аппаратные и временные ресурсы, необходимые для решения задачи автономного распознавания объектов, определения их параметров в процессе функционирования в режиме реального времени.
Постановка задачи
Решению проблемы распознавания изображений посвящено большое число работ, однако до сих пор она не решена полностью. Это связано с большой информационной емкостью и априорной неопределенностью, присущей изображениям, а также с большой изменчивостью изображений за счет изменение ракурса или освещения, что приводит к изменению значений одновременно во всех элементах изображения. В общем случае задачу распознавания объектов на изображениях можно представить как классификацию по нескольким заранее определенным категориям или классам.
Одним из центральных компонентов методов распознавания принято считать используемое представление изображений [5]. Одним из наиболее перспективных является представление, основанное на знаниях, это не только выходное представление системы распознавания изображений, но и используемое в самом процессе распознавания [6].
Для описания модели функционирования системы автоматического распознавания объектов предлагается использование базы знаний, состоящей из заранее подготовленных модулей для обработки входного потока изображений. Каждый такой модуль характеризуется классом распознаваемых объектов, вычислительной сложностью, объемом занимаемой памяти и критериями применимости. В качестве основного критерия рассматривается диапазон пространственного пиксельного разрешения на местности.
Необходимо разработать модель, способную определить зависимость ресурсоемкости автоматического распознавания от используемых методов и алгоритмов, характеристик оптико-электронных датчиков и требований по качеству распознания.
МОДЕЛЬ АВТОНОМНОГО РАСПОЗНАВАНИЯ ОБЪЕКТОВ НА ИЗОБРАЖЕНИЯХ
Математическая модель распознавания, представленная ниже, связывает значение потребляемых ресурсов (количество операций и памяти) с используемой конфигурацией модулей распознавания, потоком входных изображений при ограничениях по точности распознавания:
Я = Я(ТМ,С,Т,Б);
Б:1М ^ У;Р > РД ,Р1 < РД ,Р2 < Р/ ,
->д .
где Т - множество моментов времени /;
1М - поток изображений с оптико-электронного модуля;
Б - множество отдельных модулей распознавания, образующих базу знаний;
С - используемая конфигурация модулей распознавания;
Я - ресурсоемкость;
Р - вероятность успешного распознавания;
Р, Р2 - вероятность ошибок первого и второго рода;
Яд - ресурсоемкость по числу операций процессора;
Ям - ресурсоемкость по объему памяти;
ЯдД и КдД - допустимые производительность процессора и емкость памяти бортовой вычислительной системы.
В общем случае процесс автономного распознавания можно описать следующим образом (рис. 1).
1. Бортовой оптико-электронный модуль (ОЭМ) формирует изображение, которое затем проходит специальную предварительную подготовку, представляющую собой применение операций усреднения и выравнивания гистограмм, различного типа фильтров для исключения помех, возникающих в результате аппаратной дискретизации и квантования, а также подавления внешних шумов. Для упрощения будем считать, что предварительная обработка осуществляется на этапе формирования изображения в самом ОЭМ. Кроме этого, считаем, что ОЭМ при съемке ориентирован строго перпендикулярно к поверхности земли.
2. Полученное изображение передается в БИС. По характеристикам матрицы, фокусному расстоянию и высоте съемки вычисляется пространственное пиксельное разрешение изображения на местности:
Я = н
I
(1)
где d - размер пикселя, / - фокусное расстояние, И( -высота съемки.
3. Согласно рассчитанному значению Я, подсистема принятия решений в базе знаний в соответствии с программой полета выбирает модули распознавания, реализующие в скользящем окне на изображении 1М( отображение Бг : Хг ^ Уг. В процессе распознавания для достижения максимальной вероятности распознавания объектов (близко расположенных друг к другу - группы объектов) можно использовать различную степень перекрытия Кск скользящим окном обрабатываемого изображения.
4. При распознавании объектов из заранее определенных классов = Уг} формируется запись в базу данных в формате Ук = <У, и, V, Р, Р1, Р2>.
Я =< Я, Я, >;Я < ЯД,Я, < Я
Д
' м
1п1е11есШа1 Technologies оп ТгатроН. 2018. № 3
Рис. 1. Процесс автономного распознавания объектов на изображениях в БИС БЛА
Здесь У - класс объекта; и, V - его координаты; I -
момент времени (время съемки); Р, Р1, Р2 - вероятность
распознавания, ошибки первого и второго рода.
5. Процесс является непрерывным, при обработке последующих изображений в базу данных заносятся новые записи, для подвижных объектов вычисляется средняя скорость и направление движения У,0.
Входными данными для модели распознавания являются:
1. 1М( =< М, N, СИ > - характеристика изображения, формируемого оптико-электронным датчиком,
- М - высота цифрового изображения;
- N - ширина цифрового изображения;
- СИ - количество каналов в изображении.
2. Q и Qm - производительность процессора и емкость памяти бортовой вычислительной системы.
3. Бг : Xr ^ Уг, где Xг =< т, п, сИ > входной вектор для каждого Бг; г е [1: п ] - количество отдельных
модулей классификации,
- т - высота цифрового изображения;
- п - ширина цифрового изображения;
- сИ - количество каналов в изображении.
4. Уг = {У1,...Уг} - классы распознаваемых объектов для каждого Бг.
5. Qf - количество операций при реализации одного графа вычислений Бг.
6. МГ - емкость памяти для .
Г г г
7. Т - множество моментов времени ^.
8. Ик - высота съемки.
В результате функционирования модели должны быть получены следующие данные:
1. Т - оперативность обработки данных.
2. KQ - коэффициент загрузки процессора (процессоров) БИС.
3. КМ - коэффициент использования памяти БИС.
4. Ук =<У,иV,I,Р,Р,Р2 > - запись в базу данных информации об объекте.
Расчет показателей БИС
Для оценки показателей ресурсоемкости системы предлагается следующий алгоритм:
1. Вычисляется количество операций, необходимых
для обработки одного изображения одним модулем Б :
1п1е11есШа1 Technologies оп Ттатрог1 2018. № 3
б" = —п
(2)
где Кт < 1 - условие реализуемости бортовой вычислительной системы (БВС).
2. Путем суммирования рассчитывается общее число операций при обработке одного изображения:
П]М Ё П¥г
(3)
где п - число модулей, участвующих в обработке изображения.
3. Тогда общее время обработки одного изображения:
т\=(Ё—е*)/е.
г=1 тгпг
(4)
4. Для выполнения условия обработки данных в режиме реального времени рассчитаем коэффициенты загрузки системы:
МЫ
К, = (Я Ё—е* )/П
(5)
где 8 - скорость получения данных (изображений в секунду). Для режима реального времени необходимо соблюдение условия 1 > К,.
5. Для выполнения условия по общему объему используемой памяти
Ё Мк
V — г=1
Кт = "=М
(6)
Результаты экспериментов
В ходе эксперимента рассмотрены следующие три распространенных метода распознавания изображений:
- метод, основанный на применении инвариантов моментов Ни [7-9];
- метод Виолы-Джонса [10-12];
- метод на основе сверточной нейронной сети [1315].
Для оценки ресурсоемкости данных методов применялся набор данных Р1апе81пе1 [16], состоящий из цветных изображений (32 тыс.), полученных нарезкой спутниковых снимков и разбитый на два класса: изображения, содержащие самолеты, и изображения без самолетов.
Расчет оценки ресурсоемкости данных методов проводился следующим образом: сначала рассчитывалась трудоемкость отдельного модуля с учетом памяти и количества операций, необходимых для реализации одного графа вычислений в скользящем окне, причем для расчета количества операций на один пиксель для инвариантов моментов применялась методика [17]. Затем происходит анализ спутникового изображения с помощью данных модулей в скользящем окне с различными значениями коэффициента перекрытия 1; 1,5; 2. Кроме трудоемкости, алгоритмы оценивались по следующим параметрам:
Р - точность распознавания;
Р - число объектов, обнаруженных модулем, но отсутствующих на изображении;
Р2 - число объектов, пропущенных модулем.
Сводные данные моделирования приведены в таблице 1.
ТАБЛИЦА 1. Оценка алгоритмов распознавания
г=1
Методы е, млн. опер. м, мб К Т. II Кск = 1,5 Кск = 2
Р Р1 Р2 Р Р1 Р2 Р Р1 Р2
Инварианты моментов 0,35 0,44 0,618 0,473 0,381 0,690 0,427 0,309 0,709 0,363 0,290
Виола-Джонс 0,2 0,63 0,718 0,281 0,281 0,736 0,236 0,263 0,763 0,218 0,236
Сверточные нейронные сети 0,67 0,87 0,909 0,081 0,090 0,945 0,081 0,054 0,965 0,063 0,045
Результаты проведенных экспериментов показывают, что лучшую точность распознавания продемонстрировали сверточные нейронные сети. Однако для вычислений они являются самыми трудоемкими. Алгоритмы на основе инвариантов моментов и Виолы-Джонса работают быстрее, но качество распознавания существенно хуже, особенно в случае инвариантов моментов. Увеличение коэффициента перекрытия скользящего окна незначительно увеличивает точность распознавания.
Дальнейшим перспективным направлением исследований планируется исследование архитектуры сверточных нейронных сетей с целью снижения трудоемкости вычислений и используемого объема памяти.
ЗАКЛЮЧЕНИЕ
Предложенная модель автоматического распознавания объектов на изображениях в БИС БЛА описывает основные зависимости вычислительной сложности и условия реализации алгоритмов распознавания в режиме реального времени. Она может применяться для обоснования состава и определения основных параметров перспективных БИС БЛА. Эта модель позволяет проводить анализ существующих и перспективных алгоритмов распознавания объектов на изображениях с целью обоснования их применения для построения интеллектуальных БИС.
Применение предложенной модели в перспективных БИС позволит создавать новые БЛА, способные решать различные задачи в автономном режиме без использования информационных каналов.
ЛИТЕРАТУРА
1. Желтов С.Ю. Перспективы интеллектуализации систем управления ЛА за счёт применения технологий машинного зрения / С.Ю. Желтов, Ю.В. Визильтер // Труды МФТИ. - 2009. - Т. 1, № 4. - С. 164-181.
2. Медведев М. В. Система управления беспилотным летательным аппаратом на основе вейвлет-методов обнаружения и распознавания объектов на изображениях / М.В. Медведев, А.П. Кирпичников // Вестник Казанского технологического университета. - 2014. - Т. 17, № 19. -С. 359-363.
3. Амосов О. С. Модифицированный алгоритм локализации номерных знаков транспортных средств на основе метода Виолы-Джонса / О.С. Амосов, Ю.С. Иванов // Информатика и системы управления. - 2014. - № 1 (39). -С. 127-140.
4. Перспективные методы обработки потоков видовых данных для повышения результативности применения БЛА / Н.Ю. Кожанов, А.П. Танченко, Ю.В. Москаленко // сборник докладов научно-практической конференции «Перспективы развития и применения комплексов с беспилотными летательными аппаратами», г. Коломна. -2016. - С. 165-171.
5. Васильев В. Н. Современная видеоинформатика: проблемы и перспективы / В.Н. Васильев, И.П. Гуров, А. С. Потапов // Оптический журнал. - 2012, № 11. - С. 5-15.
6. Головко В.А. Нейроинтеллект: теория и применение. Кн. 2. - Брест : БПИ, 1999. - 228 с.
7. Hu M. Visual Pattern Recognition by Moment Invariants / M. Hu // IRE Trans. Inf. Theory. - 1962. - Vol. 8. -P. 179-187.
8. Старобинец Д.Ю. Автоматический выбор параметров сжатия изображений с потерями на основе инвариантных моментов при дистанционном зондировании Земли / Д.Ю. Старобинец, А. Д. Хомоненко, Н.А. Гаврилова // Современные проблемы дистанционного зондирования Земли из космоса. - 2017. - Т. 14. № 5. - С. 26-36.
9. Жигалко Е.Ф. Особенность асимптотических свойств интегральных инвариантов / Е.Ф. Жигалко // Интеллектуальные технологии на транспорте. - 2015. - № 4. -С. 55-58.
10. Viola P., Jones M. J. Robust Real-time face detection / P. Viola, M. Jones // International Journal of Computer Vision, -2004. - Vol. 57. no. 2. - P. 137-154.
11. Viola P., Jones M., Snow D., Detecting Pedestrians Using Patterns of Motion and Appearance / P. Viola, M. Jones, D. Snow // International Journal of Computer Vision, Vol. 63, no. 2, 2005, p. 153-161.
12. Brousseau B., Rose J. An energy-efficient, fast FPGA hardware architecture for OpenCV-compatible object detection / FPT, 2012.
13. LeCun Y. et al. Gradient-Based Learning Applied to Document Recognition / Y. LeCun et al. // Proc. IEEE.1998. Vol. 86. no. 11. - P. 2278-2324.
14. lmageNet Classification with Deep Convolutional Neural Networks / А. Krizhevsky, I. Sutskever, G. Hinton // Avances in Neural Information Processing Systems. 25 Curran Associates, lnc., 2012. - Р. 1097-1105.
15. Szegedy C. et al. Rethinking the lnception Architecture for Computer Vision / С. Szegedy et al. // arXiv, - 2015. http://arxiv.org/abs/ 1512 .00567.
16. Https://www.kaggle.com/rhammell/planesnet (дата обращения 17.05.2018).
17. Медведик А.Д. Оценка вычислительной сложности моментных инвариантов, используемых в задачах распознавания / А.Д. Медведик, В.А. Верченко, П.Е. Бабак // Радиоэлектронные и компьютерные системы. - 2015. -№ 4 (74). - С 124-130.
Model of Estimation of Computational Complexity of Intelligent Recognition of Objects on Images on
Board the UAV
E.L. Yakovlev A.F. Mozhaisky Military Aerospace Academy St. Petersburg, Russia evgen-1932@yandex.ru
Abstract. The model of automatic object recognition system, based on the use of the knowledge base is offered. The knowledge base consists of a set of pre-prepared modules. Each module is characterized by a certain class of objects, conditions of application, computational complexity. The criterion for selecting a module is the spatial pixel resolution. On the basis of the offered model the comparative calculation of computational complexity of algorithms of image recognition is made.
Keywords: system of automatic recognition of objects on images, computational complexity, unmanned aerial vehicle.
References
1. Zheltov S.Yu. Prospects of intelligent control systems of Aircraft through the use of machine vision technologies [Perspektivy intellektualizatsii sistem upravleniya LA za schet primeneniya tekhnologiy mashinnogo zreniya] MIPT Works [Trudy MFTI], 2009. vol. 1, no. 4, pp. 164-181.
2. Medvedev M.V. Control system of the unmanned aerial vehicle on the basis of wavelet methods of detection and recognition of objects on images [Sistema upravleniya bespi-lotnym letatel'nym apparatom na osnove veyvlet-metodov ob-naruzheniya i raspoznavaniya ob''ektov na izobrazheniyakh] Herald of the Kazan University of Technology [Vestnik Ka-zanskogo tekhnologicheskogo universiteta], 2014, vol. 17, no.19, pp. 359-363.
3. Amosov O.S., Ivanov Yu.S. A modified algorithm for the localization of vehicle license plates based on the ViolaJones method [Modifitsirovannyy algoritm lokalizatsii nomernykh znakov transportnykh sredstv na osnove metoda Violy-Dzhonsa.] Informatics and Management Systems [In-formatika i sistemy upravleniya], 2014, no. 1(39), pp. 127-140.
4. Kozhanov N.Yu, Tanchenko A.P., Moskalenko Yu.V, Martimov R.Yu, Petrochenko A.V. Perspective methods of processing data streams to increase the efficiency of the use of UAV. [Perspektivnye metody obrabotki potokov vidovykh dannykh dlya povysheniya rezul'tativnosti primeneniya BLA]. The collection of reports of scientific and Practical Conference "Perspectives of Development and application of complexes with unmanned aerial vehicles" [Sbornik dokladov nauchno-prakticheskoy konferentsii «Perspektivy razvitiya i primeneniya kompleksov s bespilotnymi letatel'nymi apparatami»], Kolomna, 2016, pp. 165-171.
5. Vasil'yev V.N., Gurov I.P., Potapov A.S. Modern computer Science: Problems and Prospects [Sovremennaya vide-
oinformatika: problemy i perspektivy]// Optical Magazine [op-ticheskiy zhurnal], 2012, no. 11, pp. 5-15.
6. Golovko V.A. Neyrointellekt: Nejrointellekt: Theory and applications. Book 2. Organization, resiliency and application of neural networks [Teoriya i primeneniya. Kniga 2. Sa-moorganizatsiya, otkazoustoychivost' i primenenie neyronnykh setey]. Belarus, Brest: BPI, 1999, 228 p.
7. Hu M, Visual Pattern Recognition by Moment Invariants, IRE Trans. Inf. Theory, 1962, vol. 8, pp. 179-187.
8. Starobinets D.Yu., Khomonenko A.D., Gavrilova N.A. Automatic selection of lost image compression options based on invariant moments in remote sensing of the Earth [Avtomatich-eskiy vybor parametrov szhatiya izobrazheniy s poteryami na osnove invariantnykh momentov pri distantsionnom zondi-rovanii Zemli] Modern problems of remote sensing of the Earth from space [Sovremennye problemy distantsionnogo zondi-rovaniya Zemli iz kosmosa], 2017. vol. 14. no. 5. pp. 26-36.
9. Zhigalko E.Th., Feature of asymptotic properties of integral invariants [Osobennost' asimptoticheskikh svoystv inte-gral'nykh invariantov] / Intellectual Technologies on Transport, 2015. no. 4, pp. 55-58.
10. Viola P., Jones M. J. Robust real_time face detection. International Journal of Computer Vision, 2004, vol. 57, no. 2, pp. 137-154.
11. P. Viola, M. Jones, and D. Snow, Detecting Pedestrians Using Patterns of Motion and Appearance, International Journal of Computer Vision, vol. 63, no. 2, 2005, pp. 153-161.
12. Brousseau B., Rose J. An energy-efficient, fast FPGA hardware architecture for OpenCV-compatible object detection. FPT, 2012.
13. LeCun Y. et al. Gradient-Based Learning Applied to Document. Proc. IEEE.1998, vol. 86. no. 11, pp. 2278-2324.
14. Krizhevsky A ., Sutskever I., Hinton G. lmageNet Classification with Deep Convolutional Neural Networks, Avances in Neural Information Processing Systems 25 / Curran Associates, lnc., 2012, pp. 1097-1105.
15. Szegedy C. et al. Rethinking the lnception Architecture for Computer Vision, arXiv, 2015, http://arxiv.org/abs/ 1512 .00567.
16. Https://www.kaggle.com/rhammell/planesnet.
17. Medvedik A. D., Verchenko V. A., Babak P. E. Evaluation of computational complexity of momentary invariants used in recognition tasks [Otsenka vychislitel'noy slozhnosti momentnykh invariantov, ispol'zuemykh v zadachakh raspoznavaniya]// Radio-Electronic and computer systems [Radioelektronnye i komp'yuternye sistemy], 2015, no. 4(74), pp. 124-130.
HHmmneKmyanbHbie техноnогии Ha mpaHcnopme. 2018. № 3
32
