CC BY
120
УДК 519.92
МЕТОД СОПОСТАВЛЕНИЯ ИЗОБРАЖЕНИЙ С ЭТАЛОНАМИ КАК МЕТОД ИДЕНТИФИКАЦИИ ПОДВИЖНЫХ НАЗЕМНЫХ
ОБЪЕКТОВ
Б.В. КАЗБЕКОВ, Н.А. МАКСИМОВ, А.В. ШАРОНОВ
Статья посвящена вопросу идентификации подвижных наземных объектов с борта беспилотного летательного аппарата. Показана возможность реализации алгоритма идентификации объектов в режиме реального времени путем сопоставления рассматриваемого изображения объекта и набора эталонных изображений объектов рассматриваемых классов. Приводятся достоинства разработанной модификации и результаты экспериментов.
Ключевые слова: идентификация, распознавание объектов, сопоставление изображений.
Введение
Вопросам распознавания изображений и объектов, находящихся на них, посвящено достаточно много работ, и данная область привлекает внимание многих исследователей и разработчиков уже более полувека, но до сих пор задача распознавания далека от полного решения. Существует достаточно большое количество частных методов и алгоритмов, позволяющих решать те или иные задачи распознавания. Их объединяют общие принципы и подходы по предобработке изображений и различают последующие операции, выполняемые в зависимости от содержимого изображений и конкретных задач распознавания.
Под распознаванием принято понимать выделение необходимой интересуемой информации из изображения, это может быть определение рельефа местности, поиск определенного объекта на самом изображении: люди, автомобили, различные предметы, дорожные знаки и прочее, определение расстояний между объектами или траекторий их движения.
Одной из наиболее общих задач распознавания является задача идентификации объектов, находящихся на изображении. Если заранее известно, что именно является объектом интереса и заданы его описания (изображения с разных ракурсов съемки, заданы геометрические размеры и другие параметры объекта), то задача распознавания называется частной и сводится к задаче сопоставления имеющихся описаний с поступающими данными, и в случае совпадения объект считается распознанным. Но в действительности априорно неизвестно, какой именно объект может присутствовать на изображении, а известно, что объект может являться объектом определенного класса. Такие задачи принято называть общими задачами распознавания и их можно сформулировать следующим образом: необходимо распознать объект с точностью до класса, т.е. отнести рассматриваемый объект к одному из перечисленных классов или сделать вывод о том, что данный объект не принадлежит ни к одному из них.
В статье рассматривается метод идентификации подвижных наземных объектов (ПНО) по анализу видеопотока, формируемого бортовой камерой беспилотного летательного аппарата (БЛА). Поэтому подразумевается решение общей задачи распознавания, т.к. заранее неизвестно, какой именно объект может попасть в поле зрения камеры.
Самым эффективным и простым на сегодняшний день методом решения таких задач является сопоставление рассматриваемого изображения с некоторым набором эталонов, т.е. графической базой данных. Такая база содержит в себе все возможные варианты изображений (эталонов) тех или иных объектов интереса, принадлежащих к определенным классам, и задача сводится к сопоставлению рассматриваемого изображения с эталонной базой. При таком подходе выполняется достаточно большое количество операций сравнения двух изображений, а
конечный результат процедуры распознавания зависит от качества сопоставления на каждой итерации.
Основные принципы работы существующих методов разделяются на два типа: использующие некоторые описания и характеристики объектов, позволяющие индексировать содержание базы для дальнейшего ускорения процесса поиска, и методы перебора, основанные на поиске наиболее «похожего» изображения эталона на рассматриваемом изображении.
Методы первого типа используются при наличии некоторой специфики искомых объектов, уникальным образом их описывающих. Точнее говоря, эти методы порождают такие алгоритмы описания объектов интереса, которые позволяют сформировать некую численную характеристику объекта или их набор. И процесс распознавания сводится к сравнению полученных числовых характеристик объектов, в качестве которых могут выступать: площадь объекта, длина контура объекта, удаленность элементов контура относительно оси симметрии объекта, отношение площади к длине контура и т.д. В зависимости от того, какой набор параметров выбран, и какие методы их сравнения используются, можно указать соответствующий частный алгоритм распознавания.
Методы второго типа производят последовательный перебор эталонов с разными масштабами и ориентацией относительно анализируемого изображения, т.е. эталонное изображение объекта скользящим окном прогоняется по всему анализируемому изображению, и для каждого смещения находится мера соответствия по определенному закону. Далее эталонное изображение поворачивается вокруг собственной оси на малое значение, и процесс прогонки повторяется. Подобные операции повторяются для всех значений углов от О0 до 3600 и большого спектра масштабов. В результате делается заключение, что на анализируемом изображении содержится объект определенного класса с рассчитанной мерой сходства и, если оно выше заданного порога, то говорится, что на изображении распознан объект определенного класса, в противном случае делается вывод, что изображение не содержит объекты перечисленных классов.
К сожалению, на сегодняшний день не существует алгоритмов, позволяющих сформировать уникальные характеристики объектов, перечисленных в поставленной задаче, поэтому в качестве метода идентификации был выбран метод сравнения с эталонами, хотя ему и присущи некоторые недостатки, главным из которых является количество операций сравнения эталонов с рассматриваемым изображением. Обычно шаг изменения угла ориентации эталона составляет 10, а количество масштабных преобразований может достигать 100 вариантов, значит количество итераций прогона одного эталона по изображению в среднем составляет 36000. Если учесть, что в базе содержится хотя бы по 10 изображений каждого класса ПНО, то число итераций прогонов составит 14 440 000 раз. При этом каждый прогон является составной операцией, а значит, число сравнений эталона с анализируемой областью будет на несколько порядков выше. Совершенно очевидно, что такой процесс поиска не может быть реализован для бортовой системы идентификации ПНО БЛА. Обычно с проблемой вычислительной сложности борются, увеличивая шаг дискретизации угла и уменьшая количество масштабных преобразований, но это приводит к ухудшению качества работы алгоритма.
В статье предлагается подход к уменьшению числа сопоставлений, использующий метод определения параметров ориентации и масштаба эталонов. Как было показано в работе [1], при анализе видеопотока, поступающего с бортовой видеокамеры беспилотного летательного аппарата, возможно определить направление движения объекта относительно подстилающей поверхности. Это позволяет определить направление ориентации эталонного изображения относительно кадра: оно может совпадать с направлением движения либо быть противоположно ему.
Рассмотрим более подробно процедуру определения направления движения объекта. На завершающем этапе фильтрации маски движения для всех связных групп пикселей, принадлежащих подвижному наземному объекту, определяется, было ли зафиксировано движение данной группы на предыдущем кадре или нет, т. е. устанавливается соответствие между подвижными объектами на рассматриваемых кадрах. Учет такого соответствия предоставляет возможность
определить направление движения найденного объекта как вектора перемещения центра масс Xц.м. и Уц.м. данного объекта. Координаты центра масс определяются как среднее арифметическое координат всех пикселей, принадлежащих данной группе
N N
Хц.м. = ^ Х1 и Уц.м. У1 ,
1 1
где N - количество пикселей в связной группе; и У; - координаты текущего пикселя. Затем формируется вектор перемещения объекта и находится его направление, определенное углом отклонения от вертикали. Данный вектор показывает ориентацию ПНО, так как его перемещение либо совпадает с ориентацией объекта (движение вперед), либо противоположно ему (движение назад).
Таким образом, находится ориентация найденного ПНО относительно кадра, и для всех эталонов задаются две начальные ориентации: совпадающая (при движении объекта вперед) и противоположная ей, т.е. повернутая на 1800 относительно совпадающей (при движении назад). Затем происходит сопоставление найденного ПНО с эталонами, при этом, помимо совпадающей и противоположной ориентации, рассматриваются эталоны, повернутые на определенный угол у, равный 10, т.е. отклоненные от начальных направлений (по четыре раза по направлению движения часовой стрелки и против него). Данная операция последовательного поворота эталонов учитывает погрешность вычисления направления смещения самого ПНО. В результате выполняется по 18 итераций сопоставления для каждого эталона.
Рис. 1. Маска движения
Другим важным параметром работы модифицированного алгоритма является масштаб эталона. Интервал его значений можно вычислить по результатам анализа маски движения [2]. На рис. 1 представлен пример определения маски движения.
Рис. 2. Определение длины группы связных пикселей
В результате анализа элементов маски движения формируются группы связных пикселей, представляющих «след» подвижного наземного объекта. Можно вычислить и длины этих групп как максимальное расстояние между всеми точками контура каждой группы. Такая же величина определяется для каждого эталона, хранящегося в базе. Среди всех найденных величин длины групп пикселей маски движения выбирается минимальная, т. е. определяется минимальный возможный размер найденного подвижного объекта. Полученная величина будет определять минимальный масштаб рассмотрения эталонных изображений.
Определение вектора смещения и
его ориентации
Подготовка эталонных изображений
в соответствии с найденной харак-
теристикой
*
Определение диапазона размеров
найденных ПНО
Подготовка эталонных изображений в соответствии с найденной характеристикой
V
Определение области поиска в соответствии с выставленными стробами
Определение меры соответствия с каждым из подготовленных эталонов
Конец
Рис. 3. Блок-схема модифицированного алгоритма идентификации
Найденная характеристика позволяет существенно уменьшить количество операций сопоставления, но этого недостаточно для эффективной работы алгоритма идентификации, так как корреляционные алгоритмы сопоставления изображений достаточно сильно чувствительны к масштабным преобразованиям. Поэтому, помимо ориентации эталонов, на этапе определения характеристик вычисляется диапазон размеров найденных ПНО, это позволяет определить пределы, в которых необходимо производить масштабирование. На этапе определения ПНО для всех найденных групп связных пикселей были вычислены их линейные размеры (длина и ширина). Опишем алгоритм нахождения данных характеристик более подробно.
Для группы связных пикселей определяются точки, принадлежащие ее контуру, затем для каждой точки вычисляются расстояния до всех оставшихся точек контура, и среди полученных длин выбирается наибольшая, именно эта величина и будет являться длиной связной группы. Необходимо отметить, что данная величина не является длиной самого ПНО, а используется лишь для вычисления ориентировочных размеров объекта. На рис. 2 представлена иллюстрация работы алгоритма вычисления длины группы связных пикселей, где темным цветом выделены пиксели, образующие контур группы.
Вычислив все длины связных групп пикселей, выбираются минимальная и максимальная. Таким образом, определяется диапазон размеров найденных ПНО, этому диапазону соответствуют масштабные преобразования эталонных снимков, т.е. каждое изображение эталона масштабируется соответственно минимальной и максимальной длине, а также берется еще три промежуточных масштаба. Вычисленные характеристики позволили получить приемлемые показатели точности идентификации, но при этом количество операций сопоставления возросло в 5 раз. В связи с этим в алгоритм сопоставления изображений по эталонам была внесена еще одна модификация: поиск выполняется не по всему изображению методом скользящего окна, а только по областям, выделенным на этапе определения ПНО - стробам [3], т.е. поиск производится только внутри выставленных стробов.
За счет этого была получена модификация алгоритма идентификации объектов путем сопоставления с эталонами, позволяющая функционировать системе идентификации в режиме реального времени при заданном уровне качества (число ошибок идентификации).
На рис. 3 представлена блок-схема модифицированного алгоритма идентификации по эталонным изображениям.
Заключение
Подводя итог вышесказанному, можно отметить, что разработанная модификация метода позволяет не только определить значения возможной ориентации и масштаба подвижного наземного объекта в режиме реального времени с точностью до класса, но и сузить область поиска от всего изображения до небольшого количества найденных стробов.
ЛИТЕРАТУРА
1. Казбеков Б.В., Максимов Н.А., Пуртов И.С., Синча Д.П. Локализация местоположения БЛА на основе распознавания изображений подстилающей поверхности // Научно-технический вестник Поволжья. - 2011. - № 5. - С. 20-26.
2. Казбеков Б.В. Совмещение инфракрасных изображений с изображениями видимого диапазона в задачах идентификации подвижных наземных целей с борта беспилотного летательного аппарата // Труды МАИ. - 2013. -№ 65. [Электронный ресурс]. URL: http://www. mai. ru/science/trudy/published.php?ID=3 5912.
3. Казбеков Б.В. Распознавание подвижных наземных объектов с борта БЛА // Научно-технический вестник Поволжья. - 2013. - № 2. - С. 120-122.
THE METHOD OF COMPUTATION IMAGES MATCHING WITH THE STANDARD AS A METHOD FOR IDENTIFICATION OF MOVING GROUND OBJECTS
Kazbekov B.V., Maximov N.A., Sharonov A.V.
The article focuses on the identification of moving ground targets on board unmanned aerial vehicle. The possibility of realization of algorithm for identification of objects in real-time by comparing the image of the object under consideration and a set of reference images of the objects of the classes are considered. The merit of the developed modification and the results of the experiments are given.
Key words: identification, object recognition, image comparison.
Сведения об авторах
Казбеков Борис Валентинович, 1987 г.р., окончил МАИ (2010), кандидат технических наук, старший преподаватель кафедры информационных технологий МАИ (Национального исследовательского университета), автор 10 научных работ, область научных интересов - распознавание изображений.
Максимов Николай Анатольевич, 1947 г.р., окончил МАИ (1971), кандидат технических наук, доцент кафедры информационных технологий МАИ (Национального исследовательского университета), автор более 150 научных работ, область научных интересов - проектирование информационных систем, обработка изображений и распознавание образов.
Шаронов Анатолий Васильевич, 1937 г.р., окончил МАИ (1962), МГУ им. М.В. Ломоносова (1970), профессор, доктор технических наук, заведующий кафедрой информационных технологий МАИ (Национального исследовательского университета), автор более 150 научных работ, область научных интересов - информационная теория оценок, идентификация сложных динамических систем и обработка изображений.
