CC BY
108
УДК 004.93
М. В. Медведев, А. П. Кирпичников
СИСТЕМА УПРАВЛЕНИЯ БЕСПИЛОТНЫМ ЛЕТАТЕЛЬНЫМ АППАРАТОМ
НА ОСНОВЕ ВЕЙВЛЕТ-МЕТОДОВ ОБНАРУЖЕНИЯ И РАСПОЗНАВАНИЯ
ОБЪЕКТОВ НА ИЗОБРАЖЕНИЯХ
Ключевые слова: беспилотный летательный аппарат, система управления, сегментация, вейвлет-преобразование, особые
точки.
В статье рассматривается система управления беспилотным летательным аппаратом на основе технического зрения. Предложен метод обнаружения объектов на основе сегментации изображений при помощи выделения особых точек вейвлет-преобразования и метод распознавания при помощи сравнения особых точек вейвлет-преобразования.
Keywords: unmanned air vehicle, control system, segmentation, wavelet transform, key points.
In the article unmanned air vehicle control system based on computer vision is considered. Objects detection method based on image segmentation with the help of wavelet key points extraction and wavelet key points comparison based objects recognition method are described.
Введение
Системы управления современными беспилотными летательными аппаратами (БЛА) предназначены для управления сложными многофункциональными объектами, действующими в сложной окружающей обстановке. При движении БЛА в автоматическом режиме согласно полетному заданию система управления БЛА должна обеспечивать корректировку положения БЛА на основании данных, полученных от системы навигации. В качестве системы навигации обычно используется GPS или ГЛОНАСС [1]. Однако, такое управление имеет несколько недостатков. Во-первых, в этом случае управление БЛА напрямую зависит от работы посторонних источников данных, которые в определенных условиях полета могут оказаться недоступны (подавление сигнала, уничтожение спутников и т.д.). Во-вторых, при формировании полетного задания необходимо иметь предварительную информацию о координатах расположения объектов интереса и характерных точек маршрута. Кроме того, составленное таким образом полетное задание привязывается к координатам на местности и не учитывает возможности перемещений объектов. Поэтому в настоящее время актуальны исследования в области построения систем управления БЛА, осуществляющих автономную навигацию при отсутствии предварительной информации о маршруте полета с использованием приборов и датчиков, расположенных непосредственно на борту БЛА.
Постановка задачи
Альтернативным источником данных для навигации в системах управления БЛА может служить канал получения цифровых изображений от оптической системы наблюдения БЛА. Большинство современных бортовых систем навигации на основе технического зрения работают в автоматизированном режиме с передачей предварительно обработанного видеоизображения оператору [2]. Однако, такой подход требует наличия связи с наземным
пунктом управления на протяжении всего полета, что не обеспечивается в реальных условиях.
В настоящее время активно ведутся исследования и создаются системы автоматической навигации и управления БЛА на основе технического зрения. Использование таких систем позволяет избежать зависимости управления БЛА от внешних датчиков, тем самым повышая надежность системы управления. Формирование полетного задания при этом происходит в терминах объектов интереса, а не координат их расположения, что повышает точность систем управления БЛА.
Система управления БЛА на основе обработки изображений
Функциональная схема автономной системы управления БЛА на основе обработки цифровых изображений представлена на рис. 1.
Рис. 1 - Функциональная схема автономной системы управления БЛА на основе обработки изображений
Основными блоками системы являются следующие:
1) система обработки и распознавания изображений объектов на земной поверхности, включающая:
- датчик изображения;
- блок обнаружения и распознавания объектов, реализованный в виде специализированного вычислителя.
2) система формирования сигналов управления движущимся объектом.
Назначение автономной системы управления БЛА на основе обработки изображений сводится к максимально эффективному обнаружению определённых объектов на местности, их классификации (идентификации) в пределах установленных классов и выдаче соответствующих директив исполнительной системе управления. Основным блоком системы, решающим главную задачу обнаружения и классификации объектов, является система обработки и распознавания изображений. Эта система состоит из датчика изображения и блока обнаружения и распознавания объектов, реализованного в виде специализированного вычислителя. От точности и скорости распознавания объектов зависит быстрота и качество принимаемых решений системы управления БЛА.
На данный момент существующие алгоритмы обработки цифровых изображений не позволяют достигнуть точности, сравнимой с обработкой изображений человеком-оператором. Кроме того, обработка изображений должна происходить в режиме реального времени, что накладывает дополнительные ограничения на возможность применения известных алгоритмов технического зрения.
Таким образом, улучшение функционирования системы цифровой обработки изображений позволяет повысить качество системы управления БЛА.
Система обработки и распознавания изображений на основе вейвлет-преобразования
При проектировании блока обнаружения и распознавания необходимо учитывать, что задачи обнаружения и распознавания должны решаться в реальном времени и при ограниченности вычислительных ресурсов. Поэтому здесь перспективны подходы, которые позволяют унифицировать процедуры обработки на основе единого математического аппарата. Один из таких подходов базируется на вейвлет-преобразовании.
Вейвлет-преобразование позволяет извлекать информацию об изменении сигнала на различных масштабах. В задачах цифровой обработки изображений оно позволяет представить изображение в виде совокупности его последовательных приближений. Представление изображения в виде детализирующих коэффициентов для разных разрешений даёт возможность использовать вейвлет-преобразование в системах со слабыми вычислительными мощностями и в условиях ограниченности ресурсов [3].
Вейвлет-преобразование хорошо зарекомендовало себя для использования на нижнем уровне обработки изображений в таких задачах, как
фильтрация шумов и сжатие [4,5]. Однако, в настоящее время алгоритмы нижнего уровня могут рассматриваться как хорошо проработанные и детально изученные [2]. Напротив, алгоритмы среднего уровня, к которым относятся алгоритмы сегментации изображений, и высокого уровня, к которым относятся методы выделения геометрической структуры и семантики, продолжают сегодня оставаться центральным полем приложения исследовательских усилий.
Обнаружение объектов при помощи сегментации на основе выделения особых точек вейвлет-преобразования
Сегментация, выполняющаяся на среднем уровне обработки изображений, представляет собой разделение изображения на составляющие его области. Степень детализации, до которой проводится это разделение, зависит от решаемой задачи. Сегментация нетривиальных изображений является одной из наиболее сложных задач обработки изображений. Конечный успех компьютерных процедур анализа изображений во многом определяется точностью сегментации. Улучшения результатов сегментации можно добиться за счет применения вейвлет-преобразования [6].
При помощи вейвлет-преобразования путем последовательного огрубления (или уточнения) изображения можно выявлять его локальные особенности (характерные детали изображения) и классифицировать их. В качестве характерных особенностей изображения используются особые точки, отражающие области наибольшего изменения функции яркости изображения.
Особыми точками (ключевая точка, точечная особенность) называются точки, которые содержат основную информацию об изображении. Человеческий глаз находит особые точки автоматически. Особые точки обычно располагаться в местах сильного перепада яркости пикселей, на границах и краях объектов. В настоящее время особые точки широко применяются в задачах поиска похожих изображений [7] и в задачах трехмерной реконструкции объектов [8].
Особые точки вейвлет-преобразования позволяют выразить изменения функции яркости изображения в виде веса, вычисленного по значениям коэффициентов вейвлет-преобразования, полученных на различных уровнях преобразования.
Алгоритм выделения особых точек состоит из следующих шагов.
1. Задается конечный уровень вейвлет-преобразования и (глубина преобразования).
2. Для каждого вейвлет-коэффициента начального уровня находятся дочерние вейвлет-коэффициенты на следующем уровне. Эта процедура продолжает выполняться рекурсивно до достижения заданного конечного уровня преобразования и.
3. Для каждого дочернего коэффициента конечного уровня преобразования вычисляется вес по формуле (1).
4. Происходит уточнение веса особой точки по мере рекурсивного возвращения от дочерних коэф-
фициентов к родительским коэффициентам начального уровня по формуле (2).
5. Задается пороговая величина p, определяющая особые точки как точки с результирующим значением веса, превышающим пороговое значение p.
Процедура выделения особых точек заключается в следующем. Для каждого пикселя исходного изображения вводится понятие веса:
Wi(f(x,y)) = ^|dh12(x,y) + dv2(x,y) + dd2(x,y) , (1)
где Wi(f(x,y)) - вес точки на /-ом уровне детализации, dhi(x,y) - горизонтальный коэффициент /-ого уровня, dvi(x,y) - вертикальный коэффициент /-ого уровня, ddi(x,y) - диагональный коэффициент /-ого уровня.
На первом шаге все веса равны 0. Затем осуществляется вейвлет-преобразование изображения до п-о уровня детализации. Подсчитывается начальный вес особой точки по формуле (1), и происходит рекурсивный переход на (п - 1)-й уровень детализации. На этом уровне имеем 4 дочерних точки. Вес каждой из этих точек добавляется к весу родительской точки предыдущего уровня. Происходит корректировка веса особой точки в соответствии с формулой (2) и рекурсивный переход на предыдущий уровень преобразования (рис. 2).
Wn ... _
о
о
о о
о •
Рис. 2 - Вычисление веса особой точки
Эта процедура повторяется для всех уровней. Окончательный вес точки является суммой вейвлет-коэффициентов предыдущих уровней (2).
Wn_l(k,l) = Wn(x,y) + Cn(k,l), 2x < k < 2x + 1, 2y < l < 2y +1;
(2)
Описанный алгоритм является основой для сегментации. Процедура сегментации в общем виде состоит из следующих шагов:
1. На изображении выделяются особые точки.
2. Особые точки изображения объединяются в область переднего плана, остальные точки - в область заднего плана (фон).
3. В области переднего плана выделяются сегменты, окруженные точками фона.
Выделение области, содержащей объект, осуществляется путем сегментации полученного изображения при помощи построчного алгоритма маркировки связных компонент. Выделение области, содержащей объект, осуществляется путем сегментации полученного изображения при помощи построчного алгоритма маркировки связных компонент.
Построчный алгоритм маркировки связных компонент основан на классическом поиске связных компонент на графах. В отличие от классического алгоритма построчной маркировки, который использует два прохода по изображению, в данной работе используется однопроходный алгоритм маркировки связных компонент с промежуточным хранением координат пикселей смежных областей в памяти. Если при попытке маркировать пиксель выясняется, что ему уже была присвоена метка, и значение этой метки меньше значения присваиваемой, то осуществляется изменение маркировки предыдущего пикселя при помощи меньшей метки. В этом случае осуществляется проход по всем элементам области с большим значением метки и их перемаркирование и присоединение к области с меньшим значением метки.
После анализа всех пикселей цифрового изображения, совокупности пикселей каждого класса эквивалентности с определенной меткой образуют сегменты (объекты) исходного цифрового изображения.
Достоинство сегментации на основе особых точек вейвлет-преобразования заключается в повышении точности позиционирования объектов и увеличении скорости обработки изображений на среднем уровне обработки изображений.
Распознавание объектов при помощи сравнения дескрипторов особых точек вейвлет-преобразования
Для улучшения процесса обработки изображений высокого уровня можно использовать метод распознавания объектов, заключающийся в построении и сравнении дескрипторов точечных особенностей вейвлет-преобразования [7,9,10].
Каждая особая точка вейвлет-преобразования характеризуется при помощи дескриптора Д рассчитанного по формуле (3), который формируется из значений основных коэффициентов вейвлет-преобразования (4), полученных на заданном уровне вейвлет-разложения изображения:
D = W (u, m, n)}
(3)
W (u,m,n) .- z zj
Ф 4MN x=0 y=0
1 M _1N _1
Z Z f Сx,y) u,m,n \x,y) (4)
где fx,y) — функция значений интенсивности цифрового изображения, yu,m,n(x,y) - семейство базисных вейвлетов, по которым проводится разложение, Wv(u,m,n) — коэффициенты вейвлет-преобразования заданного уровня u.
Такое описание окрестности особой точки позволяет получать дескрипторы, размерность которых меньше размерности дескрипторов, составленных при помощи гистограмм векторов ориентации градиентов, которые используются в известных методах SIFT и SURF. Размерность дескриптора SIFT составляет 128 элементов, дескриптора SURF - 64 элемента, в предлагаемом вейвлет-методе - 4 элемента, представляющих собой коэффициенты вейв-лет-преобразования конечного уровня разложения.
При этом точность сопоставления дескрипторов на основе вейвлет-преобразования сравнима с точностью известных методов SIFT и SURF.
В результате проведения серии экспериментов выделения и сопоставления особых точек методами SIFT, SURF и вейвлет-методом было установлено, что точность правильности сопоставления особых точек составляет: SIFT - 15% при размерности дескриптора 128, SURF - 20% при размерности дескриптора 64 и вейвлет-метод - 16% при размерности дескриптора 4.
Используя описание особых точек при помощи предлагаемого дескриптора, размерность дескриптора удалось уменьшить в 32 раза по сравнению с дескриптором SIFT при сравнимой точности и в 16 раз по сравнению с методом SURF при снижении точности на 4%.
Уменьшение размерности дескриптора особой точки приводит к уменьшению количества элементарных операций вычисления расстояний между каждой парой особых точек, и, следовательно, к уменьшению времени поиска соответствий особых точек путем сравнения расстояний между их дескрипторами. Это дает преимущество при использовании данного метода в системах с ограниченными ресурсами, осуществляющих обработку изображений в масштабе времени, близком к реальному, в котором функционируют системы управления БЛА.
При осуществлении распознавания с использованием дескрипторов особых точек после реализации процедуры сегментации на основе вейв-лет-преобразования в качестве особых точек используются уже найденные на этапе сегментации особые точки и вычисленные коэффициенты вейв-лет-преобразования, формирующие дескрипторы. В результате последовательное применение этих процедур позволяет ускорить процесс анализа изображения на высоком уровне обработки.
Подводя итог, можно сделать вывод, что совместное использование сегментации и распознавания на основе вейвлет-преобразования позволило повысить точность команд управления за счет повышения точности локализации объектов, повысить скорость принятия управленческих решений за счет повышения скорости обработки изображений и снизило требования к вычислительным ресурсам системы управления БЛА. Таким образом, за счет применения унифицированной процедуры обработки изображений при помощи вейвлет-преобразования удалось повысить качество системы управления БЛА.
Литература
1. Современные информационные технологии в задачах навигации и наведения беспилотных маневренных летательных аппаратов. Под ред. М. Н. Красильщикова, Г. Г. Себрякова. - М.: ФИЗМАТЛИТ, 2009. 556 с.
2. Ю. В. Визильтер, С. Ю. Желтов. Проблемы технического зрения в современных авиационных системах. Техническое зрение в системах управления мобильными объектами-2010, вып. 4, под ред. Р. Р. Назирова. - М. : КДУ, 2011 - С. 11-45.
3. М.В. Медведев. Сжатие данных в условиях ограниченности ресурсов. Современное состояние проблемы и используемые методы. Saarbrucken: LAP LAMBERT Academic Publishing GmbH & Co. KG, 2012. 77 с.
4. Р.Н. Гайнуллин, М.В. Медведев, М.П. Шлеймович. Ускорение поиска блоков изображения при фрактальном сжатии на основе вейвлет-преобразования. Вестник Казанского технологического университета, 16, 10, 280-284 (2013).
5. С.А. Ляшева, М.В. Медведев, М.П. Шлеймович. Вейв-лет-сжатие изображений в системах управления беспилотных летательных аппаратов. Научно-технический журнал «Вестник КГТУ им. А.Н. Туполева», 4 (72), 218
- 223 (2013).
6. Н.Л. Дзенчарский, М.В. Медведев, М.П. Шлеймович. Выделение особых точек и сегментация изображений на основе вейвлет-преобразования. Информационные технологии в системе социально-экономической безопасности России и её регионов. Сборник трудов III Всерос.науч.-практ. конф., Казань, 19 - 22 октября 2010 года/ Под ред. И.Н. Голициной. — Казань: ТГГПУ, 2010. С. 297 - 303.
7. Н.Л. Дзенчарский, М.В. Медведев, М.П. Шлеймович. Поиск изображений с выделением особых точек на основе вейвлет-преобразования. Научно-технический журнал «Вестник КГТУ им. А.Н. Туполева», 1, 131-135 (2011).
8. М.В. Медведев, А.П. Кирпичников. Трехмерная реконструкция объектов в системе технического зрения мобильного робота. Вестник Казанского технологического университета, 15, 17, 326-330 (2014).
9. Н.Л. Дзенчарский, М.В. Медведев, М.П. Шлеймович. Поиск изображений на основе вейвлет-преобразования. Современные технологии и материалы
- ключевое звено в возрождении отечественного авиастроения. Сборник докладов международной научно-практической конференции. Т. III. Казань, 10 - 11 августа 2010 года. - Казань: Изд-во «Вертолет». - 2010. С. 22 - 26.
10. M.V. Medvedev, M.P. Shleymovich, Image key points detection and matching. 7th Spring/Summer Young Researchers' Colloquium on Software Engineering (Kazan, Russia, May 30-31, 2013). Kazan, 2013. P. 149-154.
© М. В. Медведев - ст. преподаватель кафедры автоматизированных систем обработки информации и управления КНИТУ-КАИ, [email protected]; А. П. Кирпичников - д. ф.-м. н., зав. кафедрой интеллектуальных систем и управления информационными ресурсами КНИТУ, [email protected].
© M. V. Medvedev - Senior Lecturer of the Department of Automated Information Processing Systems & Control, KNRTU-KAI, [email protected]; A. P. Kirpichnikov - Dr. Sci, Head of the Department of Intelligent Systems & Information Systems Control, KNRTU, [email protected].
