CC BY
100
УДК 629 7 778
АЛГОРИТМ НЕПРЕРЫВНОЙ АВТОМАТИЧЕСКОЙ КОРРЕКЦИИ ПИЛОТАЖНО-НАВИГАЦИОННОЙ СИСТЕМЫ БЕСПИЛОТНОГО ЛЕТАТЕЛЬНОГО АППАРАТА НА ОСНОВЕ СКВОЗНОЙ СТЕРЕОФОТО-ГРАММЕТРИЧЕСКОЙ ОБРАБОТКИ ИЗОБРАЖЕНИЙ ОТ БОРТОВОГО
МНОГОКАДРОВОГО ДАТЧИКА1
А.Е. ГРИЦЕНКО, В.Н. СТЕПАШКИН, Н.И. СЕЛЬВЕСЮК
Излагается алгоритм автоматического уточнения параметров движения летательного аппарата с использованием серии последовательных кадров видеоряда, полученных бортовым датчиком изображения местности, в основу которого положен теоретический подход, опубликованный авторами ранее. Описаны условия, обеспечивающие точность работы алгоритма, близкую к предельно достижимой.
Ключевые слова: коррекция, бортовой датчик.
Введение
Применение малоразмерных беспилотных летательных аппаратов (МБПЛА) для аэросъемки земной поверхности во многих случаях не обеспечивает достаточного качества фотограмметрической обработки (ФГО) получаемого видеоматериала ввиду ограниченной точности пилотажно-навигационного обеспечения задачи.
В [1] обоснована потенциальная возможность уточнения ряда пилотажно-навигационных параметров (ИНН) летательного аппарата (ЛА) с использованием серии последовательных кадров изображений подстилающей поверхности. Описана математическая постановка и вариант решения задачи оптимальной коррекции данных пилотажно-навигационной системы (ПНС) ЛА об угловом положении, скорости и высоте полета посредством минимизации рассогласований координат прообразов пар соответственных точек смежных кадров видеоряда (далее - МРК). Данная процедура могла бы использоваться как для повышения эффективности ФГО данных аэросъемки, так и в задаче собственно автономного пилотажно-навигационного обеспечения полета.
Представленные в [1] предварительные оценки потенциально достижимых возможностей подхода показывают его высокую эффективность при исходной угловой неопределенности до 5-7 градусов и при изображениях размером до 1000 пикселов в строке и в столбце, при типовых угловых захватах датчика изображения (ДИ). Остаточная погрешность лежит в пределах
0.1 градуса, что сопоставимо с угловым размером элемента разрешения изображения. При этом обеспечивается возможность пропорционального повышения потенциальной точности метода на основе МРК за счет увеличения детальности изображения, а также за счет более точной аппроксимации фотограмметрической модели (ФГМ) ДИ, либо использования итерационной процедуры идентификации ИНН.
Ниже излагается алгоритм уточнения параметров движения ЛА на основе МРК, в автоматическом режиме, обеспечивающий точность идентификации параметров, близкую к потенциально достижимой, а также низкую вероятность сбоя за счет повышенной надежности процедуры автоматического поиска пар соответственных точек смежных кадров.
Формулировка общих принципов построения алгоритма
Уточнение ИНН путем МРК предполагает:
1 Работа выполнена при поддержке РФФИ, проект 11-08-00850.
- определение координат пар соответственных точек смежных кадров видеоряда;
- корректный пересчет координат точек изображения в координаты их прообразов на местности, учитывающий особенности рельефа;
- применение математического формализма минимизации рассогласования последних путем варьирования уточняемых значений ПНП.
При этом следует ожидать, что наиболее критичной процедурой с точки зрения надежности и вычислительных затрат является получение достаточного числа пар соответственных точек кадров видеоряда.
Особенности видеоинформации, получаемой от ДИ, установленного на борту МБПЛА, включают в себя:
- невысокую площадь захвата местности отдельными кадрами видеоряда;
- большое число кадров на единицу длины маршрута полета;
- значительные погрешности ПНС;
- высокую динамику ПНП МБПЛА;
- сложность синхронизации моментов измерения ПНП и получения кадров изображения.
Учитывая вышеизложенное, сформулируем следующие принципы алгоритмической реализации метода уточнения ПНП на основе МРК:
1. Предварительное преобразование кадров изображения к эквивалентным плановым снимкам (ЭПС) на основе ФГМ ДИ и имеющихся неточных данных о его угловом положении.
Результирующие снимки в совокупности рассматриваются как видеоряд, полученный в полете, близком к горизонтальному. Отличие от горизонтальности обусловлено погрешностями 5и, 5у, 5у значений продольного и, поперечного у и курсового у углов ДИ. При этом геометрические искажения снимков становятся относительно небольшими, что повышает надежность применения корреляционно - экстремальных методов (КЭМ) обработки. Кроме того, существенное упрощение целевой функции получается за счет возможности для ЭПС линеаризации ФГМ в окрестности нулевых значений аргументов.
2. Неявное использование данных о рассогласовании положения соответственных точек смежных кадров видеоряда посредством введения поправок к пилотажным углам и высоте полета в качестве параметров минимизации целевой функции.
Это позволяет упростить и сделать физически понятным механизм введения параметра временного рассогласования 51 моментов формирования кадра и измерения ПНП как одного из параметров минимизации целевой функции.
3. Введение в процедуру минимизации одновременно множества кадров видеоряда на некотором участке маршрута полета.
Это, с одной стороны, практически не усложнит вид и саму процедуру поиска экстремума целевой функции, а с другой - позволит увеличить объем выборки случайных по своей природе данных для повышения точности получаемых в результате поправок. Кроме того, это обеспечивает совместную оптимизацию взаимного расположения областей захвата местности кадрами для последующей процедуры составления фотоплана. Данный принцип будем называть принципом сквозной взаимной привязки кадров (СВПК) видеоряда.
4. Использование данных о координатах МБПЛА в качестве прогноза местоположения на-дирных точек кадров изображения с целью «удерживания» результата сквозной привязки областей захвата на линии пути МБПЛА от возможного накопления систематических ошибок, связанных с остаточными погрешностями уточненных ПНП на момент формирования некоторого кадра, а также с дискретностью цифрового изображения.
5. Варьирование относительных координат центров проекции кадров вдоль линии пути МБПЛА.
Это позволяет сократить необходимое количество варьируемых параметров в процедуре
поиска экстремума целевой функции до пяти.
Принципиальная схема алгоритма
Общая принципиальная схема алгоритма представлена на рис. 1. Используемые на рисунке обозначения приводятся ниже по тексту.
Входными данными алгоритма являются:
- последовательные кадры изображения, полученные с перекрытием в моменты времени 1п: |х0(”)}, і=0,..,І-1; ]=0,..Д-1; и=0,..,К; 1,1 - размеры кадра в пикселях;
- результат измерений вектора ПНП, выполненных с некоторой неизвестной погрешностью
- размер (І, I) и параметры внутреннего ориентирования (ПВО, і0, _]0, £,) снимков;
- продольный, поперечный и курсовой углы установки ДИ (иу, уу, уу);
- параметры дисторсии объектива ДИ;
- цифровая модель рельефа (ЦМР) 2(Х,У).
Промежуточными выходными данными базовой части алгоритма, реализующей метод СВПК, являются поправки |5и(п), 5у(п), 5у(п), 51:(п)}, а также поправка 5Н(п) к измерению высоты полета на момент получения п-го кадра видеоряда. Эти поправки непосредственно используются для получения уточненных значений {Нла(п), у(п), у(п), и(п)}.
Для уточнения координат Х(п)ла, У(п)ла ЛА поправки {8Х, 8У }, связывающие истинные (Х(п)ла, У(п)ла) и измеренные (Х(п), У(п)) координаты ЛА по формулам
идентифицируют один или несколько опорных ориентиров местности на временном промежутке
Предположим, что ориентир с координатами (Хоп,Уоп) попадает в к-й кадр видеоряда, для которого
опорных ориентиров.
В задачах аэросъемки уточненные значения {Нла(п),у(п),у(п),и(п),Х(п)ла,У(п)ла^х(п)ла^у(п)ла} могут быть использованы для получения видеоряда ортотрансформированных снимков (ОТС) из исходных кадров видеоряда или из ЭПС либо для приведения их к эквивалентным горизонтальным снимкам (ЭГС).
параметры ДИ {л^ )
>, которые включают:
Х(п) = X(«) + dx; = Y(n) + SY,
где (i(k)on, j(k)on) - координаты ориентира на k-м изображении, звездочками отмечены относительные величины i/fj, j/f5, 8H/H.
Отсюда определяем поправку ( SX, SY ) к координатам, выдаваемым ПНС.
Для уточнения в случае необходимости как координат Х(п)ла, У(п)ла, так и компонентов путевой скорости ЛА Wx(n)ла,Wy(n)ла, приведенные соотношения записывают для минимума пары
Рис. 1. Общая принципиальная схема алгоритма
Эффективность и практическая реализуемость алгоритма
Для исследования эффективности и практической реализуемости алгоритма использовались реальные данные аэросъемки с использованием МБПЛА.
Исследования показали, что разработанный алгоритм обеспечивает точность идентификации ПНП, близкую к потенциально достижимой согласно [1] при выполнении следующих условий:
- предварительная компенсация дисторсии объектива ДИ с точностью, не хуже 1 -2 пикселов;
- знание координат оптического центра изображения с точностью, не хуже первых единиц пикселов;
- знание углового положения ДИ относительно осей чувствительности датчика углового положения ЛА с точностью, не хуже 0,10;
- в отсутствие компенсации возмущений, обусловленных рельефом, по схеме величины уклона местности не должны превышать 10 градусов. При компенсации возмущений, обусловленных рельефом, по схеме, показанной на рис. 1, при достигаемой точности угловой ориентации ЛА не хуже 1о, допустимый уклон составляет 25 градусов в широком диапазоне углов визирования местности. Однако для компенсации влияния рельефа необходимо иметь подробную ЦМР местности;
- погрешность измерения углового положения в ПНС МБПЛА не должна превышать 3 - 4 градуса.
Надежность работы алгоритма определяется надежностью корреляционно-экстремального метода поиска соответственных точек. Исследования показали, что значимые для практики показатели надежности достигаются при уровне относительного размасштабирования смежных кадров до 5 - 7 процентов и при рассогласовании их относительной ориентации - до 5 - 7 градусов. Эти
требования всегда выполняются на практике для многокадровых систем (видеокамера, тепловизор), однако должны приниматься во внимание при использовании цифровых фотоаппаратов.
Проведенный анализ наблюдаемости системы уточняемых параметров позволил выявить области значений скорости и высоты полета, где параметры могут оказаться ненаблюдаемыми, а также уточнить требования к расположению точек на изображении, в которых определяются параллаксы.
В результате данной части работы сделан вывод о том, что в реальных диапазонах скоростей и высот полета МБПЛА и в равномерном распределении коррелируемых фрагментов по области перекрытия смежных кадров система идентифицируемых параметров является наблюдаемой.
В случае значительного различия точности алгоритма и потенциально достигаемой точности метода СВПК для повышения уровня точности определения поправок к ПНП возможно применение итерационной процедуры расчета данных поправок.
Для практической реализации разработанного алгоритма в случае обработки каждого формируемого кадра в формате видеосъемки PAL (25 кадров в секунду) необходим вычислитель с эквивалентной производительностью ориентировочно 109 операций с плавающей точкой в секунду. Сокращение потребных вычислительных затрат происходит пропорционально прореживанию обрабатываемых кадров вплоть до 2-3-х оставшихся кадров в секунду.
Применительно к задаче пилотажно-навигационного обеспечения полета в алгоритме возможно использование пары смежных кадров видеоряда.
Применительно к некоторым задачам аэросъемки, таким как автоматическое составление фотоплана, алгоритм позволяет выполнять совместную оптимизированную привязку множества последовательных снимков за счет включения в процедуру сквозной оптимизации одновременно параллаксов всей серии кадров формируемой мозаики.
Заключение
Описан алгоритм автоматического уточнения ряда ПНП ЛА с использованием серии последовательных кадров видеоряда, полученных бортовым датчиком изображения земной поверхности, основанный на разработанном в [1] методе сквозной взаимной привязки серии кадров видеоряда путем минимизации среднего квадрата расстояний на местности между прообразами соответственных точек смежных кадров в пределах серии.
При выполнении некоторых условий алгоритм позволяет реализовать потенциально достигаемую точность метода, обусловленную линеаризацией ФГМ ДИ, а также ограниченной разрешающей способностью датчика.
Существенный положительный эффект алгоритма достигается за счет комплексирования данных ПНС, спутниковой радионавигационной системы, ЦМР и информации о значениях параллаксов смежных кадров видеоряда.
Идентифицируемые в алгоритме параметры обладают в совокупности признаком наблюдаемости в широком диапазоне типовых скоростей и высот полета.
Потребные вычислительные ресурсы для работы алгоритма не превышают возможностей современных сигнальных процессоров.
ЛИТЕРАТУРА
1. Степашкин В.Н., Гриценко А.Е. Математическая модель косвенной оптимальной привязки изображений бортового многокадрового датчика к карте местности в задачах дистанционного зондирования земли // Научный Вестник МГТУ ГА, серия Радиофизика и радиотехника. - 2008. - № 139.
2. Степашкин В.Н., Гриценко А.Е. Метод уточнения параметров движения БПЛА на основе комплексиро-вания данных пилотажно-навигационной системы и стереоряда изображений местности. - Информационно -измерительные и управляющие системы // Радиотехника, 2010. - № 6.
3. Прэтт У. Цифровая обработка изображений. В 2-х кн. - М.: Мир, 1982.
THE ALGORITHM OF CONTINUOUS AUTOMATIC CORRECTION THE PILOTING - NAVIGATIONAL SYSTEM OF UNMANNED AERIAL VEHICLE BASED ON THROUGH STEREOPHOTOGRAMRNETRICAL PROCESSING OF ONBOARD MULTIFRAME SENSOR IMAGES
Gritsenko A.E, Stepashkin V.N., Selvesuk N.I.
The automatic clarification algorithm for an aerial vehicle movement parameters using a series of consecutive frames of image videoset obtained with an airborne sensor of district images based on the theoretical approach published by the authors earlier is stated. The conditions, providing the accuracy of the algorithm functioning, close to extremely achievable, are described. Examples of use of the algorithm functioning outputs in some issues of aerial photograph of terrestrial surface are resulted.
Key words: airborne sensor, automatic clarification.
Сведения об авторах
Гриценко Александр Евгеньевич, 1973 г.р., окончил Иркутское ВВАИУ (1996), кандидат технических наук, преподаватель кафедры системного анализа, приборного и оптико-электронного оборудования ВУНЦ ВВС ВВА им. проф. Н.Е.Жуковского и Ю.А.Гагарина, автор 20 научных работ, область научных интересов - цифровая обработка изображений, мониторинг земной поверхности, фотограмметрия.
Степашкин Владимир Николаевич, 1959 г.р., окончил МФТИ (1983), ВВИА им. проф. НЕ. Жуковского (1988), кандидат технических наук, доцент кафедры системного анализа, приборного и оптикоэлектронного оборудования ВУНЦ ВВС ВВА им. проф. Н.Е.Жуковского и Ю.А.Гагарина, автор более 100 научных работ, область научных интересов - дистанционное зондирование Земли, обработка многомерных сигналов (изображений), распознавание образов, фотограмметрия.
Сельвесюк Николай Иванович, 1972 г.р., окончил Ставропольское ВВАИУ (1994), доктор технических наук, доцент, начальник кафедры системного анализа, приборного и оптико-электронного оборудования ВУНЦ ВВС ВВА им. проф. Н.Е.Жуковского и Ю.А.Гагарина, автор более 100 научных работ, область научных интересов - управление динамическими системами, линейная алгебра, автоматизированные системы управления, оптико-электронные системы.
