CC BY
70
УДК 004.932.2
СОВЕРШЕНСТВОВАНИЕ МЕТОДА ФОРМИРОВАНИЯ МОДЕЛИ ПОДСТИЛАЮЩЕЙ ПОВЕРХНОСТИ В АВИАЦИОННЫХ ТРЕНАЖЕРАХ
М.В. МАРУХИНА
Статья представлена доктором технических наук, профессором Козловым А.И.
В статье рассматривается задача построения цифровой модели подстилающей поверхности, используемой в комплексных авиационных тренажерах. Предложен метод стереореконструкции матрицы глубины на основе динамического программирования. Полученные результаты экспериментальных исследований показали высокое быстродействие предложенного алгоритма. Доказана целесообразность применения предложенного метода стереореконструкции матрицы высоты для построения модели подстилающей поверхности.
Ключевые слова: авиационный тренажер, подстилающая поверхность, стереоизображение, динамическое программирование.
Введение
В современной авиации для целей наземной подготовки пилотов нашли широкое применение авиационные тренажеры. В авиационном тренажере имитируется динамика полета и работа самолетных систем с помощью специальных моделей, реализованных в программном обеспечении вычислительного комплекса тренажера.
В современной практике подготовки пилотов наибольшее распространение получили процедурные и комплексные тренажеры [1].
Процедурные тренажеры предназначены для отработки экипажем процедур подготовки и выполнения полета.
Комплексными тренажерами называют тренажеры, оборудованные системой подвижности. Это тренажеры самого высокого уровня. Кабина комплексного тренажера выполняется в виде полной реплики реальной кабины летательного аппарата.
Одной из задач, возложенных на комплексные тренажеры, является подготовка к выполнению полета, включая:
- изучение местности, на которой будет выполняться полетное задание;
- детальная отработка полетного задания на конкретной местности;
- ознакомление пилота с особенностями местности, позволяющими выполнять визуальную навигацию.
Одним из ключевых факторов достижения максимальной эффективности от использования комплексных тренажеров является наличие высококачественной системы визуализации, обеспечивающей построение цифровой модели рельефа (далее - ЦМР) заданного участка местности в короткие сроки.
При этом выдвигается ряд требований к системе визуализации, в частности:
- использование для построения ЦМР пассивных источников исходных данных (например, результаты аэро- или космической съемки);
- построение ЦМР для участка земной поверхности площадью не менее 2 500 кв. км с разрешением 0,4 метр/пиксель за время не более 6 часов;
- минимизация ручных операций в ходе построения ЦМР;
- на полученной ЦМР должны быть различимы характерные ориентиры местности, такие как здания и другие постройки;
- возможность предоставления ЦМР в заданном формате данных (работу с которым поддерживает система моделирования авиационного тренажера).
Для выполнения указанных требований в работе исследуется возможность использования современных геоинформационных систем (далее ГИС-системы) в системе визуализации комплексного авиационного тренажера.
Современные ГИС-системы
ГИС-система - это информационная система, предназначенная для сбора, хранения, анализа и графической визуализации пространственных данных и связанной с ними информации о представленных в ГИС объектах.
В настоящее время в России представлено несколько фотометрических ГИС-систем, реализующих обработку стереоизображений от синхронных кадров аэро - или космической съемки:
- модуль 3Б [2];
- система РИОТОМОБ [3];
- информационный продукт «3Б моделирование» [4];
- программно-математическое обеспечение системы обработки космических стереоизображений [5].
Проведенный сравнительный анализ функциональных возможностей указанных ГИС-систем выявил:
- отсутствие поддержки необходимых форматов данных ЦМР;
- высокие издержки, а в некоторых случаях и отсутствие возможности приведений полученной ЦМР к требуемому формату данных;
- наличие значительной доли «ручных» операций в процессе формирования ЦМР;
- невозможность отображения характерных ориентиров без использования информации из дополнительных источников;
- высокие временные и технические затраты на построение ЦМР обширных территорий (от 2 месяцев);
- высокие финансовые затраты (покупка лицензий, поддержка и обновление).
На основании результатов проведенного сравнительного анализа было принято решение о целесообразности усовершенствования программно-математического обеспечения системы обработки космических стереоизображений с целью минимизации числа «ручных» операций, повышения быстродействия и качества отображения характерных ориентиров местности.
В качестве перспективного направления совершенствования указанной системы была выбрана модернизация модуля стереоскопической системы.
Стереоскопические системы
Стереоскопические системы определяют глубину (т.е. расстояние до объекта) на основании двух и более изображений, которые были сделаны в один момент времени с незначительно отличающихся ракурсов [6].
Наиболее сложные операции обработки в стереоскопических системах связаны не с вычислениями глубины, а с определением соответствующих пикселей на изображениях стереопары, которые необходимы для этих вычислений.
Некорректно установленные соответствия приводят к ошибкам в значениях глубины. Ошибки могут приводить как к незначительным отклонениям от истинного значения, так и к полностью неверным результатам. В связи с этим ключевым фактором эффективности метода стереореконструкции является обоснованный выбор алгоритма реализации.
Постановка задачи
Пусть даны два изображения стереопары р и д некоторой сцены, сделанные в один момент времени с незначительно отличающихся ракурсов. Указанные изображения представлены в виде матриц р(х,у) и д(х,у), где х и у соответствуют ширине и высоте изображений, а значение каждого элемента матрицы - яркости соответствующего пикселя изображения.
Требуется на основе указанных изображений вычислить в режиме «реального» времени матрицу ёе (х-ё, у), где ё - это предполагаемое значение разницы между смещением вдоль оси
стереобазы точки на обоих кадрах стереопары (далее - диспаритет). Элементами данной матрицы является значение диспаритета соответствующих пикселей исходных изображений.
Принятые ограничения и допущения
При разработке алгоритма приняты следующие ограничения и допущения:
- предположение о ректификации стереопары (ректификация - это преобразования, при которых двухмерные изображения проецируются на плоскость, параллельную линии, соединяющей оптические центры камер);
- независимость освещения поверхности от угла зрения;
- изображения исходных стереопар сделаны в спектре видимого излучения;
- ограничения упорядоченности, т. е. если на одном изображении стереопары точки идут слева направо в каком-то порядке, то на другом изображении они следуют в том же порядке;
- отсутствие на изображениях стереопары движущихся объектов.
Метод стереореконструкции на основе динамического программирования
В результате ознакомления с результатами анализа методов обнаружения соответствующих пикселей [7] была установлена перспективность изучения использования алгоритмов на основе динамического программирования для реализации высокопроизводительных методов стереореконструкции карты глубины.
Алгоритм на основе динамического программирования выполняет построчную обработку строк изображений стереопар, создает широкие возможности для сокращения временных затрат при использовании специальных подходов к программной реализации алгоритма.
Предлагаемый метод стереореконструкций карты глубины на основе алгоритма динамического программирования выполняется в 5 этапов:
1. Вычисление стоимостей соответствующих пикселей
Стоимость соответствующих пикселей определяется путем вычисления абсолютной разности между интенсивностями соответствующих пикселей на левом и правом изображениях стереопары
\1с(р(х; у)) - 1с(д(х + ё; y))\, (1)
где 1е(р(х; у)) - интенсивность пикселя правого изображения стереопары с координатами (х; у); 1е(д(х+ё; у) - интенсивность пикселя правого изображения стереопары с координатами (х+ё; у); ётах - это предполагаемое максимально допустимое значение диспаритета на изображении; -ётах < ё < ётах.
Для каждого пикселя р(х; у) базового изображения согласно выражению (1) вычисляется стоимость для каждого предполагаемого значения диспаритета от -ётах до ётах. В результате получается некая величина С, представляющая собой трехмерную матрицу размерности х*у*ё, где х и у - ширина и высота изображения стереопары; -ётах < ё < ётах.
2. Суммирование стоимостей соответствующих пикселей двухмерных изображений
С целью сокращения временных затрат и вычислительных ресурсов выполняется агрегирование полученных стоимостей для пикселей, расположенных в некоторой определенной области изображения пространства диспаритетов О
С'(х, у, ё) = ^ н’ ■ С (х', у, ё),
(х', у')еО.
где w - весовой коэффициент; О - некая малая окрестность (окно) вокруг пикселя р(х;у).
В работе предлагается проводить суммирование стоимостей соответствующих пикселей с весовым коэффициентом w(p,l), учитывающим цветовую разницу и геометрическую удаленность пикселей на плоскости изображения.
Пусть дан пиксель р и некий пиксель 1 в его окрестности. Суммирование стоимости из пикселя 1 будет зависеть от цветовой разницы Аер1 и евклидового расстояния А§р1 между пикселями р и 1 на плоскости изображения.
Цветовую разницу между двумя пикселями предлагается высчитывать в цветовом пространстве СШЬаЬ, поскольку данное цветовое пространство обеспечивает линейное изменение цвета с точки зрения человеческого восприятия, т.е. одинаковое изменение значений координат цвета в разных областях цветового пространства производит одинаковое ощущение изменения цвета [8].
Весовой коэффициент определяется по формуле
н(p, I) = схр( - (-р- + ^^р~) )
Ус у
где ус и у§ - пропорциональные константы.
Результатом выполнения данного шага является матрица С’ размерности х*у*ё, где х и у - ширина и высота изображения стереопары; ё - предполагаемое значение диспаритета; - ётах < ё < ётах.
3. Вычисление диспаритета
Данная задача сводится к поиску оптимального пути на полученной двумерной матрице С’ (х,у,ё), у=сопв1аП для каждой строки исходного изображения стереопары (рис. 1).
J к
с{
X
Рис. 1. Двумерная матрица C’(x,d), соответствующая некоторой строке х исходного изображения. Черные участки соответствуют пикселям, для которых найдено четкое соответствие на изображениях стереопары. Г оризонтальные линии означают нахождение точного соответствия. Разрывы и скачки горизонтальных линий соответствуют областям изображения, для которых не установлено соответствие на изображениях стереопары
Для решения данной задачи в режиме реального времени в работе предлагается использовать методы динамического программирования.
Задача вычисления диспаритета dc может быть решена путем поиска пути для каждой строки матрицы C’(x,y,d), минимизирующей глобальную функцию энергии E(d) (2)
dC = arg min E(d)
deSä
Sd = {d . ,...,d } *
где d min max является областью возможных значений диспаритета.
E(d) = Edata (d) + ESmooth (d) , (2)
где E(d) - глобальная функция энергии; Edata (d) - суммарный штраф за несоответствие интенсивностей точек изображений стереопары; Esmooth (d) - суммарный штраф за разрывы и скачки линий оптимального пути.
4. Уточнение несоответствий матрицы диспаритетов
Результатом выполнения третьего шага алгоритма являются разрозненные области с определенным диспаритетом, расположенным на различных уровнях высот. Поскольку стереореконструкции, представленные в таком виде, затруднительно использовать в области построения циф-
ровой модели рельефа, на заключительном шаге выполняется попиксельное уточнение несоответствий и разрывов матрицы диспаритетов с их последующей интерполяцией.
5. Формирование триангуляционной модели подстилающей поверхности
Для объединения информации о подстилающей поверхности, полученной по отдельным матрицам высот соответствующих стереопар, и обеспечения возможности дальнейшей обработки и использования результатов автоматической обработки выполняется построение триангуляционной модели.
Использование триангуляционной модели позволяет максимально точно аппроксимировать рельеф подстилающей поверхности, задаваемый отдельными матрицами высот.
Экспериментальные исследования
Для оценки возможности применения разработанного алгоритма в практических приложениях проведена оценка точности вычисления карты глубины. В качестве тестовых данных использованы изображения стереопар с заранее известными (истинными) значениями матрицы диспаритетов.
Пример полученной матрицы диспаритетов приведен на рис. 2.
а б в
Рис. 2. Пример полученной матрицы диспаритетов: а - левое изображение стереопары ТБикиЬа; б - истинные значения матриц диспаритетов стереопары ТБикиЬа; в - полученные значения матрицы диспаритетов
На рис. 2 в хорошо различимы горизонтальные линии, называемые эффектом «гребенки». Эффект «гребенки» является характерной чертой алгоритмов динамического программирования, его появление обусловлено построчной обработкой изображений стереопар.
Экспериментальная проверка результатов работы алгоритма построения стереоизображений на основе динамического программирования выявила ряд преимуществ, таких как: относительно высокая точность и надежность вычислений, высокое быстродействие за счет возможности распараллеливания вычислений и отсутствия необходимости в предварительной обработке изображений стереопары.
Выводы
Анализ результатов экспериментальных исследований подтверждает предположение о том, что предложенный алгоритм целесообразно использовать для построения стереореконструкции матрицы высот подстилающей поверхности в стереоскопической системе комплексного авиационного тренажера.
Возможность детального отображения объектов достигнуто за счёт использования цветовой разницы и геометрической удаленности пикселей на плоскости изображения при определении соответствующих точек.
В качестве дальнейшего направления исследования определены:
- исследование возможности повышения точности получаемых значений матрицы диспари-тетов за счет минимизация эффекта «гребенки»;
- исследование возможности совершенствования формирования триангуляционной модели с целью повышения точности отображения характерных ориентиров подстилающей поверхности.
ЛИТЕРАТУРА
1. Andre Auer JAR-FSTD A: Airplane Flight Simulation Training Devices, URL:
http://www.iaa.nl/publications/jars/JAR-FSTD-A secl 0508.pdf, протокол доступа к сетевому ресурсу: TCP/IP, 2008.
2. Компания ИТЦ «СканЭкс»: материалы официального интернет-ресурса, URL: http://www. scanex.ru, протокол доступа к сетевому ресурсу: TCP/IP, 2010.
3. Компания «Ракурс»: материалы официального интернет-ресурса, URL: http://www.racurs.ru, TCP/IP, 2010.
4. Научный центр мониторинга Земли: материалы официального интернет-ресурса, URL:
http://www.ntsomz.ru, протокол доступа к сетевому ресурсу: TCP/IP, 2010.
5. Гомозов О.А., Кузнецов А.Е., Порубаев В.И., Пошехонов В.И. Программно-математическое обеспечение системы обработки космических стереоизображений // Вестник РГРТУ. - Рязань, 2009. - № 1 - Вып. 27.
6. Шапиро Л., Стокман Дж. Компьютерное зрение: Бином, Лаборатория знаний, 2006.
7. Вахитов А.Т., Гуревич Л.С., Павленко Д.В. Обзор алгоритмов стереозрения, URL:
www.math.spbu.ru/user/gran/soi4/pavlenko.pdf, протокол доступа к сетевому ресурсу: TCP/IP, 2010.
8. Пекин А. Руководство по подготовке файлов данных, изготовлению проб и тиражных оттисков. [Персональная страница Пекина А.] URL: http://www.reproductor.ru/application/glossary/c04/, протокол доступа к сетевому ресурсу: TCP/IP, дата обращения: 21.02.2010.
IMPROVED METHOD OF FORMING MODEL UNDERLYING SURFACE
IN FLIGHT SIMULATORS
Marukhina M.V.
This paper describes the problems of constructing a digital model of the underlying surface, used in integrated flight simulators. The Real-time shape from stereo method is uses a dynamic programming optimization for compensating differences of input images. The obtained results of experimental studies have shown a high fast-absence of the proposed algorithm. Proved the feasibility of the method to construct a model of the underlying surface.
Key words: aviation simulator; underlying surface; stereo; dynamic programming.
Сведения об авторе
Марухина Мария Викторовна, окончила МАИ (2007), аспирантка МАИ, автор более 15 научных работ, область научных интересов - цифровая обработка изображений.
