Разработка и исследование стереоскопической системы формирования модели подстилающей поверхности в авиационных тренажерах Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.932.2

РАЗРАБОТКА И ИССЛЕДОВАНИЕ СТЕРЕОСКОПИЧЕСКОЙ СИСТЕМЫ ФОРМИРОВАНИЯ МОДЕЛИ ПОДСТИЛАЮЩЕЙ ПОВЕРХНОСТИ В АВИАЦИОННЫХ

ТРЕНАЖЕРАХ

М.В. Марухина

В статье рассматривается задача построения цифровой модели подстилающей поверхности, используемой в комплексных авиационных тренажерах. Предложен метод стереореконструкции матрицы глубины на основе динамического программирования. Полученные результаты экспериментальных исследований показали высокое быстродействие предложенного алгоритма. Доказана целесообразность применения предложенного метода стереореконструкции матрицы высоты для построения модели подстилающей поверхности

Ключевые слова: авиационный тренажер, подстилающая поверхность, стереоизображение, динамическое программирование

Введение

В современной практике наземной подготовки пилотов широкое применение нашли комплексные авиационные тренажеры, в которых имитируется динамика полета и работа самолетных систем с помощью специальных моделей, реализованных в программном обеспечении вычислительного комплекса тренажера.

Комплексные тренажеры позволяют с минимальными временными и финансовыми затратами решать широкий круг задач по подготовке к выполнению полета, включая:

- ознакомление пилота с особенностями местности, позволяющими выполнять визуальную навигацию;

- изучение местности, на которой будет выполняться полетное задание;

- детальная отработка полетного задания на конкретной местности.

Использование высококачественных систем визуализации подстилающей поверхности является залогом эффективной подготовки пилотного состава.

При этом выдвигается ряд требований к системе визуализации, в частности:

- построение цифровой модели рельефа (далее - ЦМР) заданного участка местности в короткие сроки;

- минимизация ручных операций в ходе построения ЦМР;

- на полученной ЦМР должны быть различимы характерные ориентиры местности;

- возможность предоставления ЦМР в заданном формате данных (работу с которым поддерживает система моделирования авиационного тренажера);

Марухина Мария Викторовна - МАИ, аспирант, е-шай: m.marukhina@ya.ru

- использование для построения ЦМР пассивных источников исходных данных (например, результаты аэро- или космической съемки).

В работе исследуется возможность использования современных геоинформационных систем (далее - ГИС-системы) в системе визуализации комплексного авиационного тренажера для выполнения указанных выше требований

ГИС-систем

В настоящее время в России представлены несколько фотометрических ГИС-систем, реализующих обработку стереоизображений от синхронных кадров аэро- или космической съемки:

- модуль 3Б [1];

- система РИОТОМОБ [2];

- информационный продукт «3Б моделирование» [3];

- программно-математическое обеспечение системы обработки космических стереоизображений [4].

Проведенный сравнительный анализ функциональных возможностей указанных ГИС-систем показал:

- отсутствие поддержки необходимых форматов данных ЦМР;

- высокие издержки, а в некоторых случаях и отсутствие возможности приведений полученной ЦМР к требуемому формату данных;

- наличие значительной доли «ручных» операций в процессе формирования ЦМР;

- невозможность отображения характерных ориентиров без использования информации из дополнительных источников;

- высокие временные и технические затраты на построение ЦМР обширных территорий (от 2 месяцев);

- высокие финансовые затраты (покупка лицензий, поддержка и обновление).

В качестве наиболее перспективной системы для усовершенствования с позиций миними-

зации числа «ручных» операций, повышения быстродействия и качества отображения характерных ориентиров местности была определена программно-математическое обеспечение системы обработки космических стереоизображений путем модернизации модуля стереоскопической системы.

Стереоскопические системы

Стереоскопические системы определяют глубину (т.е. расстояние до объекта) на основании двух и более изображений, которые были сделаны в один момент времени с незначительно отличающихся ракурсов [5].

Наиболее сложные операции обработки в стереоскопических системах связаны не с вычислениями глубины, а с определением соответствующих пикселей на изображениях стереопары, которые необходимы для этих вычислений.

Некорректно установленные соответствия приводят к ошибкам в значениях глубины. Ошибки могут приводить как к незначительным отклонениям от истинного значения, так и к полностью неверным результатам. В связи с этим ключевым фактором эффективности метода стереореконструкции является обоснованный выбор алгоритма реализации.

Постановка задачи

Пусть даны два изображения стереопары р и д некоторой сцены, сделанные в один момент времени с незначительно отличающихся ракурсов. Указанные изображения представлены в виде матриц р(х,у) и д(х,у), где х и у соответствуют ширине и высоте изображений, а значение каждого элемента матрицы - яркости соответствующего пикселя изображения.

Требуется на основе указанных изображений вычислить в режиме «реального» времени матрицу ^ (х-^ у), где d - это предполагаемое значение разницы между смещением точки на обоих кадрах стереопары (далее - диспаритет). Элементами данной матрицы является значение диспаритета соответствующих пикселей исходных изображений.

Метод стереореконструкции на основе динамического программирования

В результате ознакомления с результатами анализа методов обнаружения соответствующих пикселей [6] была установлена перспективность изучения использования алгоритмов на основе динамического программирования для реализации высокопроизводительных методов стереореконструкции карты глубины.

Алгоритм на основе динамического программирования выполняют построчную обработку строк изображений стереопар, создает широкие возможности для сокращения времен-

ных затрат при использовании специальных подходов к программной реализации алгоритма.

Предлагаемый метод стереореконструкций карты глубины на основе алгоритма динамического программирования выполняется в 4 этапа:

1. Вычисление стоимостей соответствующих пикселей.

Выполняется создание изображения пространства диспаритетов путем вычисления абсолютной разности между интенсивностями соответствующих пикселей на левом и правом изображениях стереопары:

\Р(Х;У)- Ч(х + й; у)| (1)

где р(х; у) - пиксель правого изображения стереопары с координатами (х; у); ц(х+й; у) - пиксель правого изображения стереопары с координатами (х+й; у); йтах - это предполагаемое максимально допустимое значение диспаритета на изображении, —йтах < й < йтах.

Для каждого пикселя р(х; у) базового изображения согласно выражению (1) вычисляется стоимость для каждого предполагаемого значения диспаритета от —йтах до йтах. В результате получается некая величина С, представляющая собой трехмерную матрицу размерности х*у*й, где х и у -ширина и высота изображения стереопары,

— йтах < й < йтах.

2. Суммирование стоимостей соответствующих пикселей двухмерных изображений.

С целью сокращения временных затрат и вычислительных ресурсов выполняется агрегирование полученных стоимостей для пикселей, расположенных в некоторой определенной области изображения пространства диспаритетов О:

С'(х, у, й) = ^ н •С(х', у', й),

( ху ')еО

где н - весовой коэффициент; О - некая малая окрестность (окно) вокруг пикселя

р(х;у)•

В работе предлагается проводить суммирование стоимостей соответствующих пикселей с весовым коэффициентом н(р,1), учитывающим цветовую разницу и геометрическую удаленность пикселей на плоскости изображения.

Пусть дан пиксель р и некий пиксель I в его окрестности. Суммирование стоимости из пикселя I будет зависеть от цветовой разницы Аер1 и евклидового расстояния Agpl

между пикселями р и I на плоскости изображения.

Цветовая разница между двумя пикселями предлагается высчитывать в цветовом пространстве ЯОБ.

Весовой коэффициент определяется по формуле:

н(р,1) = бхр( - (ЛСр1 • ус + Agpl -гг ) ) где ус и уё - пропорциональные константы.

Результатом выполнения данного шага является матрица С’ размерности х*у*й, где х и у - ширина и высота изображения стереопары, й - предполагаемое значение диспаритета, —йтах < й < йтах.

3. Вычисление диспаритета.

Данная задача сводится к поиску оптимального пути на полученной двумерной матрице С’ (х,у,й), у=соп^а^, для каждой строки исходного изображения стереопары.

Для решения данной задачи в режиме реального времени в работе предлагается использовать методы динамического программирования.

Задача вычисления диспаритета йс может быть решена путем поиска пути для каждой строки матрицы С’(х,у,й), минимизирующего глобальную функцию энергии Е(й) (2):

йС = аг§тт Е (й)

dGSd

{dmin dmax }

где d min max является областью

возможных значений диспаритета.

E (d) = Edata (d) + Esmooth (d)

(2)

где Е ) - глобальная функция энергии;

Еаа‘а - суммарный штраф за несоот-

ветствие интенсивностей точек изображений стереопары;

E

smooth

(d)

суммарный штраф за разрывы и скачки линий оптимального пути.

4. Уточнение несоответствий матрицы дис-паритетов.

Результатом выполнения третьего шага алгоритма являются разрозненные области с определенным диспаритетом, расположенным на различных уровнях квантования. Поскольку стереореконструкции, представленные в таком виде, затруднительно использовать в области построения цифровой модели рельефа, на заключительном шаге выполняется попиксельное

уточнение несоответствий и разрывов матрицы диспаритетов с их последующей интерполяцией.

а)

б)

в)

Пример полученной матрицы диспаритетов: а - левое изображение стереопары Tsukuba; б - истинные значения матриц диспаритетов стереопары Tsukuba; в - полученные значения матрицы диспаритетов

Экспериментальные исследования

Для оценки возможности применения разработанного алгоритма в практических приложениях проведена оценка точности вычисления карты глубины. В качестве тестовых данных использованы изображения стереопар с заранее известными (истинными) значениями матрицы диспаритетов.

Пример полученной матрицы диспаритетов приведен на рисунке.

Экспериментальная проверка результатов работы алгоритма построения стереоизображений на основе динамического программирова-

ния выявила ряд преимуществ таких, как: относительно высокая точность и надежность вычислений, высокое быстродействие за счет возможности распараллеливания вычислений и отсутствия необходимости в предварительной обработке изображений стереопары. Экспериментальная проверка результатов работы алгоритма построения стереоизображений на основе динамического программирования выявила ряд преимуществ таких, как: относительно высокая точность и надежность вычислений, высокое быстродействие за счет возможности распараллеливания вычислений и отсутствия необходимости в предварительной обработке изображений стереопары.

Выводы

Анализ результатов экспериментальных исследований подтверждает предположение о том, что предложенный алгоритм целесообразно использовать для построения стереореконструкции матрицы высот подстилающей поверхности в стереоскопической системе комплексного авиационного тренажера.

Возможность детального отображения объектов достигнуто за счёт использования цветовой разницы и геометрической удаленности пикселей на плоскости изображения при определении соответствующих точек.

В качестве дальнейшего направления исследования определены:

- повышение точности получаемых значений матрицы диспаритетов за счет минимизация эффекта «гребенки», появление которого обусловлено применением методов динамического программирования;

- совершенствование формирования триангуляционной модели с целью повышения точности отображения характерных ориентиров подстилающей поверхности.

Литература

1. Компания ИТЦ «СканЭкс»; материалы официального интернет-ресурса, URL: http://www.scanex.ru, протокол доступа к сетевому ресурсу: TCP/IP, дата обращения: ноябрь 2010.

2. Компания «Ракурс»; материалы официального интернет-ресурса, URL: http://www.racurs.ru, протокол доступа к сетевому ресурсу: TCP/IP, дата обращения: ноябрь 2010.

3. Научный центр мониторинга Земли; материалы

официального интернет-ресурса, URL:

http://www.ntsomz.ru, протокол доступа к сетевому ресурсу: TCP/IP, дата обращения: ноябрь 2010.

4. О.А. Гомозов, А.Е. Кузнецов, В.И. Порубаев, В.И. Пошехонов; Программно-математическое обеспечение системы обработки космических стереоизображений, Вестник РГРТУ, Рязань, 2009, №1 (выпуск 27).

5. Л. Шапиро, Дж. Стокман; Компьютерное зрение: Бином, Лаборатория знаний, 2006 г.

6. А. Т. Вахитов, Л. С. Гуревич, Д. В. Павленко; Обзор

алгоритмов стереозрения, URL:

www.math.spbu.ru/user/gran/soi4/pavlenko.pdf, протокол доступа к сетевому ресурсу: TCP/IP, дата обращения: ноябрь 2010.

Московский авиационный институт (государственный технический университет)

THE DEVELOPMENT AND INVESTIGATION OF THE STEREOSCOPIC SYSTEM FOR CREATING MODELS OF THE UNDERLYING SURFACE IN FLIGHT

SIMULATORS

M. V. Marukhina

This paper describes the problems of constructing a digital model of the underlying surface, used in integrated flight simulators. The Real-time shape from stereo method is uses a dynamic programming optimization for compensating differences of input images. The obtained results of experimental studies have shown a high fast-absence of the proposed algorithm. Proved the feasibility of the method to construct a model of the underlying surface

Key words: aviation simulator; underlying surface; stereo; dynamic programming