Анализ и обработка изображений, получаемых при наблюдениях Земли из космоса стенограмма научного сообщения на совместном семинаре ИСОИ РАН и института компьютерных исследований СГАУ 18 апреля 2006 года Текст научной статьи по специальности «Компьютерные и информационные науки»

АНАЛИЗ И ОБРАБОТКА ИЗОБРАЖЕНИЙ, ПОЛУЧАЕМЫХ ПРИ НАБЛЮДЕНИЯХ ЗЕМЛИ ИЗ КОСМОСА

Стенограмма научного сообщения на совместном семинаре ИСОИ РАН и Института компьютерных исследований СГАУ18 апреля 2006 года

В.В. Сергеев

Институт систем обработки изображений РАН, Самарский государственный аэрокосмический университет имени академика С.П. Королева

Аннотация

В докладе рассматриваются некоторые научные, прикладные и организационные вопросы анализа и обработки космических изображений Земли, получаемых космическими аппаратами дистанционного зондирования. Описываются результаты решения задач моделирования видеоинформационного тракта, создания программного комплекса предварительной обработки изображений, разработки алгоритмов компрессии и фильтрации изображений, использования космических изображений в геоинформационных приложениях. Характеризуется научно-образовательная и производственная деятельность, связанная с получением и обработкой космических изображений, в Самарском регионе.

Изображения, получаемые с помощью космических средств дистанционного зондирования Земли, играют исключительно важную роль в научных исследованиях, промышленных, хозяйственных, военных и других приложениях. Разработка космических аппаратов дистанционного зондирования и соответствующих наземных комплексов обработки изображений активно ведется во всем мире. Вслед за лидерами космической индустрии - Россией (СССР) и США - на перспективный рынок услуг по получению и использованию космических изображений уверенно входят Индия, Франция, Канада, Израиль, Бразилия, некоторые другие страны.

Следует отметить, что, во-первых, получение космических изображений связано с серьезными технологическими сложностями, в процессе преобразования оптического сигнала в цифровые данные на него оказывают влияние искажающих факторов, которые должны быть учтены и, насколько это возможно, скомпенсированы. Во-вторых, изображения Земли, получаемые из космоса, сами по себе являются весьма специфичными информационными объектами, обработка которых требует применения особых математических методов и вычислительных алгоритмов.

В своем докладе я хочу остановиться на тех основных задачах анализа и обработки космических изображений, в решении которых наш объединенный научно-производственный коллектив (ИСОИ РАН, СГАУ, ОАО «Самара-Информспутник») имеет определенные достижения. А в конце - некоторые организационные аспекты.

Моделирование видеоинформационного тракт

Последовательность искажающих факторов и преобразований, которым подвергается оптический сигнал на пути от своего источника (в нашем случае -от поверхности Земли) к получателю информации, принято называть «видеоинформационным трактом» системы формирования изображений. Структура ви-

деоинформационного тракта, типичная для современных космических комплексов оперативного дистанционного зондирования, показана на слайде 1. Источником информации в рассматриваемом случае является электромагнитное излучение, исходящее (отраженное) от земной поверхности в оптическом или ИК-диапазоне длин волн. Оптический сигнал проходит через атмосферу, оптическую систему космического аппарата и фокусируется в виде изображения в плоскости фоточувствительных элементов - видеосенсоров. Видеосенсоры преобразуют изображение в электрический сигнал и далее, после аналого-цифрового преобразования - в матрицу цифровых кодов (пикселов). Перед передачей на наземный пункт приема, непосредственно на борту космического аппарата осуществляется особый вид обработки изображений - компрессия, позволяющая без потери качества данных многократно уменьшить их объем. Компрессированные изображения затем передаются на Землю по цифровому каналу передачи данных для их обработки и накопления (хранения).

Наземную обработку получаемых космических изображений принято разделять на предварительную (первичную), и окончательную (тематическую). Предварительная обработка включает в себя восстановление изображения из компрессированных данных, компенсацию искажений, внесенных в видеоинформационном тракте, яркостную и геометрическую коррекцию и т.д. Предварительная обработка завершается формированием так называемой базовой информационной продукции (БИП) - нормализованных кадров цифровых изображений, предназначенных для многоцелевого использования в дальнейшем. Тематическая обработка изображений производится в интересах решения конкретных прикладных задач. И «сырые» данные, передаваемые с космического аппарата, и БИП, и результаты тематической обработки могут размещаться в специализированной базе данных - комплексе хранения изображений.

Понятно, что на этапе создания космического аппарата дистанционного зондирования важнейшую роль играет компьютерное моделирование видеоинформационного тракта, осуществляемое для оценки отдельных искажающих факторов, влияющих на качество получаемых изображений, рационального выбора оптической системы, видеосенсоров, алгоритмов обработки данных, режимов съемки и т.д. Разработка соответствующих моделирующих программных комплексов оказывается самостоятельной, очень непростой научно-технической задачей, особенно если принять во внимание, что каждое звено видеоинформационного тракта может иметь весьма сложную внутреннюю структуру.

Это можно видеть на примере оптико-электронного видеосенсорного устройства одного из российских космических аппаратов, в моделировании которого мы принимали участие (слайд 2). В этом устройстве изображение формируется в трех спектральных каналах (оптический сигнал предварительно проходит через специальные светофильтры) с помощью трех блоков видеосенсоров. Каждый спектральный видеосенсор представляет собой «линейку» из оптико-электронных преобразователей (ОЭП), геометрически разнесенных так, как показано на слайде. В свою очередь, каждый из ОЭП является матричным ПЗС-датчиком, функционирующим в режиме так называемой «временной задержки и накопления». Устройство в целом формирует большое число (около двухсот) параллельных потоков цифровых данных, соответствующих узким «полосам» изображения, захватываемым каждым ОЭП.

Экспериментальный комплекс предварительной обработки изображений

Успешное решение задачи моделирования видеоинформационного тракта позволило в дальнейшем выделить из моделирующего программного комплекса, доработать и самостоятельно использовать его существенную функциональную часть -комплекс предварительной обработки изображений. Как следует из приведенного выше описания видеосенсорного устройства, основным содержанием этой обработки является «сведение» «полос» от отдельных ОЭП в полноформатные монохромные изображения, соответствующие различным спектральным каналам, а затем - композиция из данных спектральных каналов окончательного результата, «цветного» изображения, БИП (см. слайд 3). Понятно, что параллельно приходится решать задачи коррекции искажений, вносимых видеосенсорами, фильтрации шумов, оценки и компенсации линейных (динамических) искажений, геометрического рассогласования частей изображения и т.д. С одной стороны, сквозная информационная технология предварительной обработки оказывается довольно сложной и многозвенной, но с другой - она хорошо распараллеливается, удобно реализуется и в рамках обычных локальных сетей персональных компьюте-

ров, и на специализированных (например, кластерных) вычислительных средствах. Архитектура программного комплекса предварительной обработки изображений показана на слайде 4. На слайде 5 показан пример экранной формы мониторинга текущего вычислительного процесса обработки изображений в локальной вычислительной сети (загрузка отдельных «виртуальных» машин, процент выполнения задач и т.д.)

С помощью созданного программного комплекса удалось провести большой объем экспериментов по отработке методов обработки данных и предложить окончательные проектные решения для штатного программного обеспечения предварительной обработки изображений, получаемых российским космическим аппаратом «Ресурс-ДК».

Компрессия изображений

Среди различных видов обработки космических изображений важнейшее значение придается компрессии (сжатию), т.е. обработке с целью сокращения объема данных (слайд 6). Для космических систем высокодетального оперативного дистанционного зондирования Земли использование программно-аппаратных средств компрессии изображений непосредственно на борту космического аппарата является практически необходимым, так как исходный поток данных, формируемых видеосенсорами в режиме в реального времени, заведомо превышает возможности каналов передачи данных.

Специфика задачи компрессии космических изображений в реальном времени (в темпе их получения) порождает и специфичные требования к алгоритмам и информационным технологиям компрессии, отличающиеся от тех, которые обычно предъявляются к подобным алгоритмам в традиционной цифровой фотографии и других компьютерных приложениях: строгий контроль качества получаемых (восстановленных после компрессии) изображений при заданной степени сжатия, стабилизация скорости формирования потока выходных данных, помехозащищенность формируемых сжатых, низкая вычислительная и структурная сложность при программно-аппаратной реализации.

Ранее для других приложений нами был разработан метод компрессии изображений на основе иерархической сеточной интерполяции (ИСИ-метод), который, как выяснилось, после небольшой доработки может отвечать всем вышеперечисленным требованиям.

Основная идея ИСИ-метода состоит в многократном прореживании двумерной сетки пикселов изображения. При этом изображение представляется как объединение иерархических уровней (слайд 7). Такое представление позволяет обрабатывать иерархические уровни во время компрессии и декомпрессии последовательно, начиная со старшего иерархического уровня. На слайде 8 показана процедура обработки одного из уровней.

Пикселы старшего (менее детального) иерархического уровня используются для интерполяционном восстановления пропущенных пикселов на текущем уровне, далее вычисляются разности между интерполированными и истинными значениями пикселов («интерполяционные остатки»). Интерполяционные остатки загрубляются (квантуются за заданным шагом) и подвергаются статистическому кодированию, чем и достигается эффект компрессии.

Многочисленные эксперименты показали, что ИСИ-метод превосходит известные методы компрессии, включая распространенный метод JPEG, по качественным показателям, рассматриваемым в координатах «коэффициент сжатия - погрешность восстановления» (слайд 9). В отличие от JPEG, наш метод позволяет контролировать погрешность восстановления по наиболее «жесткому» критерию максимальной ошибки. Но даже если рассматривать «стандартный» среднеквадратичный показатель погрешности, то преимущества ИСИ-метода сохраняются (хотя и не являются столь радикальными). Алгоритмы, реализующие ИСИ-метод, имеют в несколько раз меньшую вычислительную сложность, чем другие методы компрессии, сопоставимые с ним по качеству.

Кроме этого, в ИСИ-метод легко «встраиваются» простые процедуры, обеспечивающие дополнительные требования к компрессии, специфичные для систем дистанционного зондирования. Так, для этого метода была разработана оригинальная методика стабилизации скорости формирования сжатых данных (слайд 10), которая заключается в быстром выборе управляющего параметра (заданной максимальной погрешности) в процессе иерархической компрессии блоков изображения. Был также разработан новый метод повышения помехоустойчивости передачи сжатых данных по цифровому каналу со случайными сбоями, основанный на вычислении ряда признаков изображений на каждом иерархическом уровне (слайд 11).

На слайде 12 приведена общая схема бортовой системы (и информационной технологии) компрессии изображений, основанной на ИСИ-методе, которая, как мы надеемся, будет реализована на одном из перспективных российских космических аппаратов дистанционного зондирования Земли.

Быстрые алгоритмы фильтрации изображений

Возвращаясь к задаче наземной предварительной обработки изображений, следует сказать, что самой трудоемкой (в смысле объема вычислений) операцией здесь является линейная фильтрация, осуществляемая в целях уменьшения уровня шумов, компенсации линейных (пространственно-частотных) искажений, корреляционного поиска опорных элементов поверхности и т. д. Поэтому были предприняты попытки построения алгоритмов фильтрации изображений, оптимальных с точки зрения скорости преобразования данных.

Известны два основных пути построения быстрых алгоритмов линейной фильтрации: на основе использования дискретного преобразования Фурье (ДПФ) и на основе реализации рекурсивной обработки данных.

Идя по первому пути, можно предложить процедуру обработки, основанную на секционировании (разбиении его на блоки) большеформатного изображения и применении к каждому блоку быстрого спектрального алгоритма вычисления свертки с ядром конечной длины (импульсной характеристикой обрабатывающего линейного фильтра), основанную на ДПФ (см. слайд 13). Если использовать расширенный набор алгоритмов ДПП, разработанный в ИСОИ РАН, и решить несложную задачу оптимального выбора размера обрабатываемых блоков, то удается достичь минимальной вычислительной сложности фильтрации, достигающей, в зависимости от размеров ядра, удельных величин в несколько всего в несколько десятков арифметических операций на пиксел.

Если для какого-то конкретного применения и такая сложность оказывается недопустимо высокой, то следует перейти на второй путь и использовать для фильтрации параллельно-рекурсивные методы обработки (слайд 14). Ценность такого подхода состоит, во-первых, в получении рекордно низкой сложности обработки (достигаемой, правда, за счет приближенного вычисления свертки), и, во-вторых, в возможности его обобщения на случай адаптивной (с параметрами, зависящими от свойств сигнала) и даже нелинейной фильтрации. На слайде 15 представлены результаты сравнения эффективности разных методов вычисления свертки, показывающие, что параллельно-рекурсивные методы линейной фильтрации могут в несколько раз снизить сложность обработки даже по сравнению с методами, основанными на ДПФ. Слайд 16 демонстрирует примеры параллельно-рекурсивной нелинейной обработки изображений: фильтрации Габора, выделения углов и границ.

Космические изображения в геоинформационных приложениях

Теперь несколько слов о применении космических изображений в прикладной геоинформатике. Такое применение собственно и является основной целью выполняемого дистанционного зондирования Земли. Космические средства наблюдения дают уникальную возможность быстрого составления и оперативного обновления цифровых моделей местности и различных тематических цифровых карт, составляющих содержание баз данных геоинформационных систем. До недавнего времени основным ограничением их использования являлось относительно низкое (по сравнению с аэрофотосъемкой) пространственное разрешение космических снимков. На слайде 17 дан пример цифрового космического изображения одного из населенных пунктов Самарской области, полученного российским кос-

мическим аппаратом около пяти лет назад. Детальность (пространственное разрешение, шаг между пикселами по поверхности) снимка - около пяти метров, она достаточна для составления карт масштаба только 1:50 000 и мельче. Фрагмент подобной карты (цифровой модели территории), сформированной на основе космических изображений, приведен на слайде 18. Такие мелкомасштабные карты используются в традиционной географии, публикуются в виде атласов, включаются в базы данных геоинформационных систем регионального уровня, но, к сожалению, совершенно недостаточны для решения многих инженерных и градостроительных задач.

К счастью, космические комплексы дистанционного зондирования быстро развиваются и сейчас на международном рынке уже имеются предложения цифровых снимков Земли с разрешением менее одного метра. Их уже удается с успехом использовать при наполнении баз данных геоинформационных систем муниципального и отраслевого уровня (разумеется, наряду с другими источниками информации). В качестве примера на слайде 19 показана постепенная трансформация космического снимка фрагмента территории г. Самары в тематическую карту, предназначенную для технического учета и управления внутригородским газовым хозяйством.

Деятельность, связанная с космическими изображениями, в Самарском регионе

В конце доклада я хотел бы остановиться на общей картине научно-образовательной и производственной деятельности, связанной и получением и обработкой космических изображений, в нашем регионе (слайд 20). «Кузницей кадров» в области космических технологий и информатики безусловно является наш Самарский государственный аэрокосмический университет, а предприятием, осуществляющим (и возглавляющим) всю конструкторскую и производственную деятельность по созданию космических комплексов дистанционного зондирования Земли - ГНПРКЦ «ЦСКБ-Прогресс». Фундаментальные научные исследования в области математических методов обработки изображений (в том

числе, космических) выполняет Институт систем обработки изображений РАН. Разработкой прикладного программного обеспечения для моделирования и обработки космических изображений, использованием космоснимков для формирования геоинформационных баз данных, проектированием, созданием и внедрением учетно-аналитических и кадастровых геоинформационных систем различного уровня занимается ОАО «Самара-Информспутник». Все эти организации плодотворно взаимодействуют по самым разным аспектам своей деятельности, что и отражено на слайде.

В настоящее время по инициативе и при поддержке Правительства Самарской области СГАУ, ГНПРКЦ «ЦСКБ-Прогресс» и ОАО «Самара-Информспутник» создают некоммерческое партнерство «Поволжский центр космической геоинформатики» (ПЦКГИ). Целью партнерства является дальнейшее развитие и координация деятельности его участников, решение региональных геоинформационных задач на основе получения, обработки, накопления и распространения данных дистанционного зондирования, принимаемых с ряда российских и зарубежных космических аппаратов.

На какие же возможные источники данных дистанционного зондирования сориентировано ПЦКГИ Их выбор диктуется несколькими условиями. Во-первых, наличием относительно недорогих отечественных технических средств (аппаратно-программных комплексов) приема данных. Во-вторых, осуществлением прямого сброса данных на территории России, сейчас или в ближайшем будущем. В-третьих, возможностью достижения быстрого экономического эффекта за счет реализации цифровых космоснимков и геоинформационной продукции, созданной на их основе. На слайде 21 перечислены действующие сегодня космические аппараты, на которых можно было бы строить деятельность ПЦКГИ. Получаемые ими изображения территории имеют разную детальность (разрешение) и в своей совокупности дают полный спектр исходных данных, обеспечивающих решение научных, образовательных и прикладных задач космической геоинформатики.

Видеоинформационный тракт космического ысои^рлн комплекса оперативного дистанционного зондирования

Бортовая обработка (компрессия)

Канал передачи данных

иН

Предварительная обработка

Тематическая обработка

Получатель информации

Комплекс

хранения изображений

Слайд 1

Структура оптико-электронного видеосенсорного устройства

Направление движения

аппарата

Сенсоры спектральных каналов:

Фокальная плоскость ОС

Формируемое изображение:

Опти ко-электронные преобразователи (ПЗС-ВЗН-датчики):

дпп □ ^ппо п

Предварительная обработка изображений мсои^рлн

Слайд 3

Слайд 5

Компрессия изображений в системах МСОЫфРЛН дистанционного зондирования

Основные требования:

• Строгий контроль качества при заданной степени сжатия.

Стабилизация скорости формирования потока сжатых данных. Помехозащищенность сжатых данных.

Низкая вычислительная и структурная сложность компрессии.

Метод компрессии изображений сеточной интерполяции (ИСИ)

Основные идеи:

• иерархическая сеточная интерполяция;

• адаптивное квантование;

■ адаптивное статистическое кодирование.

на основе иерархической

Достоинства метода:

• контролируемая максимальная погрешность восстановления изображений;

• высокая степень сжатия;

■ возможность мул ьти раз решения;

• низкая вычислительная сложность.

Иерархическое представление данных

Изображение =

набор иерархических уровней

К-1

Х=иХг

г-0

Старший уровень:

= { Х/м(т,л)}

Произвольный уровень:

Хг = {хг(т,п)}1{хг+1(т,п)}, 0<г <11-1

хг(т,п) = 2гт,2гп}

ИСОИ ©РАН

Метод компрессии на основе ИСОИ ©РАН

иерархической сеточной интерполяции (ИСИ)

Процедура компрессии произвольного иерархического уровня (ИУ)

Лянный ИУ

Слайд 9

ИСОИ§)РЛН

Стабилизация скорости формирования сжатых данных

V''

Повышение помехоустойчивости передачи компрессированных изображений

UCOU@PAH

Метод повышения помехоустойчивости для ИСИ-алгоритма:

• вычисление признаков изображения для каждого иерархического уровня

• кодирование служебной информации известными алгоритмами помехоустойчивого кодирования(АПК)

- передача сжатых растровых данных без АПК

Вероятность потери иерархического уровня г

г=О

Влияние шума канала связи

г=2

-7 -6,5 -6 -5,5 -Slogpo Резул ьтаты

(при вероятности сбоя одного бита рь=10^ и размере блока изображения 101Б бит): снижение вероятности потери целого блока от 0,03 до 10л ■ повышение вероятности правильного приема блока от 0,97 до 0,9996

Слайд 11

Общая схема бортовой системы компрессии изображений на базе ИСИ-метода

Стабилизация

Определение

4MV

Определение допустимого объема данных

Вычисление разностного сигнала

[Изображение

Восстановленный ИУ

Квантователь

Деквантовател ь

Интер-

полятор

Восстановление

Сжатые данные

Расчет синдромных признаков

Расчет растровых признаков

Защита от сбоев

Оптимизация процедуры линейной МСОИ^РЛН

фильтрации большеформатных изображений

М2"(.2+1 У(пь п2)

Цель

• минимизация удельной у вычислительной сложности ((7) фильтрации - количества арифметических операций на отсчет выходного изображения 120

Решение

• оптимальный выбор размера секции (М^М2) и алгоритма ДПФ __ из расширенного набора

1 51 1-2

Слайд 13

Параллельно-рекурсивные методы локальной обработки изображений (ПР-методы)

исои§)РАН

Общая схема обработки

^^^^^^^^^ скользящее окно обработки ■ Н ' Н^-(область действия фильтра)

рекурсивно-вычисляемые признаки

ПР-обработка

преобразование

Преимущества ПР-методов:

• отсутствие зависимости вычислительной сложности от размеров фильтра ■ гибкая настройка параметров сложность/качество обработки

• возможность реализации адаптивной обработки изображений

• адаптивность к конкретным типам обрабатываемых данных

ПР-методы обработки: эффективность применения

Обозначения: Импульсная

1. метод прямой свертки характеристика

фильтра

2. метод быстрой свертки (БПФ)

3. полиномиальные ПР базисы

с минимальной вычислительной сложностью

4. полиномиальные четные ПР базисы

Сравнение эффективности применения

Щ; я

щщ Им

<ение объектов

Аппроксимация ИХ

<и £ ¡¿20

К °

Ё I 15

4 . к-

/

1 —у /

/

/

1 \

2 > 1

N . 3 V

Л \ \

_4_ \ \ > I \

у \\

5 10 20 50 100 500 1000 Сложность

5 10 20 50 100 500 1000 3000 Сложность

Слайд 15

ПР-реализация детекторов углов и граним

Тестовое изображение Выделение углов

аигт^/тляв аг." /ч-жт

1

Выделение границ

Г/1Ч7Ж

Космические изображения в геоинформационных приложениях

ИСОИ©РАН

- '

_ * 1 -ЛИТ!*.;с Дте"; -т

Вчч г ЦТ«**!I с .

»-{ V ' а^• т • ■ ■ » 1 < 1 : _ ,

Г^-;.,-. .V •••• [ДО" '

¡У м ЧВ111Ш1||'1»1ПгИ1г ПЁшпш

■

Слайд 17

Слайд 19в

Слайд 19д

Научно-образовательная и производственная МСОИ^РАН деятельность, связанная с обработкой космических изображений, в Самарском регионе

Институт систем

обработки изображений РАН

Выполнение совместных

научных проектов,

диссертационные исследования

Внедрение результатов НИР

в учебный процесс

Самарский государственный аэрокосмический университет

I

Разработка методов

фильтрации, кодирования

анализа и распознавания

изображении

ОАО "Самара-Информспутник"

Проектирование,

реализация

и наполнение баз

данных ГИС

Создание ПО

моделирования

тракта, компрессии

и обработки

изображении

Участие

в ПЦКГИ

ГНПРКЦ

«ЦСКБ -Прогресс»

Подготовка

кадров

Создание

ККДЗЗ

Участие

в ПЦКГИ

Участие

Правительство Самарской области,

Администрация г.Самары, Средневолжская газовая компания, «ВолгоНИИгипрозем» и др.

Поволжский центр

космической геоинформатики

Обработка и распространение космоснимков и продукции на их основе

иссш^рлн

Потенциальные источники данных дистанционного зондирования в ПЦКГИ

Космический аппарат Страна-производитель Разрешение изображений (м)

1 Terra/Aqua США 150-500

2 Метеор-М Россия 35

3 Монитор-Э Россия 10-40

4 Landsat-7 США 15-24

5 IRS-1C/1D Индия 5.8-23.3

6 IRS-P6 Индия 5.8

7 SPOT- 2/4 Франция 10

8 RADARSAT-1 Канада 8

9 Ресурс-ДК Россия 1.5-3

10 Eros-A Израиль 2

11 SPOT-5 Франция 2.5

_12 Eros-B Израиль 0.7

Слайд 21