CC BY
25
Бондаренко М.А.
Московский государственный университет им. М.В. Ломоносова, факультет Вычислительной математики и кибернетики, аспирант
Программное и алгоритмическое обеспечение системы технического зрения по автоматизированной обработке изображений ближнего космоса
Аннотация
В статье представлена алгоритмическая реализация автоматического распознавания объектов околоземного пространства на примере распознавания метеоров в ночном небе по одиночным кадрам и определения их физических характеристик, таких как абсолютная светимость и звёздная величина. В ходе выполнения работы был разработан новый метод медианной фильтрации, отличающийся от классического метода более высоким качеством фильтрации и скоростью работы от 1,2 до 1,5 раз быстрее. Все изложенные методы реализованы в программном продукте Meteors Magnitude v1.2, представленном ниже. Полученные результаты представляют ценность, как для фундаментальных астрофизических исследований, так и для решения прикладных задач навигации летательных аппаратов и ИСЗ.
Ключевые слова: фотометрия околоземного пространства, система технического зрения, обработка изображений, система улучшенного и синтезированного видения.
Введение
Активное развитие цифровой фотометрии околоземного пространства обусловлено, прежде всего, требованиям к безопасности полётов ИСЗ, летательных аппаратов в верхних слоях атмосферы, космических аппаратов и станций от столкновения с малыми телами Солнечной системы и космическим мусором. Следующее ключевое приложение - фундаментальные исследования природы малых тел Солнечной системы. Особо следует отметить задачу заблаговременного предупреждения бомбардировки Земли малыми космическими телами.
Фотометрия околоземного пространства характеризуется большими объёмами получаемой информации, из которой очень малая доля представляет полезные данные. Отсюда следует высокая трудоёмкость или практическая невозможность получения точного научного результата при ручном анализе фотометрии оператором. Таким образом, автоматический анализ фотометрии представляет большую практическую ценность.
Способ обработки кадров фотометрии
Ниже предлагается общая схема обработки кадра для
автоматического распознавания объектов в ночном небе:
• Вычитание шумового фона
• Фильтрация
• Повышение контраста
• Сегментация объектов по заданному набору признаков
• Выделение характеристик сегментированных объектов
• Анализ характеристик объектов
• Принятие решения Вычитание шумового фона
Начальное вычитание шумового фона обусловлено задачи: наличие большого количества неинформативных относительно невысокой яркостной вариацией: звёзды и прочие объекты на фоне ночного неба. Исходя из особенностей обрабатываемого изображения, предполагается, что фоновые неинформативные пиксели располагаются по его краям.
Пусть исходное изображение
€ X = 0 ... М - 1, у = 0 ... N - 1,
тогда обработанное изображение С(х, у) е ЖМхЛ/ имеет вид:
(у) — к, ¡-'{х, у) > к
спецификой областей с
у) =
< к'
где
Исходное изображение
Результат обработки
Рис. 1. Обработка кадра с метеором в ночном небе путём вычитания фона
Как видно из рис. 1, шумовая составляющая кадра с метеором существенно снизилась, сохранив при этом полезный сигнал практически без потерь.
Фильтрация кадра
Помимо присутствия на обрабатываемых кадрах фонового шума, имеет место импульсный шум, связанный с чувствительностью матрицы цифровой камеры и погрешностью оцифровки полученного видеосигнала. А также шум обусловленный структурой матрицы цифровой камеры: в нашем случае это характерные полосы на изображении. Для подавления импульсного шума используется модификация стандартного медианного фильтра, как наиболее подходящая для его устранения [1]. Модификация заключается в использовании эллиптической окрестности пикселя внутри маски. Использование эллиптической маски обусловлено знанием об истинной форме звёзд и сгорающих метеоров. Пусть размер квадратной маски задаётся как 2 ■ г + 1 на 2 - г + 1, где г > 0 - целое число, радиус маски. (При г = 0 имеем тождественный фильтр). Тогда условие принадлежности пикселя эллиптической маске задаётся функцией: а ■ х2 + Ь ■ у2 < г2, где х,у - координаты пикселя на изображении, а > О, Ь > 0 - главные диаметры эллипса. В данной реализации а = Ь = 1, то есть используются те пиксели квадратной маски, которые ограничены функцией, задающей круг: так получается псевдо круглая маска. Вид псевдо круглых масок представлен на рис. 2:
Рис. 2. Псевдо круглые маски размера 1х1, 3х3, 5х5, 7х7 - разным цветом показаны пиксели, принадлежащие разным маскам
Результаты подавления импульсного и матричного шумов кадра с вычтенным фоном представлены на рис. 3.
Как видно из рис. 3, медианный фильтр с псевдо круглым окном хорошо подавляет матричный шум в отличие от стандартного медианного фильтра, который не смог существенно устранить матричный шум. И в тоже время предлагаемый фильтр не так сильно искажает полезный сигнал. В реализации алгоритма используется маска 5х5.
f
# # »
Кадр с Результат Результат Результат
вычтенным обработки обработки обработки
фоном стандартным медианным медианным
медианным фильтром с псевдо фильтром с
фильтром 5х5 круглым окном 3х3 круглым окном 5х5
1 Рис. 3. Обработка кадра с метеором в ночном небе различными видами 1
медианной фильтрации
Коррекция кадра
Для усиления полезного сигнала используется алгоритм линейного растяжения гистограммы яркостей изображения:
G(x,y)= (2fc-l)-G (*'y)_~ Gm'n, х = 0 ... М — 1, у = 0 ... N — 1,
majc "min
Gmax = max С(л;,у), Gmi„ = mmG(xj),
где G - обрабатываемое изображение размера M х N, b - битность пикселя
изображения G. Результат работы алгоритма представлен на рис. 4.
Использование линейного гистограммного преобразования объясняется важностью сохранения яркостного распределения в кадре для более точного установления абсолютной светимости и звёздной величины объектов.
Реализация сегментации областей интереса
Сегментация областей интереса (метеоров, звёзд и прочих объектов в небе) производится посредством пороговой бинаризации кадра как наиболее быстрого и одновременно эффективного метода. Порог
бинаризации b выбирался опытным путём из диапазона яркостей
[0,32] для 8-битных изображений так, чтобы не отсегментировать оставшиеся шумовые составляющие изображения, и в тоже время выделить полезные объекты. Чем меньше шумовых составляющих на изображении, тем этот порог ближе к 0. В данной реализации b = 16. Результат сегментации кадра представлен на рис. 5.
Исходное отфильтрованное _изображение_
Результат коррекции
Рис. 4. Линейная гистограммная коррекция отфильтрованного кадра
Исходное изображение
Обработанное изображение
Результат сегментации
Рис. 5. Сегментация изображения посредством пороговой бинаризации
Анализ сегментированных объектов
Для анализа формы объектов используется алгоритм закраски связной области, который выделяет следующую полезную информацию (структуру из пяти полей) об объектах:
• Главные диаметры объектов
• Число пикселей
• Пиксельная плотность объекта - отношение числа пикселей объекта к числу пикселей ограничивающей его прямоугольной области
• Координаты центра прямоугольной области, ограничивающей
объект
• Суммарная пиксельная яркость
При автоматическом распознавании объекта уже работаем не с изображением, а с указанной структурой.
Автоматическое распознавание метеоров на одиночных кадрах
Алгоритм распознавания метеоров строится на основании их характерных признаков.
Во-первых, суммарная яркость метеора, как правило, превосходит
яркость большинства минимальное
число пикселей объекта, которое определяется экспериментально. В данной реализации Стш — 16.
Во-вторых, метеор представляет собой вытянутый объект, что означает условие на отношение главных диаметров в зависимости от пиксельной плотности объекта. Пусть Вх>Ву - главные диаметры объекта, выраженные в пикселях изображения по горизонтали и вертикали соответственно. Тогда объект вписан в прямоугольник с длинами сторон Эх и Оу- Пусть далее 5 - число пикселей объекта, его пиксельная площадь. Тогда пиксельная плотность данного объекта
Рр1хе1 ~ Т^ 7~п ^х ' ^у
Очевидно, справедливо неравенство: 0 < рР1Хе1 < 1. Пусть далее ЛГ - °у
N — — - отношение главных диаметров объекта. Экспериментально
установлено (на выборке из 100 кадров с метеорами), что для вертикально падающих метеоров N > > 1,5. В данной реализации Л^шш — 1)66. Метеоры могут лететь под углом, и для реального метеора N может быть меньше однако. Поэтому необходимо ввести зависимость между N и
Рр1хе1'-
11.Если у объекта N < №т1П, то необходимым условием вытянутости будет рр
¿хе( Ртт-12-Если, наоборот, N > ЫтЫ, то рр(хе1 > ртЫ
Таким образом, условие вытянутости объекта можно записать в виде логического выражения:
N > хогрр1хе1 <С рт(п
Данное условие вытянутости является необходимым, но не является достаточным: можно привести пример, когда по данному условию объект с N = 1 будет считаться вытянутым: это объект в форме бублика. Но вероятность попадания «бублика» в кадр в данной задаче ничтожно мала. В
данной реализации ртш — 0)33.
Результат распознавания объектов представлен на рис. 6:
Результат распознавания объектов Совмещение с обработанным кадром
Рис. 6. Результат распознавания объектов: жёлтыми эллипсами обведены _звёзды, красными - метеоры_
На рис. 7 показана динамика распознавания метеора в ночном небе Земли с помощью предложенного метода, что позволяет судить о его
качестве.
Вычисление звёздных величин объектов
Вычисление производится на основании данных о суммарной пиксельной яркости объектов, что соответствует светимостям объектов по формуле из [2]:
По каждому «эталонному» объекту, для которого пользователь задал звёздную величину, считаются звёздные величины прочих объектов. Для каждой непомеченной звезды имеем набор вычисленных звёздных величин, среднее арифметическое значение которого и будет результирующим значением. Тем самым каждый дополнительный ввод позволяет повысить точность вычисления звёздных величин для неизвестных объектов.
Точность вычисления звёздных величин
При тестировании на реальных снимках (с учётом шума и слабого контраста) звёздные величины (з.в.) известных звёзд по одной заданной были вычислены с погрешностями в пределах 0,5 от з.в. Дополнительный ввод снизил погрешность вычислений примерно до 0,25 от з.в. Особенности реализации
Все описанные алгоритмы были программно реализованы в программе определения характеристик звёзд и метеоров по фотографиям под названием Meteors Magnitude v1.2 написанной на языке С# с использованием технологии .NET и библиотек для создания оконных интерфейсов WPF 4.0. Программа имеет следующие возможности:
• Чтение и обработка файлов форматов bmp, png, jpg, jpeg - работа с одиночными кадрами.
• Автоматическое распознавание звёзд и метеоров на кадре.
• Фильтрация и коррекция входных кадров.
• Просмотр увеличенной области интереса изображения - инструмент «экранный телескоп».
• Работа с объектами различных типов: «звезда», «метеор» и «летательный аппарат». Возможность изменения типа объекта или исключения его из рассмотрения.
• Включение/отключение режима сегментации объектов с запоминанием всех изменений, вносимых пользователем.
• Работа с объектами внутри области интереса.
• Ввод звёздной величины объекта позволяет вычислить эту характеристику для остальных объектов. Звёздная величина уточняется при дополнительном вводе.
где ^1,2 - абсолютные звёздные величины объектов, ^1,2 - их суммарные пиксельные яркости (светимости).
• Возможность очистки всех данных введённых пользователем.
• Полная интерактивная инструкция пользователя
На рис. 8 представлен скриншот работы программы.
Скорость работы алгоритмов
Скорость выполнения программы определялась на компьютере с процессором Intel Core i7 620M c тактовой частотой 2,67 ГГц.
Обработка и анализ кадра размером в 1392х1032 пикселя заняла 2,2 секунды процессорного времени без учёта времени вывода результата распознавания на экран.
Алгоритм модифицированной медианной фильтрации с псевдо круглой маской 5х5 показал себя быстрее: на данном кадре он отработал за 1,7 секунды, в то время как стандартный медианный фильтр 5х5 отработал за 2,5 секунды.
Повышение скорости работы модифицированного алгоритма медианной фильтрации объясняется сортировкой меньшего по объёму массива для каждого пикселя изображения. В случае стандартной медианы 5х5 приходится сортировать 25 элементов массива, в то время как для модифицированной медианы с псевдо круглой маской это число равно 13
(
шс. 2), что почти в 2 раза меньше.
2 002-10-18=22h52m59s-0000049.bmp, 640x480, формат Bgr32 - Meteors Magnitude 1.2;
[ Файл |[ Инструменты |~Выделение объектов || Справка
Метеор
Пиксельная яркость: 5Й2 Число пикселей: 71 Звёздная величина: 3,68280;
iilctcorg iilagnitubc bl.2
Программа определения характеристик метеоров по фотографиям. Написана при поддержке компании ООО 'РАСТР ТЕХНОЛОДЖИ' в 2012 году, сайт: www.rastr.net. Автор - Бопдаревко Максим, комментарии по почте [email protected]
Закрыть 1
С
□
Рис. 8. Программа по автоматическому распознаванию звёзд и метеоров и
определению их характеристик Перспективы развития проекта Meteors Magnitude
1. В ближайшее время планируется доработка программы:
• добавление возможности построения графиков динамики блеска
метеоров,
• усовершенствование алгоритмов путём добавления анализа пары
смежных кадров.
2. В перспективе планируется совмещение написанной программы с измерительными цифровыми мегапиксельными камерами научно-производственной фирмы ООО «РАСТР ТЕХНОЛОДЖИ» [3].
Реализация пункта 2 позволит обрабатывать последовательность калиброванных кадров в реальном времени. Это означает не только вычисление звёздных величин объектов с точностями, сопоставимыми со звёздными каталогами, но и определение их массы (путём анализа скорости сгорания в атмосфере), расстояния от поверхности Земли, линейные размеры (путём съёмки несколькими синхронно работающими камерами) и среднюю плотность объекта. Это, несомненно, позволит отличать метеоры от летательных аппаратов и от «неподвижных» звёзд.
Благодарности
Работа одобрена Бондаренко Андреем Викторовичем, ген. директором научно-производственной фирмы ООО «РАСТР ТЕХНОЛОДЖИ».
Отдельное спасибо д.ф.м.н. Багрову Александру Викторовичу, ведущему научному сотруднику ИА РАН и к.ф.м.н. Леонову Владиславу Александровичу, старшему научному сотруднику ИА РАН за постановку интересной задачи, хороший чай и вкусные пряники.
Литература
1. Р. Гонсалес, Р. Вудс, Цифровая обработка изображений. М.: Техносфера, 2005.
С. 196.
2. Куликовский П. Г. Справочник любителя астрономии под ред. В.Г. Сурдина, М.:УРСС, V издание, 2002. С. 149.
3. Техническая документация на цифровые камеры и программное обеспечение. ООО «РАСТР ТЕХНОЛОДЖИ». 2012 г. Москва, www.rastr.net.
4. Бондаренко А.В. Докучаев И.В., Князев М.Г. Телевизионная видеокамера с цифровой обработкой в реальном времени // Современная электроника. № 3, 2006. С. 50.
