CC BY
38
Кривенко Сергей Станиславович - Национальный аэрокосмический университет им.
Н.Е. Жуковского "ХАИ"; e-mail: krivenkos@inbox.ru; Украина, г. Харьков, ул. Чкалова, 17, кафедра 504; тел.: +79885343459; к.т.н.; старший научный сотрудник.
Лукин Владимир Васильевич - e-mail: lukin@ai.kharkov.com; д.т.н.
Еремеев Олег Игоревич - e-mail: lukin@ai.kharkov.com; кафедра приема, передачи и обработки сигналов; м.н.с.
Воронин Вячеслав Владимирович - ФГБОУ ВПО «Южно-Российского государственного университета экономики и сервиса»; e-mail: Voronin_sl@mail.ru; 346500, Ростовская обл., г. Шахты, ул. Шевченко, 147; тел.: +79885343459; кафедра радиоэлектронных систем; к.т.н.; доцент.
Марчук Владимир Иванович - e-mail: Marchuk@sssu.ru; тел.: +79185088273; кафедра радиоэлектронных систем; зав. кафедрой; д.т.н.; профессор.
Krivenko Sergey Stanislavovich - National Aerospace University. N.E. Zhukovsky "HAI"; e-mail: krivenkos@inbox.ru; 17, Chkalov street, department 504, Kharkov, Ukraine; phone: +79885343459; cand. of eng. sc.; senior scientist.
Lukin Vladimir Vasil’evich - e-mail: lukin@ai.kharkov.com; dr. of eng. sc.
Eremeev Oleg Igorevich - e-mail: lukin@ai.kharkov.com; the departmentof reception, transmission, and signal processing; junior.
Voronin Viacheslav Vladimirovich - FGBOU VPO "South-Russian State University of Economics and Service"; e-mail: Voronin_sl@mail.ru; 147, Shevchenko street, Shahty, Rostov Region, 346500, Russia; phone: +79885343459; the department of radio electronic systems; cand. of eng. sc.; associate professor.
Marchuk Vladimir Ivanovich - e-mail: Marchuk@sssu.ru; phone. +79185088273; the department of radio electronic systems; head the department; dr. of eng. sc.; professor.
УДК 004.932.2
В.В. Лукин, С.К. Абрамов, В.В. Абрамова, А.И. Шерстобитов, В.П. Федосов
ОСОБЕННОСТИ ПРОГРАММНО-АППАРАТНОЙ РЕАЛИЗАЦИИ МЕТОДОВ АВТОМАТИЧЕСКОГО ОЦЕНИВАНИЯ ДИСПЕРСИИ СЛОЖНЫХ ПОМЕХ НА ГИПЕРСПЕКТРАЛЬНЫХ ИЗОБРАЖЕНИЯХ*
Рассмотрены особенности программно-аппаратной реализации метода автоматического определения дисперсии смеси сигнально-независимых и сигнально-зависимых помех на мульти- и гиперспектральных изображениях систем дистанционного зондирования Земли. Метод основан на оценивании параметров регрессионной прямой, вписанной по центрам кластеров скаттерограммы локальных оценок дисперсии и среднего. Для нахождения центров кластеров использован алгоритм, основанный на анализе статистических характеристик ДКП-коэффициентов изображения. Полученные оценки дисперсии помех в дальнейшем могут быть использованы для оптимизации сжатия изображений. Метод предназначен для использования непосредственно на бортовом сигнальном процессоре носителя и реализован с учетом максимально возможного распараллеливания и принципов конвейерной обработки. Программно-аппаратные средства могут найти применение и для других приложений при условии, что помехи пространственно-некоррелированны и имеется достоверная априорная информация о модели помех, позволяющая выбрать вид и порядок регрессионного полинома.
Дистанционное зондирование; многоканальная система; сложные помехи; автоматическое оценивание дисперсии помех.
* Работа выполнена в рамках федеральной целевой программы ФЦП "Научные и научнопедагогические кадры инновационной России" на 2009-2013 гг.
V.V. Lukin, S.K. Abramov, V.V. Abramova, A.I. Sherstobitov, V.P. Fedosov
ESPECIALLY SOFTWARE-HARDWARE IMPLEMENTATION OF METHODS AUTOMATICALLY EVALUATION OF COMPOUND DISPERSION NOISE ON HYPERSPECTRAL IMAGES
The article describes the features of the software and hardware implementations of automatic dispersion mixture of signal-independent and signal-dependent noise on the multi-and hyperspectral imaging systems for remote sensing. The method is based on the estimation of the parameters of the regression line, inscribed on the centers of clusters scatterogram local estimates of the variance and the mean. To find the cluster centers used a method based on an analysis of the statistical characteristics of DCT coefficients of the image. Noise variance estimates obtained in the future may be used to optimize image compression. The method is intended for use directly on-board signal processor support and implemented taking into account the maximum paralleliza-tion and pipelining principles. The method and corresponding software and hardware can be used for other applications, provided that the noise spatially uncorrelated and there is a reasonable a priori information about the model noise, allowing you to select the type and order of the polynomial regression.
Remote sensing; multi-channel system; the complex interference; automatic evaluation of noise variance.
В современном мире все большее значение уделяется вопросам защиты окружающей среды и оптимального использования природных ресурсов. Эффективное решение этих вопросов невозможно без использования так называемых гео-информационных систем, позволяющих свести воедино всю доступную информацию о свойствах земной поверхности. В таких системах любая информация, имеющая привязку к географическим координатам, может быть представлена в виде карты. Например, это может быть карта сельскохозяйственных полей или лесных угодий, карта распределения полезных ископаемых, толщин снежного покрова и многих других параметров.
Основным источником такой информации являются системы дистанционного зондирования Земли (ДЗЗ), позволяющие получать информацию о земной поверхности посредством измерения энергетических и/или поляризационных характеристик электромагнитного излучения, отраженного либо излученного ею.
Основной проблемой такого подхода является обеспечение надежной интерпретация полученной информации. Для ее решения в современных системах ДЗЗ часто используют зондирование одновременно в нескольких сотнях и даже тысячах спектральных каналов. Поскольку каждый тип объектов имеет свой уникальный спектральный «портрет», это обеспечивает возможность надежного различения объектов. Для обеспечения большой площади обзора аппаратура ДЗЗ размещается на авиационных либо космических носителях, а затем данные передаются на наземный центр управления и обработки данных.
Большое количество спектральных каналов требует применения специальных методов обработки информации. В первую очередь, это связано с большим объемом данных, составляющих один гиперспектральный снимок. Так, например, стандартный снимок известной системы AVIRIS [1], имеющей 224 спектральных канала разрешением 512 на 614 пикселей (примерно 10 км х 12 км), в несжатом виде занимает объем порядка 134 Мбайт. Передача серии таких снимков с борта носителя требует наличия канала связи с большой пропускной способностью, а также значительных объемов доступной памяти для долговременного хранения получаемых данных. В то же время, последние исследования показали [2], что существенная часть получаемых снимков имеет неудовлетворительное качество и к дальнейшему использованию непригодна.
В связи с этим возникает необходимость проведения предварительной обработки данных ДЗЗ прямо на борту носителя в полностью автоматическом режиме. Основными этапами такой обработки являются оценка качества полученного снимка и его сжатие. Это позволит разгрузить канал связи от передачи заведомо низкокачественных данных и увеличить объем передаваемой полезной информации.
Задачу определения качества можно решить при помощи специальных метрик, позволяющих численно оценить качество изображений при отсутствии эталона [3]. Одной из важнейших характеристик изображения, участвующих в расчете таких метрик, является дисперсия присутствующего шума или отношение сигнал-шум. Для их оценивания необходимо применять специальные автоматические методы для обработки анализируемого изображения.
Кроме того, задача автоматического сжатия изображений с потерями наиболее эффективно может быть решена при помощи методов на основе многомерного дискретного косинусного преобразования (ДКП) [4] или других ортогональных преобразований. Для обеспечения наилучшего компромисса между степенью сжатия и вносимыми искажениями методы сжатия должны работать в окрестности оптимальной рабочей точки, положение которой также определяется статистическими характеристиками помех, присутствующих на изображении [4]. Таким образом, первоочередной задачей, которую необходимо решить на борту носителя, является получение автоматической оценки статистических характеристик помех.
Помимо стандартных требований высокой точности и применимости к широкому классу изображений к методам автоматического оценивания дисперсии, на борту носителя предъявляются дополнительные требования по высокому быстродействию при ограниченных объемах доступной памяти и ресурсов бортового процессора. В связи с этим авторами предлагается использовать метод оценивания на основе ДКП [5], что позволит реализовать конвейерный принцип обработки, поскольку и для оценивания дисперсии, и для последующего сжатия можно использовать одни и те же спецпроцессоры.
Методы оценивания в спектральной области [5], к которым относится и метод на основе ДКП, обладают высокой точностью даже при обработке сложных изображений, содержащих большой процент текстур и малоразмерных деталей, в случае, если шум на изображении является пространственно-некоррелированным. Последние исследования показали [6], что для системы AVIRIS шум можно считать пространственно-некоррелированным, следовательно, использование метода оценивания на основе ДКП является возможным.
Как и для большинства других гиперспектральных систем, шум на изображениях, полученных системой AVIRIS, имеет сложную природу [6] и достаточно
02 = 02 kl
адекватно описывается моделью лок a лок, где a соответствует дисперсии сигнально-независимой компоненты шума, а k является параметром сигнально-зависимой (квази-пуассоновской) компоненты. Для оценивания параметров такого типа шума предлагается использовать метод, основанный на вписывании регрессионной прямой по скаттерограмме пар локальных оценок дисперсии и среднего. Данный метод включает следующие основные этапы.
Обрабатываемое изображение сегментируется. Для этого авторами предлагается использовать метод, описанный в [5, 7], отличительной особенностью которого является то, что он не требует априорной информации о типе и характеристиках шума. Результатом работы метода является сегментированное изображение, имеющее обычно от пяти до пятнадцати уровней интенсивности.
l6
На основе сегментированного изображения формируется карта однородных областей. Для всех блоков, принадлежащих однородным участкам, получают оценки локальной дисперсии и среднего, после чего строится скаттерограмма полученных пар оценок. Оценки на скаттерограмме распределены не равномерно по всей координатной плоскости, а группируются в кластеры в окрестностях некоторых значений уровней локального среднего. Необходимо найти центры этих
кластеров (ет^лт; 1клт , т=1,...,М, где М - общее число кластеров, определяемое по результатам сегментации), поскольку они являются опорными точками для вписывания регрессионной прямой У = а + ЬХ , параметры а и Ь которой
являются оценками дисперсии аддитивной (О2) и сигнально-зависимой (к ) компонент шума.
Для вписывания регрессионной прямой используется дважды взвешенный метод наименьших квадратов (ДВМНК). Метод заключается в том, что на первом этапе производится вписывание прямой взвешенным методом наименьших квадратов (ВМНК), в котором вес каждой опорной точки рассчитывается прямо пропорционально размеру соответствующего кластера (числу точек, его формирующих). На втором этапе снова при помощи ВМНК вписывается регрессионная прямая, однако веса опорных точек при этом прямо пропорциональны размерам кластеров и обратно пропорциональны расстояниям от прямой, вписанной на первом этапе.
Это позволяет существенно повысить точность оценивания за счет уменьшения влияния «аномальных» опорных точек, которые могут появляться в результате ошибок при сегментации и последующей классификации блоков (в некоторых случаях области с регулярной текстурой в силу своего шумоподобного поведения могут быть ошибочно детектированы в качестве однородных).
Остановимся более подробно на процедуре получения центров кластеров
дЛ Л
(Тл т; !кл т). Поскольку в пределах кластера шум можно считать чисто аддитивным, при получении оценок т для каждого кластера может быть использо-
ван метод [5].
Суть метода состоит в следующем. Изображение делится на неперекрываю-щиеся блоки размера 8х8 пикселей. Для всех блоков, принадлежащих однородным участкам данного кластера, рассчитываются ДКП-коэффициенты 0(к,1), которые затем группируются согласно индексам к и I. Для всех пар к и I, удовлетворяющих условию к + I > 8 (т.е. для высокочастотных ДКП-коэффициентов), определяются оценки процентильного коэффициента эксцесса (ПКЭ(к,1)) и абсолютного медианного отклонения (АМО(к,1)).
ПКЭ рассчитывается следующим образом:
ПКЭ = (03 - 01)/(2(Р90 - Рш)),
где 0з и 01 - третья и первая квартили; Р90 и Р^ - 90 % и 10 % процентили соответственно. В зависимости от размера выборки квартили и процентили должны быть пересчитаны в соответствующие порядковые статистики.
Далее определяются пары индексов, для которых 0,25<ПКЭ(к,1)<0,276 (т.е. можно предположить, что закон распределения близок к гауссову) и запоминается их количество N¡„1. Если N¡„1 не равно нулю, в качестве оценки координаты центра кластера 0^ т принимается возведенная в квадрат медиана оценок АМО(к,1) для
соответствующих пар индексов к и l. Если Nint = 0, то находится пара индексов к и
l, которой соответствует максимальный ПКЭ(к,Т), и в качестве СЛ m принимается соответствующее AMO(k,l), возведенное в квадрат.
В качестве оценок второй координаты центра кластера 1кл m принимаются
уровни интенсивности, полученные в результате сегментации изображения.
На рис. 1,а,б приведены изображение Lunar Lake, полученное в 168 канале системы AVIRIS, и результат его сегментации. Соответствующая карта однородных областей для блоков 8х8 приведена на рис. 1,в (серым цветом обозначены области, соответствующие однородным участкам, черным - области, содержащие границы, белый цвет соответствует текстурным областям).
На рис.1,г для наглядности приведена скаттерограмма локальных оценок эмпирической дисперсии и среднего с прямой регрессии, вписанной с использовани-
дЛ ^
ем ДВМНК. Центры кластеров (С^л m; Iкл m), полученные в соответствии с вышеописанной процедурой, обозначены маркерами треугольной формы.
Как видим, для данного изображения существует 11 кластеров, соответствующих уровням локального среднего от 90 до 290 (изображения в системе AVIRIS представлены шестнадцатибитными целыми числами). Расположение опорных точек явно свидетельствует о сложном характере шума с очевидным присутствием сигнально-независимой и сигнально-зависимой компонент, что подтверждает правильность используемой модели шума. Вписанная регрессионная прямая достаточно точно ложится между найденными центрами кластеров. Полученные оценки дисперсии сигнально-независимой и сигнально-зависимой компо-С2
нент шума a = 32,63 и k = 0,036. Для рассматриваемого канала основной вклад вносит аддитивная составляющая, но для других зональных изображений вклад сигнально-зависимой компоненты также может быть превалирующим. Отметим, что для сенсоров нового поколения характерен доминирующий вклад именно сигнально-зависимой компоненты [6].
Отметим особенности программно-аппаратной реализации метода и пути уменьшения объема вычислений. Во-первых, метод применяется к каждому зональному (одноканальному) изображению отдельно, что позволяет распараллеливать обработку, начиная с первого этапа. Во-вторых, используемый алгоритм сегментации изображений, в принципе, является достаточно быстрым.
Для изображений с размером порядка сотен тысяч пикселей при программной реализации алгоритма без оптимизации вычисления занимают доли секунды. Объем вычислений на этом этапе может быть дополнительно уменьшен, если сегментацию проводить лишь для одного из изображений группы соседних каналов. Результаты сегментации для изображений в соседних каналах близки, поскольку данные в таких каналах сильно коррелированны. Тогда на основе сегментации можно получить для каждой группы каналов единую карту однородных областей и использовать ее для каждого изображения в группе. В-третьих, ДКП-коэффициенты рассчитываются только для однородных областей каждого изображения, что соответственно требует меньшего числа ДКП-преобразований в блоках, чем для всего изображения. В-четвертых, при расчете ПКЭ и АМО, выполняемом не для всех групп ДКП-коэффициентов, можно использовать алгоритмы быстрой сортировки. Более того, расчет ПКЭ и АМО можно выполнять параллельно: при этом можно использовать неполную сортировку выборок.
Рис. 1. Изображение Lunar Lake, полученное системой AV1R1S (а), результат его сегментации (б), карта однородных областей (в) (серый - однородные области, черный - области с границами, белый - текстурные участки) и скаттерограмма локальных оценок со вписанной регрессионной прямой (г)
Операции следующего этапа выполняются для выборок данных малого размера, они просты и стандартны (логические операции, перестановки, расчет медианы). Наконец, операция вписывания прямой также очень проста, поскольку основан на методе наименьших квадратов и применяется к центрам кластеров, число которых обычно не превышает 15.
Предложенный метод предназначен для автоматического определения дисперсии смеси сигнально-независимых и сигнально-зависимых помех на много- и гиперспектральных изображениях систем ДЗЗ непосредственно на бортовом сигнальном процессоре носителя. Поскольку в основе метода лежит обработка ДКП
коэффициентов, это позволяет использовать единый сигнальный процессор как для получения оценок статистических характеристик помех, так и для реализации последующего сжатия с использованием этих оценок. Метод реализован с учетом максимально возможного распараллеливания и принципов конвейерной обработки. Метод и соответствующие программно-аппаратные средства могут найти применение и для других приложений при условии, что помехи пространственнонекоррелированны и имеется достоверная априорная информация о модели помех, позволяющая выбрать вид и порядок регрессионного полинома [8].
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. URL: http://aviris.jpl.nasa.gov (дата обращения: 24.10.2012).
2. Van Zyl Marais I., Steyn W.H. Robust defocus blur identification in the context of blind image quality assessment // Journal of Image Communication. - Vol. 22. - 2007. - P. 833-844.
3. Ponomarenko N.N., Lukin V.V., Ieremeyev O.I., Egiazarian K.O., Astola J.T. Sharpness metric for no-reference image visual quality assessment // Proceedings SPIE Conference Image Processing: Algorithms and Systems VIII, San Jose, USA. - 2012. - Vol. 8295. - P. 12-18.
4. Ponomarenko N., Zriakhov M., Lukin V., Kaarna A. Improved Grouping and Noise Cancellation for Automatic Lossy Compression of AVIRIS Images // Proceedings of ACIVS, Springer, Heidelberg. LNCS-6475 (Part II). - 2010. - P. 261-271.
5. Kurkin D., Lukin V., Abramova V., Abramov S., Vozel B., Chehdi K. Image DCT-coefficient statistics and their use in blind noise variance estimation // Proceedings of MMET, Kharkov, Ukraine. - 2012. - P. 316-319.
6. Uss M.L., Vozel B., Lukin V., Chehdi K. Maximum Likelihood Estimation of Spatially Correlated Signal-Dependent Noise in Hyperspectral Images // Optical Engineering. - 2012. - P. 125-132.
7. Марчук В.И., Воронин В.В., Шерстобитов А.И. и др. Методы цифровой обработки сигналов для решения прикладных задач: Монография под ред. В.И. Марчука. - М.: Изд-во «Радиотехника», 2012. - 128 с.
8. Марчук В.И., Воронин В.В., Франц В.А. Разработка адаптивного двумерного метода размножения оценок при восстановлении изображений в условиях неполной априорной информации // Телекоммуникации. - 2011. - № 9. - С. 33-37.
Статью рекомендовал к опубликованию д.т.н., профессор Д. А. Безуглов.
Лукин Владимир Васильевич - Национальный аэрокосмический университет им. Н.Е. Жуковского "ХАИ"; e-mail: lukin@ai.kharkov.com; Украина, г. Харьков, ул. Чкалова, 17, кафедра 504; тел.: +79885343459; д.т.н.
Абрамов Сергей Клавдиевич - e-mail: ask379@mail.ru; кафедра приема, передачи и обработки сигналов; к.т.н.; доцент.
Абрамова Виктория Валерьевна - e-mail: Victoriya_Zabr@mail.ru; кафедра приема, передачи и обработки сигналов; аспирантка.
Шерстобитов Александр Иванович - ФГБОУ ВПО «Южно-Российского государственного университета экономики и сервиса»; e-mail: Sherstobitov.alexander@gmail.com; 346500, Ростовская обл., г. Шахты, ул. Шевченко, 147; тел.: +79882588736; кафедра радиоэлектронных систем; к.т.н.; доцент.
Федосов Валентин Петрович - Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Южный федеральный университет»; E-mail: fed_val@tti.sfedu.ru; 347928, г. Таганрог, пер. Некрасовский, 44; тел.: +79525601246; кафедра теоретических основ радиотехники; зав. кафедрой; д.т.н.; профессор.
Lukin Vladimir Vasil'evich - National Aerospace University. N.E. Zhukovsky "HAI"; e-mail: lukin@ai.kharkov.com; 17, Chkalov, Department 504, Kharkov, Ukraine; phone: +79885343459; dr. of eng. sc.
Abramov Sergei Klavdievich - e-mail: ask379@mail.ru; the department of reception, transmission, and signal processing; cand. of eng. sc.; associate professor.
Abramova Victoria Valer’evna - e-mail: Victoriya_Zabr@mail.ru; the department of reception, transmission, and signal processing; postgraduate student.
Sherstobitov Alexander Ivanovich - FGBOU VPO "South-Russian State University of Economics and Service"; e-mail: Sherstobitov.alexander @ gmail.com; 147, Shevchenko, street, Shahty, Rostov Region, 346500, Russia; phone: + 79882588736; the department of radio electronic systems; cand. of eng. sc.; associate professor.
Fedosov Valentin Petrovich - Federal State-Owned Autonomy Educational Establishment of Higher Vocational Education “Southern Federal University”; e-mail: fed_val@tti.sfedu.ru; 44, Nekrasovskiy, Taganrog, 347928, Russia; phone: +79525601246; the department of fundamentals of radio engineering; head of department; dr. of eng. sc.; professor.
