CC BY
44
УДК 528.72; 629.7
ИТЕРАТИВНЫЙ ОПЕРАТОР ДЕКОНВОЛЮЦИИ В ВАРИАНТАХ МОДЕЛИ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ СО СВЕРХРАЗРЕШЕНИЕМ В ГРУППИРОВКЕ КОСМИЧЕСКИХ АППАРАТОВ
ITERATIVE DECONVOLUTION OPERATOR IN THE MODEL IMAGING WITH SUPERRESOLUTION IN THE CONSTELLATION OF SPACECRAFT
Н.Н. Ушакова, В.Н. Винтаев N.N. Ushakova, V.N. Vintaev
Белгородский университет кооперации, экономики и права, Россия, 308023, г. Белгород,
ул. Садовая, 116а
Belgorod University of Cooperation, Economics and Law, 116а Sadovaya St, Belgorod, Russia
E-mail: [email protected]
Аннотация
При формировании изображения сверхвысокого разрешения в модели восстановления резкости по изображениям с группировки спутников возникают варианты значений сверхразрешения в зависимости от технологии субпиксельной обработки инспирированных формирующих изображений, что для реализации валидности результирующего изображения требует специальных мер коррекции при его формировании.
Abstract
When imaging ultra-high resolution recovery of field images from a constellation of satellites there are two values of superresolution, depending on the technology sub-pixel processing inspired by the forming of images, for the realization of the validity of the resulting image requires a special correction measures during its formation.
Ключевые слова: сверхразрешение, деконволюция, субпиксельный сдвиг, спутниковая группировка.
Keywords: superresolution, deconvolution, sub-pixel shift, satellite constellation.
Введение
Для отработки технологии работы с группировками спутников разработана стартовая модель формирования космического изображения сверхвысокого разрешения по изображениям спутниковой группировки, построенная на инспирированных из реальных космических исходных изображений высокого разрешения паттернах, соответствующих группировке спутников - нормализованных субпиксельно сдвинутых изображениях с разными функциями рассеяния точки и разными апертурами пикселов с использованием лидирующего для одиночных спутников метода сверхразрешения Iterative Back Projection (IBP) [1,2,3,4].
При подавлении функции рассеяния точки (ФРТ) на инспирированных изображениях модель реализует увеличение разрешения не хуже 1,9 раз относительно исходного паттерна и до 4 раз относительно взвешенного по инспирированным изображениям разрешения. Увеличение разрешения на исходном снимке с аппарата не позволяет, разумеется, отобразить детали, меньшие по апертуре самих апертур пикселов, но повышенное разрешение реализуется за счет подавления в разработанной технологии сверхразрешения имеющейся на снимке остаточной ФРТ (с апертурой, сравнимой с двойной апертурой пикселов), для которой крейсерские технологии подавления ФРТ не
работают. Действительно, если изучить исходный снимок с увеличением, то можно видеть, что апертура пикселов вдвое меньше минимальной средней апертуры сверхмалых объектов на изображении, что и соответствует с высокой вероятностью наличию остаточной ФРТ.
В работе [1], например, показана возможность существенного улучшения разрешения на самом исходном реальном изображении со спутника, работающего в режиме сверхразрешения - фрагменте НошШп_24466_0_8Ьк панхроматического нормализованного изображения со спутника OrbView-3 - по оценкам радиусов пространственно-частотных спектров (ПЧС) получен результат не сильно отличающийся от 15 см пространственного разрешения, обеспечиваемого американскими спутниками видовой разведки (аппаратура "КеуНо1еП", КН-11). Дальнейшее улучшение разрешения было невозможно из-за неизвестных для использования в стартовой модели параметров коррекций геометрии изображений по скорости движения изображения (СДИ) на аппарате, что делает необходимую для дальнейшего улучшения разрешения дополнительную передискретизацию изображения бесполезной.
Для коррекции разрешения на инспирированных изображениях используется модифицированный фильтр Винера, т.е. спектральное представление оператора деконволюции (СПОД) с минимизацией невязки синтезированной обратной, оптимизированной под кавзипрямоугольное окно пропускания мод спектров, частотно-контрастной характеристики тракта зондирования 1/(ЧКХ) и СПОД. [5,6].
Последовательное снижение в стартовой модели субпиксельных сдвигов инспирированных изображений, а также апертур пикселов инспирированных изображений до апертур пикселов исходного паттерна приводит к разрешению на исходном изображении в исходном тракте зондирования более высокому, т.к. реализуется разрешение с подавленной остаточной ФРТ, и создаваемая процедура может служить для построения мажорирующих оценок возможного максимального разрешения в исходном тракте: на отдельном орбитальном аппарате при использовании дублирующих с субпиксельным сдвигом трактов зондирования в субпиксельных технологиях формирования изображения, получаемое разрешение (и, соответственно, резкость) всегда превышает в неэкстремальных условиях по ФРТ и орбитальной съемки максимально достижимую резкость и разрешение в одиночном тракте.
В зависимости от трех базовых вариантов технологии сверхразрешения для группировки космических аппаратов для реализации валидности результатов работы модели требуется дообработка в процессе формирования сверхвысокого разрешения, причем указать, какая из вариантов технологий наиболее объективна и какие технологии при этом являются наследными пока в теоретическом плане не представляется возможным.
Цель работы - построение итеративного оператора снижения апертур ФРТ (оператора деконволюции) на инспирированных изображениях или на нормализованных изображениях с группировки аппаратов в связи с тремя базовыми вариантами построения технологии сверхразрешения для реализации валидности результатов сверхразрешения.
Три варианта технологии сверхразрешения для группировки космических
аппаратов
Реализация валидности космического изображения заключается в общем случае в обеспечении значений его параметров, удовлетворяющих в общем случае достоверному решению прикладных задач на изображении (распознавание объектов, обстановки, измерение геоинженерных параметров ареалов, картографирование и т.п.). В нашем случае валидность изображения считаем реализованной, если его нормированная функция взаимной корреляции (ФВК) с эталоном (исходным изображением) не падает в максимуме ниже значения 0,7 [7,8].
На рисунке 1 приведено исходное изображение (фрагмент НошШп_24466_0_8Ьк панхроматического нормализованного изображения со спутника OrbView-3 с
преобразованием его в формат *.Ьшр, согласованный с программной поддержкой модели) и его пространственно-частотный спектр (ПЧС).
Рис. 1. Исходное изображение и его ПЧС Fig. 1. The original image and its PSP
На рисунке 2 представлено восстановленное в стартовой модели изображение со сверхразрешением с его ПЧС при выполнении подавления ФРТ на инспирированных изображениях с худшим разрешением.
Рис. 2. Восстановленное изображение со сверхразрешением с его ПЧС при выполнении
подавления ФРТ на инспирированных изображениях Fig. 2. The reconstructed image with superresolution with his PSP when the suppression of PSF
in the inspired images
На рисунке 3 показаны результаты работы модели - космические изображения ПСС-Панхром БКА-1-3 (аппарат БКА-1-3) и их ПЧС: сверху вниз, исходный паттерн, восстановленный паттерн при условии снижения апертур ФРТ и далее восстановленный паттерн с подавлением ФРТ на пределе перерождения процесса подавления ФРТ в процесс контрастирования [5].
В работе исследовались как участники в стартовой модели и другие спутники -Ресурс ДК, QuickBird и др. Полученные результаты практически аналогичны описываемым, но следует отметить. что по условиям учета скорости движения изображения (СДИ) на каждом аппарате и работе с ней для подавления ФРТ выявляется особая специфика обработки формируемых изображений, связанная с соотношениями основных параметров техники формирования изображения и с компенсацией его возмущения от орбитальных тангажей, рысканий и кренов аппарата с оптической системой.
Рис. 3. Показаны результаты работы модели -космические изображения ПСС-Панхром БКА-1-3
(аппарат БКА-1-3) и их ПЧС
Fig.3. Show the results of the model-space images of PSS-Panchrom BKA-1-3 (the device
BKA-1-3) and their PCHS
Установлены следующие различия по уровню формируемой резкости в модели для трех базовых вариантов технологии сверхразрешения:
Вариант 1. При снижении апертур ФРТ для инспирированных изображений с согласованием применяемых методов подавления ФРТ с максимальным уровнем передискретизации всех изображений под изображение с минимальной апертурой пиксела в модели реализуется максимальная резкость, но резидентное контрастирование может возникнуть на ранних итерациях оператора деконволюции, что требует варьировать все возмущения формул Винера-Тихонова и формул Ван-Циттера в специальной коррекции резкости [5,6].
Вариант 2. При снижении апертур ФРТ для инспирированных изображений с согласованием применяемых методов подавления ФРТ с уровнем апертур пикселов самих изображений в модели реализуется резкость на уровне 0,7-0,9 от максимальной полученной резкости с наличием остаточной ФРТ на результате работы модели, и необходима дополнительная работа по подавлению ФРТ на результате выполненных преобразований [5,6].
Вариант 3. При снижении апертур ФРТ для инспирированных изображений с согласованием применяемых методов подавления ФРТ со средневзвешенной апертурой пиксела в группировке в модели реализуется резкость на уровне 0,5-0,8 от максимальной с остаточной ФРТ на результирующем изображении, подавление которой требует использования опорного ориентира и его эталона [9].
При реализации средневзвешенной апертуры пикселов в инспирированных изображениях происходит потеря информации и, следовательно, дополнительное снижение разрешения на тех инспирированных изображениях, собственная апертура пикселов которых была меньше, чем средневзвешенная апертура. Это и вызывает дополнительные потери резкости (и детальности) при синтезе изображения со сверхразрешением.
Замечания по предпринимаемым мерам по снижению апертур ФРТ на инспирированных изображениях
Борьба с ФРТ в субпиксельных технологиях (и на инспирированных изображениях) акцентируется на учете влияния отклонений СДИ от запрограммированных для заданной орбиты значений: при снижении фактической СДИ относительно запрограммированного значения при орбитальном движении появляются периодические полосы контраста на яркостном портрете изображения (разработки по нивелированию полос проведены пятью годами ранее), при увеличении текущей СДИ появляется ориентированный смаз в соответствии с текущим доминирующим (суммарным по компонентам) вектором СДИ [10]. Это служит отправной точкой по отделению такой ФРТ от ФРТ «атмосферной» и
изотропной. Фильтрация последней, в принципе, выполняется как классическая фильтрация с восстановлением высших мод ПЧС изображений. Для анализа ФРТ, зависящей от СДИ проведена разработка модели алгоритма орбитальной съемки с использованием моделей фокальных систем - приборов с зарядовой связью (ПЗС-матриц) на носителях фокальной системы на фоне методов возмущений орбитального движения аппарата и возмущений апертур пикселов представления изображений. При этом, моделируя варианты пролета аппарата над искусственным ареалом - полученным уже изображением и анализируя возмущения изображения, сформированного в модели пролета на фокальной системе от выставляемых орбитальных параметров удается вычислить СДИ на участке формирования изображения на аппарате.
На рисунке 4 показаны выборочно фазы выявленного и моделируемого орбитального состояния тангажа, рысканья и крена космического аппарата (КА) (в том числе с применением режима непрерывного просмотра в динамике в модельном времени в AVI, непосредственно) и формируемое изображение на его фокальной системе в моделируемой матрице ПЗС на спутнике в 3Б-модели с использованием изображения с космического аппарата (КА) «Ресурс-ДК» в качестве подстилающей поверхности с дообработкой с учетом выявленного отклонения СДИ от запрограммированного значения и совмещением спектральных каналов (в данном случае трех каналов для КА «Ресурс-ДК») с моделированием движения по заданной орбитальной траектории.
Рис.4. Функционирование 3Б-модели в «плоском» варианте подстилающей поверхности: слева
направо и сверху вниз представлены последовательно две фазы модели пролета аппарата с заданной полосой захвата ареала при формировании изображения, кадр из соответствующего AVI, кадр формируемого изображения и кадр AVI, сопровождающего визуализацию формирования изображения в модельном времени Fig.4. The operation of the 3D model in the "flat" version of the underlying surface: from left to right
and top to bottom sequentially presented the two phases of the model passage of the apparatus with a given swath of area in the formation of the image, the corresponding frame from AVI, frame of the formed image and the frame AVI, accompanying the visualisation of image formation in a model
of time
Вычислительные процессы и методы решения значимых задач по вариантам
технологии сверхразрешения
В системе мажорирующих оценок резкости субпиксельный сдвиг изображений обнаружить и замерить в отличие от его реализации - нетривиальная задача. Сдвиг изображения на пиксел интуитивно понятен и измерим. А сдвиг на долю пиксела выполняется с соответствующей более частой дискретизацией (передискретизацией) и интерполяцией на «новые пикселы» значений «старых пикселов» изображения в окрестности 2х2 или 3х3 пикселов. При этом при сдвиге (вдоль оси X и/или Y) в пределах интервала (0; 0,5] апертуры пиксела сдвигаемое изображение погружается в пиксельную
сетку исходного изображения, а при сдвиге в пределах интервала (0,5; 1,0] апертуры пиксела сдвигаемое изображение погружается в пиксельную сетку исходного и, соответственно, сдвинутого на пиксел изображения и т. д. При этом измерение сдвига с помощью различных вариантов функции взаимной корреляции (ФВК) детектирует смещения максимума ФВК с дискретностью исходной пиксельной сетки, фиксируя изменение значения максимума при этом с точностью, соответствующей люфту младшего разряда палитры представления яркости изображений. Изменение значения максимума ФВК оказывается псевдослучайным в зависимости от сюжета изображения. Способ однозначного определения субпиксельного сдвига - это расфокусировка одинаковых по расположению областей изображений так, чтобы на опорном и на сдвинутом изображениях каждый пиксел занимал целую область на исходных паттернах [11,12]. В дискретных преобразованиях Фурье (ДПФ) таких областей амплитудные составляющие идентичны, а фазовые 2Б-спектры отличаются соответствующим сдвигу фазовым множителем, относительная погрешность определения которого мажорируется величиной, обратной произведению числа пикселов в выделенной области на число градаций в пикселах (индекс глубины палитры изображения). Фазовый множитель однозначно идентифицирует и измеряет субпиксельный сдвиг. Эта технология избавляет от неоднозначной и утомительной статистики при непосредственном подсчете трендов сюжетов изображений в состоянии их избыточной предпринятой передискретизации (такая передискретизация в реальных изображениях в группировке аппаратов просто отсутствует).
При выполнении указанного выше попиксельного суммирования изображений при нулевом субпиксельном взаимном сдвиге (в пределах малой заданной погрешности) необходимо выполнять восстанавливающую, подчеркивающую верхние моды ПЧС на «суммоизображении» фильтрацию. Необходимо отметить главное - суммирование изображений выполняется вдоль кривой, пересекающей плоскости всех изображений, и каждый раз имеющей на строках и столбцах изображений в общем случае попиксельного суммирования разные и ненулевые проекции на эти плоскости, определяемые субпиксельным сдвигом из-за разновременности получения этих изображений, разных текущих значений составляющих фактической СДИ, тангажей, рысканий и кренов оптической оси аппарата, которые, если бы речь не шла о формировании сверхразрешения, просто не учитывались бы. Суммировать приходится при предварительном представлении изображений в новой пиксельной сетке, соответствующей дискретности измерения сдвигов. При этом значения СДИ определяются постфактум по снимкам или специальными бортовыми средствам, или с использованием цифровой модели рельефа (ЦМР) зондируемой поверхности по формуле, выдвинутой Жиленевым М.Ю. в работе [10], где представлены выводы простых в вычислительном аспекте формул определения трассовой фактической СДИ для борьбы с ФРТ сравнением с запрограммированной СДИ в виде выражения для V (СДИ): для эллиптической орбиты
г-у
V =— *
(2 -1)
г —, (1)
н
для круговой орбиты в виде
V = , (2)
н
где а - большая полуось орбиты; г - радиус-вектор, соответствующий положению космического аппарата (КА) на орбите; ц - гравитационный параметр планеты, Н - высота орбиты над поверхностью планеты, / - фокусное расстояние в бортовой оптической электронной аппаратуре (БОЭА).
На рисунке 5 приведен фрагмент изображения с КА Ресурс-ДК, полученного с матрицы фокальной системы спутника (территория Испании) с совмещением трех
последовательно формируемых изображений в отдельных спектральных каналах зондирования.
Рис. 5. Фрагмент изображения с КА Ресурс-ДК Fig. 5. A fragment of images from Resurs-DK spacecraft
В центре верхней части фрагмента просматривается остаточная ФРТ - это результат координатного «несведения» спектральных каналов за счет аномальных тангажа, рыскания и крена КА, некорректной ЦМР на участке трассы КА, а главное, невычисленной правильно фактической СДИ для каждого канала. Операция совмещения каналов выполнялась в соответствии с описанной выше процедурой попиксельного суммирования кодов пикселов в 24-разрядной палитре и в зоне расхождения по СДИ в каналах сформировалась заметная ФРТ на итоговом изображении.
Улучшение точности позиционирования элементов изображения для замера СДИ выполнялось с отказом от координатного метода, при котором определяются центры (центроиды) изображений опорных ориентиров (ОО): либо определяются геометрические, либо энергетические центры (центры интенсивности) ОО, что требует решения задач распознавания и определения вероятности несовпадения геометрических и энергетических центров изображений ОО. Позиционирование опорных точек в работе с целью предельно возможного снижения погрешности реализуетсяв виде регуляризованной дельта-функции, формируемой (как в радиолокации) в виде отклика фильтра, собирающего и суммирующего в одной точке все амплитуды спектра сигнала: все гармоники ПЧС изображения, приведенные к значению единой фазы для выбранной точки позиционирования на «восходящем» фронте формируемого импульса при этом складываются синфазно, определяя минимальный для данного ПЧС наклон фронта от нулевого значения амплитуды импульса до максимального значения с «толщиной» отклика на уровне 0,7 для элементов оптической ПЗС-матрицы БОЭА, апертурой пикселов в 7-8 мкм, например, составляющей 10-10 м или 10-9 м на выделенную координатную ось, что улучшает точность оценки СДИ не хуже, чем на 1 -2 порядка.
Следует заметить, что в диапазоне диаграмм рассеяния зондирующего излучения с углами обзора с КА, соответствующими формированию изображений высокого разрешения на КА (соответствующими в радиолокации диаграммам направленности лучей зондирования и/или диаграммам чувствительности антенных апертур) происходит формирование изображения в зонах Фраунгофера (областях разделения и отсутствия пересечения (интерференции) нормалей к гипотетическим плоскостям размещения пространственных спектров псевдоизображений от рассеяния излучения «соседними» ареалами, примыкающими к исследуемому в данный момент ареалу) и формируемые изображения практически не содержат мешающих компонент и шума, кроме малозначительного шума оцифровок, преобразований и т.п., который также целесообразно подавлять для повышения измерительной ценности изображений [13].
Попиксельное суммирование изображений в новой пиксельной сетке и по кривой, согласованной с фактической СДИ, реализует «сглаживающий» фильтр с подавлением или
ослаблением яркости фрактальных границ, фрактальных контуров, фрактальных объектов, с «подчеркиванием» (антропогенных, как правило) регулярных линий, т.е. фильтр по существу скользит усредняющим окном вдоль простирания регулярной компоненты и в нашем случае необходимо применять восстановление - не адекватное, но близкое по эффекту к процессу, обратному сглаживанию. Иначе использовать описываемый процесс как мажорирующий для оценок разрешения в исходном одиночном тракте зондирования будет нельзя из-за подавленного в некоторой мере разрешения на синтезируемом в процессе изображении. С физической точки зрения при описанном суммировании порождается некоторая «малая» снижающая разрешение дополнительная ФРТ на синтезируемом изображении за счет остаточных взаимных сдвигов инспирированных изображений, причем эти сдвиги могут и не отмечаться в пределах задаваемой погрешности замеров фазовых показателей спектров с запаздыванием, но упоминаемая ФРТ формируется как необходимый естественный процесс (аналогичный процессу формирования «атмосферной ФРТ» при многолучевом (рефракционном и случайном) интерференционном формировании изображения на приемном транспаранте) .
Если база фильтра (база усреднения) при суммировании была N изображений, то это означает, что спектральный портрет сигнала суммострок покомпонентно был помножен на прямое Фурье-представление псевдотрапецевидного импульса во всех азимутальных направлениях с длиной его базы
N-1 N-1 у
NЛl = ((^Лх, )2 + (^Лу, )2 )12 , (3)
1=0 1=0
где лх, и Лу1 - координатные приращения на строках и столбцах суммируемых изображений из-за вариативности СДИ. Противодействие эффекту сглаживания реализуется делением спектров результатов фильтрации, вычисленных на осях простирания (синфазности) направления фильтрации на спектр импульса NЛl с амплитудой, равной 1.
Следует отметить, что за максимальное значение скорости возрастания фронтов упоминаемой трапеции можно принять величину, определяемую верхней модой ЧКХ тракта зондирования, что так или иначе говорит о финитности спектра импульса N^1.
Суммирование как процедура оптимального выделения элемента изображения -сигнала на фоне некоррелированных помех приводит к изменению отношения сигнал/шум, характеризуемому величиной ь=р^/р, где р и рх - отношение сигнал/шум до и после суммирования.
Если весовая функция при суммировании прямоугольна (§т=соп81;), что с малой погрешностью имеет место в нашем случае, то [7,10]
ръ / р = л[ы, (4)
где N - длина апертуры скользящего окна фильтра (базы). Это отношение максимально именно при однородном суммировании некоррелированных шумов. Применение других видов весовой функции уменьшает величину и.
В нашем случае в модели суммировалось от 12 до 16 изображений, что приводило к улучшению качества изображения по шумам от 3 до 4 раз.
Из рисунков 1,2,3,5 как отдельных примеров среди изображений высокого разрешения, можно видеть, что в силу отмеченных выше условий формирования изображений в зоне Фраунгофера энергия шумовой составляющей не превышает значения одного-двух разрядов кода пиксела в 24-разрядной палитре. Однако в технологии сверхразрешения даже достаточно малые шумовые составляющие могут влиять на сходимость решений, присущих сверхразрешению систем уравнений и увеличивать псевдослучайные разбросы интервалов доверительных значений яркостей результирующих пикселов (как правило, за счет некорректного перераспределения яркостей при возникновении псевдослучайных дополнительных к инспирируемым субпиксельных сдвигов) [11].
Формула сходимости к заданной погрешности с мерой погрешности р для итеративного оператора деконволюции Т в сверхразрешении при наличии шума преобразуется от вида [5,6,14]
р(5 Г, 5 и ) < (Т р(5 И \ S Г))/(1 -| Т (5)
к виду
Р(р(5Ий), 5и) < (|т| Р(5ИЯ), 5Ий-1))) /(1 - Т |) > 1 - РО), (6)
определяемому вербально как выполнение соотношения (5) с точностью до вероятности Р, т.е. с точностью довероятности Р>1-РО, где р(55И) = (5Ии) - 5иу )2)12- евклидова
метрика, ар(5^1),5^"-1)) исчисляется аналогично; норма оператора Т в соответствии с технологией итеративной деконволюции [5,6,14] равна
||т|| = 1^(1 - Н )**5 И"-1)||/|| 5 И"-1)||, (7)
здесь 5и —
восстанавливаемое изображение или соответствующая итерация его 5Ип), символ
** обозначает операцию двумерной свертки, F 1 - обратное двумерное преобразование Фурье, РО связана с уровнем ложной тревоги, создаваемом при распознавании опорных ориентиров наличествующим шумом, Н(ю^щ) - спектральное ядро фильтра Винера или ПЧС ФРТ с неполнотой покрытия диапазона пространственных частот задачи, определяемая по опорным ориентирам, с дальнейшим пополнением частотнозависимой добавкой v(юi,юj) (ФРТ требует пополнения спектрального портрета до оптимизированной ЧКХо(ед,ю0 [5,6]).
В работе [9] показано, что РО паспортизует изображение и регламентируется такими измеримыми характеристиками изображения как:
о2 - среднеквадратичная дисперсия яркости исходного изображения (из изображения исключаются шумоподобные объекты и остается шумовая фактура), Вс - динамический диапазон контрастов выделяемых образов,
О - полоса пространственных частот (радиусы ПЧС), занимаемая спектральными портретами образов,
Ар - полоса пересечения пространственных частот спектральных портретов образов и шумов (диаметр пересечения радиусов ПЧС), т- радиус корреляции шума, А - средняя апертура выделяемого образа.
Составляя в выбранном окне обработки для позиционирования выделяемого элемента соотношение
РО=Ар 'о'е ,(А,ОФ 0), (8)
А О
квазипропорциональное отношению "энергия шума/энергия сигнала", умноженному на величину е = т / А, пропорциональную вероятности ложной тревоги в процедуре корреляционного обнаружения (минимальное значение этой вероятности наступает при т=0) удается вычислить значение вероятности Р для (5). При этом величина е = т/ А нормирует отношение Ао / АО так, что при выборе для коррекции разрешения объектов, для которых е << 1 она удерживает значения РО < 0.1 (это соответствует получению изображений со сверхразрешением в зоне Фраунгофера, иначе изображения для получения достоверного сверхразрешения выбраковываются) [9].
Паллиативно, подавление ФРТ в рамках модели Бейтса и Мак Доннела реализуется для гипотетического случая измерения ее полного спектрального портрета F(ФРТo) соотношением инверсной фильтрации [7,9]
F (Би) = F (5Д)/F (ФРТо) = F (5Д )(Р (ФРТо))-1, (9)
здесь Р-двумерное преобразование Фурье (т.е. ПЧС), (Г)'1 - деление единицы на отсчеты комплексного ПЧС, спектры и ЧКХ всегда ограничены верхней модой Шв, моды задаются (тх,Юу)=(тищ) - координатами в двумерном ПЧС изображения Б(х,у)), Бя - наблюдаемое и сформированное постфактум изображение.
Заменяя F(ФРТo) на Н(ю,,щ), т.е. спектр ФРТ с неполнотой покрытия диапазона пространственных частот задачи (с частотнозависимой в последующем добавкой v(шi,шj)) с домножением числителя и знаменателя инверсного фильтра на Н*(ю,,щ) (* - символ комплексного сопряжения) и добавляя аддитивно в знаменатель «умеренно» подавляющий верхние (и шумовые) моды ПЧС изображения параметр регуляризации р(т,2+Ш]2)У2 [15], получим используемый широко в коррекции резкости модифицированный фильтр Винера-Тихонова со спектром ядра оператора деконволюции Нж_1[5,6,15]
Р(Би) = Н )Р(Б,)/(|Н(ю,)|2 + р(т,2 2)1/2 = Нм^Р(Б,), (10)
Отмеченная выше частотно-зависимая добавка v(юi,юj) пополняет Н(а,,щ) до оптимизированной ЧКХо(ю,,щ) тракта, настолько близко, насколько это можно будет сделать, не возбуждая артефактов подобных резидентному контрастированию на изображении при подборе уровня первичной коррекции изображения обобщенным градиентным оператором [5]. Выражение для откорректированного под оптимальную ЧКХо(ю,,щ) фильтра Винера-Тихонова имеет тогда вид:
Р (Би) = Р Б )(Н ,Wj )/(| Н (ю ,ф} )|2 +р(ю2 2)1/2) + у(р, ,Юj)) = Г (^ )(Нм+ V), (10а)
т. е.
Р (Би ) = Г )(ЧКХ0(ю, ) + |Яб| = Р (Б, )(ЧКХ0(ю, ))-1 при Rб=0, (11)
где (ЧКХо(ш,,щО)-1 - это спектральный портрет оператора деконволюции Вееопщкх, построенного на ЧКХо [5].
Если ввести откорректированное спектральное представление Ны1 в виде соотношения
Нм-1 = Нм-1 + ЛУ,0 <Л< 1, (12)
и ввести обозначение У=ЧКХо(ю,,ш) - финитной в пространстве ПЧС и такое же обозначение для Нш = Нм /(1 + ЯуНм), т.е. У = Нм = Нм /(1 + ЛНм), то для Би получим итеративное представление Ван Циттера для интегрального оператора деконволюции в обобщенной и компактной форме [6]:
Б(0) и = Б,;
Б(п)и = 8К + Р"'(1 - У)**Б(п-1)и . (13)
Из-за наличия дополнительных относительно процесса сходимости различий (дисперсии) прироста амплитуд добавки к Б (п)и в формуле Ван Циттера при выполнении итераций может возникнуть лучший по резкости результат на итерациях еще до достижения требований к погрешности итеративного оператора, т.к. требования к погрешности вычисления удается сформулировать только апеллируя к нормам операторов и изображений [6]. При этом отслеживание наилучшего решения по деконволюции выполняется выбором ранжируемых значений Л (ранжируемых возмущений операций деконволюции по Винеру), согласующим скорость сходимости итераций оператора деконволюции к заданной погрешности с наиболее вероятным моментом выхода на лучший по резкости результат. Физическая сущность процесса сходимости заключается в том, что повышение резкости (разрешения) означает снижение апертуры ФРТ на изображении, ПЧС которой используется в последующих итерациях как спектр ядра оператора деконволюции, средневзвешенная мода (индицирующая максимум энергии спектра) ПЧС ФРТ в этом процессе «плывет» в сторону высших мод, делая результат перемножения ПЧС ФРТ и ПЧС Бип) в формуле свертки (13) более псевдослучайным (из-за псевдослучайности сверхтонких структур изображения).
Корректирующая добавка v(Oi,Oj) согласует оптимизированную ЧКХ тракта [6] и ПЧС ядра деконволюции по Винеру, поэтому будем искать такую добавку v(0i,0j) из регуляризованного соотношения [5,6]
|ЧКХо( m,щ) - (H*(muщ)/(\H(rnu(oJ)\2+p(m21+m2J)1/2) + v(m, щ)) 12 = R26=min, (14) из которого следует
v(a„ щ)=(ЧКХо(щ, Oj)+|R6|)-1-H*(Oi, mj)/(\H(m, m])\2+p(m2l+m2j)1/1), (15)
в котором R6 аналогично p играет роль параметра регуляризации.
Т.к. соотношение (14) вычисляется на результатах дообработки изображений, то условие R26=min определяется в вариантах дообработки, при которых еще не началось резидентного контрастирования изображения [5]. При нулевом значении параметра контрастирование отсутствует.
Трем рассматриваемым вариантам технологии сверхразрешения при снижении апертур ФРТ для инспирированных изображений с согласованием применяемых методов подавления ФРТ с уровнем передискретизации всех инспирированных изображений при этом соответствуют три варианта определения частотнозависимой добавки v(oi,Oj). В таблицах 1-3 приведены по вариантам коэффициенты увеличения радиусов спектральных представлений НЩищ) за счет найденной добавки v(0i,0j) в соответствии с выражениями (9)-(15) для серии опорных ориентиров, распознаваемых при PG < 0.1 (соотношение (8)), коэффициенты улучшения разрешения опорного ориентира (что означает и коэффициенты улучшения разрешения на самом изображении по выделенному ориентиру) при имеющихся значениях нормированной функции их взаимной корреляции (ФВК) с эталоном и значении их нормированной яркости. Каждый ориентир имеет неполный спектральный портрет относительно решаемой задачи и неполный спектральный портрет соответствующей ему ФРТ, но в совокупности по всем ориентирам разрешение на изображении может быть увеличено до двух раз.
Принятые условные обозначения для типов ориентиров: СО - строительные объекты, ПА - структурные элементы портов и аэродромов, ЖД - структурные элементы железных дорог, ПО - природные объекты (контуры оврагов, рек, склонов возвышений, тени объектов).
Таблица 1 Table 1
Значения параметров, сопровождающих технологию сверхразрешения в варианте 1 Values of the parameters accompanying technology of superpermission in option 1
Значение нормированной Опорные Значение максимума ФВК опорного ориентира и эталона Коэффициент улучшения разрешения на опорном ориентире Коэффициент увеличения радиуса Н(ю1,щ)
яркости опорного ориентиры за счет
оиентира найденной добавки v(rni, оэ)
1 2 3 4 5
СО 1,00 1,80 1,90
Высокое (1) ПА ЖД 0,95 0,95 1,70 1,60 1,80 1,60
ПО 0,70 1,40 1,50
Окончание табл. 1
1 2 3 4 5
СО 1,00 1,50 3,20
Среднее (0,5) ПА ЖД 0,95 0,95 1,40 1,30 3,00 2,80
ПО 0,70 1,20 2,60
СО 1,00 1,30 14,00
Низкое (0,1) ПА ЖД 0,95 0,95 1,25 1,20 13,00 12,00
ПО 0,70 1,10 11,00
Таблица 2 Table 2
Значения параметров, сопровождающих технологию сверхразрешения в варианте 2 Values of the parameters accompanying technology of superpermission in option 2
Значение нормированной Опорные Значение максимума ФВК опорного ориентира и эталона Коэффициент улучшения разрешения на опорном ориентире Коэффициент увеличения радиуса H(rni,rnj)
яркости опорного оиентира ориентиры за счет найденной добавки v(mi,mj)
СО 1,00 1,40 1,60
Высокое (1) ПА ЖД 0,95 0,95 1,30 1,30 1,50 1,50
ПО 0,70 1,20 1,40
СО 1,00 1,20 2,60
Среднее (0,5) ПА ЖД 0,95 0,95 1,15 1,10 2,40 2,40
ПО 0,70 1,10 2,20
СО 1,00 1,10 11,00
Низкое (0,1) ПА ЖД 0,95 0,95 1,10 1,05 11,00 11,00
ПО 0,70 1,05 11,00
Таблица 3 Table 3
Значения параметров, сопровождающих технологию сверхразрешения в варианте 3 Values of the parameters accompanying technology of superpermission in option 3
Значение нормированной Опорные Значение максимума ФВК опорного ориентира и эталона Коэффициент улучшения разрешения на опорном ориентире Коэффициент увеличения радиуса Н(юищ)
яркости опорного оиентира ориентиры за счет найденной добавки v(mi,rn)
СО 1,00 1,30 1,40
Высокое (1) ПА ЖД 0,95 0,95 1,25 1,25 1,30 1,25
ПО 0,70 1,10 1,05
СО 1,00 1,20 2,60
Среднее (0,5) ПА ЖД 0,95 0,95 1,10 1,10 2,40 2,40
ПО 0,70 1,05 2,20
СО 1,00 1,10 11,00
Низкое (0,1) ПА ЖД 0,95 0,95 1,10 1,10 11,00 11,00
ПО 0,70 1,00 10,00
Заключение
Очевидно, что в процедурах сверхразрешения, когда до 4-5 раз увеличивается плотность пикселов в окне паттерна с увеличением детальности сюжета изображений и номера верхней моды в их ПЧС (также в 4-5 раз) нельзя обходиться средними значениями СДИ на инспирированных изображениях, т.к. интерполяция при субпиксельных сдвигах может «передвинуть» синтезируемый пиксел не менее, чем на два пиксела (простым переносом истинной яркостной точки на «среднее» расстояние, определенное по значениям СДИ). В процедуре мажорирования значения разрешения в исходном канале ДЗ в состояниях, когда апертуры пикселов инспирированных изображений (или изображений,
изъятых с аппаратуры группировки) мало отличаются от пикселов синтезируемого изображения, попиксельное суммирование вдоль условной оси Z выполняется при этом с учетом кривой на плоскости разброса пикселов из-за СДИ. Одновременно с этим подавляется шумовая составляющая, которая преобразует достижимость установленной погрешности операторов деконволюции в достижимость с точностью до вероятности, но значения этих вероятностей находятся, как правило, в пределах 0,9-0,99999. Это существенно для изображений сверхвысокого разрешения. При этом на каждом инспирированном или с группировки изображении строим деконволюцию с зависящей от варианта технологии сверхразрешения частотно-зависимой добавкой к спектру ядра оператора деконволюции. В модели в процедуре мажорирования получается более высокое разрешение на исходном изображении за счет подавления на нем остаточной ФРТ. Работа над сверхразрешением с группировками аппаратов особо устойчива в условиях случайного или намеренного вывода из строя спутников и элементов группировки, когда может оказаться, что получаемая информация важна и должна быть получена практически немедленно, например, для отслеживания намеренных или неудачных запусков аварийных ракет на начальных участках полетных траекторий, не замеченных во время астероидов, находящихся уже в зонах подспутниковых пространств при наклонных скользящих орбитах.
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 16-07-00177 "Разработка теоретических основ методов моделирования реализации предельно достижимых характеристик сверхвысокого пространственного и спектрального разрешения в стволах дистанционного зондирования с космических платформ".
Список литературы References
1.Ушакова Н.Н. 2016. Математическая модель процесса формирования космического изображения высокого и сверхвысокого разрешения в группировке космических аппаратов. Научные ведомости Белгородского государственного университета. серия Математика. Физика. № 20 (44), Выпуск 44: 155-167.
Ushakova N.N. 2016. Matematicheskaya model' processa formirovaniya kosmicheskogo izobrazheniya vysokogo i sverhvysokogo razresheniya v gruppirovke kosmicheskih apparatov. Belgorod State University Scientific Bulletin. Mathematics & Physics, № 20 (44). Vypusk 44: 155-167.
2. Park S. C., Park M. K., Kang M. G. 2003. Super-resolution image reconstruction: A technical overview. IEEE Signal Processing Magazine, 20(3): 21-36.
Park S. C., Park M. K., Kang M. G. 2003. Super-resolution image reconstruction: A technical overview. IEEE Signal Processing Magazine, 20(3): 21-36.
3. http://www.grc.com/ct/ctwhat.htm «Субпиксельная обработка как способ повышения пространственного разрешения в системах дистанционного зондирования». Селиванов А.С. // ФГУП «Российский научно-исследовательский институт космического приборостроения» (ФГУП «РНИИКП»), 2008.
http://www.grc.com/ct/ctwhat.htm «Subpiksel'naja obrabotka kak sposob povyshenija prostranstvennogo razreshenija v sistemah distancionnogo zondirovanija». Selivanov A.S. // FGUP «Rossijskij nauchno-issledovatel'skij institut kosmicheskogo priborostroenija» (FGUP «RNIIKP»), 2008.
4.Ращупкин А.В. 2008. Технологии обработки видеоинформации, обеспечивающие качество аэрокосмических изображений. Полет, № 11: 42-48. Вестник Самарского государственного аэрокосмического университета, № 2, 2010.
Rashhupkin A.V. 2008. Tehnologii obrabotki videoinformacii, obespechivajushhie kachestvo ajerokosmicheskih izobrazhenij. Polet, 2008. № 11: 42-48. Vestnik Samarskogo gosudarstvennogo ajerokosmicheskogo universiteta, № 2, 2010.
5.Винтаев В.Н., Жиленев М.Ю., Маторин С.И., Ушакова Н.Н., Щербинина Н.В. 2014. Адаптивное восстановление резкости на цифровых космических изображениях. Журнал РАН «Информационные технологии и вычислительные системы». - Москва. Издательство института системного анализа (ИСА) РАН, №4: 33-43.
Vintaev V.N., Zhilenev M.Ju., Matorin S.I., Ushakova N.N., Shherbinina N.V. 2014. Adaptivnoe vosstanovlenie rezkosti na cifrovyh kosmicheskih izobrazhenijah. Zhurnal RAN «Informacionnye tehnologii i vychislitel'nye sistemy». - Moskva. Izdatel'stvo instituta sistemnogo analiza (ISA) RAN, №4:33-43.
6.Константинов И.С., Щербинина Н.В., Жиленев М.Ю., Винтаев В.Н., Ушакова Н.Н. 2014. Специальная коррекция в процедурах регуляризации и итеративных процессах уменьшения размеров пятна функции рассеяния точки на космических изображениях. Научные ведомости Белгородского государственного университета. История, Политология, Экономика, Информатика. Научный рецензируемый журнал, 15 (186): 166-175.
Konstantinov I S., Shherbinina N.V., Zhilenev M.Ju., Vintaev V.N., Ushakova N.N. 2014. Special'naja korrekcija v procedurah reguljarizacii i iterativnyh processah umen'shenija razmerov pjatna funkcii rassejanija tochki na kosmicheskih izobrazhenijah. Nauchnye vedomosti Belgorodskogo gosudarstvennogo universiteta. -Istorija, Politologija, Jekonomika, Informatika. Nauchnyj recenziruemyj zhurnal, 15 (186): 166-175.
7. Бейтс Р., Мак-Доннел М. 1989. Восстановление и реконструкция изображений. М.,Мир, 336.
Bejts R., Mak-Donnel M. 1989. Vosstanovlenie i rekonstrukcija izobrazhenij. M.,Mir, 336.
8. Ушакова Н.Н. 2011. Вычислительные алгоритмы в компьютерной графике и обработке изображений. Белгород, Изд-во БУКЭП, 193.
Ushakova N.N. 2011. Vychislitel'nye algoritmy v komp'juternoj grafike i obrabotke izobrazhenij. Belgorod, Izd-vo BUKJeP, 193.
9.Ушакова Н.Н. 2004. Коррекция цифровых космических изображений на основе верифицирующего моделирования. Дисс. на соискание ученой степени канд. техн. наук. Белгород, 255.
Ushakova N.N. 2004. Korrekcija cifrovyh kosmicheskih izobrazhenij na osnove verificirujushhego modelirovanija. Diss. na soiskanie uchenoj stepeni kand. tehn. nauk. Belgorod, 255.
10.Жиленев М.Ю., Винтаев В.Н. 2011. Формула расчета движения изображения при орбитальной съемке планет оптико-электронной аппаратурой. Телекоммуникации (TELECOMMUNICATIONS AND RADIO ENGINEERING). № 7:2-7.
Zhilenev M.Ju., Vintaev V.N. 2011. Formula rascheta dvizhenija izobrazhenija pri orbital'noj s#emke planet optiko-jelektronnoj apparaturoj. Telekommunikacii (TELECOMMUNICATIONS AND RADIO ENGINEERING). № 7:2-7.
11. Москвитин А.Э. 2003. Технологии и алгоритмы повышения качества изображений земной поверхности на основе комплексирования спектрозональной информации. Диссертация на соискание уч. степени кандидата технических наук по специальности 05.13.01. Рязань:130.
Moskvitin A. E. 2003. Tekhnologii i algoritmy povysheniya kachestva izobrazhenij zemnoj poverhnosti na osnove kompleksirovaniya spektrozonalnoj informacii. Dissertaciya na soiskanie uch stepeni kandidata tekhnicheskih nauk po specialnosti 05. 13. 01. Ryazan: 130.
12. Блажевич С.В., Винтаев В.Н., Ушакова Н.Н. 2010. Синтез космического изображения с улучшенной разрешающей способностью на основе субпиксельного сканирования. Материалы седьмой всероссийской конференции «Современные проблемы дистанционного зондирования Земли из космоса», изд. ИКИРАН, 7 (2): 9-13,
Blazhevich S.V., Vintaev V.N., Ushakova N.N. 2010. Sintez kosmicheskogo izobrazhenija s uluchshennoj razreshajushhej sposobnost'ju na osnove subpiksel'nogo skanirovanija. Materialy sed'moj vserossijskoj konferencii «Sovremennye problemy distancionnogo zondirovanija Zemli iz kosmosa», izd. IKIRAN, 7 (2): 9-13.
13. Басс Ф.Г., Фукс И.М. 1972. Рассеяние волн на статистически неровной поверхности. М: Наука, 409.
Bass F.G., Fuks I.M. 1972. Rassejanie voln na statisticheski nerovnoj poverhnosti. M.:Nauka,
409.
14.Коллатц Л. 1969. Функциональный анализ и вычислительная математика. Пер. с нем. М., Мир, 447.
Kollatc L. 1969. Funkcional'nyj analiz i vychislitel'naja matematika. Per. s. nem. M., Mir, 447.
15.Кочанов А.А., Обухов А.Г., Просовецкий Д.В. 2010. Методы восстановления изображений и распознавание образов в радиоастрономии. Солнечно-земная физика, №16: 154-161.
Kochanov A.A., Obuhov A.G., Prosoveckij D.V. 2010. Metody vosstanovlenija izobrazhenij i raspoznavanie obrazov v radioastronomii. Solnechno-zemnaja fizika, №16: 154-161.
