CC BY
0
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ май-июнь 2024 Том 24 № 3 http://ntv.ifmo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS
l/ITMO
ISSN 2226-1494 (print) ISSN 2500-0373 (online)
May-JUne2o24 v„,,4N„3 h„P://n.,,m„,u/en/ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ
doi: 10.17586/2226-1494-2024-24-3-464-473 УДК 621.397.3
Устранение искажений слабых изображений астрономических объектов на примере Сатурна, Юпитера и их спутников
Валерий Сергеевич Сизиков1®, Нина Геннадиевна Рущенко2
Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация
1 sizikov2000@maiLmи, https://orcid.org/0000-0002-4618-8753
2 rushchenko@mail.ru, https://orcid.org/0000-0003-1230-5410
Аннотация
Введение. Рассмотрены методы и алгоритмы восстановления смазанных и зашумленных изображений путем численного решения интегральных уравнений. Применение алгоритмов показано на примере восстановления искаженных изображений небесных тел — Сатурна, Юпитера и их спутников на фоне звездного неба. Изображения объектов могут быть нечеткими, что при анализе требует увеличения экспозиции. Это может привести к несоответствию вращений Земли и телескопа и к смазыванию (размытию) изображения объекта. В работе предлагается устранять смаз путем математической и компьютерной обработок искаженного изображения. При этом тип и параметры смаза могут быть практически неизвестны или известны неточно. Новизна предлагаемого решения заключается в том, что тип и параметры искажения, а, следовательно, ядро интегрального уравнения или функция рассеяния точки, определяются оригинальным «спектральным методом». Метод. В прямой задаче моделирование смаза и шума на приемниках (телескопах) осуществляется путем вычисления интегралов типа свертки. В обратной задаче устранение смазывания изображения выполняется с помощью решения интегрального уравнения методом параметрической фильтрации Винера с использованием нового «спектрального метода» определения ядра интегрального уравнения, а также фильтрации шума медианным фильтром Тьюки и новым модифицированным фильтром. Получены оценки погрешности для каждой операции. Предложена методика, позволяющая путем применения математических и программных средств устранить искажения изображений планет, естественные и инструментальные шумы, размытость изображений, а также получить четкие изображения Сатурна, Юпитера и их спутников. Основные результаты. Неискаженные изображения планет выбраны из астрономических каталогов. Путем моделирования получено смазанное и зашумленное изображение Сатурна с заданными параметрами искажения (углом 0 и величиной Д смаза), а также натурное искаженное изображение Юпитера с неизвестными параметрами искажения, определенными «спектральным методом». Продемонстрировано восстановление изображения Сатурна с его спутниками путем решения интегрального уравнения. Показаны результаты обработки изображения Юпитера, когда для устранения смаза изображения посредством решения интегрального уравнения использован «спектральный метод» определения параметров размытия, а следовательно, функции рассеяния точки и ядра интегрального уравнения. Работоспособность представленного метода определена путем визуальной оценки восстановленного изображения и путем расчета ошибки восстановления. Обсуждение. Предложенная методика позволяет устранять на изображениях различных космических объектов естественный или инструментальный шум, а также смаз изображения, выделять слабые объекты (спутники и иные объекты) на фоне звезд. Ключевые слова
смазывание (размытие) и зашумление изображения, определение параметров искажения изображения, удаление
смаза, фильтрация шума
Благодарности
Работа выполнена при финансовой поддержке гранта Мегафакультета компьютерных технологий и управления
института, проект № 620164 «Методы искусственного интеллекта киберфизических систем».
Ссылка для цитирования: Сизиков В.С., Рущенко Н.Г. Устранение искажений слабых изображений
астрономических объектов на примере Сатурна, Юпитера и их спутников // Научно-технический
вестник информационных технологий, механики и оптики. 2024. Т. 24, № 3. С. 464-473. doi:
10.17586/2226-1494-2024-24-3-464-473
© Сизиков В.С., Рущенко Н.Г., 2024
Elimination of distortions of weak images of astronomical objects on the example of Saturn, Jupiter and their satellites
Valery S. Sizikov1«, Nina G. Rushchenko2
ITMO University, Saint Petersburg, 197101, Russian Federation
1 sizikov2000@mail.ru«, https://orcid.org/0000-0002-4618-8753
2 rushchenko@mail.ru, https://orcid.org/0000-0003-1230-5410
Abstract
Methods and algorithms for restoring smeared and noisy images by numerically solving integral equations (IE) are considered. The algorithms are illustrated by the restoration of distorted images of celestial bodies using the example of images of Saturn, Jupiter and their satellites against the background of the starry sky. Images of objects may be weak, which will require increased exposure and may lead to a mismatch between the rotations of the Earth and a telescope, and then a smear image of the object will occur. The article proposes to eliminate smear by mathematical and computer processing of the distorted image. In this case, the type and the parameters of a smear may be practically unknown or known inaccurately. The novelty of the proposed solution lies in the fact that the type and the parameters of a distortion, and therefore the kernel of an IE or the point spread function (PSF), are determined by the original "spectral method". In the direct problem, modeling the smear and noise in receivers (telescopes) is performed by calculating convolution-type integrals. In the inverse problem, image smearing is performed by IE solving with the Wiener parametric filtering method using the new "spectral method" for determining the kernel of the IE as well as filtering the noise by the Tukey median filter and the new modified filter. Error estimates for each operation are obtained. A technique has been proposed that makes it possible to eliminate, through the use of mathematical and software tools, images of planets, natural and instrumental noise, image smear, and also to obtain the clear images of Saturn, Jupiter and their satellites. Undistorted images of Saturn and Jupiter with their satellites were taken from astronomical catalogs. By modeling, we have obtained a distorted (smeared and noisy) image of Saturn with given distortion parameters (smear angle 0 and smear value A) and a truly distorted image of Jupiter with unknown distortion parameters determined by the spectral method. Next, the image of Saturn with its satellites was restored by solving the IE. Image processing of Jupiter was also carried out, in which, to eliminate image smear by solving the integral equation, the "spectral method" was used to determine the smear parameters, and therefore the PSF and the kernel of the integral equation. The performance of the proposed method is determined both by visual assessment of the reconstructed image and by calculating the reconstruction error. The proposed technique makes it possible to eliminate in images of various space objects, in particular, Saturn and Jupiter, the natural or instrumental noise, as well as image smear, and to highlight faint objects (satellites, etc.) against the background of stars. Keywords
image smearing and noising, determination of image distortion parameters, smear removal, noise filtering Acknowledgments
The work was supported by a grant from MFKTU ITMO, project No. 620164 (Artificial intelligence methods for cyber-physical systems).
For citation: Sizikov V.S., Rushchenko N.G. Elimination of distortions of weak images of astronomical objects on the example of Saturn, Jupiter and their satellites. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2024, vol. 24, no. 3, pp. 464-473 (in Russian). doi: 10.17586/2226-1494-2024-24-3-464-473
Введение
Обработка изображений астрономических объектов (планет, галактик и др.) отличается тем, что часто требуется большая экспозиция из-за слабости (малой яркости) изображений. За время настройки оборудования Земля заметно повернется и, чтобы не получилось смазывание изображения, телескоп должен выполнить поворот синхронно в сторону, противоположную вращению Земли. При этом синхронизация вращений Земли и телескопа может быть неточной и тогда возникнет смаз изображения объекта. Смаз изображения может возникнуть также из-за несогласованности частоты считывания матрицы прибора с зарядовой связью и скорости движения телескопа [1]. Кроме того, на смаз может наложиться аппаратурный импульсный шум в результате выхода из строя ряда сенсоров (датчиков) матрицы прибора с зарядовой связью.
Подобная задача уже решалась в работах [1-4]. При этом полагалось, что ядро интегрального уравнения (ИУ) (или функция рассеяния точки (ФРТ)) извест-
но. Однако, если излучение объектов слабое, то ФРТ трудно определить. В настоящей работе развивается «спектральный метод» определения типа и параметров искажения изображения, а значит ФРТ, что повышает точности решения ИУ и восстановления искаженного изображения.
В работе поставлена задача определить смаз и шум, т. е. ядро ИУ (или ФРТ) математическим и компьютерным способами, и использовать ядро для решения ИУ и восстановления изображения.
Задача решается на примерах изображений Сатурна и Юпитера и их спутников. Представленное решение отличается от работ [5, 6] тремя особенностями. Во-первых, обрабатываются изображения с малой яркостью астрономических объектов с их спецификой, во-вторых, параметры смаза, а значит, ФРТ или ядра ИУ определяются «спектральным методом» и, в-третьих, учитывается влияние звездного неба, как помехи.
Цель работы — совершенствование методики моделирования смазывания и зашумления изображений астрономических объектов на примере Сатурна,
Юпитера и их спутников (прямая задача) и устранение искажений изображений (обратная задача). При этом параметры смаза полагаются неизвестными и определяются «спектральным методом».
Пример 1. Постановка задачи
Пусть дано неискаженное (исходное) натурное изображение Сатурна с его 16 спутниками (рис. 1). Неискаженное изображение выбрано из каталогов астрономических объектов (Messier, NGC, Caldwell (Колдуэлла) и др.)1.
Отметим, что на рис. 1 присутствуют изображения звезд (звездное небо). Несмотря на то, что данные изображения малой яркости, их следует удалить некоторым способом, иначе они могут повлиять на обработку слабых спутников Сатурна.
Предположим, что изображение на рис. 1 получило смазывание (параметры смаза неизвестны и их требуется определить) и зашумление. Требуется устранить математически смазывание и зашумление, а также исключить влияние изображений звезд.
1 https://en.wikipedia.org/wiki/Saturn, https://en.wikipedia. org/wiki/Moons_of_Saturn (дата обращения: 15.05.2024).
Рис. 1. Неискаженное (исходное) изображение Сатурна Fig. 1. Undistorted real image of Saturn
Вариант 1 (обработка смазанного изображения и устранение несмазанного шума)
Для съемки Сатурна и его спутников телескопом с недостаточной светосилой может потребоваться большая экспозиция. Это может вызвать некоторое рассогласование асинхронного вращения телескопа, снимающего Сатурн, и небесной сферы с объектами на ней и, как следствие, получить смазывание изображения Сатурна, его спутников и звезд (рис. 2, а).
Рис. 2. Изображения Сатурна, его спутников и звезд (вариант 1): смазанное изображение (a); наложение на смазанное изображение аппаратурного последующего несмазанного импульсного шума (b); устранение шума фильтрами Тьюки, Гонсалеса, Нараянана и новым модифицированным фильтром (c); устранение смаза методами параметрической фильтрации
Винера и регуляризации Тихонова (d) Fig. 2. Images of Saturn, satellites and stars Images of Saturn, its satellites and stars (option 1): blurred image (a); superimposition of hardware subsequent non-blurred impulse noise onto the blurred image (b); noise elimination with Tukey, Gonzalez, Narayanan filters and a new modified filter (c); removal of blur by methods of parametric Wiener filtering and Tikhonov regularization (d)
Предлагаемый метод
Прямая задача смазывания. Смаз изображения (рис. 2, а) опишем двухмерным выражением:
g(x, y) = I I h(x - 4, y - n)diß%
(1)
столбцов. Расчет по формуле (4) является более удобным и наглядным, чем по известной формуле PSNR (пиковое отношение сигнал/шум, the peak signal/noise relation):
PSNR = 101g(wmaXMM||w - wjjb.
где х и ^ — оси, направленные горизонтально; у и п — оси, направленные вертикально вниз; м> и g — распределение интенсивности по неискаженному и смазанному изображениям соответственно; к — ФРТ.
Опишем смаз также набором одномерных построчных у-выражений типа свертки [7-15]:
gy(x) = I h(x - 4)wy(4)d4,
(2)
где х и ^ — оси, направленные вдоль смаза под углом 0; у — ось, направленная перпендикулярно смазу. ФРТ в случае равномерного и прямолинейного смазов запишем в (2) как:
h(x - 4) = j или h(x) =
1/Д, -А < x - 4 < 0, 0, иначе, ( 1/Д, -А < x < 0, 0, иначе,
(3)
где Д — величина смаза.
Представление двумерной задачи (1) в виде набора одномерных задач (2) следует из поворота двумерной системы координат на угол 0 так, чтобы направление смаза совпало с осью х в (2). Тогда вычисление ФРТ можно упростить, и потребуется меньше памяти, чем при двумерном выражении (1). Однако переход от выражения (1) к (2) связан с определением угла 0, а это может выполниться с погрешностью 0 и привести к погрешности сге1, которая будет описана далее.
Для компьютерной реализации варианта 1 (прямой задачи в виде соотношений (2) и (3)) авторами разработана МАТЪАБ-программа Satum_big1.m. Смазывание выполнено также на основе двумерного выражения (1) с помощью встроенных в МАТЬАВ т-функций fspecia1.m и тШегт.
На рис. 2, а показано смазанное изображение Сатурна, спутников и звезд согласно (2) и (3).
Отметим, что параметры 0 и Д известны только в модельных примерах. В связи с этим предположим, что значения 0, Д и к неизвестны и для их определения используем «спектральный метод» [5, 6].
Погрешность операции. Относительную погрешность любой операции (смаза и др.) вычислим по формуле:
Orel =
||w-w|L MN _ _ IM N 2
= J H (wj. - j2/J I , INk Ъ=1 .=i /Vi i=i
(4)
где м> — искаженное изображение (смазанное, дефоку-сированное, зашумленное и т. д.); м? — точное изображение (обычно имеется в стандартных наборах неискаженных изображений астрономических объектов); ] и I — номера строк и столбцов; М и N — число строк и
В результате погрешность смазанного изображения на рис. 2, а равна crel = 0,229 (т. е. ~ 23 %).
Формула (4) может быть использована также для вычисления погрешности crei, обусловленной погрешностью определения угла 9 при переходе от двумерной задачи (1) с изображением w к одномерной задаче (2) с - W.
Зашумление. Выполним анализ наложения на смазанное изображение на рис. 2, a несмазанного импульсного шума типа 'salt & pepper' (рис. 2, b). Такой шум мог возникнуть в результате выхода из строя ряда сенсоров матрицы прибора с зарядовой связью в телескопе. Несмазанный шум — аппаратурный (инструментальный) шум и отличается от шума в среде. Назовем несмазанный шум последующим шумом, так как он (рис. 2, b) наложен на изображение после смаза изображения (рис. 2, a).
После наложения шума программно с помощью встроенной m-функции imnoise.m погрешность на рис. 2, b повысилась: crel = 0,355.
Решение обратной задачи устранения шума и смаза
Первая обратная задача — задача устранения импульсного шума. Применим для фильтрации шума медианный фильтр Тьюки, адаптивный медианный фильтр Гонсалеса, итерационный фильтр Нараньянана, новый модифицированный медианный фильтр [7, С. 146; 8]. Убедимся, что фильтрация импульсного шума фильтром Гонсалеса выполняется примерно в 2 раза точнее, чем фильтром Тьюки, а модифицированным фильтром примерно в 5 раз точнее, чем фильтром Гонсалеса. Тем не менее, фильтр Тьюки для рассматриваемого примера дает приемлемые результаты. Рассмотрим результаты, полученные медианным фильтром Тьюки. На рис. 2, c — изображение после устранения импульсного шума фильтром Тьюки с окном [3 3]1 [12, 14, 16]. Погрешность уменьшилась: crel = 0,229.
Во второй обратной задаче (устранение смаза) рассмотрим выражения (1) и (2) как ИУ типа свертки, в которых g — заданная функция (смазанное изображение), w — искомая функция (неискаженное изображение), а h — ФРТ или ядро ИУ
Рассмотрим ИУ (1). Задача его решения является некорректной (ill-posed problem) [2, 12, 17-21] и требует применения специальных устойчивых методов — метода параметрической фильтрации Винера (МПФВ) [1, 10, 12-14, 21], регуляризации Тихонова (РТ) [2, 9-14, 16-23], максимального правдоподобия
1 Были использованы также окна [5 5], [7 7], но дали погрешность arel большую, чем с окном [3 3].
х
Люси-Ричардсона [10, 12-14], «слепой деконволюции» [13, 14, 24-26] и др.
В настоящей работе в качестве эффективного (устойчивого) метода устранения смаза выбран МПФВ [1, 10, 12-14, 21], согласно которому восстановленное изображение в результате решения ИУ (1) [7, С. 206]
имеет вид
1
П) = —J 1 Wk(O>i, Ш2)
4jl -œ-œ
x exp[-/'(œi^ + œ2n)]ôfa>iû?œ2,
где
WKœi, œ2) =
Я*(юi, ш2)С(о)ь ю2) |Я(юьЮ2)|2 + .Й: '
(5)
(6)
причем W, H и G — спектры Фурье функций w, h и g; K > 0 — параметр МПФВ, дающий оценку отношения шум/сигнал по мощности [13, 14]; юх, Ю2 — частоты Фурье; H* — сопряженный спектр Фурье.
Выбор параметра K. Параметр K играет важную роль в МПФВ, так как определяет степень гладкости решения wK. Он совпадает с параметром регуляризации а в методе регуляризации 0-го порядка Тихонова [2] и выбирается, например, обобщенным принципом невязки [3, 7] и др. Значение параметра K (и а) зависит от шума, параметров А, 9 и шага дискретизации и не является универсальным, так как для каждого изображения получаются разные значения K и а. В данной работе предлагаются два простых, но эффективных «визуальных» способа выбора параметра K [1, 7].
1. Выбор K на основе визуального восприятия изображения wk(^, п) при различных значениях K. При этом будем исходить из того, что при завышенном K изображение wk(^, п) получается заглаженным, а при заниженном K — слишком контрастным (неустойчивым). Подберем «умеренное» K по визуальному восприятию wk(^, п).
2. Если известно точное изображение w (в модельной задаче), то определим K из условия минимума относительной погрешности: orei(K) = min, где
к
Orel(K) =
M N
-^ГТ^ = J'tt (ÜKß - ™ji)2H X . IHk Vii=i I Vj=ii=i
Последнее выражение — формула (4) применительно к МПФВ, при м> = м>к.
Заметим, что в работе [1] также используется фильтр Винера с константой Е (аналогичной К), которая также «подбирается исходя из наилучшего качества изображения», а не с помощью некоторого численного способа. Аналогично, в книге [14, С. 184] константа К (обозначенная как Я) определяется «путем ее изменения и наблюдения результатов восстановления». Несмотря на то, что данные способы выбора/подбора не обоснованы строго математически, они продемонстрировали эффективность в задаче восстановлении изображений за счет использования априорной (визуальной) информации об изображении п).
Рис. 3. Относительная погрешность восстановления изображения arel(K) методом параметрической фильтрации
Винера в прямой и в обратной задачах для параметров: Д = 40, 9 = 35, d = 0,001 (кривая 1), Д = 41,5, 9 = 33, d = 0,01
(кривая 3), Д = 43, 9 = 31, d = 0,01 (кривая 4); в прямой задаче Д = 40, 9 = 35, d = 0,001 и в обратной задаче Д = 41,5, 9 = 33, d = 0,01 (кривая 2) Fig. 3. Relative error of image reconstruction by the Wiener parametric filtering method in direct and inverse problems for parameters: Д = 40, 9 = 35, d = 0.001 (curve 1), Д = 41.5, 9 = 33, d = 0.01 (curve 3), Д = 43, 9 = 31, d = 0.01 (curve 4); in the direct problem Д = 40, 9 = 35, d = 0.001 and in the inverse problem Д = 41.5, 9 = 33, d = 0.01 (curve 2)
На рис. 3 приведены кривые orel(K) погрешностей различных вариантов решений. Под прямой задачей подразумевается внесение искажений в изображение с параметрами: смазывание Д = 40 пкс; 9 = 35°; d = 0,001 = 0,1% — доля зашумленных пикселов, а в обратной задаче данные параметры не известны и используются приближенные значения параметров, например, Д = 41,5; 9 = 33; d = 0,01.
Минимумы кривых на рис. 3 позволяют выбрать параметр K.
В результате при решении обратной задачи с параметрами Д, 9 и d такими же, как в прямой задаче (кривая 1), получим меньшую погрешность, чем с параметрами, отличными от истинных, например, по кривой 2.
Если же в прямой и в обратной задачах параметры одинаковые, то получим кривые 3 и 4, близкие к кривой 1, даже если параметры кривых 3 и 4 отличны от параметров кривой 1. Параметр K в минимуме кривой 1 имеет значение K = 1,210-3. Это дает четкое восстановленное изображение на рис. 2, d. В результате получена относительная погрешность crel = 0,100.
Из рис. 2, d видно, что восстановлены все 16 спутников Сатурна и удален шум и звезды, причем шум удален как медианным фильтром (рис. 2, с), так и МПФВ (рис. 2, d).
Вариант 2 (обработка смазанного шума и смазанного изображения)
Специфика обработки изображения варианта 2 (рис. 4) состоит в том, что в нем использован природный (реальный) шум, а в варианте 1 шум смоделирован. Кроме того, в варианте 2 шум наложен на несмазанное изображение Сатурна и затем выполнена свертка суммы изображения и шума (рис. 4, b).
œ œ
X
Рис. 4. Обработка изображения Сатурна, его спутников и звезд (вариант 2): природный импульсный шум на несмазанном изображении (а); смазанное с шумом изображение (b); устранение смаза методом параметрической фильтрации Винера и восстановление шума (с); устранение шума медианным фильтром Тьюки, адаптивным фильтром Гонсалеса, итеративным
фильтром Нараньянана и новым разработанным модифицированным фильтром (d) Fig. 4. Image processing of Saturn, its satellites and stars (option 2): natural impulse noise on an unblurred image (a); blurred image with noise (b); removal of blur using the Wiener parametric filtering method and noise restoration (c); denoising by Tukey median filter, Gonzalez adaptive filter, Naranyanan iterative filter and newly developed modified filter (d)
Прямая задача. Для компьютерной реализации варианта 2 разработана MATLAB-программа Saturn_ big2.m. На рис. 4, а представлено неискаженное изображение и несмазанный импульсный шум типа 'salt & pepper' с долей зашумленных пикселов d = 0,01; погрешность orel = 0,271.
Такой шум может возникнуть в среде (пыль, туман, капли, снежинки, льдинки и т. п.) между Сатурном и телескопом. Будем называть этот шум предшествующим шумом, так как он (рис. 4, а) наложен на изображение перед его смазыванием (рис. 4, b) [4, 27, 28].
На рис. 4, b представлено смазанное изображение Сатурна, его спутников, импульсного шума и звезд, т. е. смаз показанный на рис. 4, a. Смазывание изображения, как и в варианте 1, смоделировано согласно выражению (1) с помощью m-функций fspecial.m и imfilter.m; смаз Д = 40 пкс, угол смаза 9 = 35°. Погрешность Orel = 0,233.
Смаз сгладил импульсный шум. Это — оригинальный результат, поскольку обычно не используют смаз для фильтрации импульсного шума.
Обратные задачи. Рассмотрим две обратные задачи.
В первой задаче устраним смаз на рис. 4, b МПФВ согласно (5) и (6). Параметр K выбран равным
К = 1,110-4 «визуальным» способом. Получена погрешность сге1 = 0,238. На рис. 4, с — восстановленные изображения спутников, Сатурна и шума.
В таблице даны результаты решения первой задачи.
Во второй задаче устраним импульсный шум на рис. 4, с медианным фильтром Тьюки с окном [3 3], адаптивным фильтром Гонсалеса, итеративным фильтром Нараньянана и новым разработанным модифицированным фильтром. Результаты разными фильтрами близки по значениям. Получим окончательную погрешность сге1 = 0,0877 и восстановленное изображение на рис. 4, ё.
Постановка задачи
Рассмотрим пример со смазанным и зашумленным изображением Юпитера и его спутников Ио и Ганимед (рис. 5, а).
Новизна решения поставленной задачи состоит в том, что «спектральный метод» применен к астрономическому объекту (как и к Сатурну). Отличие примера 2 от 1 состоит в том, что в примере 1 задавались значения параметров смаза: величина смаза Д и угол 0, а в примере 2 параметры смаза определяются математически «спектральным методом» [5, 6, 28].
Таблица. Значения arel и K (шум импульсный; маска 3 х 3) Table. Values of arel and K (impulse noise; mask 3 х 3)
Вариант Действие Рисунок K Orel
Последующее зашумление, аппара- Смаз изображения 2, a — 0,229
турный шум (1) Наложение шума 2, b — 0,354
Устранение шума медианным фильтром 2, с — 0,229
Устранение смаза МПФВ 2, d 1,2 10-3 0,100
Предшествующее зашумление, при- Наложение шума 4, a — 0,271
родный шум (2) Смаз изображения с шумом 4, b — 0,233
Устранение смаза МПФВ 4, с 1,110-4 0,238
Устранение шума медианным фильтром 4, d — 0,087
Устраним импульсный шум медианным фильтром Тьюки и получим изображение без шума, но со смазом (рис. 5, Ь).
Чтобы устранить смаз изображения на рис. 5, Ь, рассмотрим соотношение (2) как набор одномерных ИУ типа свертки в каждой у-строке:
да
I к(х - = gy(х), (7)
-да
где Wy — искомая истинная интенсивность; gy — измеренная искаженная интенсивность в каждой у-строке; к — ФРТ или ядро ИУ, одинаковое для всех у-строк.
Предположим, что в примере 1 ФРТ или ядро ИУ к неизвестно и нужно его определить — актуальная задача. Это можно сделать, например, методом «слепой деконволюции» [13, 24, 25], выполняющим две минимизации функционала (сложная операция) или «спектральным методом» (менее сложным, но достаточно точным). Воспользуемся «спектральным методом».
«Спектральный метод» (способ) определения параметров 0 и Д. Вычислим |б(ю1, Ю2)| — модуль преобразования Фурье смазанного изображения g(х, у)
(рис. 5, b). Показано [2], что |G(o>i, ю2)| — набор параллельных линий в случае смаза (рис. 6).
Проведем дополнительные линии на рис. 6 и измерим угол 9, а также у = 90° - 9. Однако это не истинные углы 9 и у. Найдем истинные углы по формулам [5, 6, 28]:
у = arctg(tgy/r), r = M/N, 9 = 90° - у, (8)
где M и N — количество строк и столбцов в изображении g.
Получим рассчитанные значения: 9 = 37,8°; у = 52,2°; M = 817; N = 843; r = 0,969; у = 53°,1 и, как следствие (по нескольким реализациям), 9 = 90° - у = 36°,9 ± 0°,3.
Определим параметр А. Согласно [5, 6, 9, 29], А = 2(ramax/ra1), где ю1 и ramax — минимальная и максимальная частоты Фурье, которые определим по рис. 6. Однако эта формула дает завышенное значение А из-за нечеткости (завышения) ramax (рис. 6).
Приведем более точную модифицированную формулу для расчета параметра:
А = 2(fflmax/rai)y, (9)
где у 6 [0, 1] — корректирующий множитель.
Рис. 5. Смазанное и зашумленное изображение Юпитера и его спутников (а) и изображение g(x, y) после устранения шума (b) Fig. 5. Smeared and noisy image of Jupiter and satellites (a) and image g(x, y) after noise removal (b)
Способ определения у. Множитель у определим путем визуального подбора. Зададим ряд значений у, для которых вычислим Д согласно (9) и ФРТ к — (3), восстановим изображение построчно согласно (10). Выберем то значение у (наряду с К), при котором изображение восстанавливается наилучшим образом (рис. 7).
В результате подобрано: у = 0,85 и Д = 49,7 ± 0,5. Таким образом «спектральный метод» дал следующие значения параметров смаза: 0 = 36°,9; Д = 49,7, а точные значения: 0 = 37°; Д = 50 — значения параметров смаза 0 и Д получены «спектральным методом» с приемлемой точностью.
Восстановление изображения. После оценки параметров 0, Д, у и, как следствие, определения ФРТ можно восстановить изображение Юпитера и его спутников путем решения ИУ (7). В качестве устойчивого метода решения ИУ выбран МПФВ [5, 14, 18].
Согласно МПФВ, восстановленное изображение при решении ИУ (2) или (7) равно
WyK® = — í
1 7#(-ö))G,( ю)
2тг-» |Я(ю)|2 + К
(10)
где H и G — одномерные преобразования Фурье ядрá ИУ h и изображения g; K > 0 — параметр МПФВ, который определен путем подбора: K = 5 10-4. На рис. 7 представлено восстановленное изображение согласно (10). Его относительная погрешность (7) crei = 0,092.
Пример 2 показал успешное восстановление изображения w МПФВ с использованием спектрального метода и визуального выбора параметров. Апробированы также другие примеры: изображения людей, самолетов, галактик [5, 6, 7, 28, 30], подтвердившие эффективность МПФВ и спектрального метода определения параметров смаза 0, Д, K, у, ФРТ и ядрá ИУ
•
с Ф
Рис. 6. Преобразование Фурье по модулю (амплитуде) |G(i»i, ю2)| смазанного изображения g(x, y) Fig. 6. FT modulo (amplitude) |G(ro1;ro2)| smeared image g(x, y)
Рис. 7. Модуль восстановленного изображения |wK| методом
параметрической фильтрации Винера Fig. 7. Reconstructed image module |wK| using the VPF method
В работе рассмотрены реальные и смоделированные изображения, на рис. 1 и рис. 4, а представлены реальные изображения, а на рис. 2, рис. 4, b, c, d, рис. 5 и 7 — смоделированные изображения.
Обсуждение
Изложенная методика обработки изображений применена к реальным данным. Например, в [29] приведены результаты обработки реальных искаженных измерений земной поверхности, полученные с самолета и Черного моря, полученные со спутника. С учетом этих результатов обработаны реальные изображения Сатурна (рис. 1) и Юпитера (рис. 5), взятые из каталога астрономических объектов NGC.
Заключение
Описана задача обработки искаженных слабых изображений астрономических объектов на примере реальных изображений Сатурна и Юпитера с их спутниками на фоне звездного неба. В прямой задаче выполнен анализ смаза изображения, вызванный возможным рассогласованием вращений Земли и телескопа, а также импульсный шум природный и аппаратурный (смазанный и несмазанный, последующий и предшествующий). В обратной задаче устранен смаз изображений Сатурна и Юпитера, их спутников и звезд путем решения некорректного нестандартного интегрального уравнения устойчивым методом параметрической фильтрации Винера согласно выражению (10). Также выполнена фильтрация шума фильтрами Тьюки, Гонсалеса, Нараньянана и, разработанным авторами, новым модифицированным фильтром. При обработке изображения Сатурна параметры смаза (угол смаза 0 и его величина Д) задаются, а в случае Юпитера пара-
метры смаза вычисляются модифицированным «спектральным методом» согласно (8) и (9).
Получены оценки погрешностей (4) и (7) каждой операции. Предложенная методика позволяет устранять математически и программно изображения звезд (полагаемых помехами), природный и аппаратурный шумы, а также смаз изображения и получать четкие изображения Сатурна и Юпитера и их спутников. Данная
методика дает возможность очищать изображение как Сатурна и Юпитера, так и других космических объектов от возможного смаза изображения и шума, а также выделять слабые объекты (спутники и т. д.) на фоне звезд, разделяя слабые объекты и звезды. Эта методика позволяет повышать разрешающую способность телескопов средней светосилы применительно к слабо светящим космическим объектам.
Литература
1. Егошкин Н.А., Еремеев В.В. Коррекция смаза изображений в системах космического наблюдения Земли // Цифровая обработка сигналов. 2010. № 4. С. 28-32.
2. Ягола А.Г., Кошев Н.А. Восстановление смазанных и дефокуси-рованных цветных изображений // Вычислительные методы и программирование. 2008. Т. 9. № 3. С. 207-212.
3. Тихонов А.Н., Гончарский А.В., Степанов В.В., Ягола А.Г. Численные методы решения некорректных задач. М.: Наука, 1990. 232 с.
4. Грузман И.С., Киричук В.С., Косых В.П., Перетягин Г.И., Спектор А.А. Цифровая обработка изображений в информационных системах. Новосибирск: Изд-во НГТУ, 2002. 352 с.
5. Сизиков В.С. Спектральный способ оценки функции рассеяния точки в задаче устранения искажений изображений // Оптический журнал. 2017. Т. 84. № 2. С. 36-44.
6. Sizikov V.S., Sergienko A.A., Kondulukova D.A. Spectral method for stable estimating the distortion parameters in inverse problem of image restoration // Известия вузов. Приборостроение. 2019. Т. 62. № 4. С. 379-386. https://doi.org/10.17586/0021-3454-2019-62-4-379-386
7. Сизиков В.С. Прямые и обратные задачи восстановления изображений, спектроскопии и томографии с MatLab. СПб.: Лань, 2017. 412 с.
8. Narayanan S.A., Arumugam G., Bijlani K. Trimmed median filters for salt and pepper noise removal // International Journal of Emerging Trends & Technology in Computer Science. (IJETTCS). 2013. V. 2. N 1. P. 35-40.
9. Петров Ю.П., Сизиков В.С. Корректные, некорректные и промежуточные задачи с приложениями. СПб.: Политехника, 2003. 261 с.
10. Дьяконов В., Абраменкова И. MATLAB. Обработка сигналов и изображений. Специальный справочник. СПб.: Питер, 2002. 608 с.
11. Тихонов А.Н., Гончарский А.В, Степанов В.В. Обратные задачи обработки фотоизображений // Некорректные задачи естествознания / Под ред. Тихонова А.Н., Гончарского А.В. М.: Изд-во МГУ, 1987. С. 185-195.
12. Lim J.S. Two-dimensional signal and image processing. New Jersey: Prentice Hall PTR, 1990. 694 p.
13. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2006. 1072 с.
14. Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде MATLAB. М.: Техносфера, 2006. 616 с.
15. Donatelli M., Estatico C., Martinelli A., Serra-Capizzano S. Improved image deblurring with anti-reflective boundary conditions and re-blurring // Inverse Problems. 2006. V. 22. N 6. P. 2035-2053. https:// doi.org/10.1088/0266-5611/22/6/008
16. Арефьева М.В., Сысоев А.Ф. Быстрые регуляризирующие алгоритмы цифрового восстановления изображений // Вычислительные методы и программирование. 1983. № 39. С. 40-55.
17. Mesarovic V.Z., Galatsanos N.P., Katsaggelos A.K. Regularized constrained total least squares image restoration // IEEE Transactions on Image Processing. 1995. V. 4. N 8. P. 1096-1108. https://doi. org/10.1109/83.403444
18. Christiansen M., Hanke M. Deblurring methods using antireflective boundary conditions // SIAM Journal on Scientific Computing. 2008. V. 30. N 2. https://doi.org/10.1137/060671413
19. Журавель И.М. Краткий курс теории обработки изображений. 2008 [Электронный ресурс]. URL: https://hub.exponenta.ru/post/ kratkiy-kurs-teorii-obrabotki-izobrazheniy734 (дата обращения: 31.01.2024)
References
1. Egoshkin N.A., Eremeev V.V. Correction of the blurred images in the Earth space observation systems. Digital Signal Processing. 2010, no. 4, pp. 28-32. (in Russian)
2. Yagola A.G., Koshev N.A. Restoration of smeared and defocused color images. Numerical Methods and Programming, 2008, vol. 9, pp. 207-212. (in Russian)
3. Tikhonov A.N., Goncharskii A.V., Stepanov V.V., Iagola A.G. Numerical methods for solving ill-defined problems. Moscow, Nauka Publ., 1990, 232 p. (in Russian)
4. Gruzman I.S., Kirichuk V.S., Kosykh V.P., Peretiagin G.I., Spektor A.A. Digital image processing in information systems. Novosibirsk, NSTU Publ., 2002, 352 p. (in Russian)
5. Sizikov V. S. Spectral method for estimating the point-spread function in the task of eliminating image distortions. Journal of Optical Technology, 2017, vol. 84, no. 2, pp. 95-101. https://doi.org/10.1364/ J0T.84.000095
6. Sizikov V.S., Sergienko A.A., Kondulukova D.A. Spectral method for stable estimating the distortion parameters in inverse problem of image restoration. Journal of Instrument Engineering, 2019, vol. 62, no. 4, pp. 379-386. (in Russian). https://doi.org/10.17586/0021-3454-2019-62-4-379-386
7. Sizikov V.S. Direct and inverse problems of image reconstruction, spectroscopy and tomography when using MatLab. St. Petersburg, Lan' Publ., 2017, 412 p. (in Russian).
8. Narayanan S.A., Arumugam G., Bijlani K. Trimmed median filters for salt and pepper noise removal. International Journal of Emerging Trends & Technology in Computer Science. (IJETTCS), 2013, vol. 2, no. 1, pp. 35-40.
9. Petrov Yu.P., Sizikov V.S. Well-Posed, Ill-Posed, and Intermediate Problems with Applications. Berlin, Walter de Gruyter, 2005, 234 p. https://doi.org/10.1515/9783110195309
10. D'yakonov V., Abramenkova I. MATLAB: Signal and Image Processing. St. Petersburg, Piter Publ., 2002, 608 p. (in Russian).
11. Tikhonov A.N., Goncharsky A.V., Stepanov V.V. Inverse problems of photoprocessing. Ill-defined problems of the natural science. Ed by A.N. Tikhonov, A.V. Goncharsky. Moscow, Moscow State University, 1987, pp. 185-195. (in Russian).
12. Lim J.S. Two-dimensional signal and image processing. New Jersey, Prentice Hall PTR, 1990, 694 p.
13. Gonzalez R.C., Woods R.E. Digital Image Processing. Saddle River, NJ, USA, Prentice Hall, 2002, 793 p.
14. Gonsales R.C., Woods R.E., Eddins S.L Digital Image Processing Using MATLAB. Saddle River, NJ, USA, Prentice Hall, 2004, 609 p.
15. Donatelli M., Estatico C., Martinelli A., Serra-Capizzano S. Improved image deblurring with anti-reflective boundary conditions and re-blurring. Inverse Problems, 2006, vol. 22, pp. 2035-2053. https://doi. org/10.1088/0266-5611/22/6/008
16. Arefyeva M.V., Sysoev A.F. Fast regularization algorithms for digital image reconstruction. Vychisl. Methods Program., 1983, vol. 39, pp. 40-55. (in Russian).
17. Mesarovic V.Z., Galatsanos N.P., Katsaggelos A.K. Regularized constrained total least squares image restoration. IEEE Transactions on Image Processing, 1995, vol. 4. no. 8, pp. 1096-1108. https://doi. org/10.1109/83.403444
18. Christiansen M., Hanke M. Deblurring methods using antireflective boundary conditions. SIAM Journal on Scientific Computing, 2008, vol. 30, no. 2. https://doi.org/10.1137/060671413
19. Zhuravel I.M. Short Course in Image Processing Theory, 2008, Available at: https://hub.exponenta.ru/post/kratkiy-kurs-teorii-obrabotki-izobrazheniy734 (accessed: 31.01.2024). (in Russian)
20. Hansen P.C. Discrete inverse problems: Insight and algorithms. Philadelphia: SIAM, 2010. 213 p. https://doi. org/10.1137/1.9780898718836
21. Russ J.C. The Image Processing Handbook. 6th ed. Boca Raton: CRC Press, 2011. 853 p.
22. Engl H.W., Hanke M., Neubauer A. Regularization of inverse problems. Dordrecht: Kluwer, 1996. 328 p. https://doi. org/10.1007/978-94-009-1740-8
23. Воскобойников Ю.Е. Комбинированный нелинейный алгоритм восстановления контрастных изображений при неточно заданной аппаратной функции // Автометрия. 2007. Т. 43. № 6. С. 3-16.
24. Fergus R., Singh B., Hertzmann A., Roweis S.T., Freeman W.T. Removing camera shake from a single photograph // ACM Transactions on Graphics. 2006. V. 25. N 3. P. 787-794. https://doi. org/10.1145/1179352.1141956
25. Южиков В.С. Blind Deconvolution — автоматическое восстановление смазанных изображений. 2013 [Электронный ресурс]. URL: https://habr.com/ru/post/175717/ (дата обращения: 31.01.2024).
26. Cho S., Lee S. Fast motion deblurring // ACM Transactions on Graphics. 2009. V. 28. N 5. P. 145. https://doi. org/10.1145/1618452.1618491
27. Яне Б. Цифровая обработка изображений. М.: Техносфера, 2007. 584 с.
28. Остриков В.Н., Плахотников О.В. Идентификация функции рассеяния точки канала наблюдения по калибрующему изображению посредством метода наименьших квадратов // Оптический журнал. 2006. Т. 73. № 2. С. 26-30.
29. Сизиков В.С., Степанов А.В., Меженин А.В., Бурлов Д.И., Экземпляров Р.А. Определение параметров искажений изображений спектральным способом в задаче обработки снимков поверхности Земли, полученных со спутников и самолётов // Оптический журнал. 2018. Т. 85. № 4. С. 19-27.
30. Sizikov V., Rushchenko N. "Spectral method" for determining a kernel of the Fredholm integral equation of the first kind of convolution type and suppressing the Gibbs effect // Mathematics. 2024. V. 12. N 1. P. 13. https://doi.org/10.3390/math12010013
20. Hansen P.C. Discrete inverse problems: Insight and algorithms. Philadelphia, SIAM, 2010, 213 p. https://doi. org/10.1137/1.9780898718836
21. Russ J.C. The Image Processing Handbook. 6th ed. Boca Raton, CRC Press, 2011, 853 p.
22. Engl H.W., Hanke M., Neubauer A. Regularization of inverse problems. Dordrecht, Kluwer, 1996, 328 p. https://doi. org/10.1007/978-94-009-1740-8
23. Voskoboinikov Y. E. A combined nonlinear contrast image reconstruction algorithm under inexact point-spread function. Optoelectronics, Instrumentation and Data Processing, 2007, vol. 43, no. 6, pp. 489-499. https://doi.org/10.3103/S8756699007060015
24. Fergus R., Singh B., Hertzmann A., Roweis S.T., Freeman W.T. Removing camera shake from a single photograph. ACM Transactions on Graphics, 2006, vol. 25, no. 3, pp. 787-794. https://doi. org/10.1145/1179352.1141956
25. Yushikov V. S. Blind Deconvolution — Automatic Restoration of the Blurred Images. Available at: https://habr.com/ru/post/175717/ (accessed: 31.01.2024). (in Russian)
26. Cho S., Lee S. Fast motion deblurring. ACM Transactions on Graphics, 2009, vol. 28, no. 5, pp. 145. https://doi. org/10.1145/1618452.1618491
27. Jahne B. Digital Image Processing. Berlin, Springer, 2005, 584 p. https://doi.org/10.1007/3-540-27563-0
28. Ostrikov V.N., Plakhotnikov O.V. Identifying the point-spread function of an observation channel from a calibrating image by the method of least squares. Journal of Optical Technology, 2006, vol. 73, no. 2, pp. 91-95. https://doi.org/10.1364/J0T.73.000091
29. Sizikov V.S., Stepanov A.V., Mezhenin A.V., Burlov D.I., Éksemplyarov R.A. Determining image-distortion parameters by spectral means when processing pictures of the earth's surface obtained from satellites and aircraft. Journal of Optical Technology, 2018, vol. 85, no. 4, pp. 203-210. https://doi.org/10.1364/ JOT.85.000203
30. Sizikov V., Rushchenko N. "Spectral method" for determining a kernel of the Fredholm integral equation of the first kind of convolution type and suppressing the Gibbs effect. Mathematics, 2024, vol. 12, no. 1, pp. 13. https://doi.org/10.3390/math12010013
Авторы
Authors
Сизиков Валерий Сергеевич — доктор технических наук, профессор, профессор, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, sc 6603236516, https://orcid.org/0000-0002-4618-8753, sizikov2000@mail.ru
Рущенко Нина Геннадиевна — кандидат технических наук, старший преподаватель, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, sc 57211288227, https://orcid.org/0000-0003-1230-5410, rushchenko@mail.ru
Valery S. Sizikov — D.Sc., Full Professor, ITMO University, Saint Petersburg, 197101, Russian Federation, sc 6603236516, https://orcid. org/0000-0002-4618-8753, sizikov2000@mail.ru
Nina G. Rushchenko — PhD, Senior Lecturer, ITMO University, Saint Petersburg, 197101, Russian Federation, sc 57211288227, https://orcid. org/0000-0003-1230-5410, rushchenko@mail.ru
Статья поступила в редакцию 15.03.2024 Одобрена после рецензирования 10.04.2024 Принята к печати 28.05.2024
Received 15.03.2024
Approved after reviewing 10.04.2024
Accepted 28.05.2024
@0®
Работа доступна по лицензии Creative Commons «Attribution-NonCommercial»
