CC BY
0
ТЕХНИЧЕСКИЕ НАУКИ
УДК 004.4'22
Современные методы и алгоритмы для восстановления и улучшения качества размытых изображений
Я.Р. Драпей, В.И. Малышев, В.К. Мелешко
Донской государственный технический университет, г. Ростов-на-Дону, Российская Федерация Аннотация
В работе рассмотрены некоторые современные методы и алгоритмы для улучшения качества размытых изображений. Описан математический метод фильтра Винера, включая принципы его работы, формулы и практические примеры применения. Проанализирован алгоритм слепой обратной свертки, предложенный компанией Adobe, и его потенциал для восстановления изображений. Исследованы методы машинного обучения, применяемые в данной области, и их эффективность по сравнению с традиционными подходами. Цель статьи — дать читателям представление о существующих инструментах восстановления изображений, помогая выбрать наиболее подходящий и эффективный для решения конкретных задач в области обработки изображений.
Ключевые слова: размытые изображения, восстановление изображений, алгоритмы обработки изображений, компьютерное зрение, качество изображений, цифровая обработка
Для цитирования. Драпей Я.Р., Малышев В.И., Мелешко В.К. Обзор современных методов и алгоритмов для восстановления и улучшения качества размытых изображений. Молодой исследователь Дона. 2024;9(4):22-29.
Modern Methods and Algorithms for Restoration and Enhancement of Blurred Images
Yaroslav R. Drapei, Vladislav I. Malyshev, Vladimir K. Meleshko
Don State Technical University, Rostov-on-Don, Russian Federation
Abstract
The article provides a comprehensive overview of modern methods and algorithms for improving the quality of blurred images. The main focus is on the analysis and description of the mathematical method of Wiener Filter, including its principles, formulas, and practical examples of application. Additionally, the article examines the blind deconvolution algorithm proposed by Adobe and its potential for image restoration. Furthermore, it explores machine learning methods applied in this field and their effectiveness compared to traditional approaches. The aim of this article is to provide readers with an overview of existing image restoration tools, helping them to choose the most suitable and efficient one for specific image processing tasks.
Keywords: blurred images, image restoration, image processing algorithms, computer vision, image quality, digital processing
For citation. Drapei YaR, Malyshev VI, Meleshko VK. Modern Methods and Algorithms for Restoration and Enhancement of Blurred Images. Young Researcher of Don. 2024;9(4):22-29.
Введение. В эпоху стремительного развития цифровых технологий возрастают требования к качеству изоб-
g ражений, широко применяющихся в различных областях, таких как бизнес, медицина, безопасность, реклама и
a.l искусство. Однако несмотря на наличие современного оборудования и технологий существует много факторов, rn
3 которые могут привести к появлению различных форм размытия на изображениях, а именно: движение объек-o
^ тов во время съемки, низкое качество оптики, неблагоприятные условия освещения и др. В связи с этим особую
im актуальность приобретает разработка эффективных инструментов для восстановления и улучшения качества
12 размытых изображений. Ведущие в области обработки изображений компании предлагают такие инструменты, p
g основанные на математической обработке данных и использовании искусственного интеллекта. Эти решения включают в себя как программное обеспечение, так и аппаратные компоненты, обеспечивающие быстрое и качественное восстановление изображений.
© Драпей Я.Р.. Малышев B.II.. Мелешко В.К.. 2024
Цель статьи — представить современные методы и алгоритмы для восстановления и улучшения качества размытых изображений, а также проанализировать их эффективность в различных областях применения.
Основная часть
Фильтр Винера. Фильтр Винера представляет собой мощный инструмент в области восстановления изображений, который учитывает как само изображение, так и наличие шума в нем в качестве случайного процесса. Главный принцип фильтра заключается в поиске оптимальных коэффициентов для восстановления неискаженного изображения, при этом минимизируя среднеквадратическое отклонение между оригинальным и восстановленным изображениями [1].
Сначала задача переводится из области пространства изображений в частотную область, используя преобразование Фурье. В этом пространстве формируется функция, описывающая отношение сигнала к шуму. Оптимальные коэффициенты для восстановления изображения выбираются таким образом, чтобы минимизировать это отношение, обеспечивая тем самым наименьшее среднеквадратическое отклонение между оригинальным и восстановленным изображениями [2]. Формула для фильтра Винера имеет следующий вид:
-/ ч 1'1Н (и,у)\2 / ч
Р (и,у) =-' ^ ( ) • е (ы,у), (1)
Н (и,у)-\н (иЛ + \ {
где Р (и,у) — восстановленное изображение; Н(и, V) — искажающая функция; е(и, V) —искаженное изображение; 8х/80 — заменяется константой к = 0,00000000001 [1].
Рассмотрим программное средство, созданное на основе алгоритма фильтра Винера. Оно призвано восстанавливать изображения, учитывая наличие шума, который может быть обусловлен различными факторами: процессом съемки, сбоем передачи данных или неблагоприятными условиями окружающей среды. Программа принимает на вход зашумленное изображение, подверженное разнообразным искажениям, таким как аддитивные шумы, артефакты сжатия, ошибки фокусировки или движения камеры, а также другим возможным источникам помех. Эти искажения могут значительно ухудшить качество изображения, затрудняя его анализ и использование в дальнейшем (рис. 1). Однако благодаря использованию фильтра Винера программа способна восстанавливать исходное изображение, снижая воздействие шума и искажений (рис. 2).
Рис. 1. Изображение, поступившее на вход программы
После запуска программы мы можем приступить к настройке параметров с целью получения более четкого изображения. В программе доступны различные параметры, которые можно настраивать для оптимизации процесса восстановления.
¡3
13
3 о
ш
&
Рис. 2. Изображение после применения фильтра Винера
Результаты, полученные после обработки искаженного изображения, оказались неутешительными. Итоговое изображение все еще страдает от заметного размытия, которое не удалось полностью устранить. Восстановленные детали и четкость изображения остаются на низком уровне, что подчеркивает ограниченные возможности фильтра Винера — в некоторых случаях необходимо применение более сложных и мощных методов для эффективного восстановления изображений.
Важно отметить несколько ключевых преимуществ и недостатков фильтра Винера. Прежде всего, его математическая строгость обеспечивает надежность и точность при обработке изображений с гауссовым размытием. Кроме того, фильтр Винера отличается относительной простотой в реализации и может успешно применяться не только в обработке изображений, но и в других областях обработки сигналов. Однако фильтр Винера не обладает высокой эффективностью в восстановлении мелких деталей и подавлении шума, что ограничивает его применимость в ситуациях, требующих более тщательной обработки изображений.
Методы коррекции изображения, представленные компанией Adobe. Сегодня множество редакторов изображений имеют опцию, позволяющую сфокусировать размытые фотографии. Большинство кадров, снятых с эффектом дрожи (тряски), при слабой освещенности или нечетких по причине других факторов, можно восстановить с помощью программных алгоритмов. На конференции Adobe MAX 2011 была представлена такая реализация под названием SmartDeblur в редакторе фотографий Photoshop.
Adobe Inc. — известный мировой лидер в области программного обеспечения для творчества и цифровой трансформации. Компания занимает ведущие позиции в инновационном развитии инструментов и технологий для обработки изображений, дизайна, анимации, видео и других креативных областей [3]. Помимо технологии повышения резкости у Adobe Photoshop имеются и другие инструменты, такие как Healing Brush («Восстанавливающая кисть» или «Замазка»), Match Color (сопоставление цвета с различными изображениями), Content Aware Scaling (масштабирование с учётом содержимого для предотвращения искажения элементов) [3]. Что касается восстановления размытых изображений, программное средство использует методы обратной свертки и алгоритмы машинного обучения для обработки размытых изображений и восстановления деталей. Оно позволяет определять и корректировать характеристики размытия, включая оценку типа и местоположения размытия. Проще говоря, в этом решении используется алгоритм слепой обратной свертки — такой метод восстановления изображений, который позволяет воссоздать исходное из его размытой версии при неизвестной или плохо определенной функции рассеивания точек (ФРТ) (или PSF — Point Spread Function). ФРТ представляет собой математическое описание того, как исходный точечный источник света или объекта распространяется, или размывается, при прохождении через оптическую систему или другую среду перед попаданием на датчик изображения (например матрицу камеры). ФРТ определяет форму и характер размытия изображения от точечного источника света: он может быть круговым, эллиптическим или иметь другие формы. Также данная структура описывает, как точечный объект на изображении будет выглядеть размытым из-за определенного типа искажения, например из-за дифракции или движения камеры.
Ключевые идеи и методы, лежащие в основе алгоритма слепой обратной свертки:
1. Итеративные методы:
а) Метод максимальной апостериорной оценки — использует байесовский подход для оценки ФРТ и исходного изображения. Он итеративно обновляет оценки ФРТ и сцены, стремясь максимизировать апостериорную вероятность.
б) Алгоритмы максимизации ожидания — используются для оценки параметров модели, включая ФРТ и изображение, основываясь на заданных данных о размытии [4].
2. Неитеративные методы:
а) Метод SeDDaRA (The Self-Deconvolving Data Restoration Algorithm) — пространственно изменяющийся
алгоритм развертки и восстановления, предполагающий наличие ссылочного изображения, используемого
ru. для сопоставления информации о частотах между размытым изображением и оригинальным изображением .l
ran для оценки ФРТ.
о б) Кепстральное преобразование (Cepstrum transform) и метод APEX — эти методы предполагают опреде-
"р
ленную форму ФРТ и требуют оценки ширины формы ФРТ [4].
m
^ В связи с тем, что на момент написания статьи получить цифровые лицензионные продукты Adobe Inc. не
tsp представляется возможным, в качестве рассматриваемых образцов восстановленных изображений будут взяты Л примеры с официального блога компании. На рис. 3 представлен пример устранения искажения, связанного с резким смещением камеры в сторону.
Рис. 3. Изображение, восстановленное с помощью стандартных средств Adobe Photoshop [3]
Данный пример демонстрирует относительную высокую эффективность алгоритмов: общая четкость элементов изображения заметно выросла. Использование данной программы отлично подойдет для повседневного использования, когда нужно улучшить «читаемость» изображения. Но при значительной потере четкости (например при сильном размытии по Гауссу), результат восстановления может быть неудовлетворительным.
Необходимо подчеркнуть, что некачественное изображение часто содержит несколько видов размытости. Современные технологии не способны устранить проблему различных типов размытости, возникающих в разных участках одного изображения или наслаивающихся друг на друга. Так, если один человек фотографирует другого, бегущего, и при этом шевелит камеру, пока нажимает кнопку спуска затвора, бегун на фото получится размытым, поскольку он и сам двигается, и камера дрожит.
Несколько самых распространенных видов размытия при съемке изображений:
1. Движение камеры во время съемки. Этот эффект особенно проявляется, если камера не оснащена стабилизатором.
2. Движение объекта во время съемки. В этом случае статичные фоновые части изображения остаются четкими, а движущиеся — размываются. Кстати, фотографы часто используют этот прием в темное время суток при съемке автомобильного трафика — на выходе получается красивый эффект яркого хвоста из огней автомобилей.
3. Отсутствие фокуса на объекте. Такие ситуации возникают, например, при съемке портретов, когда передний план находится не в фокусе.
4. Дифракция. Она может проявляться в нескольких формах. Во-первых, сильно закрытая диафрагма камеры заставляет лучи света изгибаться настолько сильно, чтобы пройти через маленькое отверстие. Во-вторых, некачественные объективы могут вызывать дефект изображения. На четкость изображения также может влиять засорение объектива (пыль, масло, брызги, туман или конденсат).
Таким образом, современные редакторы изображений предлагают эффективные инструменты для улучшения качества размытых фотографий, однако восстановление изображений с несколькими видами размытия представляет сложную задачу, несмотря на использование методов обратной свертки и алгоритмов машинного обучения. Это подчеркивает необходимость дальнейших исследований и разработок в области восстановления изображений с различными типами размытия.
Восстановление изображений с помощью искусственного интеллекта. Свёрточные нейронные сети (Convolutional Neural Network — CNN) являются одним из ключевых инструментов в анализе данных и обра-
ru
ботке изображений, переворачивая общепринятые представления о компьютерном зрении и распознавании об- r.l
a
разов. Однако их применение не ограничивается этими областями, поскольку они успешно используются в рас- rnu познавании речи, аудиообработке, анализе временных рядов, текстов и в других сферах [5]. В основе работы CNN лежит идея чередования сверточных слоев, которые выявляют признаки и структуры во входных данных, -g таких как изображения, а также слоев подвыборки, которые уменьшают размерность данных, улучшая эффек- //:s тивность модели. Подобно человеческому мозгу, CNN способны выявлять признаки искажений в изображени- ^ ях, делая их важным инструментом для анализа и обработки визуальных данных. В данном исследовании особое внимание уделяется методу анализа изображений с использованием CNN, исходя из его способности автоматически выделять и интерпретировать различные аспекты изображений.
3
о
U-Net является стандартной архитектурой CNN, разработанной специально для сегментации изображений, и позволяет определить общий класс изображения и разделить его на конкретные области, создавая маску. Основным преимуществом U-Net является его способность захватывать контекст изображения через сверточный путь и точно локализовать сегменты через симметричный путь [6]. Эта архитектура демонстрирует высокую скорость работы: обработка изображения размером 512 х 512 занимает менее минуты на современном графическом процессоре. Что касается ее характеристик, U-Net показывает высокие результаты в различных практических задачах, особенно в области биомедицинских приложений, и достигает высокой точности определения, используя лишь небольшой объем данных [6]. Архитектура сети приведена на рис. 4. Она состоит из двух путей: свертки и распаковки.
Рис. 4. Используемая архитектура и-Ый [6]
Архитектура пути свертки представляет собой стандартную конфигурацию сверточной нейронной сети. Она включает в себя повторное применение двух сверток размером 3 х 3, после которых следуют слой ReLU и операция максимального объединения (2 х 2 с шагом 2) для уменьшения разрешения. На каждом этапе понижающей дискретизации каналы признаков удваиваются. Расширяющийся путь состоит из операции повышающей дискретизации карт признаков, за которой следуют:
1. Свертка 2 х 2 для уменьшения количества каналов признаков;
2. Конкатенация карт признаков из пути свертки;
3. Две свертки 3 х 3, после которых следует слой ReLU.
Необходима обрезка из-за потери граничных пикселей при каждой свертке. На последнем слое используется свертка 1 х 1 для сопоставления каждого 64-компонентного вектора свойств с желаемым количеством классов. Всего сеть содержит 23 сверточных слоя. Проведенное исследование предполагает наличие трех наиболее распространенных типов искажений цифрового изображения:
1. Размытие в движении, вызванное перемещением объекта или камеры во время съемки. Этот вид размытия проявляется в виде полос или следов, указывающих направление и скорость движения.
2. Гауссово размытие, применяемое с использованием функции Гаусса для сглаживания изображения. Этот вид размытия делает изображение более мягким, сглаживая детали и текстуры.
3. Астигматизм, вызванный асимметричной кривизной линзы, в результате чего вертикальные и горизонтальные линии не могут быть одновременно в фокусе.
Для формирования выборки оригинальных изображений мы использовали ресурсы сайта https://github.com/HDCVLab, откуда загрузили 6 000 изображений. Затем данные были предобработаны, чтобы соответствовать формату, необходимому для входа в нейронную сеть. Каждое изображение было изменено до размера 256 х 256 пикселей и преобразовано в массив значений пикселей. Эти значения были нормализованы путем деления на 255, чтобы убедиться, что все пиксели находятся в диапазоне от 0 до 1, что важно для правильного обучения нейронной сети. Для тестирования архитектуры нейронной сети мы случайным образом
разделили всю выборку на тренировочные данные (80 %) и тестовые данные (20 %). Обучение сети проводилось с использованием алгоритма оптимизации Adam (Adaptive Moment Estimation) на основе тренировочных изображений. В качестве функции потерь была выбрана метрика MSE (Mean Squared Error), которая вычисляется следующим образом:
MSE =-n
n
П S (Y - YD2
(2)
где Yi — прогнозируемое значение для i-го наблюдения; Yi — наблюдаемое значение для /'-го наблюдения; n — размер выборки. Обучение длилось 100 эпох.
Ниже представлены графики по итогам обучения модели. График на рис. 5 демонстрирует значения accuracy (фактические потери) и val_accuracy (теоретические потери) в процессе обучения модели. Accuracy отражает правильные предсказания на обучающем наборе, а val_accuracy — на тестовом. Рост accuracy улучшает модель на обучающих данных. Параллельный рост val_accuracy говорит о хорошем обобщении, его падение может свидетельствовать о переобучении. График на рис. 6 позволяет визуально оценить, как меняется точность модели на тренировочных данных и на валидационной выборке по мере прохождения различных итераций или эпох обучения.
0,045
0,040
0,035
& 0,030
§ 0,025
1 0,020 §
3 0,015
0,010 0,005 0,000
10
20
30
40
50 Эпохи
60
70
80
90
100
Фактические потери
Теоритические потери
1,0 0,9
Рис. 5. График потерь после обучения модели
s 0,8 т
0,7
0,6 0,5 0,4 0,3
10
20
30
40
50 Эпохи
60
70
80
90
100
-Фактическая точность -Теоритическая точность
Рис. 6. График динамики точности модели в процессе обучения
Е
13
¡3
о
&
0
0
Е
13
о
&
Согласно полученным данным о потерях можно сделать вывод, что модель обучена хорошо, так как значение потерь для тестового набора данных val_loss снижается. Если говорить о точности распознавания признаков, то видно, что значения accuracy и val_accuracy колеблются около одного и того же значения на одинаковых эпохах. Это говорит о хороших возможностях предсказаний модели.
Теперь запустим обученную модель и проверим, как U-Net восстанавливает случайное размытое изображение (рис. 7).
Рис. 7. Результаты обработки U-Net
Результаты, как видим, весьма впечатляющи. Следовательно, можно сделать вывод, что архитектура U-Net обладает значительным потенциалом для восстановления изображений. На текущем этапе проведенные тесты и эксперименты показали, что U-Net эффективно справляется с задачами сегментации и восстановления, обеспечивая высокое качество обработки изображений. Тем не менее анализ указывает на возможность достижения еще более высоких показателей точности и стабильности модели. Для этого целесообразно рассмотреть проведение более глубокого обучения с увеличением числа эпох, использованием более разнообразных наборов данных для тренировки, а также внедрением методов регуляризации для предотвращения переобучения.
Заключение. В данной работе были рассмотрены фундаментальные подходы по восстановлению размытых изображений: в качестве математической модели выступил фильтр Винера; для модели, использующей машинное обучение, была выбрана нейросеть U-Net; отмечены результаты программного средства Adobe Photoshop, использующего комбинированный подход. По результатам сравнения можно сделать вывод, что алгоритмы глубокого обучения в отдельности способны выполнять восстановление искаженного изображения на уровне со средствами, интегрированными в популярные программы для редактирования изображений, или даже лучше. Математические методы эффективны в случае присутствия на фотографии исключительно одного вида размытия (расфокусировка, дрожание камеры в движении, активное движение объекта в кадре и т. д.). Следует, впрочем, отметить, что алгоритмы машинного обучения также с трудом распознают комбинацию из нескольких видов размытий: для решения этой проблемы необходимо усложнять структуру модели, то есть увеличивать время обучения нейронной сети.
Список литературы
1. Кулакович А.Ю., Венцов Н.Н. Краткий обзор и программная реализация избранных методов для деконволюции изображений. Инженерный вестник Дона. 2017;4(47):90. URL: http://www.ivdon.ru/uploads/article/pdf/IVD 93 Vencov N.pdf fcbcfdf401.pdf (дата обращения: 17.03.2024).
2. Хуанга Т. Обработка изображений и цифровая фильтрация. Москва: Мир; 1979. С. 320.
3. Behind All the Buzz: Deblur Sneak Peek. URL: https://blog.adobe.com/en/publish/2011/10/16/behind-all-the-buzz-deblur-sneak-peek?clickref= 1100lvqHvJdh&mv=affiliate&mv2=pz&as camptype=&as channel=affiliate&as source=partnerize&as campaign=prodesigntools (дата обращения: 22.03.2024).
4. Lam EY, Goodman JW. Iterative Statistical Approach to Blind Image Deconvolution. Journal of the Optical Society of America A. 2000;17(7):1177-84. https://doi.org/10.1364/JOSAA. 17.001177
5. Healey GE, Kondepudy R. Radiometric CCD Camera Calibration and Noise Estimation. IEEE Transactions on Pattern Analysis and Machine Intelligence. 1994;16(3):267-276. https://doi.org/10.1109/34.276126
6. Ronneberger O, Fischer P, Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. In: Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015. MICCAI 2015. Lecture Notes in Computer Science, Vol. 9351. Springer, Cham, 2015. P. 234-241. https://doi.org/10.1007/978-3-319-24574-4 28
Об авторах:
Владимир Константинович Мелешко, студент кафедры кибербезопасности информационных систем Донского государственного технического университета (344003, РФ, г. Ростов-на-Дону, пл. Гагарина, 1), vmeleshko141@gmail.com
Владислав Игоревич Малышев, студент кафедры кибербезопасности информационных систем Донского государственного технического университета (344003, РФ, г. Ростов-на-Дону, пл. Гагарина, 1), vlad.malvshev@outlook.com
Ярослав Русланович Драпей, студент кафедры кибербезопасности информационных систем Донского государственного технического университета (344003, РФ, г. Ростов-на-Дону, пл. Гагарина, 1), bashnva210@vandex.ru
Конфликт интересов: авторы заявляют об отсутствии конфликта интересов.
Все авторы прочитали и одобрили окончательный вариант рукописи.
About the Authors:
Vladimir K. Meleshko, Student of the Department of Cybersecurity of Information Systems, Don State Technical University (1, Gagarin Sq., Rostov-on-Don, 344003, RF), vmeleshko141@gmail.com
Vladislav I. Malyshev, Student of the Department of Cybersecurity of Information Systems, Don State Technical University (1, Gagarin Sq., Rostov-on-Don, 344003, RF), vlad.malyshev@outlook.com
Yaroslav R. Drapei, Student of the Department of Cybersecurity of Information Systems, Don State Technical University (1, Gagarin Sq., Rostov-on-Don, 344003, RF), bashnya210@yandex.ru
Conflict of Interest Statement: the authors do not have any conflict of interest.
All authors have read and approved the final manuscript.
ru.
.la
u o
ptt th
