ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЦИФРОВЫХ ИЗОБРАЖЕНИЙ В СИСТЕМЕ УПРАВЛЕНИЯ ВЕРТИКАЛЬНОЙ ФЕРМОЙ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.93

DOI 10.34822/1999-7604-2020-1-77-84

ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ЦИФРОВЫХ ИЗОБРАЖЕНИЙ В СИСТЕМЕ УПРАВЛЕНИЯ ВЕРТИКАЛЬНОЙ ФЕРМОЙ

Л. Ю. Запевалова А. В. Запевалов

Сургутский государственный университет, Сургут, Россия м E-mail: [email protected]

В статье рассмотрена работа пространственных фильтров, позволяющих повышать качество изображений, полученных в сложных оптических условиях. Методы исследования основаны на положениях теории цифровой обработки изображений, математического анализа, математической статистики. Практическая реализация алгоритмов осуществлялась в среде моделирования MatLab.

Ключевые слова: фильтр Винера - Колмогорова, фильтр Люси - Ричардсона, регуля-ризационный фильтр Тихонова, слепая деконволюция, шум, смаз.

PREPROCESSING OF DIGITAL IMAGES WITHIN VERTICAL FARM MANAGEMENT

L. Yu. Zapevalova A. V. Zapevalov

Surgut State University, Surgut, Russia M E-mail: [email protected]

The article describes spatial filtering that allow improving the quality of images obtained in complex optical conditions. Research methods are based on the provisions of the theory of digital image processing, mathematical analysis and mathematical statistics. The practical implementation of the algorithms is carried out in the MatLab modeling environment.

Keywords: Wiener-Kolmogorov filtering theory, Richardson-Lucy algorithm, Tikhonov regularization, blind deconvolution, noise, blur.

Введение. Актуальность темы реконструкции цифровых изображений обусловлена тем фактом, что функционирование технических средств происходит, как правило, в сложных оптических условиях: при низкой освещенности, при наличии загрязнений среды, в движении. При этом подавляющее большинство технических средств регистрации, передачи и хранения фото- и видеоданных не лишено существенных недостатков, связанных с появлением смазанности и шумов на изображениях, что влечет за собой искажение полезных данных. Это создает значительные проблемы в системах обработки изображений, поскольку методы борьбы с ними являются далеко не совершенными.

Цель исследования - изучение работы пространственных фильтров, которые позволяют улучшать качество цифровых изображений в условиях помех, искажающих изображение. В качестве искажающих воздействий рассматриваются смазы различной природы (также в сочетании с шумом). Вышеуказанная задача находит широкое применение в системах технического зрения, в том числе и при распознавании зрительных образов.

Объектом данного исследования являются фильтры Винера - Колмогорова, Люси -Ричардсона, регуляризационный фильтр Тихонова, слепая деконволюция, примененные к изображениям с разными методами получения смазанности.

Предметом исследования являются свойства пространственных фильтров, позволяющих повышать качество изображений.

Модели искажений изображения. Задача моделирования искаженного цифрового изображения является ключевым моментом восстановления изображения в некотором

заранее оговоренном смысле [1]. На рис. 1 представлена физическая схема регистрации изображения [2].

Сцена Объект регистрации

Среда

регистрации изображения

(У '

\Средство

Средство регистрации #1

регистрации #2

Рис. 1. Физическое представление регистрации изображения [2]

Искажающее действие на изображение может быть представлено шумом, смазом, связанными с движением и расфокусировкой. При решении задачи реконструкции изображения используется понятие функции искажения, или функции рассеяния точки (далее - ФРТ). ФРТ и передаточная функция такой системы определяются выражениями:

К х, у) =

18(х), при 0 < у < а; а

0, в остальных случаях, Бт(а ю )

Н (юх,ю у)

ю

где длина смаза а равна произведению скорости движения камеры на время экспозиции [3].

Математический аппарат восстановления искажений. Результирующая интенсивность восстановленного изображения g в некоторой точке (х, у) будет равна сумме (интегралу) интенсивностей ю(£, у), £ е [х, х + А], где £ - направление смаза [4]:

^ х+Л

- | ю(£, У№ = £(х, У) .

(1)

Данное соотношение является основным в задаче восстановления смазанных изображений [4]. В нем g(x, у) - измеренное распределение интенсивности на смазанном изображении в функции прямоугольных координат х и у. Смаз направлен вдоль оси х, А - длина смаза, ю(х, у) - искомое распределение интенсивности на неискаженном изображении (при А = 0).

Решение уравнения 1 методом дифференцирования:

Л [

ю (х + Л) - ю (х)

дх

(2)

где = + откуда получим рекуррентное выражение, решения которого будем

5 V ^ ' О V

получать, двигаясь в сторону увеличения х при каждом значении у:

ю уУ х + Л) = ю уУ х) + Л

дх

(3)

Если заменить х на (х - Д) в данном выражении, то вычисления проводят при движении в сторону уменьшения х при каждом значении у.

Выполним преобразование уравнения 2 к уравнению типа свертки. Для этого запишем интегральное уравнение 2 в виде:

х+Л

\-®Д)dZ=~gy{x). (4)

X

Уравнение имеет неклассический вид. Можно преобразовать его к виду интегрального уравнения Фредгольма 1-го рода типа свертки:

00

= —оо < д; < оо

—да

(5)

1. . X Ь^Ь X + Д или —ДЬ X — и

Л( X — £):

^д ? yv с, л I ruin z_\ j: л <_, \j

0, иначе

где h - математическое ядро интегрального уравнения, а с физико-технической точки зрения это функция рассеяния точки (далее - ФРТ, или в англоязычной терминологии - PSF) -то, во что превращается точка при смазывании [3, 5].

h( x )

-Д<x<О

/А' . (6)

0, иначе

Интегральное уравнение 5, наряду с уравнением 1, является основным для решения задачи деконволюции смазанного изображения. Для его решения обычно используют следующие методы:

- метод преобразования Фурье;

- метод регуляризации Тихонова;

- метод оптимальной фильтрации Винера;

- метод простой регуляции Ландвебера и Фридмана;

- метод сопряженных алгоритмов и др.

Метрики оценивания качества восстановления изображений. Для численной оценки качества реконструированного изображения используется метрика PSNR, которая определяется следующим образом [6]:

PSNR = 10log10 f MAXI % 20 log Г MAX 10 MSE

V mjse у ух -MSE у

Vmse

где MAX/ - максимальное значение, принимаемое пикселем изображения; MSE - среднеквадратичное отклонение; m и n - ширина и высота изображения соответственно.

Для цветных изображений с тремя компонентами RGB на пиксель применяется такое же определение PSNR, но MSE считается по всем трем компонентам: значения красного канала - R, зеленого канала - G, синего канала - B:

1 m — 1 n — 1

MSE = — h (i, j) — KR(i, j)\2 +| IQ(i, j) — KQ(i, j)|2 + |/B(i, j) — KB(i, j)|2),

3 mn i = 0 j = 0

где Ic(i, j) - значение канала цвета С (R, G или B) пикселя с координатами (i, j) эталонного изображения;

<

KR(i, j) - значение канала цвета С (R, G или B) пикселя с координатами (i, j) сравниваемого изображения;

m и n - ширина и высота изображения соответственно.

Восстановление смазанных изображений. Эксперименты выполнялись по следующему плану:

1. Загрузка исходного изображения.

2. Формирование искажающей маски PSF. Использованы модели искажения смаза типа motion, gaussian и disk, а также их сочетание с шумом.

3. Свертка исходного изображения c соответствующей искажающей маской.

4. Деконволюция искаженного изображения с применением различных методов (фильтр Винера - Колмогорова, Люси - Ричардсона, регуляризационный фильтрации, слепой деконволюции).

5. Оценка качества восстановления изображений.

Качество восстановления изображений оценивалось с помощью метрики PSNR. В ходе экспериментов фиксировалось время деконволюции, для наглядности представления качества восстановления получены профили яркости изображений: исходного, искаженного и восстановленного.

Эксперименты проведены в среде MatLab. В качестве исходного взято изображение растений в теплице (рис. 2) размером 960 х 1280 х 3.

Рис. 2. Исходное изображение

Примечание: скриншот авторов.

В ходе исследования проведено большое количество экспериментов. Были сформулированы модели искажающих воздействий, проведены эксперименты по эффективности методов восстановления искаженного изображения в зависимости от метода получения смазанного изображения. В связи с тем, что искажения только в виде смаза (в результате рассеяния или движения) в реальной ситуации встречаются нечасто, эксперименты проведены также по изучению работы фильтров и при наличии аддитивных шумов.

Эксперименты по восстановлению смаза в сочетании с шумом. Для восстановления изображений, имеющих разные виды искажений, применяют двухэтапную фильтрацию.

Эксперимент по восстановлению искаженного изображения методом motion в сочетании с шумом Гаусса. Искажение проводилось сверткой смаза типа motion длиной 50 пкс на угол 45° и аддитивным шумом Гаусса с математическим ожиданием 0 и стандартным отклонением 0,01.

Для снижения влияния смаза использовались фильтры деконволюции:

- фильтр Винера - Колмогорова в двух формах записи: J = deconvwnr(I, PSF, NSR), где параметр NSR указывает на соотношение сигнал/шум, и J = deconvwnr(I, PSF, NCORR, ICORR), где параметры NCORR и ICORR являются автокорреляционными функциями шума и исходного изображения соответственно;

- фильтр Люси - Ричардсона. Фильтр является итерационным и эксперименты проводились с 10 (по умолчанию) и 50 итерациями;

- регуляризационная деконволюция по Тихонову;

- слепая деконволюция.

Для дополнительной борьбы с шумом и удаления эффекта Гиббса после каждой деконволюции применен медианный фильтр с двумя размерами масок: 3 х 3 и 5 х 5. В ходе эксперимента контролировалось время восстановления, получены профиль яркости и метрика качества восстановления PSNR. Результаты компьютерного эксперимента представлены в табл. В колонке «Время деконволюции» со знаком «+» дано время, затраченное только на медианную фильтрацию, проведенную после деконволюции.

Таблица

Результат эксперимента по восстановлению комбинированного искажения:

смаз типа motion и шум Гаусса

№ Метод деконволюции Время деконволюции, (с) Метрика PSNR, (дБ)

1 Фильтр Винера - Колмогорова (сигнал/шум) 2,583141 21,5076

2 Фильтр Винера - Колмогорова (сигнал/шум) +medШt 3 х 3 + 0,426831 22,3741

3 Фильтр Винера - Колмогорова (сигнал/шум) + medfllt 5 х 5 + 1,426229 22,5456

4 Фильтр Винера - Колмогорова (автокорреляция) 3,999954 21,5076

5 Фильтр Винера - Колмогорова (автокорреляция) + medfllt 3 х 3 + 0,425938 22,3741

6 Фильтр Винера - Колмогорова (автокорреляция) + medfllt 5 х 5 + 1,435033 22,5455

7 Фильтр Люси - Ричардсона (10 итераций) 23,086203 21,0939

8 Фильтр Люси - Ричардсона (10 итераций) + medШt 3 х 3 + 0,451081 21,9357

9 Фильтр Люси - Ричардсона (10 итераций) + medfllt 5 х 5 + 1,450687 21,9899

10 Фильтр Люси - Ричардсона (50 итераций) 109,712676 11,1410

11 Фильтр Люси - Ричардсона (50 итераций) + medfllt 3 х 3 + 0,446248 15,7954

12 Фильтр Люси - Ричардсона (50 итераций) + medfllt 5 х 5 + 1,427313 18,8723

13 Регуляризационный фильтр 8,227436 21.5184

14 Регуляризационный фильтр + medШt 3 х 3 + 0,589237 22,3752

15 Регуляризационный фильтр + medfilt 5 х 5 + 0,440704 22,3752

16 Слепая деконволюция (50 итераций) 288,650919 9,9416

17 Слепая деконволюция (50 итераций) + medШt 3 х 3 + 0,434865 14,5999

18 Слепая деконволюция (50 итераций) + medШt 5 х 5 + 1,414397 14,5999

Примечание: данные получены авторами в ходе экспериментов.

Для наглядности представим полученные значения на диаграммах (рис. 3, 4).

Рис. 3. Метрика оценки качества восстановления изображения при искажении смазом типа motion и шумом Гаусса

Примечание: диаграмма построена на основании данных, полученных в ходе эксперимента.

Рис. 4. Время восстановления изображения при искажении смазом типа motion и шумом Гаусса

Примечание: диаграмма построена на основании данных, полученных в ходе эксперимента.

По результатам проведенного эксперимента можно сделать следующие выводы: при сочетании таких искажающих факторов, как смаз и аддитивный шум, метрика качества PSNR плохо коррелирует с экспертной визуальной оценкой, что можно проиллюстрировать на изображениях после деконволюции фильтром Люси - Ричардсона с 50 итерациями (слева на рис. 5) и регуляризационной фильтрацией с последующей медианной фильтрацией маской 3 х 3 (справа на рис. 5).

Рис. 5. Сопоставление восстановленных изображений и метрики Р8КЯ для оценки качества восстановления: слева - работа фильтра Люси - Ричардсона с 50-тью итерациями; справа - работа регуляризационного фильтра в сочетании с медианной фильтрацией матрицей 3 х 3

Примечание: скриншот авторов.

Здесь в целом изображение лучше воспринимается на глаз после регуляризационной и медианной фильтрации, но при оценке качества текстовой информации видно, что фильтр Люси - Ричардсона с 50 итерациями справляется лучше. При этом метрика качества значительно отличается. На резкое снижение величины метрики оказали усилившийся шум после фильтра Люси - Ричардсона.

Выводы:

1. Метод Винера - Колмогорова с разной параметризацией и регуляризационный фильтр формируют на изображении звон (эффект Гиббса).

2. Фильтр Люси - Ричардсона с 50 итерациями и слепая деконволюция формируют на изображениях шумы.

3. Фильтр Люси - Ричардсона с 10 итерациями по умолчанию имеет самое низкое качество восстановления изображений.

Заключение. В ходе работы были сформулированы модели искажающих воздействий, проведены эксперименты по эффективности методов восстановления искаженного изображения в зависимости от метода получения смазанного изображения. В связи с тем, что искажения только в виде смаза (в результате рассеяния или движения) в реальной ситуации встречаются нечасто, также проведены эксперименты по изучению работы фильтров и при наличии аддитивных шумов.

В результате анализа математического аппарата, лежащего в основе деконволюции, можно выделить ряд основных факторов, которые существенно усложняют решение проблемы восстановления изображений.

В среде MatLab проведены эксперименты по исследованию качества восстановления искаженных методами motion, disk и gaussian изображений. Для восстановления были использованы фильтры Винера - Колмогорова, Люси - Ричардсона, регуляризационный и слепая деконволюция. Все методы фильтрации при наличии только смаза успешно справились с восстановлением изображения. Дополнительных артефактов при искажении методом gaussian результате восстановления не возникло, в отличие от искажений типа motion и disk. Артефакты незначительно повлияли на распознавание изображений. Несмотря на то, что полного восстановления не произошло, все объекты изображения имеют приемлемое качество. Фильтрация методом слепой деконволюции занимает в 30 и более раз больше времени по сравнению с другими фильтрами. Метрика качества PSNR лежит в диапазоне от 23,24 до 28,39 дБ. Субъективное физиологическое восприятие человеком изображения показало улучшение качества обработанного изображения для всех методов.

Вторая группа экспериментов была посвящена изучению работы фильтров при наличии комбинированного искажения - смаза и аддитивного шума:

- выявлено, что все методы увеличивают время работы по восстановлению, при этом разрыв времени работы у разных фильтров вырастает еще значительней: метод слепой деконволюции затрачивает в 100 с лишним раз больше времени по сравнению с остальными фильтрами. При этом искажение типа gaussian и disk(15) требует максимальных временных затрат. Минимальное время на восстановление затрачивает фильтр Винера - Колмогорова, следующий по быстродействию - регуляризационный фильтр. Время на восстановление данными фильтрами не зависит от метода искажения;

- сравнительная диаграмма метрики оценки качества восстановления изображения PSNR, так же, как и время восстановления, имеет значительный разброс. Максимальные значения имеет метрика при искажении disk(5) с любым методом восстановления, минимальное - при искажении motion с шумом Гаусса и восстановлением фильтром Люси -Ричардсона и слепой деконволюцией;

- при искажении disk выявлено, что радиус искажающей матрицы 15 пкс является пороговой величиной для распознавания объектов мелкого и среднего масштаба;

- визуальная оценка качества работы фильтров по восстановлению изображений, искаженных одновременно смазом и шумом, часто не совпадает с метрикой PSNR, т. к.

некоторые фильтры дают артефакты в виде звона, ореолов и снижения четкости, что в метрике PSNR может значительно снизить величину показателя, хотя распознаваемость объектов на изображении может быть проведена успешно. При фильтрации смаза gaussian с аддитивным импульсным шумом фильтр Люси - Ричардсона не может быть использован вследствие полной потери изображения.

Литература

1. Гонсалес Р. С., Вудс Р. Е. Цифровая обработка изображений. М. : Техносфера, 2012. 1103 с.

2. Запевалова Л. Ю., Запевалов А. В., Тараканов Д. В. Компьютерная обработка изображений в задаче идентификации состояния биологических культур // Вестник кибернетики. 2019. № 3, С. 26-34.

3. Сизиков В. С., Экземпляров Р. А. Последовательность операций при фильтрации шумов на искаженных изображениях // Оптич. журн. 2013. Т. 80, № 1. С. 39-48.

4. Коробейников А. Г., Федосовский М. Е., Алексанин С. А. Разработка автоматизированной процедуры для решения задачи восстановления смазанных цифровых изображений // Кибернетика и программирование. 2016. № 1. С. 270-291.

5. Сизиков В. С., Ильин А. К. О восстановлении смазанных цветных изображений // Науч.-технич. вестн. информац. технологий, механики и оптики. 2017. Т. 17, № 3 (109). С. 417-423.

6. Филиппов А. О., Филиппов А. О. Метрики для оценки качества восстановленного изображения. URL: https://sibac.info/archive/meghdis/1(36).pdf (дата обращения: 23.11.2019).