CC BY
63
УДК 004.932
МАТЕМАТИЧЕСКОЕ ОБЕСПЕЧЕНИЕ СИСТЕМЫ
ДИНАМИЧЕСКОГО ВЫБОРА МЕТОДА УЛУЧШЕНИЯ ИЗОБРАЖЕНИЙ В РЕАЛЬНОМ ВРЕМЕНИ
Д.А. Колчаев, Е.Р. Муратов, М.Б. Никифоров
Математическую обработку изображений в системах технического зрения реального времени можно условно разделить на два этапа: предварительная обработка (фильтрация, контрастирование, борьба с природными искажениями и т.д.) и окончательная (совмещение, визуализация, решение навигационной задачи и т.д.). Перечисленные задачи могут быть решены многими известными и специально разработанными методами с различной степенью эффективности. В работе предлагается математическая модель критерия и алгоритм автоматической выборки наиболее эффективного метода на каждой ступени конвейера обработки изображений применительно к текущей ситуации на его входе.
Ключевые слова: конвейер обработки изображений, реальное время, автоматический выбор алгоритмов.
Предварительная обработка изображений в системах технического зрения (СТЗ) включает в себя контрастирование, компенсацию помех, уменьшение влияния таких внешних факторов, как туман, дым, засветка и др. Это важный этап, предшествующий основному, в качестве которого, в зависимости от целевой функции СТЗ может быть навигация, совмещение или визуализация изображений. Существующие алгоритмы улучшения дают различные результаты, которые зависят как от обрабатываемого изображения, так и от управляющих параметров алгоритмов. В связи с этим возникает необходимость динамического выбора алгоритма и его параметров в зависимости от сюжета и качества исходного изображения.
Алгоритм автоматического выбора сочетания методов контрастирования и компенсации помех. Совокупность всех вариантов алгоритмов, а так же всех вариантов управляющих параметров создает множество решений с большой размерностью. Например, наличие четырех алгоритмов контрастирования изображений А, а так же алгоритма компенсации помех В, который работает в четырех режимах В,, 1=0... 3, ]=0... 3, дают множество М, которое описывает все возможные варианты совместного применения этих алгоритмов М = А х В=16. Такое количество вариантов требует от оператора, использующего систему улучшения изображений, ручного перебора и поиска оптимального улучшения, что занимает длительное время и усложняет интерфейс взаимодействия с системой. Решением этой проблемы является автоматизация выбора алгоритмов улучшения, а так же подбора оптимальных управляющих параметров [1].
83
Из множества M необходимо найти такой элемент (Ai, Bj), при котором показатель качества результирующего изображения будет наилучшим, а показатель шума будет лежать в допустимой зоне.
Рассмотрим наиболее употребительный набор алгоритмов.
Контрастирование:
1. Линейное контрастирование - производится линейное растяжение гистограммы обрабатываемого изображения. Пропорционально растягиваются все участки гистограммы, значения частот которых больше некоторого порога. Расчет новой яркости для пикселя производиться с использованием следующей формулы
, , ч (I(x, y)-Л min j) • Lj
Inew (x y) =-"-T-H--, j e1, t,
Л max j -Л min j
где I (x, y) - яркость пикселя входного изображения, Lj - размер нового
диапазона яркости для j-ого интервала (диапазона яркостей пикселей на гистограмме, подлежащий растяжению), Л min j , Л max j - левая и правая
граница j-ого интервала на гистограмме исходного изображения, t - количество интервалов.
2. Эквализация гистограммы - производится нелинейное растяжение гистограммы, при котором реальный яркостной диапазон исходного изображения отображается на диапазон [0, b]
, ( ) 1I= 0'y) H (i)
Inew (x, У) =
I bH (i)
Когда значительная часть градаций яркости на изображении отсутствует, эквализация позволяет более равномерно использовать диапазон [0, b] для более контрастного отображения присутствующих на изображении градаций [2] .
3. Multi Scale Retinex with Color Restoration (MSRCR) - вариация алгоритма Single Scale Retinex (SSR). Идея алгоритма SSR заключается в получении приближённой карты освещённости путём низкочастотной
фильтрации по формуле I(x, y) = G • I(x, y) где G - фильтр Гаусса [3]. Затем производится восстановление яркости изображения по формуле
r (x, y) = log(I (x, y) - log(I (x, y)).
Отличие алгоритма Multi Scale Retinex (MSR) от SSR состоит в том, что вычисляется несколько вариантов I (x, y) с использованием оператора G с разным параметром стандартного отклонения. Восстановление яркости сводится к формуле
MSR= w1 SSR1 + w2SSR2+...+wnSSRn,
причем Wj+w2+...+wn=1. На практике обычно n=3.
84
Компенсация шума:
1. Компенсация шума % - данный режим подразумевает пространственную фильтрацию помех, путем сложения % текущего изображения и 1/4 от предыдущего изображения.
2. Компенсация шума по двум кадрам - производится усреднение между двумя кадрами.
3. Компенсация шума по четырем кадрам - аналогично компенсации шума по двум кадрам, только в данном случае производится суммирование четырех кадров.
Предлагаемый алгоритм автоматического выбора сочетания методов контрастирования и компенсации помех позволяет найти наилучший вариант обработки путем выбора из набора методов компенсации помех с различными управляющими параметрами и из нескольких алгоритмов контрастирования изображений конкретного сочетания, обеспечивающего наилучший результат с точки зрения некоторого объективного показателя.
На рис. 1 изображена схема алгоритма, который позволяет выбрать для каждого кадра наилучший элемент из множества М.
Основной блок алгоритма - это блок оценки качества на основе интегрального показателя качества (ИПК), представляющего собой сумму средней яркости, СКО яркости, нормированного показателя контраста, числа информационных уровней и энтропии.
Алгоритм расчета энтропии изображения включает в себя следующие шаги:
1) предварительное вычисление гистограммы распределения яркостей изображения и нахождение вероятностей появления пикселей каждого оттенка. Гистограмма изображений строится за один проход по всему массиву пикселей изображения;
2) расчет значения энтропии за один проход по гистограмме изображения;
3) нормализация значения энтропии.
Алгоритм расчета дисперсии изображения включает следующие
шаги:
1) предварительное вычисление гистограммы распределения яркостей изображения;
2) расчет среднего значения яркости изображения, осуществляется за один проход по гистограмме изображения;
3) расчет значения дисперсии изображения осуществляется за один проход по гистограмме изображения.
Частные критерии можно разбить на группы по приоритетам:
(Ьп, оп); (^, ^) и ( £п). Энтропия стоит на последнем месте вследствие ее
наименьшего влияния на качество визуализируемого изображения. Весо-
85
мость вклада СКО в значение интегрального показателя функции качества объясняется смыслом этого показателя: он определяет четкость и в некоторой степени воспринимает сильный шум. Далее показатели выстраиваются по убыванию влияния внутри выделенных приоритетных групп.
Рис. 1. Схема алгоритма выбора
Уточненные весовые коэффициенты определяются по критерию Фишберна[4, 5].
ь = 2(р - I +1) р (Р +1) .
С учетом изложенного, интегральный показатель качества (ИПК) низкочастотной яркостной составляющей изображения примет вид [5-8]:
ИПК = 0,3 3Ьп + 0,27оп + 0,20Кп + 0,13Нп + 0,07еп.
Блок оценки шума - вычисляется мощность шума для всего изображения, по значениям диагональных компонент каждого пикселя. Для выбора управляющих параметров алгоритма компенсации шума используются диапазоны значений, выбранные опытным путем. Диапазону с наи-
86
большими значениями шумов отводится компенсация шума по четырем кадрам, а диапазону с наименьшими значениями предлагается не использовать шумоподавление.
Недостатком этой версии алгоритма является появление резких скачков яркости при автоматической смене алгоритма контрастирования, что предлагается устранить использованием интерполяционного метода пропорционального применения двух граничных алгоритмов.
Предположим, что k это номер кадра видео, на котором произошла смена алгоритма, тогда k + п = k' - это номер следующего кадра на котором будет производиться анализ и выбор алгоритма улучшения, кт - это
текущий кадр видео, причем к £ кт £ к'. Обозначим Ак - алгоритм улучшения на к -ом кадре, а Ак' - алгоритм улучшения через п кадров после кого кадра. Интерполяционный метод заключается в том, что для каждого кт кадра вычисляется пропорция двух алгоритмов Ак и Ак>, таким образом, что чем ближе кт к к' тем с большим коэффициентом используется
результат алгоритма Ак' и соответственно с меньшим коэффициентом используется результат алгоритма Ак.
Такая формула позволяет плавно изменять применяемые алгоритмы без резких всплесков на результирующем изображении, но требует обработки изображения двумя алгоритмами, что снижает результирующую производительность [9].
Экспериментальные исследования алгоритма автоматического выбора метода улучшения. На рис. 2 представлены результаты работы алгоритма автоматического выбора.
а - исходное изображение б - результат работы
алгоритма
Рис. 2. Результат работы алгоритма автоматического выбора
87
Заключение. Применение предлагаемого алгоритма автоматического выбора метода улучшения позволяет в автоматическом режиме находить наилучшее сочетание методов улучшения изображений. Алгоритм предоставляет возможность изменения как количества используемых методов улучшения, так и самих методов оценки изображения, не вызывая при этом значительных изменений в структуре алгоритма. Это позволяет внедрять как новые алгоритмы улучшения, так и новые методы оценки.
Список литературы
1. Елесина С.И., Костяшкин Л.Н., Логинов А.А., Никифоров М.Б. Совмещение изображений в корреляционно-экстремальных навигационных системах. Монография / под ред. Костяшкина Л.Н., Никифорова М.Б. М.: Радиотехника, 2015. 208 с.
2. Singh R.P., Dixit M. Histogram Equalization: A Strong Technique for Image Enhancement // International Journal of Signal Processing, Image Processing and Pattern Recognition, 2015. Vol.8, No.8. P. 345-352.
3. Petro A.B., Sbert C.S., Morel J.M. Multiscale Retinex // Image Processing On Line, 2014. N 4. P. 71-88.
4. Фишберн П.С. Теория полезности для принятия решений / под ред. Воробьева Н.Н. М.: Наука, 1978. 352 с.
5. Обработка изображений в авиационных системах технического зрения / под ред. Костяшкина Л.Н., Никифорова М.Б. М.: ФИЗМАТЛИТ, 2016. 240 с.
6. Gonzalez R.C., Woods R.E. Digital Image Processing. Prentice Hall, 2 edition, 2002.
7. Gurov V.S., Muratov Y.R., Nikiforov M.B. Diverse images combination by pitch and roll angles. Proceedings of the 3nd Mediterranean Conference on Embedded Computing (MECO). Budva, 2014. P. 116-119.
8. Ларкин Е.В., Котов В.В., Котова Н.А. Система технического зрения робота с панорамным обзором // Известия Тульского государственного университета. Технические науки, 2009. Вып. 2. Ч. 2. С. 161 - 166.
9. Ивутин А.Н., Ларкин Е.В. Прогнозирование времени выполнения алгоритма // Известия Тульского государственного университета. Технические науки, 2013. Вып. 3. C. 301-315.
Колчаев Дмитрий Алексеевич, магистрант, 3force3@ mail.ru, Россия, Рязань, Рязанский государственный радиотехнический университет,
Муратов Евгений Рашитович, канд. техн. наук, доц., myratov er a mail.ru, Россия, Рязань, Рязанский государственный радиотехнический университет,
Никифоров Михаил Борисович, канд. техн. наук, доц., nikiforov.m. h a evm.rsreu.ru, Россия, Рязань, Рязанский государственный радиотехнический университет
SOFTWARE OF SYSTEM DYNAMICALLY SELECTION METHODS TO IMPROVE IMAGES IN REAL TIME
D.A. Kolchaev, E.R. Muratov, M.B. Nikiforov
Mathematical image processing systems technical vision in real-time can be divided into two stages: pre-treatment (filtering, contrast, struggle with the natural distortion, etc.) and final (alignment, visualization, navigation solution to the problem, etc. ). These problems can be solved by many famous and specially developed methods with varying degrees of effectiveness. We propose a mathematical model and algorithm of automatic test sampling the most effective method at each stage of the image processing pipeline in relation to the current situation at its input.
Key words: conveyor image processing, real time, automatic selection of algorithms.
Kolchaev Dmitry Alekseevich, master, 3force3amail. ru, Russia, Ryazan, Ryazan State Radio Engineering University,
Muratov Evgeny Rashitovich, candidate of technical science, docent, myra-tov eramail.ru, Russia, Ryazan, Ryazan State Radio Engineering University,
Nikiforov Michael Borisovich, candidate of technical science, docent, nikiforov. m. h a evm.rsreu.ru, Russia, Ryazan, Ryazan State Radio Engineering University.
УДК 519.684.6
РАЗРАБОТКА СЕТЕВОЙ ВЕРСИИ СИСТЕМЫ СБОРА
МЕТЕОДАННЫХ ДЛЯ ПРОГНОЗИРОВАНИЯ НОЧНЫХ
ЗАМОРОЗКОВ
Б.В. Костров, Н.Н. Гринченко, А.С. Тарасов, В.Ю. Потапова
Рассмотрена сетевая версия системы сбора метеоданных на основе raspberry pi 2, в которой реализована передача данных при помощи протокола TCP. Краткосрочный прогноз строится на локальных данных. Подсистемы определения вероятности ночных заморозков и жесткости погоды реализованы при помощи датчиков температуры и скорости ветра.
Ключевые слова: метеостанция, метеоданные, краткосрочный прогноз, raspberry pi 2, TCP, WI-FI.
В настоящее время прогноз погоды является неотъемлемой частью нашей жизни. Собираясь на работу, прогулку с друзьями, в дальнюю дорогу, большая часть людей заинтересуется прогнозом. Ознакомиться с подобной информацией можно, не выходя из дома и не выглядывая в окно при помощи телевизора и сети Интернет. Также существуют портативные метеорологические станции (метеостанции), позволяющие определить погоду.
