CC BY
38
УДК 004.932
С. М. Борзов, С. Б. Узилов
Институт автоматики и электрометрии СО РАН пр. Акад. Коптюга, 1, Новосибирск, 630090, Россия
E-mail: [email protected]; [email protected]
РАЗРАБОТКА МНОГОКАДРОВОГО АЛГОРИТМА ПОДАВЛЕНИЯ ШУМА ДЛЯ МОБИЛЬНЫХ ТЕПЛОВИЗИОННЫХ СИСТЕМ НАБЛЮДЕНИЯ *
В статье идет речь о разработке межкадрового алгоритма подавления шума, ориентированного на применение в мобильных тепловизионных системах наблюдения. Основными направлениями работы являются экспериментальное исследование эффективности наиболее распространенных алгоритмов подавления шума и разработка комбинированного алгоритма, учитывающего специфику применения данных устройств.
Ключевые слова: подавление шума, компенсация движения, видеопоследовательности, тепловизионные системы.
Введение
Анализ видеоматериалов, записанных с мобильных тепловизионных приборов, при решении задач обнаружения ростовой фигуры человека в условиях реальной фоноцелевой обстановки показал наличие определенной специфики получаемых данных. Поскольку целью наблюдения является поиск и последующий анализ формы слабоконтрастного малоразмерного изображения объекта, оператор, как правило, сосредотачивает свое внимание на центральной части кадра и медленно осматривает сектор наблюдения. Затем, сконцентрировавшись на определенном фрагменте и пытаясь максимально сохранять направление визирования, в течение некоторого времени вглядывается в изображение объекта, привлекшего его внимание, чтобы принять решение. При этом, поскольку объект интереса находится на предельной дальности обнаружения, его изображение описывается несколькими пикселями. В данной ситуации наличие даже незначительного аппаратного шума фотоприемного устройства приводит к ухудшению эффективности поиска.
Цель данной работы - исследовать наиболее популярные методы подавления шума и разработать вычислительно эффективный алгоритм, ориентированный на реализацию в мобильных тепловизионных системах наблюдения и учитывающий специфику условий их использования.
* Работа выполнена при поддержке РФФИ (гранты № 11-07-00202, 11-07-12083-офи-м-2011). Авторы выражают благодарность сотрудникам Новосибирского филиала Института физики полупроводников СО РАН «КТИПМ», предоставившим для проведения исследований видеопоследовательности, зарегистрированные в реальных условиях.
Борзов С. М., Узилов С. Б. Разработка многокадрового алгоритма подавления шума для мобильных тепловизионных систем наблюдения // Вестн. Новосиб. гос. ун-та. Серия: Информационные технологии. 2013. Т. 11, вып. 1. С. 16-23.
ISSN 1818-7900. Вестник НГУ. Серия: Информационные технологии. 2013. Том 11, выпуск 1 © С. М. Борзов, С. Б. Узилов, 2013
Методы подавления шума в видеопоследовательностях
Подавление шума - одна из самых распространенных функций, выполняемая с целью улучшить визуальное качество получаемых системами наблюдения изображений. В настоящее время разработано большое количество различных алгоритмов, реализующих разные способы подавления шума. Наиболее известными из них являются внутрикадровые методы, основанные на взвешенном усреднении и медианной фильтрации по окрестности отсчетов скользящим окном для каждого кадра [1. С. 342-346; 2. С. 158-160; 3]. Популярны также адаптивные модификации данных фильтров. Принцип вычисления центрального отсчета при локальной обработке изображения остается тем же, а размер скользящего окна зависит от яркости соседних пикселей [4]. Однако общий недостаток этих методов состоит в искажении (а возможно и устранении) низкоконтрастных изображений малоразмерных объектов, наблюдаемых на предельной дальности, тогда как зачастую именно такие объекты являются целью наблюдения.
При обработке видеопоследовательностей появляется дополнительная возможность подавления шума на изображении, основанная на совместном анализе нескольких изображений одной и той же сцены [5]. В соответствии с законами статистики усреднение сигналов пикселов приемника за некоторый интервал времени позволяет уменьшить уровень шума в *Jn раз, где n - количество усредняемых изображений (для случайного шума с нормальным распределением). Данный метод подавления шума показал свою работоспособность для мед-ленноменяющихся сцен. Однако при наличии движения в кадре такой способ приводит к размазыванию изображений динамичных объектов. Наиболее простым решением этой проблемы является предварительный анализ изображений с целью определения наличия движения. Усреднение между кадрами выполняется с весовыми коэффициентами, обратно пропорциональными интенсивности движения [5. С. 1274-1278]. Несколько более сложный в вычислительном плане алгоритм предусматривает пофрагментный анализ изображения и определение наличия движения для каждого фрагмента изображения в отдельности. Наиболее же универсальным средством подавления шума является усреднение изображений с предварительной компенсацией их относительных смещений [5. С. 1278-1281], вызванных движением регистрирующей камеры и объектов в поле наблюдения. Это позволяет повысить качество как для статичных, так и для динамичных изображений. Компенсация движения при этом может быть выполнена путем устранения общего смещения фона либо построением компенсированного кадра из предыдущего с учетом поля смещений блоков.
Оценка общего смещения фона выполняется путем вычисления межкадровой корреляции (с применением быстрого преобразования Фурье). При этом чтобы найти величины вертикальных и горизонтальных сдвигов изображения сцены в текущем кадре относительно предыдущего, сравниваются некоторые центральные области кадров. Для определения изменения масштаба изображения и поворота используются две области в левой и правой части кадров.
Блочная компенсация движения фона выполняется посредствам построения и анализа полей локальных движений [6; 7]. На первой стадии обработки кадры разделяются на малые блоки, для каждого блока в текущем кадре ищется наиболее подобный блок во втором кадре (предыдущем или последующем). Подобие блоков оценивается как сумма абсолютных разностей пикселов SAD (sum of absolute differences). По относительным смещениям наиболее подобных блоков определяют векторы движения. Далее на основе полученных полей смещений формируются кадры с компенсацией движения. Причем компенсация движения делается не по блокам, а по пикселам. Вектор движения каждого пиксела вычисляется путем билинейной интерполяции векторов движения текущего и соседних блоков (в соответствии с положением пиксела). Чтобы сформировать компенсированный кадр, соответствующий по времени текущему, каждый пиксел предыдущего (последующего) кадра смещается вдоль полученного вектора движения.
На заключительной стадии обработки осуществляется усреднение текущего кадра и нескольких соответствующих ему компенсированных. Причем усреднение выполняется с весовыми коэффициентами, характеризующими достоверность полученной оценки смещений (обратно пропорциональными достигнутой SAD).
4
б
в
Рис. 1. Кадры исходных видеопоследовательностей: а-в - последовательности 1-3 соответственно
Исследование эффективности алгоритмов подавления шума
Для исследования эффективности различных алгоритмов подавления шума разработано специализированное программное приложение. Реализованы следующие процедуры:
• внутрикадровое подавление шума с использованием адаптивной медианной фильтрации;
• межкадровое подавление шума накоплением без компенсации движения с использованием трехмерной медианной фильтрации;
• подавление шума с компенсацией движения с оценкой общего сдвига корреляционным методом;
• межкадровое подавление шума с предварительной компенсацией глобального движения с оценкой общего сдвига корреляционным методом и последующим использованием трехмерной медианной фильтрации;
• подавление шума с компенсацией локального (блочного) движения по трем кадрам;
• подавление шума с компенсацией локального (блочного) движения по пяти кадрам.
Параметрами процедур подавления шума с компенсацией движения являются шаг между
кадрами, количество усредняемых кадров, а для процедур с использованием блоков - размер блока, перекрытие блоков, тип поиска подобных блоков, порог достигнутой суммы абсолютных разностей блоков и т. п.
Оценка эффективности алгоритмов выполнена путем анализа результатов подавления шума на трех видеопоследовательностях длительностью 100 кадров размером 640 х 480 пикселей (рис. 1). Все видеопоследовательности зарегистрированы в реальных условиях с использованием одного и того же болометрического тепловизионного прибора производства НФ ИФП СО РАН (КТИПМ). Необходимо отметить, что съемка осуществлялась без применения штатива (с рук), по этой причине во всех последовательностях наблюдаются смещения
изображений от кадра к кадру, однако все же параметры последовательностей различны. Для последовательности 1 характерны значительные межкадровые смещения, вызванные движением камеры, для 2 - движение достаточно крупных объектов в поле зрения, последовательность 3 зарегистрирована при обнаружении ростовой фигуры человека на предельной дальности, она практически статическая с незначительными смещениями изображений сцены от кадра к кадру.
Исследования алгоритмов подавления шума выполнялись следующим образом. На исходные видеопоследовательности накладывался Гауссов шум (среднеквадратичное отклонение ~ 7). Далее зашумленные видеопоследовательности обрабатывались различными алгоритмами. Эффективность каждого определялась путем покадрового сличения видеопоследовательности с подавленным шумом и соответствующей ей исходной. В качестве критерия при этом использовалось отношение пикового сигнала к шуму PSNR (peak signal-to-noise ratio) для соответствующих кадров:
( \
PSNR(7, K) = 20 lg
MAXj
1 m-1 n-1. ,2
— E E I(i, j) - K(i, j)2
mni=0 j=0
где I, K - два сравниваемых изображения размера m на n, а MAX/ - максимально возможное значение, принимаемое пикселем изображения. Схожесть видеопоследовательностей при этом определялась как среднее по кадрам значение PSNR.
Кроме того, поскольку объекты наблюдения зачастую описываются, как было отмечено, несколькими пикселями (рис. 2), они могут быть искажены в процессе подавления шума. По этой причине при сравнении алгоритмов также оценивалась степень искажений ими целевого объекта в последовательности 3. В качестве критерия использован контраст объекта, оцениваемый как нормированная разность средней яркости отсчетов, принадлежащих объекту, и средней яркости отсчетов его ближайшей окрестности (фона).
Для оценки относительной производительности исследуемых алгоритмов рассчитывалось количество обрабатываемых кадров в секунду FPS (frame per second) для используемой конфигурации вычислительных средств.
В таблице приведены полученные результаты. Первая строка содержит значения введенных критериев, рассчитанные при сравнении видеопоследовательностей с наложенным шумом с исходными и характеризующие степень внесенных искажений. В следующих шести
Рис. 2. Объект наблюдения в видеопоследовательности 3 (масштаб 4 : 1, автоконтраст, целевой объект выделен красной рамкой)
Результаты сравнения обработанных последовательностей с исходными
Последовательность Снижение Производительность, fps
Процедуры 1 2 3 контраста объекта
Внесение шума 31,28 31,54 31,49 - -
2Б-медианная фильтрация 33,46 33,84 33,91 0,15 322
3Б-медианная фильтрация 32,98 33,28 33,36 0,13 318
Накопление с компенсацией глобального движения 32,27 32,58 32,58 0,04 68
3Б-медианная фильтрация с компенсацией глобального 33,38 33,80 33,53 0,13 67
движения
Накопление по 3 кадрам с компенсацией локального 33,77 34,15 34,35 0,05 10
движения
Накопление по 5 кадрам с компенсацией локального 35,04 35,36 34,78 0,05 5
движения
Предлагаемый алгоритм 34,17 34,52 34,90 0,08 363
строках приведены значения критериев эффективности для реализованных алгоритмов подавления шума.
По приведенным результатам можно сделать вывод, что максимальная степень подавления шума достигается при усреднении по пяти кадрам с компенсацией локального движения. Также достаточно эффективным выглядит внутрикадровый метод, основанный на адаптивной медианной фильтрации. Алгоритмы, использующие компенсацию движения с оценкой общего сдвига корреляционным методом, оказываются менее эффективными. Как показал анализ, это связано с ошибками в определении смещений при их существенных значениях. Однако алгоритм с компенсацией локального движения также не лишен определенных недостатков. В первую очередь это его значительная трудоемкость. Кроме того, отмечено, что при использовании данного алгоритма на участках изображения с низким контрастом наблюдаются искажения в виде относительного смещения отдельных фрагментов изображения (изображение как бы дышит). Указанный эффект привел к снижению оценки эффективности для последовательности 3. Такой тип искажений для алгоритма с компенсацией общего сдвига отсутствует.
Результаты оценки контраста объекта на последовательности 3 свидетельствуют о том, что использование медианного фильтра, кроме подавления шума, снижает и яркость изображений подобных малоразмерных объектов.
Модифицированный алгоритм подавления шума
С учетом результатов проведенных исследований разработан модифицированный алгоритм подавления шума с частичной компенсацией общего движения. Алгоритм выполняет подавления шума межкадровым усреднением с учетом величины взаимных смещений входных изображений в последующих кадрах. Если смещение отсутствует, выполняется усреднение пяти кадров. При наличии незначительного смещения осуществляется его коррекция и усреднение по трем кадрам. При наличии значительных смещений предложено отказаться от их компенсации и выполнять лишь медианную фильтрацию в текущем кадре.
Алгоритм состоит из трех этапов.
1-й этап - оценка смещения изображений. Выполняется оценка относительного сдвига для п - 2 и п + 2 кадров видеопоследовательности (где п - номер текущего кадра). Рассчиты-
вается сумма абсолютных разностей (SAD) центральных фрагментов изображений для различных их относительных смещений. Размеры фрагментов 300 х 300, размеры смещений -от -5 до 5 по обеим координатам. В результате получается массив значений SAD размерностью 11 х 11. В данном массиве ищется положение минимума.
2-й этап - выбор метода фильтрации. В зависимости от положения минимума в массиве SAD, сформированном на первом этапе, выбирается дальнейшая ветвь алгоритма обработки:
• если минимум SAD достигается при отсутствии относительного смещения центральных фрагментов сравниваемых изображений, выбирается первая ветвь;
• если минимум оказывается при малом смещении (от 1 до 3 элементов), выбирается вторая ветвь;
• во всех иных случаях выбирается третья ветвь.
3-й этап - фильтрация.
Ветвь 1. Выполняется усреднение яркости каждого отсчета по пяти последовательным кадрам n - 2, n - 1, n, n + 1, n + 2. Значения отсчета в пяти указанных кадрах суммируются, и результат делится на 5. Деление выполняется в целых числах.
Ветвь 2. Выполняется оценка смещений n - 1 и n + 1 кадров относительно текущего (n) изложенным ранее методом (описание этапа 1). С учетом полученных смещений формируются компенсированные по движению кадры. Затем выполняется усреднение яркости каждого отсчета по трем кадрам: текущему (n) и компенсированным предыдущему (n - 1) и последующему (n + 1).
Ветвь 3. Выполняется медианная внутрикадровая обработка с ядром 3 х 3 текущего кадра.
Оценка эффективности разработанного алгоритма
В последней строке таблицы приведены результаты исследования эффективности разработанного алгоритма по описанной выше методике. Анализ полученных данных показывает, что предложенный алгоритм обладает достаточно высокой эффективностью по сравнению с рассмотренными ранее. По первому из используемых критериев он лишь незначительно уступает наиболее трудоемкому из них и превосходит остальные (считается, что улучшение на величину PSNR = 0,5 дБ заметно глазу). При этом снижение контраста объекта для данного алгоритма практически вдвое меньше, чем для процедур, основанных на медианной фильтрации.
Заключение
Разработан комбинированный алгоритм улучшения качества изображений, ориентированный на реализацию в мобильных тепловизионных системах наблюдения. Алгоритм выполняет подавления шума с применением многокадровой обработки с учетом взаимных общих (изображения в целом) смещений входных изображений в последующих кадрах. Смещение оценивается сличением центральных фрагментов кадров. При отсутствии смещений выполняется усреднение пяти кадров. В случае незначительных смещений осуществляется оценка их величины, коррекция и усреднение по трем кадрам. При наличии значительных смещений выполняется лишь медианная фильтрация по девяти отсчетам в текущем кадре. Данный алгоритм учитывает особенности использования мобильных тепловизионных систем наблюдения и по своей эффективности в реальных условиях незначительно уступает наиболее популярным, но трудоемким алгоритмам.
Список литературы
1. Прэтт У. Цифровая обработка изображений: Пер. с англ. М.: Мир, 1982. Кн. 2. 480 с.
2. Хуанг Т. С., Эклунд Дж.-О., Нуссбаумер Г. Дж., Зохар Ш., Юстуссон Б. И., Тян Ш.-Г. Быстрые алгоритмы в цифровой обработке изображений: Пер. с англ. / Под ред. Т. С. Хуанга. М.: Радио и связь, 1984. 224 с.
3. Жук С. В. Обзор методов подавления шумов на растровых изображениях // Изв. Волгоград. гос. техн. ун-та. 2009. Т. 6, № 6. С. 112-115.
4. Белявцев В. Г., ВоскобойниковЮ. Е. Алгоритмы фильтрации изображений с адаптацией размеров апертуры // Автометрия. 1998. № 3. С. 18-27.
5. Brailean J. C., Kleihorst R. P., Efstratiadis S., Katsaggelos A. K., Lagendijk R. L. Noise Reduction Filters for Dynamic Image Sequences: A Review // Proc. of IEEE. September 1995. Vol. 83. No. 9. Р. 1272-1292.
6. Braspenning R. A., Haan G. True-Motion Estimation Using Feature Correspondence // Proc. of VCIP. 2004. SPIE. Р. 396-407.
7. Гришин С. В., Ватолин Д. С., Лукин А. С., Путилин С. Ю., Стрельников К. Н. Обзор блочных методов оценки движения в цифровых видеосигналах // Программные системы и инструменты: Тематический сб. М., 2008. № 9. С. 50-62.
Материал поступил в редколлегию 02.04.2012
S. M. Borzov, S. B. Uzilov
DEVELOPMENT OF MULTIFRAME NOISE REDUCTION ALGORITHM FOR MOBILE THERMALVISION SYSTEMS
The paper deals with the development of inter-frame noise reduction algorithm intended for the use of mobile thermal visual systems. The aspects of work were an experimental research of the effectiveness of the most common algorithms for noise reduction and the development of combined algorithm that takes into account the specifics of the use of these devices.
Keywords: noise reduction, motion compensation, video sequences, thermalvision systems.
