Применение методов оценивания размытости цифровых изображений в задаче аудиовизуального мониторинга Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.932.2

ПРИМЕНЕНИЕ МЕТОДОВ ОЦЕНИВАНИЯ РАЗМЫТОСТИ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ В ЗАДАЧЕ АУДИОВИЗУАЛЬНОГО МОНИТОРИНГА

И. В. Ватаманюка, студентка

А. Л. Ронжина, б, доктор техн. наук, профессор

аСанкт-Петербургский государственный университет аэрокосмического приборостроения, Санкт-Петербург, РФ

бСанкт-Петербургский институт информатики и автоматизации РАН, Санкт-Петербург, РФ

Цель: исследование и разработка математических и программных средств оценивания размытости и других показателей качества цифровых изображений. Результаты: приведены классификация и анализ существующих методов количественной оценки размытости изображений, применяемых для обработки кадров в режиме реального времени. Для повышения скорости обработки и надежности определения качества интересующей области изображения при экспериментальной проверке реализованы несколько вариантов сегментации части кадра, а именно: анализировалось все изображение, обнаруженное лицо на изображении и область лица размером 200*200 пикселей. Предложенная процедура предварительного поиска области лица в кадре и оценки ее размытости на основе статистического анализа коэффициентов яркости пикселей позволила определить 94 % неискаженных кадров, полученных в ходе автоматической регистрации участников совещания в интеллектуальном зале. Практическая значимость: предложенные решения направлены на ускорение процессов автоматического распознавания образов на цифровых изображениях и могут быть успешно применены в широком спектре приложений компьютерного зрения.

Ключевые слова — цифровая обработка изображений, оценка качества изображений, размытость изображения, сегментация и распознавание лиц.

Введение

В настоящее время системы автоматического мониторинга применяются в широком спектре областей и сфер деятельности человека. Постоянный рост объемов записываемых аудиовизуальных и других типов данных требует разработки технологий их автоматизированной обработки с минимальным участием человека [1-3]. Существенная доля записываемых данных приходится на источники визуальной информации: фото- и видеосъемка; изображения, полученные от электронных микроскопов, телескопов, и т. д.

Задачей данного исследования является разработка методов, алгоритмов и программных средств аудиовизуального мониторинга, обеспечивающих сокращение времени и затрат на поддержку проведения мероприятий в зале совещаний за счет автоматизации процессов управления мультимедийным, аудио- и видеозаписы-вающим оборудованием. Одной из целей аудиовизуального мониторинга является определение временных моментов (событий) изменения состояния (положения в пространстве и поведения) участников мероприятий, к которым относится появление нового участника в зале, выступления докладчиков и реплики сидящих в зале слушателей. Другой целью аудиовизуального мониторинга является автоматическая запись и анализ аудиовизуальных данных, отражающих происходящие в зале события, для определения текущей ситуации в интеллектуальном зале. Далее рас-

смотрим основные аспекты, касающиеся видеомониторинга участников в зале совещаний, и способы оценивания качества изображений, захватываемых видеокамерами в ходе мероприятий.

Процесс автоматической обработки изображений обычно состоит, во-первых, из предварительной обработки кадра, включая удаление кадров неудовлетворительного качества, нормализацию по освещенности, очистку от цифровых шумов и др., и, во-вторых, из извлечения характеристик изображения, сегментации и распознавания образов, представляющих интерес в данной прикладной области. Часто возникает необходимость из некоторого множества изображений отобрать кадры, наиболее качественные и соответствующие требованиям конкретной технической задачи. Для эксперта-оператора подобная работа не составит труда, однако если объем данных велик, то, прежде всего, на стадии первичной обработки целесообразно автоматизировать процесс оценки качества изображений и фильтрации кадров, не имеющих достоверных данных.

В работе [4] проанализированы методы повышения контрастности изображений, увеличивающие визуальную различимость фрагментов за счет преобразования шкалы яркости и адаптивных способов настройки параметров, и их применение в системах цифровой обработки видеоинформации.

В серии работ [5, 6] предлагаются методы получения априорной оценки размытости изображения. В случае гауссова и равномерного размы-

тия исходного монохроматического полутонового изображения описанный в работе метод позволяет дать оценку размера окна размытия.

В работе [7] рассматриваются три вида представления изображений: контурный, градиентный и фактурный, — которые являются семантически значимыми для восприятия зрительной системой человека. Также обсуждаются типы дефектов изображений, например, размытие световых и цветовых границ; наличие посторонних узоров в виде муарового рисунка, обусловленного шумом пространственной дискретизации; наличие ложных контуров, обусловленных недостаточным количеством уровней квантования, и др. Описанный в работе метод реставрации изображений основан на увеличении резкости на границах и участках градиентного изменения интенсивности и фильтрации шумов на градиентных областях.

Алгоритмы оценки качества изображений востребованы практически во всех областях применения технологий компьютерного зрения, например, таких систем, как фото- и видеонаблюдения и регистрации, управления процессами (промышленные роботы, автономные транспортные средства), моделирования объектов и окружающей среды, человеко-машинного взаимодействия, контроля качества и т. д. [4, 8, 9].

Человек воспринимает любое изображение комплексно, однако судить о его качестве может, исходя из следующих основных параметров: яркости, контрастности, преобладающего тона, резкости и зашумленности. В случае машинной обработки изображений эти параметры могут быть оценены как по отдельности, так и комплексно.

В тех случаях, когда на вход поступает массив однотипных изображений, например при фоторегистрации, не все показатели качества могут варьироваться. При съемках фиксированной камерой неких подвижных объектов яркость, контрастность, зашумленность могут изменяться незначительно, в то время как на первый план выходит оценка резкости изображения. Изменение резкости может быть результатом погрешностей как аппаратных средств записи и трансляции, так и программного обеспечения цифровой обработки изображений. Резкость изображения может быть увеличена за счет фокусировки объектива камеры на объект и применения дополнительных методов цифровой обработки исходного изображения. Высококачественная видеоаппаратура должна без искажений передавать яркост-ный переход максимального контраста.

Размытость на изображении получается в результате диффузного смешения двух контрастных цветов. Человек воспринимает и оценивает резкость по наличию контура контрастного яр-костного или тонового перехода между смежны-

ми областями на изображении. Если во время съемки либо камера была неверно сфокусирована, либо снимаемый объект находился в движении, то полученное изображение будет частично или полностью размытым. В следующем разделе рассмотрим более подробно проблему размытости изображений и методы, позволяющие определить снижение качества, возникшее вследствие нечеткости изображений.

Классификация методов оценки размытости изображения

Основными причинами искажений, приводящих к ухудшению резкости, являются ограниченная разрешающая способность формирующей системы, расфокусировка, наличие искажающей среды (например, атмосферы), движение камеры по отношению к регистрируемому объекту и т. д. [2]. Математическая модель формирования изображения имеет вид

у) = ъ(х, у) + п(х, у),

где z(x, у) — выход линейной системы формирования изображения; п(х, у) — двумерный аддитивный шум. Изображение z(x, у), полученное путем линейного искажения исходного изображения при отсутствии шума, определяется интегралом свертки:

г(х, у) = Ь(х, у) * и(х, у) = = Ь(х — и, у — у)и(и, у)с1и^,

м

где * — символ двумерной свертки; ^х, у) — двумерная импульсная характеристика (или функция рассеяния точки) линейной искажающей системы. Таким образом, значение функции яркости ^и, V) исходного изображения в точке с координатами (и, V) «размазывается» в соответствии с видом функции рассеяния точки ^х, у) и искажается аддитивным шумом.

Резкость изображения характеризуется воспроизведением мелких деталей и определяется разрешающей способностью формирующей системы. При расфокусировке точка воспроизводится в виде некоторого пятна (кружка размытия), и две близко расположенные точки на исходном изображении сливаются в одну на наблюдаемом. Величина кружка размытия зависит от фокусного расстояния объектива, а также от расстояний от объектива до объекта и до плоскости формируемого изображения. Дискретное изображение будет четким (сфокусированным), если диаметр кружка размытия не превышает шага дискретизации наблюдаемого изображения. В противном случае линейные искажения становятся заметными [2].

Таким образом, о размытости изображения можно судить, оценивая его фокус. Кроме того, комплексная оценка качества также позволяет выявить размытые изображения. Для оценки размытости целесообразно конвертировать цветные изображения в ахроматические и исследовать прямоугольную матрицу значений яркости пикселей изображения. Размер такой матрицы может совпадать с размерами изображения в пикселях либо соответствовать размерам выделенной области изображения.

Методы оценки фокуса изображения можно разделить на следующие категории [10].

1. На основе оценки градиента (GRA), где градиент или первая производная изображения служит показателем более резких яркостных переходов на границах объектов, присутствующих на изображении.

2. На основе оценки лапласиана (LAP), где лапласиан или вторая производная изображения могут служить для определения количества резких границ на изображении.

3. На базе вейвлет-преобразований (WAV), где изменение коэффициентов дискретного вей-влет-преобразования используется для описания частотной и пространственной областей изображения.

4. Основанные на изучении статистических характеристик изображения (STA), оценивающие размытость как отклонение от нормального распределения, которому, как правило, следуют неискаженные изображения.

5. На основе дискретных косинусных преобразований (DCT), где, подобно вейвлет-преоб-разованиям, коэффициенты дискретного косинусного преобразования служат оценкой фокуса изображения в частотной области.

6. Комплексной оценки (MIS).

Перечисленные типы методов отличаются

сложностью и временем обработки изображений, поэтому в зависимости от предметной области и выделенных вычислительных и временных ресурсов выбирается оптимальный метод обработки изображений.

Методы оценки размытости изображения

Рассмотрим четыре метода из некоторых перечисленных выше категорий, показавшие наилучшие экспериментальные результаты при оценке размытости изображений и обеспечивающие их обработку в режиме реального времени.

Метод Tenengrad [11, 12] относится к категории GRA, в которой оценивается градиент изображения. Дадим ему обозначение GRA1. Данный метод основан на оценке среднего квадрата градиента яркости пикселей монохромного изображения, которая производится при помощи опе-

ратора Собеля, вычисляющего приближенный вектор градиента яркости в каждой точке [1]. Приближенные значения производных в каждой точке вычисляются путем свертки двух масок вращения — ортогональных матриц размерностью 3x3 — с первоначальным изображением по горизонтали и по вертикали:

Gx(x у) =

Gy(x y) =

+ 1 0 -1 +2 0 -2 + 1 0 -1

* A(x, y);

+1 +2 +1 0 0 0 -1 -2 -1

* A(x, y),

где А(х, у) — исходное изображение; Gx(x, у), Gy(x, у) — маски на основе оператора Собеля; * — двухмерная операция свертки. Приближенное значение средней величины квадрата гради-

ента G,

TENG

по обрабатываемому изображению

вычисляется по формуле

TTENG

=E(Gx(x' y)2

y)2

Увеличение среднего значения квадрата градиента означает наличие резких переходов яркости на изображении и, следовательно, более высокую четкость границ.

Среди преимуществ данного метода следует отметить относительно небольшой объем вычислений и высокую скорость обработки. Лучше всего метод работает на небольшой области изображения, где есть контрастные переходы.

Теперь рассмотрим метод оценки размытости изображения [13], основанный на измерении локального контраста яркости и относящийся к категории MIS, поэтому обозначим его MIS1. Данное измерение проводится путем вычисления отношения интенсивности каждого пикселя монохромного изображения и среднего уровня серого в окрестностях данного пикселя:

R(x, y) =

y) ,I(x' y)< ^(x y)

I(x, y)

I(x'y) ,I(x, y)' '

y) > y)

где I(x, y) — исследуемый пиксель; y) — среднее значение яркости в его окрестности.

Размер окрестности ц(х, y) пикселей с центром в точке (x, y) определяется эвристическим путем. Коэффициент размытости равен сумме значений R(x, y) по всему изображению либо по исследуемой области изображения.

Далее рассмотрим другой метод из категории MIS — метод измерения размытости по кривизне

[13, 14], обозначим его М1Я2. Матрица значений яркости пикселей монохромного изображения представляется как трехмерная поверхность второго порядка, координатами каждой точки которой являются две координаты каждого пикселя и значение его яркости. Кривизна данной поверхности соответствует переходам яркости между пикселями и аппроксимируется следующей функцией:

/ (х, у)= ах + Ьу + ох2 + йу2.

Чем выше значение кривизны трехмерной поверхности, тем более сфокусированным будет исследуемое изображение. Коэффициенты а, Ь, с, й приближенно вычисляются по методу наименьших квадратов путем свертки исходного изображения с матрицами M1, M2:

1 -1 0 1' 1 1 0 1'

Ml = 1 -1 0 1 ; м2 1 1 0 1

1 6 = 5

-1 0 1 1 0 1

а = Мх * I; Ь = М{ * I;

о = 3м2* I—М2* I; й = |м2* I —М2* I,

где М{, М^ — транспонированные матрицы M1, M2; I — исходное изображение.

Оценкой размытости изображения при этом является сумма абсолютных величин значений коэффициентов

GC = a

■\d\■

Метод не подходит для однородных изображений с плавными переходами яркости (таких, например, как безоблачное небо), поскольку в данном случае кривизна трехмерной поверхности изменяется незначительно и не может служить адекватным показателем размытости.

Последним рассмотрим метод NIQE (No-Reference Image Quality Assessment) [15], относящийся к категории STA, обозначим его STA1. Метод NIQE основывается на статистическом исследовании натуральных изображений. Под натуральными понимаются изображения, полученные при помощи фотосъемки, захвата кадра из видеоряда и т. д., т. е. изображения, не сгенерированные искусственно и не искаженные искусственными шумами. В натуральных монохромных изображениях матрица нормализованных коэффициентов яркости пикселей будет стремиться к нормальному распределению. Любое зашумление, в том числе размытость, приведет к отклонению от нормального распределения. Идея метода состоит в сравнении двух многомерных гауссовых моделей признаков: вычисленной для исследуемого изображения и по-

строенной на основе заранее подготовленного набора изображений.

Для вычисления признаков, необходимых для построения модели, выполняется нормализация коэффициентов яркости пикселей изображения посредством вычитания локального среднего из исходной матрицы коэффициентов яркости монохромного изображения с последующим делением на среднеквадратическое отклонение:

_Ци ])—ц(г, ])

i(t, j)= -

a(t, j) + 1

где I е {1, 2, ..., М], ] е {1, 2, ..., Ы — пространственные индексы, М, N — размеры изображения; ]) — математическое ожидание; ст@, ]) — дисперсия:

к ь

А1,})= Е Е ^¡Ц-+Ъ 1 +1);

к=—К1=—Ь

a(t,

JK L

Е Е wk,i

k=-Kl=-L

lit

2

k, j +1) - | j))

где w = 1= -К...К, I = -Ь...Ц — двумерная кругообразно-симметрическая весовая функция Гаусса.

Такая нормализация позволяет существенно снизить зависимость между коэффициентами яркости соседних пикселей, приводя их к форме, удобной для построения многомерной гауссовой модели. Поскольку четкость всего изображения зачастую ограничивается глубиной резкости снимающей аппаратуры, целесообразно разбить исследуемое изображение на участки размером РхР пикселей, затем, оценив локальную резкость каждого участка, выбрать для дальнейшего анализа наиболее резкие участки. Локальная резкость может быть вычислена посредством дисперсии ст@, у):

8(ь)=ЕЕст( 1).

(ч)

Порог резкости, относительно которого оценивается локальная резкость участка, определяется экспертным путем. Выбранные участки, прошедшие порог, описываются обобщенным нормальным распределением с нулевым средним:

f (x; a, р) = -

2рГ

exp

где Г() — гамма-функция:

да

Г(а) = ^а-1е-Сг, а > 0. 0

Параметры а, р могут быть оценены с применением метода моментов, описанного в работе [16].

Отклонение модели изображения от обобщенного нормального распределения может быть выявлено посредством анализа произведений пар соседних коэффициентов нормализованной яркости пикселей: Щ, у)1(1, ] + 1), Щ, у)1(£ + 1, ]), Щ, Щ1 + 1, ] + 1), Щ, ;)Щ + 1, ] - 1), где I е {1, 2, ..., М}, Я е {1, 2, ..., — по четырем направлениям: горизонтали, вертикали, главной и побочной диагоналям. Эти параметры следуют асимметричному обобщенному нормальному распределению:

f у, Р;, рг ) =

У

( + Рг )Г

У

( + Рг )Г

ехр

ехр

—х У

Р;

х У'

Рг

, "х < 0

"х > 0

Параметр у контролирует форму кривой распределения; Рг, Рг — параметры, контролирующие разброс слева и справа соответственно. Коэффициенты у, Рг, Рг могут быть эффективно оценены с использованием метода моментов. Среднее значение распределения также является одним из признаков, которые учитываются при построении модели:

е 2)

Г

Л = (Рг - Р;)

В результате вышеизложенных вычислений имеем некий набор признаков, который сравнивается с многомерной гауссовой моделью, построенной на основе набора различных изображений известного качества:

х

хк ) =

к 1 (2я)2 |Е|2

ехр

—1 (х — у)Т Е-2

где (х1, ..., хй) — набор вычисленных признаков; V и Е — среднее и ковариация матрицы многомерной гауссовой модели, вычисленные методом наибольшего правдоподобия.

Коэффициент качества изображения рассчитывается по следующей формуле:

^2, Е2 ) =

(VI — У2 )Т

Е + Е2

(VI—У2)

где у1, у2 — векторы средних шаблонной многомерной гауссовой модели и модели, построенной для тестируемого изображения, соответственно; Е1, Е2 — матрицы ковариации этих моделей. Коэффициент Б указывает на расхождения между моделями; соответственно, чем меньше его значение, тем ближе распределение исследуемого изображения к нормальному, в противном случае на изображении присутствует зашумление, которое, в том числе, может являться размытием.

Способы выбора интересующих областей анализа на изображении

Выбор области, по которой будет проводиться оценка размытости изображения, зависит от конкретной практической задачи, в рамках которой проводится исследование. Такой областью может служить как все изображение, так и очертания объекта на нем либо области, в которой данный объект расположен. Например, при исследовании фотографий, на которых присутствуют несколько человек, целесообразно выбрать для анализа только те области, где вероятнее всего находятся их фигуры. На портретных фотографиях областью оценки качества будет являться лицо человека либо лица, если их несколько. При фоторегистрации транспортных средств во время дорожного движения основной интерес представляет регистрационный номер. Выделение конкретной области оценки качества позволяет увеличить робастность методов оценки качества (так как анализу не подвергаются области, вносящие искажения, но не влияющие на область интереса), а также существенно повысить скорость обработки изображения за счет уменьшения обрабатываемого объема данных.

В нашем случае при решении задачи автоматической регистрации участников совещания в интеллектуальном зале наиболее важными на изображении областями являются те, которые содержат лицо человека [17]. Примеры сегментации интересующих областей на изображении представлены в табл. 1.

Выбранные три типа областей на изображении использовались для сравнения производительности четырех описанных выше методов, для этого применялась процедура предварительной сегментации заданной части кадра, на которой уже производился расчет размытости пикселей.

Результаты экспериментов

В проведенных экспериментах анализировалась база данных фотографий участников мероприятий, проходивших в интеллектуальном зале СПИИРАН. Изображения были записаны с использованием программно-аппаратного ком-

Г

■ Таблица 1. Примеры выделения областей кадра в задаче автоматической регистрации участников совещания в интеллектуальном зале

Тип выделенной области

Описание выделенной области

Пример сегментации анализируемой области кадра

Все изображение

Анализируется изображение целиком без предварительного поиска лица

«

Область лица

Анализируется предварительно найденная область с лицом, размер которой не менее 200x200 пикселей

сЛ

Область лица размером 200x200 пикселей

Анализируется предварительно найденная область с лицом, ограниченная размером 200x200 пикселей

■ Таблица 2. Характеристики камер, используемых при записи изображений

Параметр AXIS 212 AXIS 215 AXIS 207

Стандарт сжатия Motion JPEG, MPEG-4 Motion JPEG, MPEG-4 Motion JPEG, MPEG-4

Тип Цветная Цветная Цветная

Максимальное разрешение (точек на дюйм) 640x480 704x576 1280x1024

Тип объектива Fujinon, F1.8, 2,7 мм 12-кратное увеличение, автофокус, F1.6 — F2.7, f = 3,8 — 46 мм F1.8, f = 3,6 мм, фиксированная диафрагма

Тип матрицы 3.1 Megapixel 1/2" CMOS с прогрессивным сканированием 1/4" Sony interlaced CCD 1/3" Micron RGB 1.3 мегапикселя CMOS с прогрессивным сканированием

■ Таблица 3. Результаты экспериментов

Метод Точность, % Время обработки, мс

Все изображение Область лица Область лица размером 200x200 пикселей Все изображение Область лица Область лица размером 200x200 пикселей

GRA1 4 22 26 13,81 5,23 4,81

MIS1 0 0 30 12,80 5,81 4,86

MIS2 2 34 30 10,42 7,70 7,30

STA1 10 54 94 31,65 38,08 35,08

плекса аудиовизуального мониторинга и дополнительно не обрабатывались [18]. Применение математического и программного обеспечения обработки аудиовизуальных данных в ходе мониторинга мероприятий в зале позволяет опре-

делить текущие положения участников, время их выступлений, этапы мероприятий и автоматизировать персонифицированную запись (протоколирование) мультимедийных данных. При видеомониторинге участников в зале совещаний

использовались камеры трех различных моделей (AXIS 212, 215, 207), параметры которых приведены в табл. 2.

В качестве областей интереса рассматривались все изображение, обнаруженное лицо на изображении, область лица размером 200x200 пикселей. Аннотированная база данных, использованная для экспериментов, состояла из 50 резких и 50 размытых фотографий. Деление фотографий было произведено экспертным путем. Размытые фотографии использовались для расчета порогового значения оценки размытости по каждому методу. Затем при тестировании на вход каждому методу подавался набор резких фотографий и определялся процент фотографий, оценка размытости которых превышала установленный порог. Результаты эксперимента представлены в табл. 3.

Наилучшие результаты большинство методов показывает на небольшом сегменте, выделенном на найденной области лица. Естественно, что скорость обработки повышается с уменьшением области анализа. Кроме того, точность метода, как правило, также возрастает при уменьшении анализируемой области. Так, например, метод оценки по локальному контрасту не работает на больших областях, однако показывает приемлемый результат на области 200x200 пикселей. Наиболее точным из вышеописанных является метод STA1, однако он же является и самым длительным по времени обработки.

1. Гонсалес Р., Вудс Р. Цифровая обработка изображений. — М.: Техносфера, 2005. — 1070 с.

2. Грузман И. С. и др. Цифровая обработка изображений в информационных системах/ НГТУ. — Новосибирск, 2002. — 352 с.

3. Ронжин А. Л., Карпов А. А., Кагиров И. А. Особенности дистанционной записи и обработки речи в автоматах самообслуживания // Информационно-управляющие системы. 2009. № 5(42). С. 32-38.

4. Сергеев М. Б., Соловьев Н. В., Стадник А. И. Методы повышения контрастности растровых изображений для систем цифровой обработки видеоинформации // Информационно-управляющие системы. 2007. № 1(26). С. 2-7.

5. Кольцов П. П. Метод определения размытости контуров на цифровых изображениях // Программные продукты и системы. 2010. № 2. С. 38-41.

6. Кольцов П. П. Оценка размытия изображения // Компьютерная оптика. 2011. Т. 35. № 1. С. 95-102.

7. Красильников Н. Н. Принципы обработки изображений, основанные на учете их семантической

Заключение

Оценка размытости изображений является необходимым этапом обработки в системах, работающих с большими входными массивами визуальной информации. Предварительная оценка позволяет исключить из области дальнейшего анализа изображения низкого качества, не несущие полезную информацию, экономя тем самым загруженность автоматических систем компьютерного зрения. Возникающая из-за плохих условий съемки размытость происходит вследствие неверной фокусировки снимающего оборудования либо непредвиденного движения объекта съемки. Она может быть оценена различными методами, среди которых можно выделить исследование градиента яркости пикселей изображения, отношение значений яркости пикселей на некоторой области, статистический анализ коэффициентов яркости пикселей.

Рассмотренные в статье методы позволяют оценить количественно величину размытости, являющуюся одним из критериев качества изображений, они удобны в моделировании и применении в различных алгоритмах обработки визуальной информации. Предварительное выделение области лица на изображении и оценка ее размытости были успешно применены для отбора искаженных кадров в задаче автоматической регистрации участников совещания в интеллектуальном зале.

Работа выполнена при частичной финансовой поддержке РФФИ (проект № 13-08-0741-а).

структуры // Информационно-управляющие системы. 2008. № 1(32). С. 2-6.

8. Мещеряков Р. В. Система оценки качества передаваемой речи // Докл. Томского государственного университета систем управления и радиоэлектроники. 2010. № 2-1. С. 324-329.

9. Ронжин А. Л., Будков В. Ю. Технологии поддержки гибридных е-совещаний на основе методов аудиовизуальной обработки // Вестник компьютерных и информационных технологий. 2011. № 4. С. 31-35.

10. Pertuz S., Puig D., Garcia M. A. Analysis of Focus Measure Operators for Shape-from-focus // Pattern Recognition. May 2013. Vol. 46. N 5. P. 1415-1432.

11. Lorenzo-Navarro J., Deniz O., Santana M. C., Guerra C. Comparison of Focus Measures in Face Detection Environments // Proc. the Fourth Intern. Conf. on Informatics in Control, Automation and Robotics, Robotics and Automation 2, Angers, France, May 9-12, 2007. INSTICC Press, 2007. P. 418-423.

12. Krotkov E. Focusing // Intern. J. of Computer Vision. 1987. Vol. 1. N 3. P. 223-237.

13. Helmli F., Scherer S. Adaptive Shape from Focus with an Error Estimation in Light Microscopy//Proc.

Intern. Symp. on Image and Signal Processing and Analysis, 2001. P. 188-193.

14. Mendapara P. Depth Map Estimation Using Multi-focus Imaging // Electronic Theses and Dissertations. 2010. — 131 p. http://scholar.uwindsor.ca/cgi/ viewcontent.cgi?article=1130&context=etd (дата обращения: 29.02.2014).

15. Mittal А., Soundarajan R., Bovik A. C. Making a 'Completely Blind' Image Quality Analyzer // IEEE Signal Processing Letters. Mar. 2013. Vol. 20. N 3. P. 209-212.

16. Sharifi K., Leon-Garcia A. Estimation of Shape Parameter for Generalized Gaussian Distributions in

Subband Decompositions of Video // IEEE Transactions on Circuits and Systems for Video Technology. 1995. Vol. 5. N 1. P. 52-56.

17. Ронжин Ан. Л., Будков В. Ю., Ронжин Ал. Л. Технологии формирования аудиовизуального интерфейса системы телеконференций // Автоматизация и современные технологии. 2011. № 5. С.20-26.

18. Ронжин Ал. Л., Ронжин Ан. Л. Система аудиовизуального мониторинга участников совещания в интеллектуальном зале // Докл. ТУСУР. 2011. № 1(22). С. 153-157.

UDC 004.932.2

Application of Digital Images Blur Estimation Methods for Audiovisual Monitoring

Vatamaniuk I. V.a, Student, [email protected]

Ronzhin A. L.a, b, Dr. Sc., Tech., Professor, [email protected]

aSaint-Petersburg State University of Aerospace Instrumentation, 67, B. Morskaia St., 190000, Saint-Petersburg, Russian Federation

bSaint-Petersburg Institute for Informatics and Automation of RAS, 39, 14 Line, V. O., 199178, Saint-Petersburg, Russian Federation

Purpose: Studying and developing mathematical and software tools to estimate blur and other quality metrics of digital images. Results: The paper presents classification and analysis of modern blur estimation methods used for image processing in real-time systems. In the experiment, for higher processing speed and more reliable evaluation of an image fragment quality, a number of segmentation modes were applied: the entire image, a face extracted from the image and a 200x200 pixel area on the face. The proposed technique for extracting the face area from an image and estimating its blur on basis of statistic analysis of pixel brightness coefficients successfully recognized 94% of non-distorted images obtained by automatic registration of conference participants in an intelligent meeting room. Practical relevance: The proposed solutions serve to speed up the processes of automatic recognition of digital images and can be efficiently used in a wide range of computer vision applications.

Keywords — Digital Image Processing, Image Quality Estimation, Image Blur, Face Segmentation and Recognition.

References

1. Gonzalez R., Woods R. Digital Image Processing. Second Ed. Prentice-Hall, 2002. 793 p.

2. Gruzman I. S., Kirichuk V. S., Kosykh V. P., Peretiagin G. I., Spektor A. A. Tsifrovaia obrabotka izobrazhenii v informatsi-onnykh sistemakh [Digital Image Processing in Information Systems]. Novosibirsk, NGTU Publ., 2002. 352 p. (In Russian).

3. Ronzhin A. L., Karpov A. A., Kagirov I. A. Peculiarities of Distant Recording and Processing of Speech in Self-services Automatons. Informatsionno-upravliaiushchie sistemy, 2009, no. 5(42), pp. 32-38 (In Russian).

4. Sergeev M. B., Solov'ev N. V., Stadnik A. I. Methods to Increase Raster Image Contrast for Systems of Digital Video Processing. Informatsionno-upravliaiushchie sistemy, 2007, no. 1(26), pp. 2-7 (In Russian).

5. Kol'tsov P. P. A Blur Detection Method for Digital Images' Edges. Programmnye produkty i sistemy, 2010, no. 2, pp. 38-41 (In Russian).

6. Kol'tsov P. P. Image Blur Estimation. Komp'iuternaia opti-ka, 2011, vol. 35, no. 1, pp. 95-102 (In Russian).

7. Krasil'nikov N. N. Principles of Image Processing Based on Taking into Account Their Semantic Structure. Informatsi-onno-upravliaiushchie sistemy, 2008, no. 1(32), pp. 2-6 (In Russian).

8. Meshcheriakov R. V. System of the Transmitted Speech Quality Estimation. Doklady Tomskogo gosudarstvennogo universiteta sistem upravleniia i radioelektroniki, 2010, no. 2-1, pp. 324-329 (In Russian).

9. Ronzhin A. L., Budkov V. Yu. Support Technologies of E-meetings Based on Methods for Audiovisual Processing. Vestnik komp'iuternykh i informatsionnykh tekhnologii, 2011, no. 4, pp. 31-35 (In Russian).

10. Pertuz S., Puig D., Garcia M. A. Analysis of Focus Measure Operators for Shape-from-focus. Pattern Recognition, May 2013, vol. 46, no. 5, pp. 1415-1432.

11. Lorenzo-Navarro J., Déniz O., Santana M. C., Guerra C. Comparison of Focus Measures in Face Detection Environments. Proc. the Fourth Intern. Conf. on Informatics in Control, Automation and Robotics, Robotics and Automation 2, Angers, France, May 9-12, 2007. INSTICC Press, 2007, pp. 418-423.

12. Krotkov E. Focusing. International Journal of Computer Vision, 1987, vol. 1, no. 3, pp. 223-237.

13. Helmli F., Scherer S. Adaptive Shape from Focus with an Error Estimation in Light Microscopy. Proc. International Symposium on Image and Signal Processing and Analysis, 2001, pp. 188-193.

14. Mendapara P. Depth Map Estimation Using Multi-focus Imaging. Electronic Theses and Dissertations, 2010. 131 p. Available at: http://scholar.uwindsor.ca/cgi/viewcontent. cgi?article=1130&context=etd (accessed 29 February 2014).

15. Mittal A., Soundarajan R., Bovik A. C. Making a Completely Blind> Image Quality Analyzer. IEEE Signal Processing Letters, March 2013, vol. 20, no. 3, pp. 209212.

16. Sharifi K., Leon-Garcia A. Estimation of Shape Parameter for Generalized Gaussian Distributions in Subband Decompositions of Video. IEEE Transactions on Circuits and Systems for Video Technology, 1995, vol. 5, no. 1, pp. 52-56.

17. Ronzhin An. L., Budkov V. Yu., Ronzhin Al. L. Technologies of Audiovisual Interface Development for Teleconference System. Avtomatizatsiia i sovremennye tekhnologii, 2011, no. 5, pp. 20-26 (In Russian).

18. Ronzhin Al. L., Ronzhin An. L. An Audiovisual System of Monitoring of Participants in the Intelligent Meeting Room. Doklady TUSUR, 2011, no. 1(22), pp. 153-157 (In Russian).