Обработка видеоряда спортивных игр с использованием фильтра Габора Текст научной статьи по специальности «Компьютерные и информационные науки»

КОМПЬЮТЕРНЫЕ НАУКИ А

УДК 004.093

ОБРАБОТКА ВИДЕОРЯДА СПОРТИВНЫХ ИГР С ИСПОЛЬЗОВАНИЕМ ФИЛЬТРА ГАБОРА

ДУБРОВИН В.И., ТВЕРДОХЛЕБ Ю.В.,

ПАНЧЕНКО Д.В.

Рассматриваются методы реализации автоматического постматчевого анализа, основанные на обработке видеоряда спортивной игры. Проводится анализ существующих методов распознавания объектов на игровом поле, а также методов фильтрации изображений. Разрабатывается эффективный метод обнаружения игроков на видеокадре.

1. Введение

На сегодняшний день статистическая аналитика в спорте играет важную роль. С помощью автоматического анализа можно существенно повысить эффективность тренировок, найти нужных команде игроков и повысить общий уровень игры.

Ключевую роль в автоматическом послематчевом анализе играет распознавание образов игроков и мяча на видеоизображении. Общий алгоритм распознавания включает следующие этапы [1]:

- фильтрация, в процессе которой происходит удаление помех и выделение наиболее значимых точек изображения;

- логическая обработка, включающая контурный анализ, морфологический анализ либо анализ по устойчивым признакам;

- обучение системы автоматического детектирования объектов в видеопотоке.

2. Анализ существующих методов распознавания объектов на игровом поле Обычно распознавание объектов на поле производится по цветовым признакам [2] либо по признакам формы [3].

Метод, предложенный в [4], основывается на слежении за всеми объектами на сцене и принимает за мяч объект, который отслеживается

продолжительнее всего. Этот метод даёт сбои, когда в кадр длительное время попадают линии поля.

Метод, предложенный в [5], позволяет обнаружить мяч по траектории и размеру.

В работе [6] описан метод, основанный на преобразовании Хафа, для идентификации расположения окружностей на изображении, который позволяет определять округлую форму мяча в кадре.

В работе [7] цветовые признаки, признаки формы и размера комбинируются для определения мяча в кадре.

В работе [8] предложен подход для разделения в кадре игроков и линий на поле на основании динамического фильтра Калмана.

В работе [9] предлагается метод обнаружения мяча и игроков, включающий 4 этапа. На первом этапе применяется алгоритм избавления от покрытия. Далее игроки и мяч выделяются с помощью оператора Собеля. Выделение линий поля производится на третьем этапе с использованием преобразования Хафа. На последнем этапе отсеиваются не удовлетворяющие различным критериям объекты. В результате

последовательного выполнения всех этапов метод (рис. 1) даёт точные визуальные контуры игроков, но отсутствует какая-либо логическая информация о распознанных объектах.

Рис. 1. Метод обнаружения мяча и игроков

В предлагаемой работе исходными данными являются изображения большого масштаба, на которых мяч достаточно маленького размера и не всегда имеет округлую форму, игроки и мяч часто могут накладываться с линиями на поле и друг с другом. Поэтому стоит задача разработки эффективного метода обнаружения игроков на поле с извлечением логической информации об их взаимном расположении. Предлагается метод, состоящий из трёх этапов. На первом этапе производится фильтрация исходного изображения. На втором - ненужные объекты отбрасываются с помощью различных порогов. Третий этап включает в себя оконтуривание полученных объектов на изображении и определение геометрических центров игроков.

Наиболее важным этапом обнаружения игроков на поле является фильтрация исходного изображения.

3. Методы фильтрации изображений 3.1. Бинаризация по порогу. Существуют задачи [1], в которых самый простой метод фильтрации - это бинаризация по порогу. Для формата RGB изображений и изображений в градациях серого порогом является значение цвета. На рис. 2 представлен пример автоматического выделения предметов на белом листе бумаги.

Выбор порога, по которому происходит бинаризация, во многом определяет процесс самой бинаризации. В данном случае, изображение было бинаризовано по среднему цвету. Обычно бинаризация осуществляется с помощью

алгоритма, который адаптивно выбирает порог. Таким алгоритмом может быть выбор математического ожидания или моды порогового значения.

Отметим, что данный метод неприменим к задаче выделения игроков на изображениях из-за невозможности в большинстве случаев выбрать эффективный порог бинаризации.

3.2. Двумерное преобразование Фурье. В задачах фильтрации изображений перспективно

применение быстрого преобразования Фурье (БПФ) [10], в частности, его двумерной формы:

G

uv

1 N-1M-1 -2nj

----Z Z xmne

NMn=1m=1 mn

mu --+

M

nu

N

где N, M - размерность изображения; u и v -пространственные частоты; j = V-I.

а

б

Рис. 2. Бинаризация изображения: а - изображение до фильтрации; б - результат бинаризации исходного изображения

Обратное двумерное преобразование Фурье имеет вид:

V

Лти

N-1M-1 2nj

Z Z Guue

u=1 u=1

mu --+

M

nu

N

На практике обычно используется свойство преобразования Фурье, согласно которому произведение образов функций в частотной области эквивалентно свертке этих функций во временной области. Для вычисления сверки необходимо преобразовать исходные данные в частотную область, т.е. вычислить преобразование Фурье, перемножить результаты преобразования и выполнить обратное преобразование Фурье, восстановив исходное представление. Такой способ занимает существенно меньше времени:

G(u, u) = H(u, u)F(u, u),

где G - Фурье-образ результата свертки; H - Фурье-образ фильтра, а F - Фурье-образ исходного изображения.

Следовательно, в частотной области двумерная свертка заменяется поэлементным перемножением образов исходного изображения и соответствующего фильтра.

3.3. Фильтры Гаусса. При обработке изображений широко испоьзуется семейство фильтров на основании вещественной функции Гаусса [11]. Двумерный низкочастотный фильтр Гаусса выглядит следующим образом:

D2(u,u)

2D2

H(u, u) = e 0 ,

а двумерный высокочастотный фильтр:

D2(u,u)

-2D2

H(u, u) = 1 - e 0 ,

где D(u, u)

u - —

2

M

+1 u-----

2

2

Применение низкочастотной фильтрация Гаусса для сглаживания зашумленного изображения показано на рис. 3, 4 [12].

Применение высокочастотной фильтрации Гаусса для выделения контуров на зашумленном изображении представлено на рис. 3, 5 [12].

Рис. 3. Исходное (слева) и слабо зашумленное изображение (справа)

Рис. 4. Результат низкочастотной фильтрации Гаусса

Рис. 5. Результат высокочастотной фильтрации Гаусса 3.4. Фильтры Габора. Фильтры Габора (рис. 6) принадлежат к семейству полосовых фильтров [10, 11]. Полосовые фильтры способны выявить диапазон частот сигнала в определенном промежутке и направлении, их широко используют для определения контуров на изображениях. Импульсная переходная характеристика фильтра Габора определяется в виде произведения гауссовой функции на гармоническую:

Gabor(x, y, X, 0, у, о, у) = exp

x/2 +у 2y/2 I 2о 2

' x/ '

2п— + у X

v у

где x/ = xcos0 + ysin0 ; y/ =-xsin0 + ycos0; X -длина волны множителя-косинусы; 0 - определяет ориентацию нормали параллельных полос функции Габора в градусах; у - сдвиг фаз в градусах; у -коэффициент сжатия, характеризующий

эллиптичность функции Габора.

cos

Рис. 6. Пример двумерного фильтра Габора 4. Применение фильтров Габора к задаче выделения контуров игроков на видеоизображении

Сравнение результатов применения описанных в предыдущем разделе методов к задаче фильтрации игроков (таблица) показало эффективность

фильтров Габора.

Сравнение методов фильтрации игроков для обработки видеоряда футбольного матча

Метод фильтрации Время обработки фильтром Эффективность, процент отфильтрованной полезной информации

Пороговая бинаризация 35 мс 20-40

Преобразование Фурье 300 мс 10-20

Фильтры Гаусса 400 мс 30-60

Фильтры Габора 900 мс 60-90

Обработка изображения фильтром Габора достигается путем усреднения значений

обрабатываемого изображения по некоторой области в каждой точке. Соответственно,

наложение фильтра Габора на изображение имеет вид:

/ 1 n n ( n n I

I/(x,y) = -2Z Zl| x-- + i,y--_j ]G(i,j).

n2 i=1j=1 v 2 2 J

На рис. 7 представлено наложение подобранного фильтра Габора на изображение футбольного матча. Подобранный фильтр Габора представлен на рис. 8 и определяется следующим выражением:

Gabor(x, y) = exp

( x/2 + 100y/2 ] 2 * 49

cosl2( + 90).

В результате фильтрации удалось точно выделить игроков определенной команды.

Далее к результатам фильтрации необходимо применять различные методы анализа изображений. На рис. 9 представлено

оконтуривание алгоритмом Фримена [1] изображения, отфильтрованного фильтром Габора, для выделения на исходном изображении расположения игроков (см. рис. 7).

Рис. 7. Исходное изображение футбольного матча

Рис. 8. Графическое изображения фильтра Габора

Рис. 9. Обнаружение игроков на исходном изображении

5. Выводы

Проанализированы существующие методы распознавания игроков и мяча на изображениях, а также наиболее распространенные методы фильтрации изображения (бинаризация по порогу, быстрое преобразование Фурье, фильтры Гаусса, фильтры Габора).

Продемонстрирована целесообразность

применения фильтров Габора для фильтрации изображений в целях выделения на них игроков определенной команды.

Научная новизна исследования состоит в разработке эффективного метода обнаружения игроков на поле с извлечением логической информации об их взаимном расположении. Сущность предлагаемого метода состоит в фильтрации исходного изображения, применении пороговой обработки, оконтуривании полученных объектов на изображении и определении геометрических центров игроков.

Практическая значимость. Применение фильтров Габора к задаче выделения контуров игроков на видеоизображении позволяет существенно повысить эффективность тренировок, найти нужных команде игроков и повысить общий уровень игры.

Литература: 1. Сообщество любителей робототехники Robocraft [Электронный ресурс]. Режим доступа к ресурсу: http://robocraft.ru. 2. Xiao-Feng Tong. An Effective and Fast Soccer Ball Detection and Tracking Method / Xiao-Feng Tong, Han-Qing Lu, Qing-Shan Liu // Proceedings of the Pattern Recognition, 17th International Conference, August 23-26 2004. Stockholm, 2004. Vol. 4. P. 795 - 798. 3. T. D'Orazio. A Ball Detection Algorithm for Real Soccer Image Sequences / T. D'Orazio, N. Ancona, G. Cicirelli, M. Nitti // Proceedings of the 16 the International Conference on Pattern Recognition, August 11-15. Stockholm, 2002. Vol. 1. P. 210 - 213. 4. Liang D. A scheme for ball detection and tracking in broadcast soccer video / D. Liang, Y. Liu, Q. Huang, W. Gao // Pacific-Rim Conf. Multimedia. - Nanjing, China, 2005. P. 864 - 875. 5. Yu X. Trajectory-based ball detection and tracking in broadcast soccer video / X. Yu, C. Xu, H. W. Leong // IEEE Transactions on Multimedia. 2006. Vol. 8, №6. P. 1164 - 1178. 6. T. D'Orazio. A new algorithm for ball recognition using circle Hough transform and neural classifier / T. D'Orazio, C. Guaragnella // Pattern Recognition, Elsevier. 2004. Vol. 37, № 3. P. 393 - 408. 7. X. F. Tong. An effective and fast soccer ball detection and tracking method / X. F. Tong, H.-Q. Lu // International Conference on Pattern Recognition. Stockholm 2004. Vol. 4. P. 795-798. 8. Jong-Yun Kim. Soccer Ball Tracking using Dynamic Kalman Filter with Velocity Control / Jong-Yun Kim, Tae-Yong Kim // Sixth International Conference on Computer Graphics, Imaging and Visualization, 11-14 Aug. Tianjin, China, 2009. P. 367 - 374. 9. Naushad M. M. Ali. An Efficient Algorithm for Detection of Soccer Ball and Players [Электронный ресурс] / M. M. Naushad Ali, M. Abdullah-Al-Wadud - Department of Industrial and Management Engineering Hankuk University of Foreign Studies, 2012. http://www.scribd.com/doc/229768789/Detecting-Soccer-Ball-and-Players. 10. Wiki - техническое зрение. Technical Vision [Электронный ресурс]. 2014. Режим доступа к ресурсу: http://wiki.technicalvision.ru. 11. Кермани А. Коланкех. Нахождение параметров и удаление постоянной

составляющей фильтрами Габора для обработки изображений / А. Кермани Коланкех, В.Г. Спицын, Ф. Хамкер // Известия Томского политехнического

университета. Томск. 2011. Т. 318, №5. С. 57 - 59. 12. Dayan P. Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems / P. Dayan, L.F. Abbor Cambridge: MIT Press, 2001. 576 с.

Поступила в редколлегию 14.02.2014 Рецензент: д-р техн. наук, проф. Кириченко Л.О. Дубровин Валерий Иванович, канд. техн. наук,

профессор, зав. кафедрой программных средств

Запорожского национального технического университета (ЗНТУ). Адрес: Украина, 69063, Запорожье, ул.

Жуковского, 64, e-mail: vdubrovin@gmail.com Твердохлеб Юлия Владимировна, аспирантка кафедры программных средств ЗНТУ. Адрес: Украина, 69063,

Запорожье, ул. Жуковского, 64, e-mail:

iulia.tverdohleb@gmail.com

Панченко Дмитрий Викторович, аспирант кафедры программных средств ЗНТУ. Адрес: Украина, 69063,

Запорожье, ул. Жуковского, 64, e-mail:

panchenko.dm@gmail.com