CC BY
49УДК 004.921
Применение метода Лукаса — Канаде для вычисления оптического потока
© И.О. Сакович, Ю.С. Белов КФ МГТУ им. Н.Э. Баумана, Калуга, 248000, Россия
Статья посвящена проблеме обнаружения движущихся объектов на видеопоследовательности. Дано определение понятию оптического потока. Рассмотрен наиболее эффективный метод для вычисления оптического потока — метод Лукаса — Канаде. Предложен обзор улучшенных вариантов метода. Описаны основные применения оптического потока.
Ключевые слова: оптический поток, обнаружение объектов в движении, метод Лукаса — Канаде, компьютерное зрение.
Самое интересное и важное на видеопоследовательностях — действия людей. С развитием информационных технологий возникла задача автоматически определять, какие события происходят на видео в режиме реального времени. Это одна из главных проблем, требующая эффективного решения в автоматизированных системах безопасности. В банках, коммерческих зданиях, общественных местах установлено много камер видеонаблюдения. Следовательно, необходимо, чтобы операторы тщательно следили за событиями и просматривали видеопоследовательности, что является достаточно сложной задачей.
Существует множество определений понятия «действие»: действие представляет собой физическое движение тела человека; действием является взаимодействие человека с окружением с определенной целью (но одни и те же действия имеют разный смысл в зависимости от окружения; схожие по внешним признакам действия и движения могут быть в разном контексте);
действием может быть взаимодействие нескольких людей на одной сцене с определенной целью (драка, кража, образование толпы в общественном месте и т. д.).
Объекты на видеопоследовательностях в целом стабильны, т. е. их внешность и структура не меняются от кадра к кадру. Следовательно, можно определить действие только по одному изображению (например, человек выходит из машины, пьет кофе и т. д.). Однако при этом возникают некоторые сложности:
невозможно определить действие только по одному кадру; необходимо распознавать серию объектов и их взаимоотношения. В случае с видеопоследовательностями появляется дополнительная важная информация — движение. Суть действий изначально в
динамике. Движущиеся объекты в неподвижной окружающей обстановке приводят к соответствующим изменениям на изображении.
В частности, движение на видео формализуется таким понятием, как оптический поток. Оптический поток является базовым инструментом для обработки и анализа видеопоследовательностей. Существует несколько определений оптического потока:
векторное поле явного движения объектов (пикселов), поверхностей и ребер в визуальной сцене между кадрами, вызванное относительным движением между наблюдателем (глазом, камерой) и сценой;
изображение видимого движения объектов, поверхностей или краев сцены, получаемое в результате перемещения наблюдателя относительно сцены [1].
Оптический поток содержит важную информацию о структуре сцены.
Для каждого пиксела одного кадра необходимо вычислить вектор смещения, смещение пиксела от текущего кадра к следующему. Эта задача похожа на плотное сопоставление: для каждого пиксела одного кадра найти ту же точку на другом кадре.
Можно определить область движения, приписав каждой точке изображения вектор скорости. В некоторый момент времени точка Р на изображении соответствует некоторой точке р). Эти две точки связаны между собой уравнениями проектирования. Точка р) перемещается относительно наблюдателя (камеры, глаза) со скоростью % Это перемещение порождает движение со скоростью соответствующей точки изображения Р. За время точка р) перемещается на расстояние , а точка изображения р — на расстояние V 5, [2].
Допустим, что имеются два изображения (рис. 1). Необходимо оценить движение пикселов от изображения Н в изображение I с помощью предположений.
Рис. 1. Абстрактные изображения (пикселы изображения Н слева соответствуют пикселам изображения I справа
Логично предположить, что цвет константный, т. е. цвет пиксела не будет сильно меняться от кадра к кадру, а также что скорость
движения пикселов от кадра к кадру будет небольшой. Можно принять, что смещение будет в пределах одного пиксела [3]. Разложим функцию изображения I в ряд Тейлора:
I(X + и, у + и) = I(X, у) + — и + — V,
дх ду
где и, V — смещение по х и у соответственно. Перенесем члены уравнения в одну часть:
Элементарное уравнение оптического потока выглядит следующим образом:
В уравнении два неизвестных и и V. Следовательно, необходимо ввести дополнительное предположение. Например, пусть оптический поток меняется плавно от кадра к кадру, т. е. для всех пикселов р из окрестности (х, у) оптического потока смещение (и, V) будет постоянным. Например, для окна 5х 5 будет получено 25 уравнений для каждого пиксела:
I, (р,)+vi (р, )и) = 0,
где I, = I (х, у) - Н (х, у).
В матричной форме получаем
Ай = Ь,
где А — матрица градиента для всех пикселов,
I (х + и, у + V) - Н (х, у) = 0; I(х, у) + ^и + IyV - Н (х, у) = 0;
[ I (х, у) - Н (х, у)] + ^и + IyV = 0;
Ц + ^и + IyV = 0;
i, +vi (ну) = 0. В пределе и и V стремятся к 0, т. е.
ц +vi (ну) = 0.
Г Iх (р 1) Ц (р 1) ^
А
Ь (р25) Ь ( р25)
й — вектор смещения,
й =
( и >
V у у
Ь — вектор изменения цвета для всех точек окрестности,
( Л(А) Л
Ь = -
1 I (Р25)
У
Уравнений становится больше, чем неизвестных. Решение будем искать с помощью метода наименьших квадратов и нормального уравнения:
..2
Ай = Ь ^ шт||Ай - Ь|| ; (АТА) й = АТЬ ^ й = ( АтА)_1 АТЬ.
Этот базовый метод для определения оптического потока был предложен Лукасом и Канаде в 1981 г.
Решение оптического потока й = (и, V) может быть найдено в виде
й = ( Ат А )_1 Ат Ь;
АТЬ = -Ат А.
Задача нахождения оптического потока может быть разрешима в следующих случаях:
матрица АтА обратима; матриц АтА не близка к 0; матрица АтА определима.
Матрица АтА разрешима при отсутствии апертурной проблемы [4].
Апертурная проблема представляет собой неоднозначность сдвига при ограниченном поле зрения для периодических изображений. Например, когда в поле зрения попадает фрагмент изображения, в котором присутствует некоторая цикличность. Вследствие шумов в таких неоднозначных ситуациях будет получен не нулевой детерминант, а слишком маленький, который приведет к большим значениям сдвига, что будет мало похоже на действительность.
Метод не эффективен в том случае, когда предположения неверны. Например, цвет не постоянен, существует движение между кад-
рами, происходит движение соседних пикселов относительно выбранного и т. д. [5].
Для решения этих проблем можно воспользоваться улучшенными вариантами метода Лукаса — Канаде.
Если не удается вычислить оптический поток за одну итерацию, то можно применять итеративный метод. Суть метода заключается в следующем: имеются одномерные функции У1( х) на первом кадре и У2(х) — на втором. Необходимо найти вектор смещения й. Функция _/1( х) преобразуется с помощью замены значения в точке х на смещенное значение.
Метод имеет следующие недостатки:
необходимо сглаживать изображение для более точного вычисления градиента;
градиенты следует вычислять по одному изображению, а преобразовывать другое, так как преобразование приводит к ошибкам в процессе дискретизации.
В иерархическом методе берут два изображения — исходное и следующее и строят пирамиду масштабов — гауссову пирамиду (рис. 2). Рассматривают изображение с самым низким разрешением. Максимальное движение на самом низком разрешении происходит в пределах одного пиксела. Далее с помощью итеративного варианта метода Лукаса — Канаде вычисляют оптический поток для изображения с самым низким разрешением. Полученное значение используют в изображениях с более высоким разрешением и т. д. [6].
Методы вычисления оптического потока в настоящее время становятся все популярнее, а области его применения с каждым годом расширяются (сжатие видеофайлов, создание видео со спецэффектами, компьютерное зрение и т. д).
Можно выделить основные применения оптического потока: определение направления движения объектов; плавная трансформация между кадрами, снятыми последовательно либо соседними камерами в киноиндустрии;
определение расстояния между объектами с помощью анализа оптического потока кадров, полученных с двух камер (стереозрение).
Исследования оптического потока ведутся в областях сжатия видеофайлов и анализа движений. Алгоритмы оптического потока не только определяют поле потока, но и используют поток при анализе
Рис. 2. Пример пирамиды Гаусса
трехмерной сущности и структуры сцены, а также трехмерного движения объектов и наблюдателя относительно сцены. Оптический поток применяют в робототехнике при распознавании объектов и слежении за ними, определении движения и при навигации робота, для изучения структуры объектов. Поскольку определение движения и создание карт структуры окружающей среды являются неотъемлемой частью животного (человеческого) зрения, то реализация этой врожденной способности средствами компьютера является неотъемлемой частью компьютерного зрения [7].
ЛИТЕРАТУРА
[1] Elgammal A., Harwood D., Davis L. Non-parametric model for background subtraction. 6th European Conference on Computer Vision-Part II, Dublin, 2000, vol. II. pp. 751-767.
[2] Li L., Huang W., Gu I. Y. H., Tian Q. Foreground object detection in changing background based on color co-occurrence statistics. Applications of Computer Vision, 2002, pp 269-274. doi: 10.1109/ACV.2002.1182193.
[3] Matsushita Y., Nishino K. Illumination normalization with time-dependent intrinsic images for video surveillance. IEEE Trans. Pattern Anal. Mach. Intell. 2004, pp. 1336-1348.
[4] Collins R.T., Lipton A. J., Fujiyoshi H., Kanade T. Algorithms for Cooperative Multi sensor Surveillance. Proc. of IEEE. 2001, vol. 89, pp. 1456-1477. doi: 10.1109/5.959341.
[5] Оптический поток [Электронный ресурс]. Свободная энциклопедия Wi-kipedia. URL: http://ru.wikipedia.org/wiki/Оптический_поток, свободный (дата обращения: 26.05.2014).
[6] Оптический поток [Электронный ресурс]. Многофункциональный сайт. URL: http://habrahabr.ru/post/201406 (дата обращения 26.05.2014).
[7] Вычисление оптического потока методом Лукаса — Канаде [Электронный ресурс]. Многофункциональный сайт. URL: http://habrahabr.ru/post/169055 (дата обращения 26.05.2014).
Статья поступила в редакцию 05.06.2014
Ссылку на эту статью просим оформлять следующим образом:
Сакович И.О., Белов Ю.С. Применение метода Лукаса — Канаде для вычисления оптического потока. Инженерный журнал: наука и инновации, 2014, вып. 7. URL: http://engjournal.ru/catalog/pribor/optica/1275.html
Сакович Илона Олеговна родилась в 1992 г. Студентка кафедры «Программное обеспечение ЭВМ, информационные технологии, прикладная математика» КФ МГТУ им. Н.Э. Баумана. Область научных интересов: информационные технологии, распознавание образов, интеллектуальный анализ данных, системы мультимедиа. e-mail: Ilona.sakovich@rambler.ru
Белов Юрий Сергеевич родился в 1982 г. Окончил КФ МГТУ им. Н.Э. Баумана в 2006 г. Канд. физ.-мат. наук, доцент кафедры «Программное обеспечение ЭВМ, информационные технологии, прикладная математика» КФ МГТУ им. Н.Э. Баумана. Область научных интересов: информационные технологии, компьютерное моделирование, интеллектуальный анализ данных. e-mail: ybs82@mail.ru
Application of Lucas — Kanade method for computing
the optical flow
© I.O. Sakovich, Yu.S. Belov Kaluga Branch of Bauman Moscow State Technical University, Kaluga, 248000, Russia
The article is devoted to the detection of moving objects on the video sequence. We provide for the definition of the term "optical flow " and give a detailed analysis of Lucas-Kanade method as the most effective one for computing the optical flow. We give an overview of the improved options of this method. The article describes the main applications of the optical flow.
Keywords: optical flow, moving object detection, Lucas-Kanade method, computer vision.
REFERENCES
[1] Elgammal A., Harwood D., Davis L. Non-parametric model for background subtraction. 6th European Conference on Computer Vision. Part II. Dublin, 2000, vol. II, pp. 751-767.
[2] Li L., Huang W., Gu I. Y. H., Tian Q. Foreground object detection in changing background based on color co-occurrence statistics. Applications of Computer Vision, 2002, pp. 269-274. doi: 10.1109/ACV.2002.1182193.
[3] Matsushita Y., Nishino K. Illumination normalization with time-dependent intrinsic images for video surveillance. IEEE Trans. Pattern Anal. Mach. Intell. 2004, pp. 1336-1348.
[4] Collins R.T., Lipton A. J., Fujiyoshi H., Kanade T. Algorithms for Cooperative Multi Sensor Surveillance. Proc. of IEEE, vol. 89, no.10, 2001, pp. 1456-1477. doi: 10.1109/5.959341.
[5] Opticheskiy potok [Optical flow]. Wikipedia. Available at: http:// ru.wikipedia.org/wiki/Opticheskii_potok/ (accessed 26 May 2014).
[6] Opticheskii potok [Optical flow]. Multifunctional site. Available at: http://habrahabr.ru/post/201406 (accessed 26 May 2014).
[7] Vychislenie opticheskogo potoka metodom Lukasa-Kanade [Calculation of optical flow by Lucas-Kanade method]. Multifunctional site. Available at: http://habrahabr.ru/post/169055 (accessed 26 May 2014).
Sakovich J.O. (b. 1992) is a student of the Department of Computer Software, Information Technologies, Applied Mathematics at Kaluga branch of Bauman Moscow State Technical University. Research interests include information technologies, image recognition, intellectual data analysis, multimedia systems. e-mail: Ilona.sakovich@rambler.ru Belov Yu.S. (b. 1982) graduated from Kaluga branch of Bauman Moscow State Technical University in 2006. Ph.D., Assoc. Professor of the Department of Computer Software, Information Technologies, Applied Mathematics at Kaluga branch of Bauman Moscow State Technical University. Research interests include information technologies, computer simulation, intellectual data analysis. e-mail: ybs82@mail.ru
