CC BY
12
3. Данилов Н. А. О разработке онтологии предметной области «Юзабилити» / Н. А. Данилов, Т. Э. Шульга // Инжиниринг предприятий и управление знаниями: сборник научных трудов XIX научно-практической конференции. -Москва : ФГБОУ ВО "РЭУ им. Г. В. Плеханова", 2016. - С. 245-249.
4. RDF 1.1 XML Syntax [Электронный ресурс]/W3C Recommendation. - Режим доступа: http://www.w3.org/TR/rdf-syntax-grammar/ (дата обращения 25.09.2016)
5. FOAF Vocabulary Specification 0.99: http://xmlns.com/foaf/spec/[Электронный ресурс]. - Режим доступа: http://xmlns.com/foaf/spec/ (дата обращения 21.09.2016).
6. Мельникова Н. И. Научные социальные сетевые сервисы как средство дифференциации и интеграции научного сообщества / Н. И. Мельникова // Вестник Саратовского государственного технического университета. - Т. 1. - № 1. -2013. С. 255-260.
Список литературы на английском языке / References in English
1. Vagarina N. S. Razrabotka biblioteki dlja generacii semanticheskih dannyh [Development library to generate semantic data] // Nauka, tehnika i obrazovanie [Science, technology and education] / N. S. Vagarina, M. Ju. Apsalikov. - M., 2015. -№ 10 (16). - P. 31-35. [in Russian]
2. Romanov S. V. O vozmozhnostjah ispol'zovanija kommunikativnyh grammatik i LSPL-shablonov dlja avtomaticheskogo postroenija ontologij [On the possibilities of the use of communicative grammar and LSPL-templates for automatic construction of ontologies] / S. V. Romanov, A. A. Sytnik, T.Je. Shul'ga // Izvestija Samarskogo nauchnogo centra Rossijskoj akademii nauk [Bulletin of Samara Scientific Center of the Russian Academy of Sciences]. - V. 17. - №2(5). -2015. - P. 1104-1108. [in Russian]
3. Danilov N. A. O razrabotke ontologii predmetnoj oblasti «Juzabiliti» [On the development of the subject area "Usability" ontology] / N. A. Danilov, T. Je. Shul'ga // Inzhiniring predprijatij i upravlenie znanijami: sbornik nauchnyh trudov XIX nauchno-prakticheskoj konferencii [Engineering enterprises and knowledge management: Proceedings XIX scientific-practical conference]. - M. : FGBOU VO "RJeU im. G. V. Plehanova", 2016. - P. 245-249. [in Russian]
4. RDF 1.1 XML Syntax [Electronic resource]/W3C Recommendation. - URL: http://www.w3.org/TR/rdf-syntax-grammar/ (accessed 25.09.2016)
5. FOAF Vocabulary Specification 0.99: http://xmlns.com/foaf/spec/ [Electronic resource]. - URL: http://xmlns.com/foaf/spec/ (accessed 21.09.2016).
6. Mel'nikova N. I. Nauchnye social'nye setevye servisy kak sredstvo differenciacii i integracii nauchnogo soobshhestva [Scientific social media as a means of differentiation and integration of the scientific community] / N. I. Mel'nikova // Vestnik Saratovskogo gosudarstvennogo tehnicheskogo universiteta [Bulletin of Saratov State Technical University]. - V. 1. - № 1. -2013. - P. 255-260. [in Russian]
DOI: 10.18454/IRJ.2016.53.108 Вагнер А.В.1, Вагнер В.И.2, Тропченко А.А.3
1ORCID: 0000-0003-1757-3887, Студент, 2ORCID: 0000-0001-5566-2421, студент, 3ORCID: 0000-0001-9812-7947, Доцент, Университет ИТМО СПОСОБЫ ПАРАМЕТРИЗАЦИИ ДВИЖЕНИЯ В СИСТЕМАХ ОБРАБОТКИ МУЛЬТИМЕДИЙНЫХ
ДАННЫХ
Аннотация
Предложены способы параметризации и классификации движения при анализе видеопоследовательностей на основе метода фазовой корреляции и анализе оптического потока. Описаны методы, с помощью которых можно параметризировать движение в кадре, определять направление движения объектов в сцене и определять используемые при съемке кинематографические приемы. Приведены результаты и анализ работы предложенных методов. Предложенные методы основаны на алгоритмах, которые можно найти в пакетах компьютерного зрения с открытым исходным кодом.
Ключевые слова: параметризация движения, оптический поток, компьютерное зрение, 4D.
Vagner A.V.1, Vagner V.I.2, Tropchenko A.A.3
1ORCID: 0000-0003-1757-3887, Student, 2ORCID: 0000-0001-5566-2421, student,
3ORCID: 0000-0001-9812-7947, Associate professor, ITMO University MOTION PARAMETRIZATION METHODS IN MULTIMEDIA PROCESSING SYSTEMS
Abstract
The methods ofparameterization and classification of motion for analysis of video sequences based on phase correlation method and analysis of optical flow are shown. Described the methods by which you can parameterize the movement in the frame, to determine the direction of movement of objects in the scene and determine the used cinematographic techniques. Shiwn results and analysis of the proposed methods. The proposed methods are based on algorithms that can be found in open source packages of computer vision.
Keywords: motion parameterization, optical flow, computer vision, 4D.
В последнее время заметна растущая популярность систем виртуальной реальности и глубокого погружения.
Однако зачастую единственным источником информации является видеопоследовательность. Поэтому очень остро встает потребность в извлечении дополнительной информации из видео. Важной составляющей этой информации может стать информация о глобальном движении, перемещении объектов и определение кинематографических приемов.
Параметризировать видеопоследовательность предлагается по следующей схеме (рис 1.).
Получение очередных кадров
видеопоследовательности
г
Преобразование цветового пространства
1
Вычисление суммы абсолютной разности кадров
I
Метод фазовой корреляции
Рис. 1. - Алгоритм обработки видеопоследовательности модулем параметризации
На первом этапе получения извлекаются очередные кадры, причем желательно иметь настройку, какие по счету кадры обрабатывать (все, каждый второй, третий и т.д.). При кадровой частоте 30 кадров/сек рекомендуется обрабатывать каждый 5-10 кадр, чтобы различие между кадрами было достаточным и не избыточным для следующих шагов обработки.
На этапе преобразования цветового пространства происходит вычисление яркостной компоненты (Y) изображения кадра, которая может быть получена из трехкомпонентного (RGB) изображения следующим образом:
Y = 0.299R + 0.587G + 0.114S
На следующем этапе происходит вычисление суммы абсолютных разностей (SAD) выбранных на первом этапе последовательных кадров. Данная метрика очень полезна для определения смены сцен в видеопоследовательности.
Далее применяется метод фазовых корреляций, основанный на представлении модуля преобразования Фурье в логарифмически-полярных координатах, что позволяет извлечь рассогласование кадров по углу, смещению и масштабу.
Далее идет вычисление и фильтрация оптического потока. В библиотеках компьютерного зрения с открытым исходным кодом можно найти реализации следующих методов вычисления оптического потока:
• Блочный метод (BM)
• Быстрый блочный метод (Fast BM)
• Пирамидальный метод Лукаса-Канаде (Lucas-Kanade) [1]
• Метод Фернебака (Farneback) [2]
• Метод Брокса (Brox) [3]
Было проведены сравнения данных методов (рис. 2), по результатам которых можно сказать, что методы Lucas-Kanade, BM, FastBM дают неудовлетворительные результаты на мелкозернистых текстурах. Метод Farneback нечувствителен к изменениям таких текстур. Для дальнейшей обработки предпочтительным является метод Brox, т.к. найденный этим методом оптический поток не «зашумлен» ошибочными векторами, векторное поле является «сглаженным и равномерным» и данный метод чувствителен ко слабым изменениям в мелкозернистых текстурах. Для устранения возможных векторов-выбросов рекомендуется провести медианную фильтрацию векторного поля оптического потока по длине векторов.
Далее следует этап рассчета гистограмм векторов оптического потока. Полное поле векторов оптического потока имеет избыточную информацию, неудобную для анализа и хранения, поэтому было принято решение хранить информацию о векторном поле в массиве гистограмм.
Суть метода заключается в разбиении векторного поля на равные прямоугольные части и нахождении гистограмм количества векторов и их суммарной длины по диапазону направлений.
Накопление результатов и запись в файл
Рис. 2 - Сравнение результатов вычисления оптического потока. Исходные изображения(а). Результаты вычисления оптического потока методами: Lucas-Kanade (б), Fast BM(b), BM(s), Farneback(d), Brox(e)
Гистограммы состоят из столбцов, каждый из которых отражает количество или суммарную длину векторов, попавших в заданный диапазон значений направлений. Для удобства восприятия такие гистограммы показывают в виде векторов, исходящих из одной точки и имеющих направления, равные среднему значению диапазона направлений столбца и длины, пропорциональные столбцам.
Рис. 3 - Пример представления гистограмм в виде векторов(б); поле, разбитое на 4 равные части(а)
Для более полного описания векторного поля на данном этапе рассчитывается пирамида гистограмм. Она представляет собой N массивов гистограмм, где N- количество уровней пирамиды. На каждом уровне векторное поле разбивается на n2 блоков, где n - номер уровня.
Гистограммы описывают общую картину движения в кадре, поэтому было принято решение использовать их для сравнения с гистограммами из заранее заданных наборов (шаблонов), для которых уже заданы направления изменения величин вертикального и горизонтального смещения.
Набор таких гистограмм был составлен для описания самых распространённых кинематографических приемов съемки, таких как наезд (Dolly) и отъезд (Track) камеры, вращение камеры вдоль горизонтальной оси (Panning left/right), вертикальной оси (Tilt up/down), вокруг продольной оси по и против часовой стрелки (Clockwise/Counter clockwise rotation).
Так как для пары кадров рассчитывается пирамида гистограмм, то в шаблонах можно задавать как один набор гистограмм (один уровень пирамиды), так и несколько (но для описания каждого из приведенных выше приемов использовалось только по одному набору гистограмм).
а) б)
N
\к
в)
ж
г)
д)
е)
Рис 4. - Шаблоны для кинематографических приемов съемки: а - наезд, б - отъезд, в, г - вращение вдоль гор. Оси, д - вращ. По часовой стрелке, е - вращение против часовой стрелки, ж, з - вращение вдоль вертикальной оси
На следующем этапе происходит извлечение информации о движущихся объектах на основе оптического потока. Данный этап обработки состоит из нескольких последовательных шагов: пороговая фильтрация оптического потока, визуализация потока, выделение контуров, расчет параметров контуров. На первом шаге происходит пороговая фильтрация векторного поля по длине вектора.
На этапе визуализации оптического потока происходит представление векторного поля в цветовом пространстве[4]. Векторное поле представляется в виде цветного изображения, каждый пиксел которого обозначает вектор потока, где ориентация и величина вектора представлены в виде оттенка и насыщенности цвета пиксела
На следующем этапе происходит поиск контуров (например, детектор границ Кенни [5]). Во время расчета параметров контуров вычисляются наиболее важные характеристики, например, количество точек внутри контура, площадь, периметр, центр масс.
После обработки каждой пары кадров результаты метода фазовой корреляции, нахождения гистограмм, параметров контуров записываются в файл для последующей обработки.
Для оценки работы предложенного способа были проанализированы результаты обработки более 1500 пар кадров. При анализе результатов параметризации глобального движения методом фазовых корреляций были получены следующие результаты погрешностей (смещение находилось пределах 10% от размера исходного изображения, значение угла поворота может изменяться в пределах ±30°, масштаба - в пределах 20%.): погрешность смещения -0,2%, погрешность угла поворота - 3,1%, погрешность величины масштабирования - 4,3%.
Таблица 1 - Оценка определения кинематографических приемов методом анализа гистограмм оптического потока
Шаблоны кинематографических приемов
Анализируемые видеопоследовательности, содержащие только один кин. прием D PL PR ТО TD CR CCR
D 0.78 0.08 0.02 0.03 0.11 0.09 0.12 0.13
^ 0.07 0.67 0.04 0.05 0.18 0.13 0.08 0.09
PL 0.10 0.08 0.81 0.05 0.02 0.09 0.13 0.16
PR 0.09 0.01 0.05 0.83 0.05 0.03 0.07 0.11
ТО 0.03 0.03 0.10 0.01 0.73 0.12 0.08 0.10
TD 0.09 0.01 0.04 0.12 0.07 0.81 0.09 0.02
CR 0.11 0.05 0.09 0.01 0.02 0.09 0.66 0.07
CCR 0.07 0.03 0.12 0.08 0.01 0.03 0.11 0.88
Использование пирамиды гистограмм оптического потока подходит для сопоставления с заранее заданными шаблонами (сопоставление проводилось путем вычисления коэффициента пересечения гистограмм (Таблица 1). А метод параметризации движения объектов показывает приемлемые результаты при отсутствии глобального движения в кадре или при движении объектов в противоположных направлениях глобальному движению.
Список литературы / References
1. Jean-Yves Bouguet. Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the algorithm / J. Bouguet // Intel Corporation, Microprocessor Research Labs — 2000
2. Gunnar Farneback. Two-Frame Motion Estimation Based on Polynomial Expansion / G. Farneback // 13th Scandinavian Conference - Sweden —2002 - p.363-370
3. Thomas Brox, Andres Bruhn, Nils Papenberg. High Accuracy Optical Flow Estimation Based on a Theory for Warping / T. Brox, A. Bruhn, N. Papenberg // European Conference on Computer Vision (ECCV) - Czech Republic - 2004 -Vol.3024 - p.25-36
4. Ce Liu, Jenny Yuen, Antonio Torralba. SIFT Flow: Dense Correspondence across Scenes and its Applications / C. Liu, J. Yuen, A. Torralba // IEEE Transactions on Pattern Analysis and Machine Intelligence - 2010 - Vol. 33(5) - p.4
5. Canny, J. A Computational Approach to Edge Detection / J. Canny // IEEE Transactions on pattern analysis and machine intelligence - 1986 - Vol.6 - p. 679.
DOI: 10.18454/IRJ.2016.53.107 Вагнер В.И.1, Вагнер А.В.2, Тропченко А.А.3
1ORCID: 0000-0001-5566-2421, Студент, 2ORCID: 0000-0003-1757-3887, студент, 3ORCID: 0000-0001-9812-7947, доцент, Университет ИТМО СПОСОБЫ ОПРЕДЕЛЕНИЯ ХАРАКТЕРА ДВИЖЕНИЯ ОБЪЕКТОВ В СИСТЕМАХ
ВИДЕОНАБЛЮДЕНИЯ
Аннотация
В работе предложена методика определения характера движения объектов, которая применима в задачах видеоаналитики. Такой подход позволяет детектировать движение и определять его скорость, в том числе при наличии шумов аппаратуры и в условиях различной освещенности. В работе поэтапно рассмотрен алгоритм действий, который включает в себя калибровку камеры, шумоподавление, распознавание движения, классификацию, трекинг и определение параметров и характера движения. Основное внимание уделяется методу определения скорости движения объектов в видеопотоке, поскольку по результатам работы этого алгоритма можно судить о характере движения объектов в кадре.
Ключевые слова: видеоаналитика, охранные системы, компьютерное зрение, трекинг.
Vagner V.I.1, Vagner A.V. 2, Tropchenko A.A.3 1ORCID: 0000-0001-5566-2421, Student, 2ORCID: 0000-0003-1757-3887, student,
3ORCID: 0000-0001-9812-7947, Associate professor, ITMO University METHODS OF DEFINITION MOVEMENT CHARACTER OF OBJECTS IN VIDEO SURVEILLANCE
SYSTEMS
Abstract
Method of determining objects' movement character that can be applied to video analytics is proposed. This approach allows detecting movement and determining its speed, including in the presence of camera's noise and with various lighting conditions. Algorithm consists of some steps, specifically of camera calibration, noise reduction, motion detection, classification, tracking and determination ofparameters and motion's character. The focus is on the method of determining th e speed of objects' movement in the video stream, because the results of this algorithm can define the character of the movement of objects in the frame.
Одной из наиболее актуальных задач обработки видеоизображений является распознавание движущихся объектов и создание систем мониторинга. Главная функция таких систем — информирование человека о ситуации, сложившейся в поле зрения камеры. Но большинство общедоступных систем имеют ограниченный функционал и не решают задачи видеоаналитики.
Были исследованы алгоритмы, которые могут быть применены при решении задач видеоналитики в области охраны и обеспечения безопасности. В общем случае требования к алгоритмам, работающим в автоматизированных системах обнаружения движения, выглядят следующим образом:
• Низкая вычислительная сложность и обработка не менее 25 кадров видеопотока в секунду. Это самые важные характеристики, которые оцениваются в первую очередь при выборе методов;
• Устойчивая работа в любое время года и в разное время суток;
• Минимальное количество пропусков целевых объектов (например, таких, как человек движется в кадре, но ни он, ни его движение не распознано).
• Минимальное количество ложных срабатываний на шум аппаратуры;
• Минимальное количество срабатываний на объекты, не представляющие опасности для охраняемого объекта (качающиеся деревья, листва, и пр.);
Были использованы некоторые допущения, характерные для данной сферы: анализировались видеопоследовательности со статичной камеры, расположенной на высоте под углом к горизонту. Учитывалась траектория, динамика и скорость движения объектов на видео, а также объекты делились на целевые (люди) и
