CC BY
10
УДК 004.93
АДАПТИВНЫЕ МАТРИЧНЫЕ МОДЕЛИ В ЗАДАЧЕ КОНТРОЛЯ
ПОТОКОВ ВИДЕО
Машталир С. В. - д-р техн. наук, доцент, проф. кафедры информатики Харьковского национального университета радиоэлектроники, Харьков, Украина.
Столбовой М. И. - аспирант кафедры информатики Харьковского национального университета радиоэлектроники, Харьков, Украина.
АННОТАЦИЯ
Актуальность. В настоящее время анализ многомерных данных является одним из приоритетных направлений научных исследований. Это связано с практически не контролируемым ростом объемов информации и возникновением необходимости получения/поиска различного рода полезных данных из нее. При этом анализ видеоданных является одним из наиболее сложных с вычислительной точки зрения не только из-за больших объемов обрабатываемых данных, но и, учитывая слабую структурированность видео, а также тот факт, что в целом ряде задач обработки видео существуют ограничения на время обработки. Одним из направлений решения этих проблем анализа видео является предварительная обработка видеоданных с целью получения их разбиения на однородные сегменты (сцены), что значительно сокращает временные и вычислительные затраты при дальнейшем контекстном анализе больших объемов видео информации. И, несмотря, на имеющиеся результаты в этом направлении, задача кластеризации/сегментации видеопоследовательностей остается чрезвычайно актуальной.
Цель. В работе рассмотрена проблема кластеризации многомерных потоковых данных на примере временной сегментации видеопоследовательностей.
Метод. Предложен метод контроля изменений в потоковых данных, что позволяет отслеживать моменты, существенного изменения характеристик входных многомерных данных, на основе адаптивных матричных моделей с введением специализированного алгоритма настройки прогнозирующей модели.
Результаты. Проведенный эксперимент на видеопоследовательностях произвольной природы продемонстрировал возможность обнаружения границ сегментов в видео. При этом следует отметить, что предложенный подход существенно зависит от результатов пространственной сегментации исходных данных, которая необходима для получения множества характеристик, описывающих каждый видеокадр последовательности.
Выводы. Предложенный в работе метод позволяет проводить кластеризацию-сегментацию многомерных входных данных при помощи адаптивных матричных моделей. В качестве исходных данных в экспериментальной части использовались видеопоследовательности.
КЛЮЧЕВЫЕ СЛОВА: видеоданные, кластеризация, адаптивные матричные модели, критерии настройки, следящий сигнал.
НОМЕНКЛАТУРА
х(1), х(2),...,х(к),...,х(Ы),... - входная последовательность данных;
х(к), Х(к) - прогнозируемый элемент последовательности;
А , В - матрицы настраиваемых параметров; Е(х, у) - критерий идентификации; а - параметр сглаживания; Тть (к) - следящий сигнал Тригга-Лича; х(к)= {хщ (к)} - матрица параметров, характеризующая результаты сегментации отдельного кадра входной последовательности;
к = 1,2,...,Ы,... - текущее дискретное время;
А^ В - (п х п) и (у х у) - матрицы параметров, подлежащие оцениванию; па - размерность матрицы; ^ (к) - (п х у) - матричный белый шум; ¿Р(*) - символ следа матрицы; ¡•| - матричная норма Фробениуса;
Д - некоторый порог, определяющий изменение свойств;
у(к) = х(к) - х(к) - ошибка прогнозирования на к -м такте контроля сигнала х(к);
ПА (к), Пв (к) - параметры шага поиска.
ВВЕДЕНИЕ
В настоящее время обработка и анализ мультимедиа контента является одной из важнейших научно-технических задач. Это напрямую связано с техническим прогрессом и увеличением числа приборов сбора подобной информации, что привело к значительному росту количества мультимедиа информации. Это в свою очередь существенно усложняет задачу поиска релевантных данных ввиду необходимости обработки огромных объемов данных. Особняком в этом стоят видео данные, т. к. зачастую они представляют собой весь комплекс мультимедиа содержимого и при этом с ростом качества видео данных (т.е. с увеличением разрешения и количества передаваемых в секунду кадров) количество необходимой для анализа информации возрастает экспоненциально. При этом одной из особенностей видеоданных является их априори слабая структурированность, что значительно усложняет контекстный анализ.
В связи с этим возникает задача структуризации видео, которую можно интерпретировать как задачу поиска однородных по содержимому сегментов ин-
формации, что, по сути, является темпоральной сегментацией (кластеризацией) видеопоследовательностей. При этом следует учитывать, что классические подходы к кластеризации для подобных данных мало- (либо вообще не-) применимы, т.к. зачастую данные поступают не в виде некоего конечного объема, а потоково, т.е. априори невозможно предположить характер поступающих далее данных. К тому же поиск соответствий между кадрами необходимо проводить в реальном времени или хотя бы в online режиме. Таким образом, существует необходимость разработки подходов по сегментации-кластеризации видеоданных.
1 ПОСТАНОВКА ЗАДАЧИ
На входе имеются видео информация, заданная последовательностью кадров. Для каждого кадра получена пространственная сегментация методом JSeg.
Результаты пространственной сегментации всей видеопоследовательности представлены в виде многомерной матричной последовательности
x(1), x(2),...,x(k),...,x(N),... x(k)= {{2(k)}; i1 = 1,2,..,n; ¡2 = 1,2,..,v .
В качестве итогового результата необходимо получить последовательность данных x(k), которую используем для отслеживания изменений свойств исходных данных, что, в свою очередь, используется для временной сегментации видеопоследовательностей.
2 ОБЗОР ЛИТЕРАТУРЫ
В настоящее время существует целый ряд подходов к сегментации видео [1-3]. В то же время, задачи сегментации-кластеризации с точки зрения обнаружения изменения свойств временных рядов достаточно часто встречаются во множестве практических приложений, а для их решения на сегодня разработано множество подходов и конкретных алгоритмов [4, 5]. Задача существенно усложняется, если контроль не обходимо производить в режиме реального времени, когда данные поступают на обработку одно за другим, зачастую с достаточно высокой частотой. В этой ситуации на первый план выходят методы раннего обнаружения разладок [6] и online кластеризации-сегментации [7]. Еще более задача усложняется, если объемом контроля являются потоки видео, при этом объектом контроля являются не скалярные или векторные наблюдения, а последовательности матричных сигналов. Конечно, матрицы наблюдений могут быть векторизированы, однако при этом резко возрастает размерность обрабатываемых векторов. В подобной ситуации более предпочтительными оказываются методы, основанные на непрямом подходе к кластеризации последовательности наблюдений [8], в рамках которого контролируются не собственно наблюдения, подлежащие анализу, а некоторые их характеристики, для расчета которых должен быть введен дополнительный контур предобработки входных
сигналов. Так в [9] была предложена процедура обнаружения изменений в многомерных потоках видео на основе последовательной кластеризации, при этом объектом кластеризации являлись статистические характеристики контролируемых процессов, такие как средние, дисперсии, коэффициенты корреляции, рассчитываемые в online режиме с помощью рекуррентных процедур. Такой подход подтвердил свою эффективность, однако он неявно предполагает, что обрабатываемая информация имеет стохастическую природу, что не всегда корректно в задачах обработки потоков видео. В связи с этим предполагается целесообразным разработать метод контроля и анализа потоков матричных сигналов, не апеллирующий к статистической природе обрабатываемых данных.
3 МАТЕРИАЛЫ И МЕТОДЫ
Для описания входных сигналов, представленных в виде многомерной матричной последовательности, в [10] была введена прогнозирующая матричная авторегрессионная модель вида
nA
x(k) = £ Ahx(k - h)Bh + §(k). h=1
(1)
Вводя далее составные матрицы параметров А = (А1: А2 :...:Лпл) размерности п х ппл ,
В = (В1:В2 :...:Впл )т размерности упл х V и
( x(k -1)
X(k -1)=
x(k - h)
0
0 ^
x(k - па )
размерности ппл х упл . Выражение (1) может быть к компактной форме
х(к) = Л Х(к - 1)В + ^(к),
в соответствие которой может быть поставлена адаптивная матричная модель вида [8]
x(k) = A (k - 1)x(k - 1)B (k -1),
(2)
при этом Л (к -1), В (к -1) получаются на основании предыдущих (к -1) наблюдений X (1), X (2),...,Х(к -1).
Для настройки параметров адаптивной матричной модели (2) в [11] был предложен оптимальный градиентный алгоритм идентификации, минимизирующий одношаговые критерии
Е (х(к) ,А) = Бр(х(к) - АА (к -1) х(к - 1)В (к -1)) • •(х(к) - АА (к -1) х(к - 1)В (к - 1))т = (3)
= Бр¥А(к)УАТ (к)=|\УА (к)||2 ,
Е(х(к), В) = Бр(х(к) - АА (к)х(к - 1)В(к -1)) • •(х(к) - АА (к)х(к - 1)В(к - 1))т = (4)
= Бр¥В (к)УВТ (к)=||ув (к)||2 .
Процедура градиентной минимизации критериев (3), (4) может быть записана в виде
при условии, что
[АА (к)=А (к -1)+пА (к) УА (к)ВТ (к - 1)хт (к -1), | В (к )=В (к - 1)+пВ (к) хт (к - 1)А (к)УВ (к).
А (к )=ра (к )ЯА*(к),
рА (к )= Е х(т)хвт (т),
т=1
к
(к)= Е хВ (т)хВ (т).
(8) (9)
т=1
Расчет матриц (8),(9) несложно организовать в рекуррентной форме, при этом
\рА (к)=х(к)хвт (к)+рА (к -1), \ЯА (к)=хВ (к)хвт (к)+ЯА (к -1).
(5)
Или
Оптимизация процедуры (5) по быстродействию ведет к алгоритму
АА (к )=А (к - 1)+(БрУА (к )Вт (к - 1)хт (к -1) • •х(к - 1)В(к -1) УАт (к))(5рУА (к)Вт (к -1) • хт (к - 1)х(к - \)В (к - 1)Вт (к - 1)хт (к - Щк -1) ■ •В (к - 1)УАт (к ))-1УА (к )В (к - 1)хт (к -1), В (к )=В (к - 1)+(5рУвт (к )аА (к )х(к - 1)хт (к -1) • •А т (к )УВ (к ))(БрА (к )хх (к - 1)^т (к - 1)Ат (к) • •УВ (к )Увт (к )аА (к )х (к - 1)хст (к - 1)Ат (к ))-1 • •хт (к - 1)аАт (к)УВ (к).
[р а (к)= -1 х(к)хвт (к)+^^ р а (к -1), [яА (к)= хВ (к)хвт (к)+ ЯА (к -1).
(10)
(6)
Алгоритм (6), являясь матричной модификацией алгоритма Качмажа и обладая максимальным быстродействием в классе градиентных процедур, не обладает фильтрующими свойствами, а, следовательно, чувствителен к действию помех, что ограничивает его возможности при работе с зашумленными сигналами.
Эффективными сглаживающими свойствами обладают процедуры идентификации, основанные на методе наименьших квадратов, однако он не может быть использован в исходной форме для модели типа (2).
Для преодоления этого затруднения поставим в соответствие модели (2) выражение
х(к )=А хВ (к),
(здесь хВ (к )=х(к - 1)В (к -1)) и введем критерий идентификации
Е (хВ (к), А) =
к
= Е ф(х(т) - А (к)хВ (т))(х(т) - А (к)хВ (т))т '
т=1
минимизация которого по А (к) ведет к оценке [10]
Аналогично предыдущему введем модель
х(к )=хА (к )В
(здесь хА (к )=А хх(к -1)) и критерий идентификации
Е (В, хА (к)) = Е Ф(х(т) - хА (т)В (к ))(х(т) - хА (т)В(к ))т
т=1
минимизация которого по В (к) ведет к соотношениям аналогичным (7)-(9):
В (к )=я- 1(к )рв (к),
(11)
к к при рв (к)= Е хт (т)хА (т), Яв (к)= Е хА (т)хА (т) или
т=1 т=1
в рекуррентной форме
Г рв (к )=хт (к )хА (к )+рв (к -1), [яв (к)=хАт (к)хА (к)+Яв (к -1),
[рв (к)= 1 хт (к)хА (к)+к-1 рв (к -1), [Яв (к)=\хАТ (к)хА (к)+ ^^Яв (к -1).
(12)
(7)
Очевидно, что использование подобного подхода ведет к тому, что сглаживаются не только случайные возмущения, но и изменения в полезном сигнале, которые необходимо обнаружить.
В подобной ситуации целесообразно воспользоваться идеями экспоненциального сглаживания Р. Брауна, занимающими место между одношаговыми
процедурами идентификации и классическим методом наименьших квадратов.
Вводя параметр сглаживания 0 <а< 1 в соотношения (10), (12), окончательно приходим к процедуре настройки адаптивной матричной модели:
А (к )=РЛ (к )ЯлЧк),
T" (k )=a |v(k )| +(1 - a)T" (k).
(17)
[ ра (k)=ax(k)xBT (k)+(1 - a)pA (k -1), [Ra (k)=axB (k)xBT (k)+(1 - a)R^ (k -1).
B (k )=RB-1(k )PB (k),
[ pb (k )=axT (k )xA (k )+(1 - a)pB (k -1), \RB (k)=axAT (k)xA (k)+(1 - aR (k -1).
(13)
(14)
Контроль за изменениями свойств матричного сигнала х(к) удобно организовывать базируясь на идеях экспоненциального сглаживания. Наиболее подходящей основой для этого является использование, так называемого, следящего сигнала [12], наиболее эффективным из которых с точки зрения процесса обнаружения свойств является сигнал Д. Тригга-А. Лича [13], который известен в скалярной форме, ориентированной на анализ одномерных последовательностей. В [14] введена модификация метода Тригга-Лича, ориентированная на анализ векторных временных рядов, при этом необходимо отметить, что процедура требует использования набора параметров, задаваемых извне, что естественно вносит в процесс контроля значительный элемент субъективизма. Понятно, что использование этого подхода для контроля матричных процессов вряд ли может обеспечить требуемое качество контроля.
Базовый следящий сигнал Тригга-Лича в одномерном случае может быть записан в виде [12]
TTL (k )= T(k), T"(k)
при условии, что
T' (k )=av(k )+(1 -a)T' (k),
(15)
(16)
При этом факт изменений свойств сигнала х(к) в каждый момент времени фиксируется в ситуации когда
тть (к) - тть (к -1) >Д. (18)
Введем в рассмотрение апостериорную ошибку настройки модели (2)
У(к) = х(к) - А (к )Х(к - 1)В (к )= { (к)},
задаваемую в виде (п х у) - матрицы отклонений выходов модели от реального сигнала.
В качестве следящего сигнала будем рассматривать выражение (15), где вместо (16), (17) введем оценки:
т'(к)=а £ £ г2 (к)+(1 - а)т'(к -1),
¿1 =1г2 =1
т"(к)=а£ £ |уг1 гг (к)|+(1 -а)т"(к -1),
¿1 =Ь'2 =1
которые также могут быть записаны в форме
T'(k)=a(nv)-1 £ £ Vi ¡2 (k)+(1 - a)T'(k -1), ¡1 =1i2 =1
T"(k)=a(nv)-1 ]£ ££ |vi1i2 (k)| +(1 - a)T"(k -1) ¡1=1i2=1
более удобной для online контроля.
Собственно контроль сигнала производится на основе неравенства (18) и, в случае обнаружения существенного изменения свойств, производится обновление параметров сглаживания согласно соотношения [10] a = |TTL (k )|.
4 ЭКСПЕРИМЕНТЫ
Для эксперимента использовались видео фрагменты из документального сериала "Destroyed in Seconds". Примеры кадров входных видеопоследовательностей представлены на рис. 1. Каждый из роли-
Рисунок 1 - Примеры входных видеопоследовательностей
ков представляет собой совокупность сцен, в которых происходит резкая смена от обычной съемки некоего процесса, до съемки чрезвычайной ситуации, и ее последствий.
Для проведения анализа предложенного подхода к поиску изменений свойств многомерных временных рядов исходные кадры видеопоследовательностей подвергаются пространственной сегментации, пример которой показан на рис. 2.
5 РЕЗУЛЬТАТЫ
Результатом работы предложенного метода кластеризации является одномерная последовательность данных, соответствующая исходным многомерным данным. Моменты существенных скачков значений в этой последовательности являются границами сегментов в видео. Пример результата для входной последовательности данных показан на рис. 3.
6 ОБСУЖДЕНИЯ
По полученным результатам можно отметить моменты наиболее существенных изменений потоковых данных в виде пиков на графиках, в частности изменения между сценами произошли в 35, 140, 263 и 374 кадрах, что соответствует реальным данным. Это позволяет выделить сегменты видео однородной природы и моменты переходов между ними, что, в свою очередь, приводит к возможности получения сегментации/кластеризации входных видеопоследовательно-
стей. При этом надо отметить, что некоторые сегменты обладали не совсем однородной структурой, что в целом объясняется спецификой данного видео, т.к. происшествие происходило на песке и из-за возникновения и изменения облаков песка, поднятых в результате падения гонщика, в процессе пространственной сегментации получались не совсем однозначные результаты для этого временного сегмента. Т.е. нужно отметить существенную зависимость результата временной сегментации/кластеризации от предварительной пространственной сегментации.
ВЫВОДЫ
В работе решена задача кластеризации видео данных при помощи адаптивных матричных моделей Предложена процедура контроля потоков видео, заданных в форме последовательности матричных сигналов, последовательно поступающих на обработку. Для анализа изменений в потоке данных используется адаптивная матричная модель, настраиваемая с помощью специализированного алгоритма настройки, являющегося гибридом градиентных процедур и алгоритмов оптимизации второго порядка с использованием идеи экспоненциального сглаживания. Предлагаемый подход ориентирован на обнаружение, как плавных изменений сигнала, так и скачков. Процедура, характеризуется высоким быстродействием и простотой численной реализации.
Рисунок 2 - Пример пространственной сегментации видеопоследовательности
Рисунок 3 - Результаты кластеризации входной видеопоследовательности
Л1ТЕРАТУРА / ЛИТЕРАТУРА
1. Efficient hierarchical graph-based video segmentation / [Grundmann M., Kwatra V., Han M., et al.] // IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2010. - P. 2141-2148. DOI: 10.1109/CVPR. 2010.5539893
2. Galasso F. Video Segmentation with Superpixels / F. Galasso, R. Cipolla, B. Schiele // 11-th Asian Conference on Computer Vision (ACCV). - 2012. - Volume I. - P. 760774. DOI: https://doi.org/10.1007/978-3-642-37331-2_57
3. Instance-level video segmentation from object tracks / [Seguin G., Bojanowski P., Lajugie R., et al.] // IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016. - P. 3678-3687. DOI: 10.1109/CVPR. 2016.400
4. Fuzzy clustering based segmentation of timeseries / [Abonyi J., Feil B., Nemeth S., et al.]// Lecture Notes in Computer Science. Berlin: Springer. - 2003. - Vol. 2810. - P. 275285. DOI: https://doi.org/10.1007/978-3-540-45231-7_26
5. Modified Gath-Geva clustering for fuzzy segmentation of multivariate time-series / [Abonyi J., Feil B., Nemett S., et al.] // Fuzzy Sets and Systems. - 2005. - Vol. 149, Issue 1. -P. 39-56. DOI: 10.1016/j.fss.2004.07.008
6. Badavas P.C. Real-time statistical process control / P. C. Badavas. - Englewood Cliffs, N.J.: Prentice Hall, 1993. - 232 p.
7. AHani3 та обробка даних засобами обчислювального штелекту / [£. В. Бодянський, Д. Д. Пелешко, О. А. Винокурова та iH.]. - Л^в : Вид-во ^BiB^^i полггехшки, 2016. - 236 с. ISBN: 978-617-607-902-6
8. Hoeppner F. Fuzzy clustering of sampled functions / F. Hoeppner, F. Klawonn // In: Proc. 19th Int. Conf. of the
УДК 004.93
North American Fuzzy Information Processing Society (NAFIPS), Atlanta, USA, 2000. - P. 251-255. DOI: 10.1109/NAFIPS. 2000.877431
9. Mashtalir S. Video shot boundary detection via sequential clustering / S. Mashtalir, V. Mashtalir, M. Stolbovyi // International Journal "Information Theories and Applications". -2017. - Vol. 24, Number 1. - P. 50-59.
10. Мантула Е. В. Матричная прогнозирующая модель и ее обучение в задаче экологического мониторинга / Е. В. Мантула, С. В. Машталир // Электротехнические и компьютерные системы. - 2013. - №10(86). - С. 152156.
11. Бодянский Е. В. О решении задачи управления матричным объектом в условиях неопределенности / Е. В. Бодянский, И. П. Плисс // Автоматика и телемеханика. -1990. - №2. - С. 175-178.
12. Чуев Ю.В. Прогнозирование количественных характеристик процессов. / Ю. В. Чуев, Ю. Б. Михайлов, В. И. Кузьмин. - М. : Сов. Радио, 1975. - 400 с.
13. Trigg D. W. Exponential smoothing with an adaptive response rate / D. W. Trigg, A. G. Leach // Operational Research Quarterly. - 1967. - 18, №1. - P. 53-59.
14. Машталир С. В. Многомерное экспоненциальное сглаживание в задачах анализа видеоданных / С. В. Машталир // VI Мiжнародна школа-семшар «Теорiя прийняття ршень». Пращ школи-семшару. - Ужгород : УжНУ, 2012. - С. 136-137.
Статья поступила в редакцию 20.06.2018.
После доработки 23.07.2018.
АДАПТИВН1 МАТРИЧН1 МОДЕЛ1 В ЗАДАЧ1 КОНТРОЛЮ ПОТОК1В В1ДЕО
Машталiр С. К - д-р техн. наук, доцент, проф. кафедри шформатики Харювського нащонального утверситету радю-електрошки, Харюв, Украша.
Столбовий М. I. - астрант кафедри шформатики Хар^ського национального ушверситету радюелектрошки, Харюв, Украша.
АНОТАЦ1Я
Актуальшсть. В даний час аналiз багатовишрних даних е одним з прюритетних напрямив наукових дослщжень. Це пов'язано з практично не контрольованим зростанням обсягв шформаци i виникненням необхщноста отримання/пошуку рiзно-го роду корисних даних з не1. При цьому аналiз вiдеоданих е одним з найбшьш складних з обчислювально! точки зору не тшь-ки через велик! обсяги оброблюваних даних, а й з огляду на слабку структуроватсть вiдео, а також той факт, що в цшому рядi задач обробки вiдео iснують обмеження на час обробки. Одним з напряммв вирiшення цих проблем аналiзу вщео е попередня обробка вiдеоданих з метою отримання !х розбиття на однорщт сегменти (сцени), що значно скорочуе часовi i обчислювальнi витрати при подальшому контекстному аналiзi великих обсяпв вщеошформаци. I, не дивлячись, на наявнi результати в цьому напрямку, задача кластеризаци/сегментаци вiдеопослiдовностей залишаеться надзвичайно актуальною.
Мета. У робота розглянута проблема кластеризаци багатовимiрних потокових даних на прикладi часово! сегментаци ввд-еопослiдовностей.
Метод. Запропоновано метод контролю змш потокових даних, що дозволяе ввдстежувати моменти, гстотно! змши характеристик вхiдних багатовимiрних даних, на оснж адаптивних матричних моделей з введенням спецiалiзованого алгоритму налаштування прогнозуючо! моделi.
Результати. Проведений експеримент на вщеопослщовшсть довшьно! природи продемонстрував можливiсть виявлення границь сегментiв в вщео. При цьому слiд зазначити, що запропонований пiдхiд суттево залежить вiд результатiв просторо-во! сегментаци вихiдних даних, яка необх^дна для отримання множини характеристик, що описують кожен видеокадр послiдовностi.
Висновки. Запропонований в робота метод дозволяе проводити кластеризацiю-сегментацiю багатовимiрних вхщних даних за допомогою адаптивних матричних моделей. В якоста вихщних даних в експериментальнш частинi використовували-ся ввдеопослвдовноста.
КЛЮЧОВ1 СЛОВА: вiдеоданi,кластеризацiя, адаптивнi матричш моделi, критерп настройки, стежачий сигнал.
UDC 004.93
ADAPTIVE MATRIX MODELS IN THE VIDEO STREAMS CONTROL PROBLEM
Mashtalir S.V. - Dr. Sc., Associate Professor, Professor of Informatics Department, Kharkiv National University of Radio Electronics, Kharkiv, Ukraine.
Stolbovyi M.I. - PhD student of Informatics Department, Kharkiv National University of Radio Electronics, Kharkiv, Ukraine.
ABSTRACT
Context. At present, the multidimensional data analysis is one of the priority scientific research areas. This is due to the almost uncontrollable growth in the information size and the need to obtain/search for various kinds of useful data from it. At the same time, video data analysis is one of the most difficult from a computational point of view, not only because of BigData being processed, but also due to the video unstructuredness, and also the fact that in a bunch of video processing applications exist limitations on the processing time. One of the ways to solve these video analysis problems is to pre-process the initial data in order to get them split into homogeneous segments (shots), which significantly reduces the time and computational costs for further content-based video analysis in video database. And, despite the existing results in this direction, the video sequences clustering/segmentation problem remains extremely relevant.
Objective. The paper considers the problem of clustering multidimensional streaming data as example of temporal video segmentation.
Method. A method for controlling changes in streaming data is proposed, which allows you to detect the moments of a significant change in the input multidimensional data characteristics, based on adaptive matrix models with the specialized tuning algorithm for the predictive model introduction.
Results. The conducted experiment on an arbitrary video sequences demonstrated the video shot detection possibility. It should be noted that the proposed approach essentially depends on the input data spatial segmentation results, which is necessary to obtain a characteristics set describing each frame of the video sequence.
Conclusions. The proposed method allows multidimensional input data clustering/segmentation by adaptive matrix models. As initial data in the experimental part, video sequences were used.
KEYWORDS: video data, clustering, adaptive matrix models, tuning criteria, tracking signal.
REFERENCES
1. Grundmann M., Kwatra V., Han M., et al. Efficient hierarchical graph-based video segmentation, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2010, pp. 2141-2148. DOI: 10.1109/CVPR.2010.5539893
2. Galasso F., Cipolla R., Schiele B. Video Segmentation with Superpixels, 11-th Asian Conference on Computer Vision (ACCV), 2012, Volume I, pp. 760-774. DOI: https://doi.org/10.1007/978-3-642-37331-2_57
3. Seguin G., Bojanowski P., Lajugie R. et al Instance-level video segmentation from object tracks, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 3678-3687. DOI: 10.1109/CVPR. 2016.400
4. Abonyi J., Feil B., Nemeth S. et al. Fuzzy clustering based segmentation of timeseries, Lecture Notes in Computer Science. Berlin, Springer, 2003, Vol. 2810, pp. 275-285. DOI: https://doi.org/10.1007/978-3-540-45231-7_26
5. Abonyi J., Feil B., Nemett S. et al. Modified Gath-Geva clustering for fuzzy segmentation of multivariate time-series, Fuzzy Sets and Systems, 2005, Vol. 149, Issue 1, pp. 39-56. DOI: 10.1016/j.fss.2004.07.008
6. Badavas P. C. Real-time statistical process control. Engle-wood Cliffs, N. J., Prentice Hall, 1993, 232 p.
7. Bodjans'kyj Je. V., Peleshko D. D., Vynokurova O. A. et al Analiz ta obrobka danyh zasobamy obchisluvalnogo in-
telektu. L'viv, Vyd-vo L'vivs'koi' politehniky, 2016, 236 p. ISBN: 978-617-607-902-6
8. Hoeppner F., Klawonn, F. Fuzzy clustering of sampled functions, In: Proc. 19th Int. Conf. of the North American Fuzzy Information Processing Society (NAFIPS). Atlanta, USA. 2000, pp. 251-255. DOI: 10.1109/NAFIPS. 2000.877431
9. Mashtalir S., Mashtalir V., Stolbovyi M. Video shot boundary detection via sequential clustering, International Journal "Information Theories and Applications ", 2017, Vol. 24, Number 1, pp. 50-59.
10. Mantula E. V., Mashtalir S. V. Matrichnaja prognozirujushhaja model' i ee obuchenie v zadache jekologicheskogo monitoringa, Jelektrotehnicheskie i komp'juternye sistemy, 2013, No. 10(86), pp. 152-156.
11. Bodjanskij E. V., Pliss I. P. O reshenii zadachi upravlenija matrichnym ob'ektom v uslovijah neopredelennosti, Av-tomatika i telemehanika, 1990, No. 2, pp. 175-178.
12. Chuev Ju. V., Mihajlov Ju. B., Kuz'min V. I. Prognoziro-vanie kolichestvennyh harakteristik processov. Moscow, Sov. Radio, 1975, 400 p.
13. Trigg D. W., Leach A. G. Exponential smoothing with an adaptive response rate, Operational Research Quarterly, 1967, 18, No. 1, pp. 53-59.
14. Mashtalir S. V. Mnogomernoe jeksponencial'noe sglaz-hivanie v zadachah analiza videodannyh, VI Mizhnarodna shkola-seminar «Teorija prijnjattja rishen '». Praci shkoli-seminaru. Uzhgorod, UzhNU, 2012, pp. 136-137.
