CC BY
23Решетнеескцие чтения. 2015
УДК 004.932.2
МНОГОМЕРНЫЕ СЕТИ КОХОНЕНА ДЛЯ РЕКОНСТРУКЦИИ ВИДЕОПОТОКА
А. Н. Болтов, Р. П. Баранов, Е. С. Казмирук
Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
E-mail: [email protected]
Рассматривается одно из решений задачи восстановления фоновых пикселей видеоизображения, базирующееся на алгоритме на основе карт Кохонена. Модель двумерных карт расширяется на основе построения трехмерной сетки на основе ряда кадров. Приводится адаптация алгоритма восстановления на основе карты Кохонена и восстановления пикселей фонового пространства видеопотока на основе обученной карты.
Ключевые слова: реконструкция видео, карты Кохонена, мультиагентные системы.
MULTIDIMENSIONAL KOHONEN NETWORKS FOR VIDEO RECONSTRUCTION
A. N. Bolgov, R. P. Baranov, E. S. Kazmiruk
Reshetnev Siberian State Aerospace University 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation E-mail: [email protected]
The paper considers a solution to restore background pixels of video based on Kohonen map algorithm. Model of two dimensional maps is expanded with three dimensional space based on sequence of video frames. The paper researches adaptation of algorithm for training Kohonen map and restoring the background pixel space by using trained map.
Keywords: video restoration, Kohonen maps, MAS.
Обработка видеопотока в автоматическом режиме -это неотъемлемая часть многих современных систем слежения, охраны, учета и наблюдения. Кроме этого, широкое применение автоматические решения находят в области ретуширования и улучшения видеоданных для решения прикладных задач информационных систем. Алгоритмы обработки изображений и видео, кластеризации нейронных сетей лежат в основе таких подходов. Объектом данного исследования является цифровая реконструкция малых областей с «пропущенной» текстурой на видеопотоке. «Пропуски» в текстурах могут являться результатом удаления нежелательного объекта с видеоряда конечным пользователем. Данная область не может превышать 5-10 % от площади области кадра. В частном случае это могут быть некие помехи, вызванные техническим сбоем в аппаратуре, либо люди, заслоняющие съемку дорожно-транспортного происшествия. Автоматическая процедура восстановления таких областей - главная цель программных инструментов видеоредактора [1].
Процесс реконструкции отдельного кадра на основе самоорганизующихся карт Кохонена состоит из двух этапов: обучение карты и восстановление данных на основе карты [2]. Детализация этих шагов выглядит следующим образом:
- первоначальное построение карты Кохонена, «пропуски» не учитываются при обучении.
- входной вектор данных с «пропущенным» элементом подается на вход обученной карте и поиск соответствующего узла в карте.
Эффективность реконструкции «пропусков» на стыке нескольких текстур увеличивается при восстановлении каждой смежной текстуры по отдельно обученной карте. Для этого требуется еще один дополнительный шаг сегментации исходного изображения [3].
Реконструкция фонового пространства по секвенции кадров позволяет значительно улучшить получаемые результаты. Для этого необходимо определить дополнительные шаги:
- механизм обнаружения объектов интереса на видео;
- построение многомерных карт на основе нескольких карт.
Для успешного выполнения данных этапов необходимо определить следующие аспекты и компоненты процесса:
1. Механизм преобразования кадра видеопоследовательности в массив векторов данных. Одним из наиболее эффективных вариантов является механизм разбиения отдельного кадра на блоки, определенной аналитиком размерности, и формирования на основе пикселей блока его векторного представления [2]. Кроме этого размерность блока влияет на количество кадров видеосеквенции. При этом пиксели объекта интереса на каждом кадре не должны учитываться при формировании вектора данных. Вектор строится по формулам
Юг (х, у) = Р[1 + / © £, t + г ^ £], (1)
I = х-\Б/2] , (2)
Математические методы моделирования, управления и анализа данных
t = y-|_S/2j , (3)
где S - размер блока пикселей; P[i, j] - пиксель, расположенный в i-м столбце и j-й строке кадра; x, y -координаты, для которых строится вектор.
При использовании представленного выше метода построения векторов необходимо учитывать следующие ограничения, заданные формулами
|S/2j< x < W-|S/2j , (4)
|_S/2j< y < H-|S / 2j, (5)
где S - размер блока пикселей; W - ширина кадра; H -высота кадра.
Данные условия вводятся в силу того, что размер рассматриваемого блока больше одного пикселя и, соответственно, количество таких блоков будет меньше, чем количество пикселей в кадре.
2. Мера расстояния между входным обучающим вектором (или вектором данных при восстановлении) и узлом карты, необходимая для выбора нейрона-победителя, обычно определяется как расстояние между векторами и рассчитывается по формуле (6)
d,jk =JX (xm - wijkm )2 , (6)
V m=1
где xm - m-е значение вектора входных данных; wijkm - m-е значение вектора весов нейрона из i-й, j-й и k-й позиции карты; S - размерность вектора весов.
Архитектура мультиагентной системы состоит из 4 типов агентов. Агент-оператор (Agent-Operator) -единственный агент-человек в системе. Интерфейсный агент (Interface Agent) - программный агент, обеспечивающий взаимодействие всех других агентов системы. Группа обучающих агентов (Learning Agent) -агенты, которые выполняют процесс обучения карт Кохонена. Группа агентов восстановления (Inpainting Agent) - агенты, производящие реконструкцию текстур по обученным картам.
Мультиагентный подход позволяет добиться высокой вычислительной эффективности процесса восстановления изображения. Оптимальное число агентов - 4, так как дальнейшее увеличение числа агентов налагает дополнительные накладные расходы на коммуникацию агентов [4].
Процесс восстановления реконструкции основан на пространственной информации, и самоорганизующиеся карты Кохонена наилучшим образом подходят для решения этой задачи как инструмент кластеризации без учителя. Выборка смежных кадров и построение трехмерной сети Кохонена, а также отслеживание
объекта интереса позволяют проводить реконструкцию фонового пространства за движущимся объектом, получая дополнительную информацию из смежных кадров. Данное исследование помогло выявить слабые стороны алгоритма карт Кохонена, и были предложены решения по их устранению. Предварительная сегментация изображения позволяет добиться высоких результатов в реконструкции гомогенных текстур. Мультиагентный подход позволяет также увеличить точность получаемых результатов реконструкции по метрикам MSE, PSNR, SSIM. Кроме этого, основным преимуществом большого числа локальных обработчиков-агентов является увеличенная вычислительная емкость системы, что позволяет увеличить производительность процесса реконструкции. Однако процесс увеличения агентов ограничен коммуникационными затратами для взаимодействия агентов.
Библиографические ссылки
1. Болгов А. Н. Использование карт Кохонена для восстановления фоновой текстуры на изображении // Техническое зрение в системах управления - 2014 : материалы науч.-техн. конф. М., 2014. С. 437.
2. Рассел С., Норвиг П. Искусственный интеллект: современный подход : пер. с англ. М. : Вильямс, 2006. 1408 с.
3. Фаворская М. Н., Петухов Н. Ю. Распознавание природных объектов на аэрофотоснимках с применением нейронных сетей // Автометрия. 2011. Т. 47, № 3. С. 34-40.
4. Kohonen T. Self-Organizing Maps. New York : Springer Series in Information Sciences, 2001. 501 p.
References
1. Bolgov A. N. Using of Kohonen maps to restore background on images // Proceeding of "Technical Vision in Control Systems - 2014". Moscow, 2014. 437 p.
2. Russel S., Norvig P. Artificial Intelligence: Modern view. Moscow, Williams, 2006. 1408 p.
3. Favorskaya M. N., Petukhov N. U. Recognition of nature objects on airphotos with using neural networks. Novosibrsk, 2011, pp. 34-40.
4. Kohonen T. Self-Organizing Maps. New York , Springer Series in Information Sciences, 2001. 501 p.
© Болгов А. Н., Баранов Р. П., Казмирук Е. С., 2015
