CC BY
351
4. Ачильдиев В.М., БасарабМ.А., Бедро Н.А. и др. Методы первичной цифровой обработки сигналов микромеханического волнового твердотельного гироскопа // Информационноизмерительные и управляющие системы. - 2011. - Т. 9, № 2. - С. 39-55.
5. Пьявченко О.Н. Многошаговая экстраполяция значений переменных на основе полинома Лагранжа // Известия ТРТУ. - 2005. - № 9 (53). - С. 31-35.
6. Кузнецов Ф.И. Адаптивный метод экстраполяции оцифрованных значений датчиков физических величин с ограниченным форматом данных // Известия ЮФУ. Технические науки. - 2011. - № 5 (118). - С. 142-145.
7. Оппенгейм А., Шафер Р. Цифровая обработка сигналов. - М.: Техносфера, 2006. - 856 с.
Статью рекомендовал к опубликованию д.т.н., профессор А.Е. Панич.
Кузнецов Филипп Игоревич - Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Южный федеральный университет»; e-mail: [email protected]; 347900, г. Таганрог, ул. Петровская, 81; тел.: 88634328025; кафедра микропроцессорных систем; аспирант.
Kuznetsov Filipp Igorevich - Federal State-Owned Autonomy Educational Establishment of Higher Vocational Education “Southern Federal University”; e-mail: [email protected]; 81, Petrovs-kay street, Taganrog, 347900, Russia; phone: +78634328025; the department of microprocessor systems; postgraduate student.
УДК 519.23/25
М.К. Кузнецов
МЕТОДЫ ЦИФРОВОЙ ОБРАБОТКИ ВИДЕОСИГНАЛОВ
Рассмотрены основные методы цифровой обработки видеосигналов, которые применяются при работе с потоками видеоинформации. Рассмотрены подходы к обработке видеосигналов. Также приведены примеры использования различных методов цифровой обработки видеосигналов, перечислены основные принципы и условия использования тех или иных методов обработки видеосигналов. Рассмотрены основные задачи видеоаналитики.
Статья изложена с целью быстрой информативной адаптации читателя для понимания изложенного в ней материала. В начале статьи даются определения простейших понятий, используемых при работе, связанной с цифровой обработкой данных. Далее осуществлен переход к описанию конкретных методов обработки потока видеоданных, принципа работы, положительных и отрицательных моментов каждого метода. Осуществлен анализ каждого метода в отдельности. Подведены краткие итоги рассмотрения методов цифровой обработки видеосигналов.
Видеосигнал; методы; цифровая обработка видеосигналов.
M.K. Kuznetsov METHODS OF DIGITAL VIDEO SIGNAL PROCESSING
This article describes the main methods of digital video processing, which are used when working with streams of video. Researched the approaches to the processing of video signals. It also shows examples of using different methods of digital video processing, it shows the basic principles and nuances of using certain methods of processing video signals. The main way highlights the major challenges of video analytics.
The article outlined the quick adaptation informative reader to understand the material contained in it. In the beginning of this article, we define the simplest of terms used in work related to the processing of digital data. Next step relates with the transition to a description of the specific methods of processing of the video stream, the operating principle, the positive and negative aspects of each method. Also this article gives the analysis of each method separately. At the finishing, were briefly reviewed the results of digital video processing.
Video signal; methods; digital video processing.
Актуальность данной научной тематики обусловлена современными требованиями в области обработки полезных видеосигналов. По состоянию на сегодняшний день необходимость в цифровой обработке видеосигналов велика, существует большой не решенный спектр задач, связанный с распознаванием полезных видеосигналов на фоне общего потока видеоинформации.
Цифровая обработка видеоинформации является одним из важнейших направлений в информационных технологиях, служащая для реализации функций искусственного интеллекта, связанных с обработкой статических изображений и видеопотоков.
Видеосигнал, принятый для использования в настоящее время в Российской Федерации, описывается по ГОСТ 7845-92 [1]. Стандарт регламентирует параметры и характеристики используемого телевизионного изображения и электрического сигнала, используемого для передачи от источника телевизионного изображения к приемнику. Это позволяет добиться совместимости телевизионных устройств по видеосигналу.
В случае использования цветного изображения в видеосигнал дополнительно включаются сигналы цветности и цветовой синхронизации. В настоящее время используются три стандарта цветного видеосигнала - SECAM, PAL и NTSC.
Цифровой видеосигнал получается из аналогового видеосигнала путем преобразования его в цифровую форму [2]. Это преобразование включает в себя три операции:
1. Дискретизацию во времени, т.е. преобразование непрерывного во времени видеосигнала в последовательность отсчетов, обновляющихся через определенные промежутки времени.
2. Квантование по уровню - замена непрерывной шкалы амплитуды видеосигнала на выбранный набор уровней квантования с округлением значения каждого отсчета до ближайшего уровня квантования.
3. Кодирование отсчетов, в результате которого значение отсчета представляется в виде числа, соответствующего номеру полученного уровня квантования.
При обработке и передаче видеосигнала в цифровом виде требуется его перевод в цифровую форму.
Сначала цифровой видеосигнал использовался для передачи телевизионного изображения стандартного разрешения. С таким разрешением работает и аналоговый видеосигнал. Поэтому цифровой видеосигнал на первых порах рассматривался как цифровой эквивалент стандартного аналогового видеосигнала. Фактически необходимо было иметь возможность производить аналого-цифровое и цифроаналоговое преобразование стандартного видеосигнала таким образом, чтобы при преобразовании не было потерь качества телевизионного изображения. С этой целью был разработан стандарт цифрового видеосигнала стандартного разрешения ITU-R BT.601 (он же CCIR-601), а немного позже вышла его обновленная версия ITU-R BT.656 (он же CCIR-656). Основными параметрами цифрового сигнала являются частота дискретизации и число уровней квантования по амплитуде. Последний параметр тесно связан с разрядностью используемых АЦП и ЦАП.
Несмотря на огромный поток данных, составляющий цифровой видеосигнал, существуют предпосылки для эффективной его компрессии. Дело в том, что видеосигнал обладает очень большой избыточностью, которую следует использовать при компрессии. Некоторые методы сокращения избыточности используются еще в аналоговом видеосигнале. К таким методам можно отнести:
♦ значительное снижение полосы частот сигналов цветности;
♦ использование чересстрочной развертки;
♦ удаление части спектра сигнала яркости с помощью фильтра пробки и включение в освободившуюся полосу сигнала цветности.
Эти методы позволили сократить полосу частот аналогового видеосигнала и использовать один и тот же частотный диапазон как для черно-белого, так и для цветного видеосигнала.
В цифровом виде для компрессии используются следующие предпосылки [3]:
♦ когерентность областей изображения, т.е. малое изменение цвета изображения в соседних пикселах;
♦ избыточность в цветовых плоскостях, т.е. используется большая важность яркости изображения по сравнению с цветностью (фактически это следствие уменьшения полосы частот сигнала цветности);
♦ подобие между кадрами, т.е. соседние кадры изменяются незначительно.
Кроме того, методы сжатия можно разделить на два основных типа:
1) без потери информации;
2) с потерей информации.
К первому типу можно отнести такие методы, которые после декомпрессии позволяют получить исходную информацию без искажений. Такие методы используются во всех известных архиваторах данных, а также для сжатия изображений и видео, потери в которых крайне нежелательны, например, в медицинских приложениях. Однако такие методы обычно обладают небольшим коэффициентом сжатия.
Второй тип включает в себя методы компрессии, при которых декомпрессированные данные отличаются от исходных. Но эти отличия возможно контролировать и удерживать на допустимом уровне. Основные алгоритмы компрессии изображений и видео используют именно эти методы. Поскольку эти алгоритмы обычно состоят из нескольких методов, то в их число могут входить и методы сжатия без потери информации.
Среди основных методов, реализующих пространственно-частотное преобразование, щаще всего используется дискретное косинусное преобразование (ДКП) или дискретное вейвлет-преобразование (ДВП). Причем первое ДВП было пред-ложно венгерским математиком Альфредом Хааром. Для входного сигнала, представленного массивом 2П чисел, вейвлет преобразование Хаара просто группирует элементы по 2 и образует от них суммы и разности. Группировка сумм проводится рекурсивно для образования следующего уровня разложения. В итоге получается 2п-1 разность и 1 общая сумма [4].
Основные задачи и методы видеоаналитики. Видеоаналитикой называют технологию компьютерного анализа видеоданных с целью получения систематизированной информации об объекте наблюдения без участия оператора. Как правило, видеоаналитика представляет собой программные алгоритмы, которые можно запускать как на компьютерах, так и встраивать в камеры [5].
Как известно, видеоинформационные системы подразделяются на два больших класса:
1) визуальные системы, приемником информации с которых является человек со своей зрительной системой;
2) системы технического зрения, информация с которых обрабатывается автоматической системой.
В первом случае основная задача видеоаналитики - помочь человеку воспринимать поступающую видеоинформацию. Для этого может потребоваться решение следующих частных задач, связанных с улучшением зрительного восприятия:
♦ повышение качества изображения (снижение видимого шума на изображении, повышение контраста изображения, улучшение четкости);
♦ улучшение цветопередачи или введение псевдоцвета;
♦ акцентирование внимания на отдельных важных деталях изображения;
♦ интерполяция (увеличение количества) пикселов, строк и кадровой частоты;
♦ перевод видеопотока с чересстрочной разверткой в построчную (прогрессивную) и наоборот;
♦ адаптация работы камеры к плохим условиям работы (низкая освещенность, наличие тумана и других атмосферных воздействий).
Во втором случае с помощью видеоаналитики решаются задачи автоматического выделения и обработки информации из видеопотока. К таким задачам можно отнести следующие:
♦ детектор движения в видеопотоке;
♦ детектор оставленных предметов;
♦ распознавание букв, цифр и других символов и состоящего из них текста;
♦ выделение человеческих фигур;
♦ выделение лиц;
♦ распознавание лиц;
♦ наблюдение за животными;
♦ измерение геометрических параметров объектов;
♦ совместная обработка нескольких видеопотоков (комплексирование видеоинформации).
Одной из наиболее сложных и актуальных задач обработки видеоизображения является проблема выделения и распознавания движущихся объектов при наличии различного рода помех и создание на этой основе системы мониторинга. Главная задача таких систем - информировать человека о ситуации, сложившейся в поле зрения камеры, и по возможности предпринять какие-либо заранее предусмотренные и программно заложенные действия [6].
На первых порах задача сводилась к простому детектированию движущихся объектов. Уже в таком виде это важно для многих систем безопасности, когда в охраняемой зоне исключено какое бы то ни было движение. Более совершенные системы подразумевают наличие в своем составе интеллектуальных видеодетекторов движения, способных отличить движущегося человека от собаки, машины или дерева, раскачивающегося на ветру. Привлекая внимание к определенному монитору и автоматически регистрируя произошедшее событие, такие системы значительно повышают уровень безопасности охраняемого объекта. Кроме того, видеодетекторы движения часто используются для интеллектуальной компрессии, что позволяет значительно экономить дисковое пространство при архивировании видеоизображений.
Условно обработку видеоизображений в таких системах можно разделить на следующие этапы:
♦ выделение переднего плана;
♦ выделение и классификация движущихся объектов;
♦ отслеживание траектории движения найденных объектов;
♦ распознавание и описание действий объектов, представляющих интерес.
Процесс выделения переднего плана заключается в отделении движущихся
фрагментов изображения от неподвижных, которые называют фоновыми или принадлежащими заднему плану. От того, насколько аккуратно и корректно решена эта задача, зависят все последующие этапы обработки информации, а также требуемые вычислительные ресурсы. Сложность этой задачи обуславливается большим количеством разнообразных факторов, таких как собственные шумы камеры, внезапное изменение освещенности сцены, падающие тени, движение ветвей деревьев на ветру и др.
На втором этапе выделения и классификации сначала производится сегментация изображения переднего плана, т.е. находятся компактные области, движущиеся с одинаковой скоростью, которые считаются движущимися объектами. Далее они соотносятся с заранее определенными классами.
Методы построения переднего плана. Для построения переднего плана наиболее часто используются методы, основанные на вычитании фона, вероятностные методы, методы временной разности и оптического потока [7].
Методы вычитания фона являются самыми простыми и наиболее часто применяемыми для детектирования движущихся объектов. Суть их заключается в нахождении попиксельной разности между текущим кадром и некой моделью фона. В принципе, такая модель должна представлять собой сцену без движущихся объектов. При этом необходимо ее регулярное обновление, для того чтобы учитывать изменение условий освещенности и настроек камеры, таких как поворот, наклон и изменение фокусного расстояния. Главным недостатком методов вычитания фона является возможная классификация фоновых пикселей как переднеплановых. Это может происходить, например, для листьев деревьев, колышущихся на ветру, падающих снега и дождя, теней, отбрасываемых движущимися объектами и др. Кроме того, методам данного класса присуща латентность в обновлении модели фона: должно пройти некоторое время, прежде чем в модели будут учтены изменения, связанные с началом движения или остановкой объекта. Наконец, методы вычитания фона в своей простейшей реализации предъявляют достаточно высокие требования к ресурсам вычислительной системы.
В настоящее время развиваются методы построения заднего плана, основанные на применении искусственных нейронных сетей. Эти методы используют свойство нейронной сети адаптироваться к входным данным за счет введения настраиваемых обратных связей. Каждый пиксел фона управляется своей нейронной сетью, в результате чего через некоторое время, требуемое для настройки (обучения) нейронной сети, формируется модель фона, способная заданным образом подстраиваться к изменениям входного изображения.
В качестве итога можно сказать, что был произведён ознакомительный анализ существующих методов цифровой обработки видеосигналов. Даны базовые определения понятий, связанных с цифровой обработкой речевых сигналов, описаны основные методы обработки видеосигналов и представлены примеры использования данных методов в зависимости от постановки конкретной задачи.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. ГОСТ 7845-92. Система вещательного телевидения. Основные параметры. Методы измерений.
2. СмирновА.В. Основы цифрового телевидения. - М.: Горячая линия - Телеком, 2001.
3. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео - М.: Диалог МИФИ, 2003.
4. Сэломон Д. Сжатие данных, изображений и звука. - М.: Техносфера, 2006.
5. Лукьяница А.А., Шишкин А.Г. Цифровая обработка изображений. - М.: Ай-Эс-Эс Пресс, 2009. - 518 с.
6. Шлихт Г.Ю. Цифровая обработка цветных изображений. - М.: ЭКОМ, 1997. - 336 с.
7. Кругль Г. Профессиональное видеонаблюдение. Практика и технологии аналогового и цифрового CCTV. - 2-е изд. - М.: Секьюрити Фокус, 2010.
Статью рекомендовал к опубликованию д.т.н., профессор Д.А. Безуглов.
Кузнецов Максим Константинович - Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Южный федеральный университет»; e-mail: [email protected]; 347928, г. Таганрог, пер. Некрасовский, 44; тел.: +79045075333; аспирант.
Kuznetsov Maxim Konstantinovich - Federal State-Owned Autonomy Educational Establishment of Higher Vocational Education “Southern Federal University”; e-mail: [email protected]; 44, Nekrasovsky, Taganrog, 347928, Russia; phone: +79045075333; postgraduate student.
