CC BY
192
ОПТИКО-ЭЛЕКТРОННЫЕ УСТРОЙСТВА И СИСТЕМЫ
УДК 681.5.01
А. С. Сизов, Д. В. Титов, М. И. Труфанов
МОДУЛЬНАЯ ВСТРАИВАЕМАЯ ИНТЕЛЛЕКТУАЛЬНАЯ ОПТИКО-ЭЛЕКТРОННАЯ СИСТЕМА ВИДЕОНАБЛЮДЕНИЯ
Представлена встраиваемая оптико-электронная система, обеспечивающая анализ видеоданных, расширение и изменение ее функциональных возможностей, которая может быть применена для решения различных задач автоматизированного наблюдения и контроля заданной территории и объектов.
Ключевые слова: интеллектуальные системы управления, распознавание, схема, модуль, видеокамера.
Современный этап развития методов автоматизированного управления техническими и организационно-техническими системами характеризуется тенденцией алгоритмической, схемотехнической и конструктивно-технологической интеграции средств и объектов управления, что объективно обусловливает создание так называемых встраиваемых систем. Эта тенденция характерна и для развития робототехнических систем (РТС).
Создание автоматизированных РТС базируется на проектировании элементов, с одной стороны, отличающихся относительной простотой аппаратно-программной реализации, высокой надежностью функционирования, минимальными массогабаритными, энергетическими, стоимостными и другими показателями, а с другой — способных к конструктивному объединению и обладающих возможностью адаптации к управлению в условиях неопределенности. Таким образом, можно констатировать, что создание автоматизированных РТС согласуется с проблемной областью синтеза встраиваемых интеллектуальных систем управления. В связи с этим не вызывает сомнений актуальность разработки встраиваемой оптико-электронной системы видеонаблюдения.
Основными функциями интеллектуальных систем видеонаблюдения, как правило, являются запись всей поступающей видеоинформации без какой-либо компьютерной обработки или запись только кадров, соответствующих движению объекта заданного размера. Существенные недостатки систем видеонаблюдения заключаются в сложности поиска конкретного объекта (события) в общем объеме записанных видеоданных и использования хранилищ данных большого объема, необходимости постоянного наблюдения за обстановкой на видеодисплее, сложности (а иногда и невозможности) перестройки системы для решения другой задачи.
Развитие современной элементной базы, средств и методов обработки видеоинформации позволяет значительно повысить эффективность систем видеонаблюдения за счет распознавания предварительно заданных объектов и событий, адаптивного повышения качества поступающего изображения, получения детализированных изображений заданных объектов (например, номерных знаков автомобилей, въезжающих на стоянку).
Встраиваемые интеллектуальные системы управления просты в использовании, дешевы, надежны и пригодны для реализации сложных алгоритмов интеллектуального управления [1].
В настоящей татье представлена оптико-электронная система, построенная по модульному принципу на основе архитектуры „Евромеханика 19", системной шины CompactPCI и модулей в форм-факторе 3U, что обеспечивает быстрое реконфигурирование системы для решения различных задач путем замены или добавления необходимого аппаратного или программного модуля. Предлагаемая система отличается от известных возможностью интеллектуального анализа поступающих видеоданных, под которым понимается адаптивная коррекция помех и погрешностей изображения при различных условиях работы системы, возможность обнаружения (распознавания) заданных объектов (событий) и получение их детализированных изображений.
В состав системы входят корпус „Крэйт", специальный вычислитель СР308 на базе процессора Intel Pentium Core 2 Био, четырехканальная плата ввода аналогового видеосигнала SP-444a-cPCI, две портативные видеокамеры (аналоговые или цифровые в зависимости от конфигурации) — обзорная и длиннофокусная, модуль предварительной обработки изображения на базе программируемой логической интегральной схемы (ПЛИС), интеллектуальный модуль обработки изображения на базе цифрового сигнального процессора (ЦСП) и ПЛИС, система ориентации длиннофокусной видеокамеры (рис. 1).
Конструктив „Крэйт 19" 3U"
Шина CompactPCI
Рис. 1
В базовой версии система выполняет следующие функции: ввод изображения и адаптивная коррекция его искажений; обнаружение на изображении объекта заданного класса; получение детализированного изображения обнаруженного объекта путем ориентации длиннофокусной видеокамеры на объект; обнаружение заданного события (например, въезд автомобиля в заданную область); ведение базы данных; контекстный поиск событий или объектов.
Дополнительно система может быть оснащена модулями распознавания объектов по их изображениям, измерения геометрических параметров обнаруженных объектов, повышения четкости изображения движущихся объектов.
Рассмотрим более подробно модули обработки изображения, входящие в состав системы и обеспечивающие реализацию вышеперечисленных функций.
Структурная схема устройства ввода изображения и коррекции радиальной дисторсии представлена на рис. 2 [2]. Этот модуль реализует ввод изображения и коррекцию его искажений, вызванных радиальной дисторсией оптической системы видеокамеры, непосредственно в процессе получения изображения, что позволяет снизить загрузку специального вычислителя оптико-электронной системы.
Коррекция радиальной дисторсии осуществляется путем переноса точек изображения в их истинные позиции (X, у') в соответствии с выражениями
х' = х + Ах, у'=у + Ду,
где величины Ах, Ау рассчитываются на основе представленного в работе [3] метода с последующим уточнением яркости текущего пиксела I путем интерполяции по соседним пикселам:
I=и+(1 - к)£к^,
1=1
где к — весовой коэффициент, определяющий степень коррекции яркости текущего пиксела; к — весовой коэффициент, определяющий степень влияния яркости смежного пиксела на яркость текущего пиксела; I — яркость смежного пиксела.
Этот модуль позволяет обеспечивать коррекцию как аналогового изображения, так и цифрового. При поступлении аналогового изображения модуль коррекции дополнительно выполняет функции аналого-цифрового преобразования (АЦП).
Рассмотрим работу модуля. В процессе его настройки из специального вычислителя в контроллер модуля подаются необходимые для коррекции дисторсии данные о размерах (X, У) обрабатываемых кадров изображения. Контроллер осуществляет расчет исправленных координат (х'у') позиции для каждого пиксела изображения с координатами (х, у) и заносит их в ОЗУ таблицы коррекции по адресу а, равному А = х + уХ.
При вводе изображения в оптико-электронную систему формирователь адреса 1 определяет адрес в ОЗУ таблицы коррекции, где ранее записаны исправленные координаты текущего пиксела. На выходе ОЗУ таблицы коррекции формируются значения (х', у'), которые формирователем адреса 2 преобразуются в адрес А' = х' + уХ. По адресу А' в ОЗУ видеоданных записывается значение яркости текущего пиксела. В результате после поступления всех пикселов очередного кадра в ОЗУ видеоданных записывается изображение, не искаженное влиянием радиальной дисторсии. Записанное изображение передается по системной шине в специальный вычислитель. При соответствующей модификации (добавлении двух дополнительных каналов) модуль может обеспечивать коррекцию хроматической аберрации. Структура подобного модуля представлена в работе [4].
Рис. 2
В системе предусмотрен также интеллектуальный модуль обработки изображения, который предназначен для распознавания трехмерных объектов заданного класса. Метод распознавания объектов, реализованный в данном модуле, представлен в работе [5]. Вспомогательной функцией модуля является адаптивное изменение яркости изображения в зависимости от уровня внешней освещенности с учетом требований к выдержке (времени получения одного кадра). Метод распознавания включает несколько этапов: ввод изображения, вычисление признаков (кода и соотношения сторон габаритного контейнера) изображения, определение проекции эталонного изображения, имеющей соответствующие признаки, вычисление матрицы входных параметров и матрицы весовых коэффициентов, определение на основе имеющихся данных класса эталона, к которому принадлежит объект.
Для изображения объекта, поступившего на вход, производится выделение габаритного контейнера и кодирование (под габаритным контейнером понимается описанный вокруг изображения прямоугольник). Затем выбирается массив с параметрами эталонного изображения, сравниваются коды распознаваемого и эталонного изображений, вычисляется отношение сторон габаритных контейнеров изображений. Если указанные условия выполнены, то производится сравнение проекция эталона с изображением, поступившим на вход. Для этого проекция эталона строится таким образом, чтобы размеры габаритного контейнера распознаваемого изображения и проекция эталонного совпадали.
Далее производится сравнение изображения объекта с проекцией эталона. Для этого используется нейроподобная структура типа персептрон. При превышении порога решающей функции принимается решение о принадлежности изображения объекта к классу текущего эталона, в противном случае производится очередная итерация, и процесс распознавания повторяется для очередной проекции эталона, удовлетворяющей предварительным условиям. По завершении перебора базы эталонов по мажоритарному принципу определяется класс объекта.
На рис. 3 представлена структурная схема интеллектуального модуля.
Модуль выделения Модуль хранения
Модуль сохранения параметров идентифицированных эталонов
Рис. 3
Входное изображение подается на блок ввода изображения (БВИ), выделяющий яр-костную составляющую и передающий полученные данные в блок обработки входного изображения (БОВИ), который обеспечивает выделение габаритного контейнера и осуществляет расчет вектора признаков входного изображения. Блок анализа изображения и
кодирования (БАИиК) производит вычисление величин, необходимых для распознавания объекта. Далее посредством блока, обеспечивающего извлечение данных из запоминающего устройства и производящего сравнение параметров (ИЗБиСП), осуществляется сравнение параметров имеющихся эталонов, находящихся в запоминающем устройстве (ЗУПЭ), и параметров, полученных с использованием блока БАИиК. При наличии соответствия из запоминающего устройства, содержащего эталонные изображения в векторном формате (ЗУЭВИ), считывается соответствующая векторная модель эталонного объекта. Посредством блока, обеспечивающего преобразование векторного изображения (БПВИ), выполняется его поворот, масштабирование и передача данных в блок расчета проекции (БПП), где векторное изображение преобразуется в соответствующую плоскую проекцию.
На основе данных, полученных блоком расчета проекции, генератор весов персептрона (ГВП) формирует веса для персептроного блока (ПБ). Далее, с помощью блока, пересылающего параметры „похожих" изображений (БПППИ), выполняется сравнение исходного изображения и проекции эталона. В качестве входных данных для персептронного блока используется количество пикселов. Решающий элемент персептронного блока обеспечивает идентификацию изображения. Параметры всех идентифицированных изображений заносятся в стек для накопления полученных изображений (СПИ), откуда впоследствии извлекаются с помощью блока выборки трехмерного эталона по переданным параметрам и сохранения необходимых данных (БВЭиСД) для передачи в устройство коммуникации со специальным вычислителем (УКЭВМ). Блок подсчета разности цвета пикселов (БПРЦ) определяет численное значение различия исходного и эталонного изображений. Блок сохранения параметров (БСП) обеспечивает хранение информации об идентифицированном объекте.
Итак, рассмотрены процессы предварительной обработки и распознавания изображений и реализующие их специализированные модули.
Обобщенный алгоритм функционирования модульной встраиваемой интеллектуальной оптико-электронной системы видеонаблюдения определяется целью ее использования и может быть изменен в зависимости от решаемой задачи.
В рассматриваемой системе обзорная видеокамера устанавливается так, чтобы область пространства, в которую входит объект, полностью попадала в кадр. Изображение с обзорной видеокамеры поступает через плату ввода аналогового сигнала (см. рис. 1) и далее передается в модуль предварительной обработки изображения, затем в интеллектуальный модуль и специальный вычислитель. Специальный вычислитель определяет параметры, необходимые для ориентации длиннофокусной видеокамеры на объект, и подает команды модулю ориентации видеокамеры. Полученное с длиннофокусной видеокамеры изображение объекта во весь размер кадра передается в специальный вычислитель и сохраняется в базе данных. Затем процесс обнаружения объектов, пересекающих заданную область пространства, повторяется.
Вместо длиннофокусной видеокамеры в системе также может быть использован цифровой зеркальный фотоаппарат, подключаемый к специальному вычислителю через устройство управления, схема которого представлена на рис. 4.
Специальный вычислитель
ШВ
Преобразователь ШВ-СОЫ
Микроконтроллер
Оптопара
Оптопара
►Фокусировка ►Спуск
Рис. 4
Цифровой фотоаппарат обеспечивает значительно большую по сравнению с видеокамерой разрешающую способность, что может быть необходимо для дальнейшего извлечения информации из полученных изображений, однако его применение возможно только внутри помещений.
Представленная структурно-функциональная организация модульной встраиваемой оптико-электронной системы видеонаблюдения обеспечивает интеллектуальный анализ поступающих видеоданных, расширение и изменение ее функциональных возможностей, что позволяет использовать эту систему для решения различных задач автоматизированного наблюдения и контроля заданной территории и объектов.
Работа выполнена при поддержке Федерального агентства по образованию, грант НК-425П-5(59).
1. Васильев А. Е., Криушов А. В., Шилов М. М. Инструментальные средства и методология подготовки специалистов в области встраиваемых интеллектуальных систем управления // Информационно-управляющие системы. 2009. № 4. С. 43—52.
2. Пат. 2351983 РФ, МКИ G06K9/32. Устройство ввода изображения в ЭВМ и коррекции дисторсии / Д. В. Титов, М. И. Труфанов // Опубл. 10.04.09. Бюл. № 10.
3. Оптико-электронные устройства обработки и распознавания изображений / В. С. Титов, М .И. Труфанов., Е. А. Макарецкий, А. Я. Паринский. Тула: Изд-во ТулГУ, 2008. 121 с.
4. Пат. 2352987 РФ, МКИ G06K9/20. Устройство получения изображения с коррекцией хроматической аберрации / А. С. Козлов, В. С. Титов, М. И. Труфанов // Опубл. 20.04.09. Бюл. № 11.
5. Vision system for image recognition based on three-dimensional vector patterns / V. Gridin, V. Titov, M. Truphanov, S. Korostelev // Machine Graphics and Vision. 2009. Vol. 18, N 2. P. 175—186.
список литературы
Сведения об авторах
Александр Семенович Сизов
д-р техн. наук, профессор; Курский государственный технический университет, кафедра информационных технологий;
E-mail: [email protected]
Максим Игоревич Труфанов
канд. техн. наук, доцент; Курский государственный технический университет, кафедра вычислительной техники; E-mail: [email protected] студент; Курский государственный технический университет, кафедра вычислительной техники; E-mail: [email protected]
Дмитрий Витальевич Титов
Рекомендована кафедрой вычислительной техники
Поступила в редакцию 14.04.10 г.
