CC BY
11
Понятский В.М.1, Егоров Д.Б.2
1 АО Конструкторское бюро приборостроения им. академика А.Г. Шипунова, г. Тула, Тульский государственный университет, к.т.н., доцент кафедры Проектирование автоматизированных
комплексов, pwmru@rambler.ru
2 Тульский государственный университет, г. Тула, аспирант кафедры радиоэлектроники,
gosha fighten@mail.ru
ПРОГРАММНЫЙ КОМПЛЕКС МОДЕЛИРОВАНИЯ ПОСЛЕДОВАТЕЛЬНОСТИ МЕТОДОВ ВИДЕООБРАБОТКИ ДЛЯ ЗАДАЧ УПРАВЛЕНИЯ
КЛЮЧЕВЫЕ СЛОВА
Изображение, обработка, метод, модуль, время, пакетный режим обработки, покадровый режим обработки.
АННОТАЦИЯ
В данной работе рассматривается задача моделирования процесса обработки видеопотока в реальных информационно-измерительных системах для задач управления.
Программный комплекс обработки видеоизображений DIP Studio 2.5 [1] предоставляет возможность выбора последовательности методов обработки, осуществить настройку их параметров и режимов работы для обработки и селекции изображений. Комплекс имеет встроенные модули для ввода или моделирования последовательности видеоизображений, их предварительной обработки, селекции и отображения результатов обработки. Комплекс позволяет выбрать последовательность методов обработки видеокадров из предоставленного набора модулей и скомпоновать составленный набор методов обработки в проект с возможностью его сохранения и корректировки. Данный комплекс выполняет выбранный набор методов модуль за модулем, т.е. сначала первый модуль обрабатывает всю последовательность изображений, затем также второй модуль, третий и т.д. Таким образом, на момент выполнения текущего модуля все предыдущие модули обрабатывают всю заданную последовательность видеоизображений. Проект можно запустить на выполнение либо целиком, либо по шагам. Шаг - минимальное действие для выполняемого проекта. В комплексе DIP Studio 2.5 одним шагом является выполнение одного модуля для всей последовательности изображений или всего интервала времени, т.е. обеспечивается пакетная обработка. Таким образом, DIP Studio 2.5 реализует пакетный режим обработки проекта.
В видеосистемах реального времени пакетный процесс обработки не соответствует реальному процессу обработки. В реальных системах с определенной частотой дискретизации в процессор поступают изображения, и процессор выполняет весь набор операций над конкретным видеоизображением. В терминах программного комплекса такой процесс обработки выражается в том, что для конкретного отсчета времени выполняются все модули проекта. Далее выполняются все модули проекта для следующего отсчета времени и т.д. То есть обеспечивается покадровая обработка изображений.
Разработан программный комплекс DIP Studio 3, обеспечивающий обработку изображений в соответствии с реальными процессами в видеосистемах слежения и управления (рис. 1).
Программный комплекс DIP Studio 3 поддерживает как пакетный режим обработки, так и покадровый. Для покадрового режима понятие шага выполнения определяется следующим образом: выполнение одного модуля для данного отсчета времени. Следующий шаг - выполнение следующего модуля для этого же отсчета времени, и так до последнего модуля в проекте. Когда последний модуль проекта для данного отсчета времени выполнен, следующим шагом является выполнение первого модуля проекта для следующего отсчета времени. И так далее.
Для задания времени начала и времени конца выполнения проекта, а также его шага дискретизации была введена дополнительная панель времени (рис. 2).
Проект Панели
> и н сз © в
Ы Изображения J Images | Р1 \чм 0 * X ну НЫ РК.1 ' ESC с 12 3
¡3 H RKJ MJ ■рт* Шт~ рЩ. ъГ^ Щ2i
ЁЯщ, 8 vpv
12 И Изображения 1 И1 13 14 15 ▼ анные Плагины Проект
0*
□Л115ег\Егоров\Картинки\Новая папка\б35511352728390019,Ьтр Яркость: 95 X: 722 Y: 152
Горизонтально Admin
Рис. 1. Интерфейс программного комплекса моделирования последовательности методов видеообработки
для задач управления
Рис. 2. Панель ввода времени начала обработки, конца и дискретизации
Задание времени выполнения, специфичного для конкретного плагина, производится в окне настройки этого плагина. На следующем рисунке (рис. 3) представлено, как задается время
начала и время дискретизации для плагина «Загрузка изображений».
Настройка плагина "Загрузить изображения"
Папка с изображениями D:\ Время начала, мс 0|
Дискретизация, мс
0 Преобразовать в 8-бит формат
Имя результата Images
Cancel
Рис. 3. Окно настройки плагина «Загрузка изображений» В основе модулей DIP Studio 3 лежит тот же принцип динамически подключаемых плагинов, как и в DIP Studio 2.5. Подключаемые модули представляют собой отдельные сборки.
Программный комплекс автоматически загружает их из подпапки Plugins папки, где установлен программный комплекс. Программный комплекс предоставляет набор предустановленных модулей. Также разработчик может реализовать свой собственный плагин, реализующий требуемый метод обработки.
Программный комплекс согласно настройкам, заданным в панели времени (рис. 3), передает отсчет времени, для которого выполняется данное действие, в плагин. Плагин же, в свою очередь, может обрабатывать полученный отсчет времени согласно своей логике выполнения. Можно выделить три основных режима работы плагина с полученным отсчетом времени. Например, плагин может иметь свою собственную частоту дискретизации обрабатываемых видеокадров, свое время начала и конца. В данном случае, плагин может выдавать результирующие изображения со своей частотой, а не с частотой выполнения проекта. Такой режим реализован в плагине «Загрузка изображений», представленном выше. Например, время дискретизации для проекта установлено в 0,5 с, а для плагина «Загрузка изображений» задано время дискретизации 0,2 с. Таким образом, для отсчета времени 0,5 с плагин «Загрузка изображений» загрузит два видеокадра для 0,2 и 0,4 секунд. Данный подход может имитировать поступление видеокадров в систему из стороннего источника с его собственной частотой дискретизации.
Плагины, реализующие описанный выше режим, могут создать несколько видеопотоков с разной частотой дискретизации. Поэтому встает задача комплексирования этих потоков. Режим комплексирования является еще одним режимом работы плагина с поступившим отсчетом времени. Типичным примером является сложение двух видеорядов разных частот с третьей частотой сложения. Например, время дискретизации первого видеопотока - 0,4 с, второго - 0,3 с, производится сложение двух видеопотоков с частотой 0,5 с. Время начала обоих потоков и начала сложения одинаково и равно 0 с. Таким образом, суммой изображений для первой секунды будет сумма изображения первого видеопотока, полученного на 0,8 с, и изображения второго видеопотока, полученного на 0,9 с. Такой режим реализован в плагине «Сложение изображений» (рис. 4). Данный плагин не имеет поля ввода для частоты сложения и производит сложение для отсчета времени, переданного программным комплексом.
Dj Настройка плагина "Сложение изображений"
X)
Исходный видеоряд 1 I-nages 1 •
Исходный видеоряд 2 I-nages2 •
Имя результата Surn|
□к
Отмена
Рис. 4. Окно настройки плагина «Сложение изображений»
Однако большинство предустановленных плагинов реализуют третий режим работы. Плагин выдает результирующие данные с шагом, равным времени дискретизации проекта. В качестве примера рассмотрим плагин «Размерная фильтрация», чей интерфейс приведен на рис.5. Входными данными плагина является таблица выделенных на видеокадрах объектов, результатом работы является таблица объектов, отфильтрованных по величине площади. Допустим, что исходные объекты поступают с частотой 0,3 с, время дискретизации проекта - 0,5 с. Таким образом, результатом работы плагина является таблица с шагом 0,5 с, а, например, для первой секунды обработки плагин вернет отфильтрованные объекты, выделенные на 0,9 с.
Настройка плагина "Размерная фильтрация"
Исходные данные Objects Минимальный размер -/ Использовать файл данных
Константа
Имя вкладки данных Data Поле sPix
Максимальный размер
Использовать файл данных Константа 100
Имя вкладки данных Поле
Имя результата
Filtered Objects
OK
Отмена
Рис. 5. Окно настройки плагина «Размерная фильтрация»
Интерфейс программного комплекса DIP Studio 3 предлагает четыре основных панели:
- Плагины (рис. 6);
- Проект (рис. 7);
- Изображения (рис. 8);
- Данные (рис. 9)
и окно просмотра изображения (рис. 10].
"Ml Р «Г м<
. + JWttThHfrpjdEdH L iH
. 1 ■WifA^T
. * *1TgVTIT1 'Т^ГГГП1
et
» hfuw:
■flj4! ЧНЛЛР'Е 'E E-HP»^!^
Щ
y?
Hû
(^аКПВПИИШМП*
4 ■ ' i^cw" iWîw
'----IJHf.i« ЬшчнЛЦСиМНн« tfWlDttMP
■b IUlÜCh un' "Ar—* 11Jl>f»4 Э I^IMr
дничийкмпни«»! I
а б в
Рис.б.Панель «Плагины» для режима: а - моделирование изображений; б - обработка изображений; в - селекция
Панель «Плагины» (рис. 6) предоставляет пользователю возможность выбрать нужные модули и добавить их в проект. Плагины разделены на несколько категорий согласно их задачи. Так, выделены группы:
- «Моделирование изображений», в которой представлены модули, моделирующие источник видеокадров (см. рис. 6а);
- «Обработка изображений», в которой представлены плагины для предварительной обработки входящих видеокадров (см. рис. 6б);
- «Селекция», в которой представлены модули для траекторного анализа и селекции
полученных траекторий (см. рис. 6в);
- «Представление результатов», в которой собраны плагины для отображения результатов работы программы в удобном для пользователя виде.
Панель «Проект» (рис. 7) отображает список выбранных для текущего проекта плагинов. Пакетный или покадровый режим работы задается до начала формирования проекта в главном меню. Во время выполнения проекта на данной панели идет индикация плагина, который выполняется в данный момент, и отсчет времени, для которого он выполняется (для покадрового режима), а также общее время выполнения плагина.
1 Троект * X
Начало, не 5200 Дискретизация,. не 5 Конец, не 5600
Имя операции Статус выполнения Текущий .,. Бремя в.,.
[Загрузить данные] Коэффициенты [> Не выполнено 5220 мс 132 мс
[Загрузить данные] Номиналы [> Не выполнено 5220 не 57 мс
[Загрузить изображения] Изображения 1 [> Не выполнено 5220 мс 5711 мс
[Бинаризация изображении] Бинаризация 1 [> Не выполнено 5220 мс 36 мс
[Выделение объектов] Объекты 1 [> Не выполнено 5220 мс 624 мс
© [Размерная фильтрация] Селекция по размеру 1 [> Не выполнено 5220 мс 5 мс
[Метод трасс] Метод трасс 1 [> Не выполнено 5215 мс 51 мс
[Селекция объектов] Селекция 1 [> Не выполнено 5215 мс 249 мс
Рис. 7.Панель «Проект»
На панель «Изображения» (рис. 8) выводятся результирующие изображения работы плагинов. Изображения сгруппированы во вкладки для каждого плагина.
Рис. 8.Панель «Изображения»
На панель «Данные» (рис. 9) выводятся результаты работы плагинов в табличном виде. Здесь можно вывести координаты объектов на видеокадрах, их траектории.
§||]Данные » X
геэиН
Время Имя
Ш 10 0:1рта(£'ридеокадры1',(поджатые чисты...
Ш 10,5 С|:^г|,ч,а1е\Е!идеокадр1ы\3\1РС (поджатые чисты...
Ш 11 [:':^Пча1е\Е!идеокадры\3\1РС (поджатые чисты...
► В 11,5 С|:^г|,ч,а1е\Е!идеикадры\3\1РС (поджатые чисты...
ч. Магие X У ШИЛ НещМ 3 МахВпдМ...
► 1 335 490 1 1 1 255
2 342,0562... 502,9986... 53 22 747 255
Ш 12 С|:^г|,ч,а1е\Е!идеикадры\3\1РС (поджатые чисты...
Ш 12,5 С|:^г|,ч,а1е\Е!идеокадры\3\1РС (поджатые чисты...
Ш 13 С|:^г|,ч,а1е\Е!идеокадры\3\1РС (поджатые чисты...
Ш 13,5 С|:^г|,ч,а1е\Е!идеокадры\3\1РС (поджатые чисты...
Ш 14 С|:^г|,ч,а1е\Е!идеокадры\3\1РС (поджатые чисты...
Ш 14,5 С|:^г|,ч,а1е\Е!идеокадры\3\1РС (поджатые чисты...
ш 15 С|:^г|,ч,а1е\Е!идеокадры\3\1РС (поджатые чисты...
ш 15,5 С|:^г|,ч,а1е\Е!идеокадры\3\1РС (поджатые чисты...
ш 16 С|:^г|,ч,а1е\Е!идеокадры\3\1РС (поджатые чисты...
ш 16,5 С|:^г|,ч,а1е\Е!идеокадры\3\1РС (поджатые чисты...
ш 17 С|:^г|,ч,а1е\Е!идеокадры\3\1РС (поджатые чисты...
ш 17,5 С|:^г|,ч,а1е\Е!идеокадры\3\1РС (поджатые чисты...
ш 18 С|:^г|,ч,а1е\Е!идеокадры\3\1РС (поджатые чисты...
ш 18,5 С|:^г|,ч,а1е\Е!идеокадры\3\1РС (поджатые чисты...
ш 19 С|:^г|,ч,а1е\Е!идеокадры\3\1РС (поджатые чисты...
ш 19,5 □:1рпуа 1е\Е!ндеик^дры\3\1РС (поджатые чисты...
ш 20 С|:^г|,ч,а1е\Е!идеокадры\3\1РС (поджатые чисты...
Рис. 9.Панель «Данные»
В окне просмотра изображений (рис. 10) обеспечивается увеличение и уменьшение масштаба изображения, поворот изображения, выделение части изображения, навигация между изображениями, построение гистограммы, инверсия изображения.
Рис. Ю.Окно просмотра изображений Таким образом, разработан программный комплекс моделирования последовательности
методов видеообработки для задач управления. Основным преимуществом реализованной возможности покадрового выполнения проекта является моделирование выполнения методов обработки, чья логика зависит от выходных данных, полученных от других методов для текущего момента времени. Примером, где может понадобиться такая связь ранних и поздних действий, является формирование размеров и наложение строба на изображение по текущим выделенным координатам объекта и дальнейшая обработка только той области, которая входит в пределы строба.
Литература
1. Егоров Д.Б., Понятский В.М. Программный комплекс обработки последовательности видеоизображений // VIII Междунар. Конф. «Современные информационные технологии и ИТ-образование», М.: Изд-во МГУ 2013. Ч 2.
