CC BY
30
Проектирование транспортно-ориентированных систем искусственного зрения на базе технологии «система на кристалле»
Ш. С. Фахми,
доктор техн. наук, доцент, ведущий научный сотрудник Института проблем транспорта им. Н. С. Соломенко РАН
Усложнение транспортных систем обострило проблему взаимодействия человека и машины, обусловив негативное влияние человеческого фактора на работу самих систем. Сегодня необходим эффективный «пользовательский интерфейс» - система управления транспортом, созданная на основе полученной в реальном времени видеоинформации. К одному из фундаментальных направлений развития пользовательского интерфейса - систем искусственного зрения (СИЗ) - принадлежит аппаратная реализация системных функций, ранее выполнявшихся человеком. Перспективность данного направления объясняется состоянием современной электронной базы, для которой характерен высокий уровень интеграции электронных компонент на одном кристалле.
Методологическим аспектом научных основ безопасности транспортных комплексов является анализ аварийности и методов расследований аварий [1]. Следовательно, в условиях большой плотности дорожного потока существенную роль приобретают технические средства обработки визуальной информации, полученной от видеокамер наблюдения [2; 3].
При постоянном росте числа транспортных средств и увеличении трафика особо актуальным становится развитие вычислительной техники и средств обработки изображений в составе систем технического зрения с использованием современных нанотехнологий проектирования. В больших городах, где воздействие человеческого фактора приобретает все более катастрофический характер, для организации транспортного потока и управления им необходимы автоматические средства приема, анализа и принятия решения на основе визуальной информации Анализ зарубежных систем приема, анализа информации и принятия решения выявляет избыточную вычислительную сложность алгоритмов, затрудняющую использование стандартных вычислительных средств для построения автоматизированных транспортных систем.
Таким образом, сейчас объективно имеет место противоречие между необ-
ходимостью повышения безопасности дорожного движения путем снижения рисков в различных дорожно-транспортных ситуациях или при изменении конфигурации улично-дорожной сети, и ограниченными функциональными возможностями существующих средств соответствующего назначения вследствие их узкой специализации.
Концептуальная модель системы искусственного зрения
Системы мониторинга и наблюдения на транспорте — простой и эффективный инструмент снижения текущих издержек на содержание и обслуживание транспортных средств и повышения безопасности пассажиров и грузов. Они обеспечивают эффективный контроль и управление транспортным комплексом за счет технологий автоматизации логистики, спутникового слежения, ГЛОНАСС/GPS-мониторинга др.
Использование интеллектуальных систем видеонаблюдения и управления транспортом на основе технологии «система на кристалле» — качественно новый уровень управления транспортными средствами, обеспечивающий:
• прием, анализ и передачу видеоинформации в реальном времени;
• ГЛОНАСС/GPS-слежение, управление и анализ текущего состояния контролируемых объектов;
Регламентирующая среда
I I
Рис. 1. Концептуальная модель системы искусственного зрения
• спутниковый контроль транспорта, соблюдение его режимов работы;
• повышение эффективности использования транспортных средств и специальной техники;
• снижение затрат и цены на ремонт транспорта;
• повышение эффективности планирования маршрутов и безопасности грузоперевозок и т. д.
Основными проблемами, которые стоят перед разработчиками систем кодирования видеоинформации, полученной от камер наблюдения, являются:
• проблема нестационарности кодируемых сигналов (имеет своим источником необозримое разнообразие статистик; предпринимаются попытки ее решить на основе статистических свойств сигнала [4]);
• проблема сложности кодирования, которая состоит в формализации связи трех величин: точности передачи, скорости передачи и сложности кодера (декодера); она решается за счет применения адаптивных алгоритмов кодирования на основе спектрального косинусного преобразования [5].
Для эффективного применения систем и управления ими необходимо двигаться в двух направлениях: спектральной обработки изображений и распознавания образов (рис. 1).
Соответственно, концептуальная модель СИЗ на транспорте должна включать в себя две основные подсистемы: обработки видеоинформации и распознавания объектов.
Подсистема спектральной обработки видеоинформации
При создании средств визуального контроля и наблюдения за значимыми объектами первоочередной задачей всегда было удовлетворение потребности в обработке, анализе и передаче движущихся картин. В эпоху мультимедиа появилась возможность оцифровки видеоинформации и ее обработки в реальном времени.
С точки зрения вычислительной сложности кодирование на основе трехмерного косинусного преобразования отличается от стандарта MPEG-2 тем, что требует в 10 раз меньше времени. Это достигается в основном за счет отсутствия компенсации движения по временной оси. При аппаратной реализации СИЗ дополнительно можно использовать возможности конвейерной обработки и вычислений на основе раз-
рядно-параллельных умножителей [6].
В технических системах, особенно критичных ко времени их реакции, используются методы параллельной обработки массивов числовых данных в изменяемой системе исчисления [6], что позволяет существенно сократить время на выполнение элементарных операций и дает прирост общей производительности примерно на порядок. Исходя из этих обстоятельств можно говорить о применимости кодирующих устройств в системах реального времени и перспективах их реализации в виде сверхбольших интегральных схем (СБИС).
Следует отметить, что проблема ресурсосбережения и направления ее решения принципиально связаны как с первичной обработкой визуальных данных (непосредственный контроль, о котором говорится во многих работах), так и с принятием решений и выбором гипотез в индуктивном выводе [7]. При этом важнейшей задачей является структурирование и пространственное представление изображений [8-10].
Подсистема распознавания образов
В настоящее время искусственное зрение уже широко используется при решении самых разных задач, в том числе там, где обычные системы видеонаблюдения оказываются неэффективными или где их применение невозможно. Среди задач, решение которых доверяют системам искусственного зрения и методам распознавания образов, — контроль и управление для эффективного безошибочного принятии решения практически на всех видах транспорта.
При этом синтез систем искусственного зрения на основе технологии «система на кристалле» [11] необходимо проводить с учетом опорной триады [12]:
• априорной информации, необходимой для своевременного принятия решения;
• критерия качества при обработке зрительных данных;
• ограничений на параметры системы (регламентирующая среда).
Функциональная схема систем искусственного зрения
Системы и видеосистемы искусственного зрения на кристалле (ВСИЗнК) — это специализированные (т. е. предназначенные для применения в конкретной аппаратуре распознавания требуемых объектов изображений) и функционально законченные СБИС класса «система на кристалле». Они изготавливаются по субмикронной технологии с проектными нормами £35 нм, проектируются на основе единой системы автоматизированного проектирования (САПР) с максимальным использованием готовых сложно-функциональных блоков (СФ-блоков) и в обязательном порядке включают в себя процессорные элементы, блоки распознавания, схемы памяти, цифровые, аналоговые и аналого-цифровые узлы (рис. 2).
В состав функциональной схемы ВСИЗнК входят три основных СФ-блока.
СФ-блок приема видеоинформации (интеллектуальные фотоприемники)
Сегодня фоточувствительные большие интегральные схемы (БИС) и камеры на их основе используются в самом разнообразном электронном оборудовании — автомобильной электронике, компьютерных видеосистемах, бытовых видеокамерах и фотоаппаратах, видеотелефонах, биомедицинских системах, считывателях штриховых кодов, системах наблюдения, охраны и обеспечения безопасности.
Системный подход требует отказа от старой концепции единственного потока данных между фотоприемником и вычислителем и перехода к новой концепции распараллеливания потоков видеоин-
формации не только внутри вычислителя, но и на его входе. Распараллеливание ввода видеоинформации из фотоприемника в вычислительную подсистему должно основываться на максимизации количества и качества видеоинформации. Этот подход концептуально близок рассмотренному в [13; 14].
СФ-блок пространственной обработки (структурирования) изображений
Наиболее перспективным направлением в области создания СИЗ являются пространственные методы, которые применяются в решении задач распознавания образов и восстановления двумерных изображений по структурированным опорным точкам (ОТ) [15].
Основные преимущества этих методов заключаются в следующем. Во-первых, структура ОТ естественным образом подстраивается под данные — там, где отсутствуют объекты наблюдения, ОТ меньше, а там, где есть ОТ, — больше [15]. Во-вторых, рекурсивный подход в процессе сжатия (т. е. при поиске опорных точек) и триангуляция при декодировании позволяют распараллеливать алгоритмы сжатия и передачи. В-третьих, поиск и структурирование ОТ-изображения является наиболее подходящим способом построения трехмерных каркасных триангуляционных моделей описания объектов и создания баз видеоданных на их основе [9; 15; 16].
СФ-блок кодирования и передачи
Функции данного блока состоит в том, чтобы выделить, преобразовать и передать только важную в информационном отношении часть видеосигнала.
Любой источник изображения в той или иной мере обладает избыточностью. Во-первых, существует избыточность, обусловленная ограниченностью человеческого зрения: большая часть активно воспринимаемой информации о крупных деталях изображения сосредоточена на низких пространственных частотах. Во-вторых, известна избыточность передачи фаз движения, поскольку значительная часть видеокадра обычно занята статическим или равномерно перемещающимся фоном. Эта часть может быть сравнительно легко предсказана по предыдущему или последующему видеокадру.
Как известно, объекты окружающего пространства обладают рядом оптических характеристик (энергетических, пространственных, спектральных, поля-
ризационных), численные значения которых присущи только данным объектам. Поэтому для их обнаружения, отождествления и исследования используются приборы различных классов, основанные на различных принципах действия (визуальные, телевизионные, тепловизион-ные, радиометрические, спектральные, поляризационные, и пр.) и оптимальном сочетании этих принципов.
Например, поскольку спектры отражения естественных и нарушенных антропогенным воздействием растительного, почвенного и снежного покровов сильно отличаются друг от друга, одним из наиболее эффективных методов мониторинга заглубленных и обвалованных объектов, подземных коммуникаций транспорта и связи является муль-тиспектральная съемка.
Высокоразрешающие мультиспект-ральные информационно-измерительные комплексы необходимы также при выполнении различных геологических и инженерно-геологических изысканий — в частности, проводимых с целью проектирования и строительства нефте-и газопроводов.
Методы и алгоритмы приема анализа и передачи изображений
Спектральный метод обработки изображений
Как отмечалось выше, в основе современных видеокодеков, реализующих оптимальное согласование источников видеоинформации с каналами
связи путем сжатия и восстановления видеоинформации, лежит принцип устранения статистической избыточности (декорреляции).
Принято различать пространственную (внутрикадровую) и временную (межкадровую) избыточность. Для устранения пространственной избыточности наряду с другими широко используются алгоритмы на основе дискретного косинусного преобразования (рис. 3а).
Подсистема спектрального кодирования и передачи изображений применяет единый механизм декорреля-ции — трехмерное дискретное косинусное преобразование.
Пространственный метод обработки изображений
Для развития пространственных методов предлагается пространственно-рекурсивный метод, основанный на рекурсивном поиске ОТ-изображения и существенно снижающий скорости их передачи.
В результате анализа изображений формируется список ОТ и связей между ними в виде оптимальной с точки зрения минимального объема памяти структуры изображения. Данная структура передается по каналу с целью обучения, а также распознавания требуемых объектов изображений, сравнения с эталоном из базы видеоданных для принятия решения (рис. 3б).
Обучение
Структурирование изображений
Рис. 2. Функциональная схема видеосистем искусственного зрения
Ограничения на параметры системы
Вход
я)
Выход
Вход б)
Выход
Исходное изображение
Преобразование
Спектральные методы и алгоритмы
Сжатое описание (трансформанты)
Результирующее изображение
Обратное преобразование
Исходное изображение Выделение
опорных точек 1
Пространственные методы и алгоритмы Сжатое описание (опорные точки)
Принятие решения Обучение и распознавание , 1
Рис. 3. Методы кодирования и декодирования изображений: а - спектральные, б - пространственные
Техническое задание
Системное проектирование
- АО/ПО разбиение;
- моделирование;
- анализ производительности.
Библиотека собственных моделей
Библиотека моделей производителей СБИС
Уровень системного проектирования
—Т-
Верификация
^ Контроль функционального моделирования системы
ГДа
Физический синтез (топология)
Верификация '
Наноэлектронная реализация системы Рис. 4. Маршрут проектирования транспортных СИЗ на кристалле
Генерация тестов
Физический уровень проектирования (на кристалле)
• разработку архитектуры СИЗнК на системном уровне;
• выбор СФ-блоков из базы данных (внутри фирмы, других фирм или поставщиков СФ-блоков);
• проектирование оставшихся блоков;
• интеграцию всех блоков на кристалле (рис. 4).
В Институте проблем транспорта им. Н. С. Соломенко РАН совместно с СПбГЭТУ «ЛЭТИ» разработан макет на основе системы на кристалле с встроенным 32-разрядным ARM-процессо-ром (рис. 5). Он позволяет выполнить весь маршрут аппаратно-программного проектирования сложно-функциональных блоков приема, анализа и передачи видеоинформации в системах технического зрения для решения проблем развития транспортных систем.
Таким образом, для любого конкретного случая можно создать систему технического зрения, намного превышающую возможности человеческого глаза, а порой и человека как анализатора изображений. При этом использование специальных устройств обработки получаемого изображения позволяет иногда достичь совершенно неожиданных по степени эффективности решений, в том числе в ситуациях, кажущихся тупиковыми.
Современный подход к развитию интеллектуальных транспортных технологий в конечном итоге должен обеспечивать выполнение полного маршрута системного проектирования СИЗнК. При этом необходимо параллельно создавать собственные библиотеки модулей, специально предназначенные для решения конкретных задач управления, организации и повышения безопасности на транспорте. П
Маршрут проектирования транспортных систем искусственного зрения на кристалле
В основе методологии проектирования СИЗнК должен лежать принцип повторного использования СФ-блоков, целенаправленно разрабатываемых для решения задач обеспечения безопасности транспорта и включенных в состав транспортно-ориентированной библиотеки (рис. 4).
Концепция декомпозиции СИЗнК предполагает деление системы на две подсистемы: первая ориентирована на максимально быструю обработку информации для передачи данных, а вто-
рая — на анализ и распознавание объектов изображений.
На базе данной концепции мы предлагаем создать специализированные дизайн-центры системного уровня проектирования с соответствующими библиотеками СФ-бло-ков (рис. 4). С их помощью можно решать различные задачи в сфере транспорта.
Фактически весь процесс разработки СИЗнК включает в себя следующие этапы:
• разработку технического задания с учетом вектора концепции транспортной системы [14];
Литература
1. Белый О. В. Проблемы построения и развития транспортных систем. СПб.: Элмор, 2012. 192 с.
2. Дамьяновски В. ССТУ Библия видеонаблюдения. Цифровые и сетевые технологии / пер, с англ. М.: ООО «Ай-Эс-Эс Пресс», 2006. 480 с.
3. Костикова Е. В. Математическое моделирование и оценка параметров видеоинформационной системы наблюдения на транспорте // Журнал Университета водных коммуникаций. 2012. Вып. 3 (15). С. 113-119.
4. Вайнштейн Л. А., Зубаков В. Д. Выделение сигналов на фоне случайных помех. М.: Сов. радио, 1960. 446 с.
Рис. 5. Аппаратно-программные средства проектирования систем и видеосистем искусственного зрения на кристалле (ВСИЗнК)
5. Borko F. Real-Time Video Compression. Techniques and Algorithms. Florida Atlantic University. 1997 by Kluwer Academic Publishers.
6. Kokaev O. G., Ameho D., Tarasov V. G. Fast algorithm for arithmetical computation // IEE Proceedings - E Computers & Digital Techniques. London, 1989. 453 p.
7. Потапов А. С. Распознавание образов и машинное восприятие: общий подход на основе принципа минимальной длины описания. СПб.: Политехника, 2007. 548 с.
8. Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов: М.: Радио и связь, 1987. 400 с.
9. Шапиро Л., Стокман Дж. Компьютерное зрение. М.: БИНОМ / Пер. с англ. Лаборатория знаний, 2006. 752 с.
10. Форсайт Д., Понс Д. Компьютерное зрение. Современный подход. Виль-ямс, 2004. 928 с.
11. Немудров В. Г., Мартин. М. Системы на кристалле. Проектирование и развитие. М.: Техносфера, 2004. 216с.
12. Цыцулин А. К., Фахми Ш. С., Березин В. В., Шипилов Н. Н., Умбиталиев А. А. Твердотельная революция в телевидении . М.: Радио и связь, 2006. 350 с.
13. Березин В. В., Фахми Ш. С., Цыцулин А. К. Начальный этап проектирования видеосистем на кристалле // Оптический журнал. 2012. Т. 79. № 11. С. 76-83.
14. Моисеев Н. Н. Математические задачи системного анализа. М.,:Наука, 1981. 488 с.
15. Скворцов А. В. Триангуляция Делоне и ее применение. Томск: Изд-во Томск. ун-та, 2002. 128 с.
16. Александров В. В., Горский И. Д. Представление и обработка изображений. Рекурсивный подход. Л.: Наука, 1985. 188 с.
