CC BY
50УДК 629.054
О.Н. Корелин, Д.А. Кобляков, О.П. Тимофеева
ИССЛЕДОВАНИЕ ПРОГРАММНО-АППАРАТНЫХ РЕШЕНИЙ ДЛЯ СИСТЕМЫ ПОМОЩИ ВОДИТЕЛЮ «ИНТЕЛЛЕКТУАЛЬНЫЕ ПРОЗРАЧНЫЕ СТОЙКИ»
Нижегородский государственный технический университет им. Р.Е. Алексеева
Рассмотрены различные программно-аппаратные решения для реализации систем расширения зоны видимости водителя автомобиля. Такие системы являются составной частью ADAS систем.
Ключевые слова: системы ADAS, расширение зоны видимости, система "прозрачные стойки", использование одноплатных компьютеров, интерфейсы камер и дисплеев.
В работе рассматривается система "интеллектуальные прозрачные стойки", являющаяся составной частью системы помощи водителю автомобиля - ADAS.
Одой из главных задач таких систем является расширение зоны видимости водителя. Сегодня, при быстро растущей интенсивности движения, проблема слепых зон как никогда актуальна, и при этом не существует каких-либо стандартных решений. Ведущие автопроизводители на серийно выпускаемых автомобилях решают данную проблему лишь частично, устанавливая камеру заднего вида и тем самым избавляясь от задней слепой зоны. Комплексное решение проблемы, покрывающее все слепые зоны, не выходит за пределы концептов представленных на выставках и рекламных видеороликов. Возможным решением проблемы слепых зон в передней части автомобиля является система «прозрачных стоек ветрового стекла» и замена зеркал заднего вида.
Эту задачу предлагается решать с помощью дополнительных видеокамер высокого разрешения и двух дисплеев, размещённых в стойках ветрового стекла. Пример конструктивного исполнения представлен на рис. 1.
Рис. 1. Пример конструктивного исполнения "прозрачные стойки"
Промежуточным звеном между камерой и дисплеем является одноплатный компьютер (ОК). Он осуществляет приём видео-потока с видеокамеры, обработку и отображение необходимой информации на дисплее. ОК - это полноценный компьютер, собранный на одной печатной плате, где размещены процессор, память, системы ввода-вывода и прочие про-
© Корелин О.Н., Кобляков Д.А., Тимофеева О.П., 2018.
граммно-аппаратные модули. Подключение дополнительных модулей для расширения функционала возможно через интерфейс ввода-вывода общего назначения (GPIO General Purpose Input Output) или через блоки согласования интерфейсов. Данное решение позволяет получить видеоизображение с минимальными задержками для картины, наиболее приближённой к реальности (real time режим). Выбор именно ОК связан с их миниатюрными размерами и достаточной вычислительной мощностью.
Второй задачей, которая решается с использованием комбинации «камера-одноплатный компьютер-дисплей», является отображение различной информации поверх real time картинки. Любая ADAS система, как правило, решает следующие задачи: определение препятствия или пешехода перед автомобилем, распознавание дорожных знаков, сход с полосы движения и т.д. Проблема заключается в том, что насколько бы скоростным и мощным не был процессор центрального компьютера (ЦК), обрабатывающий информацию для определения ситуации на дороге, он не в состоянии одновременно и отображать и оценивать дорожную ситуацию. Центральный компьютер связан с одноплатным компьютером по одному из последовательных интерфейсов для передачи информации, отображаемой на дисплеях. Блок схема такой системы представлена на рис. 2.
Правая камера для ОК
=[> Правый ОК
Правая камера для ЦК
Левая камера для ЦК
ЦК
Левая камера для ОК
Рис. 2. Блок-схема системы «Интеллектуальные прозрачные стойки»
ЦК производит соответствующие вычисления на основе видеопотока со своих камер, а ОК обеспечивает изображение с минимальными временными задержками со своих. Объединение результатов работы ЦК и ОК производится на дисплеях в стойках ветрового стекла.
Существует большой выбор видеокамер высокого разрешения с различными интерфейсами. В процессе исследований проводилась оценка и сравнение различных решений. Основными требованиями являлись разрешение камер HD 720 или Full HD 1080 и частота кадров 30 к/с. Очевидно, что камеры должны иметь небольшие габариты для возможности встраивания их в стойки.
Интересное решение предлагает фирма Texas Instruments (www.ti.com). На стороне камеры расположен так называемый сериалайзер (Serializer), который преобразует интерфейс камеры в последовательный интерфейс FPD-Link III. На противоположной стороне расположен десириалайзер (Deserializer), к выводам которого подключается LCD дисплей. Достоинством этого решения является возможность передачи видео в пределах автомобиля. К недостаткам можно отнести невозможность обработки и внесение изменений в отображаемую картинку.
Другое решение предполагает использование портативных камер с интерфейсом AHD (Analog High Definition) или аналог HD-TVI (High Definition Transport Video Interface). По качеству картинки эти камеры не уступают IP камерам, но значительно дешевле. Камеры такого типа получили широкое распространение в системах безопасности. Преимущество их -в возможности передачи видео в виде низкочастотного сигнала по коаксиальному кабелю на расстояние до 500 м. Это расширенный телевизионный формат PAL, который позволяет передавать изображение с HD (720) и FullHD (1080) разрешением. При стандартном использовании сигнал оцифровывается либо в плате видеозахвата, установленной в слоте ПК, либо в видеорегистраторе системы наблюдения, что вносит значительные задержки и затормаживает процесс отображения. В доступной продаже удалось найти четырёх-канальную плату видеозахвата, но только для HD формата. Использование таких камер с однокристальным компьютером затруднительно в виду отсутствия соответствующего интерфейса для AHD камер. Выход может быть найден в использовании микросхем фирмы Nextchip (nextchip.com). Эти микросхемы позволяют получить на выходе цифровой сигнал в параллельном коде в стандарте BT601.
Камеры с интерфейсом SDI-TVI (Serial Digital Interface) обладают всеми ранее перечисленными свойствами. Этот интерфейс предполагает передачу цифрового сигнала, что, по сравнению с AHD, требует более высококачественного канала передачи данных, так как передаётся более высокая частота.
Обзор камер показал, что перспективными являются Web камеры с интерфейсом USB 3.0. Эти камеры позволяют получать разрешение до 4K с частотой кадров до 60 к/сек. Примером такой камеры может быть Logitech BRIO. К сожалению, далеко не все одноплатные компьютеры содержат интерфейс USB 3.0.
Наибольший интерес представляют камеры с интерфейсом CSI-2 (Camera Serial Interface). По этому интерфейсу работают большинство камер портативной электроники, современных смартфонов и планшетов. Поэтому выбор по разрешению матриц камер и объективов к ним практически неограничен. Из описания стандарта на CSI-2 известно, что это однонаправленный, дифференциальный последовательный интерфейс с сигналами данных и синхронизации. Физический уровень (PHY) интерфейса описан в стандарте "MIPI Alliance Specification for D-PHY"( MIPI - Mobile Industry Processor Interface). Максимальная частота 1.33гГц. Как правило, шина содержит одну линию тактовой частоты и несколько каналов данных. Данные передаются одновременно по всем каналам. Вместе с каналами данных стандарт включает низкочастотный последовательный интерфейс управления, совместимый с I2C (Inter-Integrated Circuit). По этому управляющему интерфейсу передаётся набор команд, определённый конкретным производителем. Набор команд управляющего пакета может быть коротким 4-байта или длинным любой длины до 2Л16.
Этот интерфейс интересен также тем, что устроен аналогично интерфейсу DSI (Display Serial Interface), который предназначен для вывода картинки на LCD дисплей.
Оба этих интерфейса (CSI и DSI) присутствуют на одноплатном компьютере Raspberry Pi 3 Model B. При использовании таких камер и дисплеев в других, более ранних версиях одноплатных компьютеров, необходимо использовать мосты-преобразователи (Bridge CSI -GPIO), которые преобразуют последовательный интерфейс в параллельный 8-ми или 16-ти битный. GPIO - это набор ножек процессора, предназначенных для ввода-вывода цифровой информации. Такие преобразователи выпускает фирма Lattice (latticesemi.com). Их работа основана на использовании FPGA низкой интеграции.
Особый интерес представляет Lattice Embedded Vision Kit. Это практически готовое конструктивное решение для задачи "прозрачные стойки". Он состоит из трёх плат, которые представляют собой законченные функциональные модули. Первая плата содержит две 13-ти мегапиксельные камеры Sony IMX214, которые поддерживают видео 1080 p с частотой кад-
ров 60 FPS. Вместе с этим на первой плате установлен преобразователь интерфейсов. Вторая плата содержит процессорный блок для обработки изображений и видеопотока. Третья плата предназначена для вывода картинки на дисплей с HDMI интерфейсом.
Запуск теста на Vision Kit показал очень хорошие результаты. Оценка задержки отображения составила около 20 млс. Недостаток такого подхода заключается в ограниченном наборе функций по обработке видеоданных и сложности отладки FPGA.
Выбор одноплатных компьютеров на сегодняшний день огромен, при этом их разнообразие на самом деле является кажущимся. На рынке представлено более сотни моделей ОК разных производителей. Однако при изучении их характеристик становится понятно, что подавляющее большинство устройств являются копиями (клонами) основных наиболее популярных компьютеров.
Одними из самых известных на сегодняшний момент являются одноплатные компьютеры фирмы Raspberry. Самый мощный в линейке "одноплатник" RASPBERRY PI 3 MODEL B имеет 64-битный четырехъядерный ARM v8 Cortex-A53 процессор компании Broadcom BCM2837 с тактовой частотой 1.2 ГГц, 1 ГБ оперативной памяти DDR3 и большое количество различных периферийных интерфейсов. Стоит отметить наличие на плате интерфейса видеокамеры CSI, интерфейса дисплея DSI, интерфейса HDMI и интерфейса USB 2.0. Недостатком данного компьютера можно назвать отсутствие скоростного интерфейса USB 3.0, что ограничивает его использование с камерами высокого разрешения под данный интерфейс. Но, учитывая наличие специализированных интерфейсов CSI и DSI, популярность данных компьютеров и большое количество информации об использовании их в разработках он может быть использован при разработке программно-аппаратного комплекса «прозрачных стоек» и зеркал заднего вида.
Не менее популярным является одноплатный компьютер Beagle Bone Black, который также использовался в решаемой нами задаче. На нём установлен процессор AM3359 (ti.com). Это ARM контроллер Cortex-A8 с тактовой частотой 1 гГц. На плате ОК находится 512 Мбайт памяти DDR3, чего вполне хватает для запуска простых приложений под управлением операционной системы. Данный ОК может быть расширен за счет присоединения через GPIO дополнительных модулей, так называемых cape. Например, для нашего прототипа мы использовали cape, позволяющий выводить информацию на LCD дисплей через LVDS интерфейс.
Его преимуществом является хорошая документация и наличие среды разработки на сайте производителя процессора (ti.com), что позволяет работать с ним не только при помощи операционной системы (ОС), но и напрямую через JTAG и среду разработки Code Composer Studio.
Надо понимать, что, с одной стороны, использование операционной системы ОС значительно ускоряет процесс разработки, но при этом появляются мало контролируемые дополнительные временные задержки при обработке сигнала, связанные с обращением к ядру операционной системы. Эти задержки могут быть преодолены путём использования более производительных процессоров.
При программировании ОК без операционной системы мы можем получить минимальные временные задержки, но значительно усложняется сам процесс разработки программного обеспечения.
Особенностью микропроцессора AM3359 является наличие двух дополнительных процессоров PRU ( programmable real-time unit), которые работают независимо от основного ARM ядра. Это 32-ти битные процессоры с тактовой частотой 200 мГц. Они имеют свою память данных, память программ, свою систему прерываний и связаны с основным ядром через общую память. Наличие этих PRU позволяет решать задачи связи с внешними устройствами в реальном масштабе времени, когда основной процессор работает под управлением ОС.
Кроме того, был рассмотрен вариант использования достаточно нового ОК фирмы Pine64 - Rock64 Media Board Computer. Представленная модель имеет 64-битный четырехъя-
дерный ARM v8 Cortex-A53 процессора компании Rockchip RK3328 с тактовой частотой 1.5 ГГц, до 4х ГБ оперативной памяти LPDDR3 и большое количество различных периферийных интерфейсов. Из интересных особенностей можно отметить наличие порта USB 3.0 для подключения камеры, а также наличие аппаратных кодеков, позволяющих декодировать сигнал с камеры. Это позволит разгрузить процессор и добиться минимизации задержек в цепи камера-ОК-монитор.
Таким образом, возможны различные подходы для решения поставленной задачи. Естественно, об оптимальности того или иного решения можно будет судить при реализации программно-аппаратного комплекса системы «прозрачных стоек» и зеркал заднего вида в полном объёме, что требует значительных временных затрат.
В настоящее время предложено и реализовано следующее решение (рис. 3). Используется хорошо известный одноплатный компьютер Beagle Bone Black. Источником видеоданных служит Web камера Logitech С320 высокого разрешения с интерфейсом USB 2.0. Изображение выводится на LCD 7-дюймовый дисплей BBView с LVDS интерфейсом. Этот дисплей выпускается как стандартное расширение, конструктивно совместимое с ОК Beagle Bone Black, и имеет разрешение 480*700 пикселей.
Рис. 3. Пример реализации системы «Интеллектуальные прозрачные стойки»
с ОК Beagle Bone Black
На одноплатном компьютере установлена операционная система Linux (Angstrom). Как правило, образ операционной системы располагается на SD карте. В нашем случае операционная система была переписана во внутреннюю ПЗУ память на ОК и автоматически запускалась при включении питания.
Для эксперимента использовалась программа MPlayer, свободный медиаплеер. Стандартная консольная версия медиаплеера не имеет графического интерфейса и всё управление осуществляется с клавиатуры. В таком режиме на LCD дисплее отображается воспроизводимое видео.
Эксперимент показал хорошие результаты по качеству изображения на дисплее. Временная задержка между реальной картинкой и изображением на дисплее составила около 200 млс, что можно расценивать только как первый практический результат, который позволил определить направления дальнейших исследований в этой области.
Библиографический список
1. Свободная энциклопедия википедия [Электронный ресурс] - Режим доступа:
https://en.wikipedia.org/wiki/Camera_Serial_Interface
2. Сайт фирмы Texas Instruments [Электронный ресурс] - Режим доступа±йр://й.сот
3. Сайт по одноплатному компьютеру BeagleBone Black [Электронный ресурс] - Режим досту-m:http ://beagleboard. org
Дата поступления в редакцию 15.04.2018
O.N. Korelin, D.A. Koblyakov, O.P. Timofeeva
INVESTIGATION OF SOFTWARE-DRIVER SOLUTIONS FOR ASSISTANCE SYSTEM
"SMART TRANSPARENT STANDS"
Nizhny Novgorod state technical university n.a. R.E. Alekseev
Purpose: The specific challenges are considered of ADAS systems, designed to help the driver of the car for expand the visibility zone. Additional technical information is transmitted to the displays via a central computer Design/methodology/approach: Proposed the placement of video cameras - a single-board computer - a display in the car windshield stands for display "blink" areas.
Findings: This constructive and software solution makes it possible to see event as much as possible to the real time picture.
Research limitations/implications: This solution is affordable and can be integrated into any car without changing the design.
Originality/value: "Smart transparent stands" allow you to monitor the traffic situation approximate to real-life conditions and display service information from the central computer.
Key words: ADAS systems, visibility expansion, "transparent stands" system, use of single-board computers, camera and display interfaces.
