CC BY
27УДК 004.932.2:007.52:681.51
В. П. Носков, А. А. Х а н и н
КОМПЛЕКСИРОВАНИЕ СВЕТОЛОКАЦИОННЫХ И ТЕЛЕВИЗИОННЫХ ДАННЫХ В ЗАДАЧАХ ВЫДЕЛЕНИЯ ДОРОГИ
Рассмотрена актуальная задача навигации автономных роботизированных транспортных средств и мобильных роботов. Предложен подход к решению задачи поиска и распознавания дороги методом комплексирования данных лазерного сканера и системы видеокамер. Описаны устройство и алгоритмическое обеспечение системы технического зрения. Приведены результаты тестовых испытаний предложенного подхода.
E-mail: noskov_mstu@mail.ru; alexandr.khanin@gmail.com
Ключевые слова: дорожная сцена, комплексирование, обработка изображений, сегментация, облака 3D-точек.
В настоящее время активно расширяются области применения мобильной робототехники и интеллектуальных транспортных средств. На сегодняшний день системы DAS (Driver Assistant System) находят применения в автомобильной промышленности для решения задач выделения дорожной разметки и предотвращения столкновений и доступны в моделях таких производителей как Lexus, Volvo, Mercedes Benz, Audi, Nissan. Помимо DAS, создан ряд прототипов полностью автономных транспортных средств передвижения в городской среде, например, Google Driverless Car. Однако нерешенной остается задача автономной навигации и распознавания дорожных сцен в условиях пересеченной местности. Актуальность данной проблемы подтверждается активностью разработок и результатами проводимых соревнований роботизированных автомобилей DARPA Grand Challenge — лишь немногие автомобили преодолевают заданный маршрут, при этом совершая ряд ошибок.
В настоящей статье рассматривается решение задач автономной навигации, в частности надежного детектирования и распознавания дорожного полотна, на основе комплексирования результатов обработки данных 3D лазерного дальнометрического сканатора и цветной видеокамеры, входящих в состав системы технического зрения (СТЗ).
Как известно, при движении по дорогам у водителя или оператора транспортного средства задействована большая часть органов чувств: зрение, слух, тактильные ощущения. Чем качественнее и полнее описание внешней среды и условий движения, тем корректнее она будет интерпретирована и тем вероятнее будут приняты необходимые решения.
По аналогии с человеком СТЗ автономной системы навигации, как правило, не строятся на датчиках одного типа. Каждый тип сенсоров
имеет свой диапазон рабочих условий и ограничения, при выходе за которые данные становятся некорректными. Таким образом, данные датчиков не дублируются, а дополняют друг друга: геометрическое описание внешней среды, полученное лазерным сенсором, дополняется данными об освещенности опорной поверхности с информацией о цвете от телекамеры.
Ключевой идеей и особенностью предложенного алгоритма выделения дороги является выделение ярких признаков дороги на телевизионном изображении и в облаке 3D точек с последующим комплек-сированием полученных результатов.
Постановка задачи. Требуется разработать алгоритмическое и программное обеспечение для решения задач автономной навигации, в частности эффективного выделения дороги и распознавания дорожных сцен в широком диапазоне внешних условий. Основными целями разработки алгоритма комплексирования являются:
• повышение точности измерений в зоне обзора СТЗ;
• увеличение зоны контроля СТЗ;
• повышение достоверности результатов за счет корреляции данных нескольких сенсоров;
• возможность получения эквивалентного алгоритма или даже лучшей точности и вероятности комплексированием нескольких разных датчиков по сравнению с более дорогими датчиками одного типа.
Состав СТЗ. Предложенный подход к выделению дороги реализован в комплексированной СТЗ, состоящей из видео- и светолокаци-онной подсистем, а также бортовой ЭВМ.
В основе видеоподсистемы лежит аналоговая камера класса "день/ночь" Smartec STC-3080/3 ULTIMATE (рис. 1, а) с матрицей 1/3" ПЗС Sony SuperHAD II (ICX639) с числом пикселей 752x582. Данные сенсоры используются для создания видеосистем с повышенными
Рис. 1. Сенсоры, входящие в состав системы технического зрения (СТЗ)
б
требованиями к светочувствительности и разрешению. Эти камеры формируют цветное видео с разрешением 600 твл при минимальной освещенности до 0,15 лк, а при понижении освещенности механический ИК-фильтр отключается и переводит STC-3080 в черно-белый режим со сверхвысоким разрешением 700 твл и чувствительностью до 0,001 лк. Совместно с камерой использовался вариофокальный объектив с автоматической регулировкой диафрагмы Smartec STL-2712DC.
Для задач обработки изображений актуальны реализованные на базе встроенного процессора функции цифрового шумоподавления, цифровой стабилизации, инверсии ярких засветок и кадрового накопления, которые позволяют STC-3080/3 ULTIMATE формировать качественное видеоизображение в самых сложных условиях наблюдения. Встроенная на аппаратном уровне функция Automatic Gain Control (AGC) обеспечивает получение равномерно яркого изображения без ошибок экспозиции (рис. 2).
В основе светолокационной подсистемы СТЗ лежит 2D лазерный дальнометрический сканатор Auto Ident SICK-AG LMS291-S05 (рис. 1, б). Данный промышленный прибор используется для получения дальностей большого числа точек окружающей среды. Принцип действия датчиков серии LMS основан на измерении интервала времени между моментами посылки и приема после отражения от объекта
Рис. 2. Пример работы функции AGC: AGC отключена (внизу), AGC включена (вверху)
импульсов лазерного излучения. Модулированный пучок лазерного излучения отражается от внутреннего сканирующего зеркала, причем моменты посылки лазерных импульсов в окружающее пространство синхронизированы со сканирующим зеркалом. Прием отраженных лазерных импульсов от попадающих в зону подсветки объектов проводится приемником излучения приемного канала, визирная ось которого совпадает с визирной осью канала подсветки. Разделение канала подсветки и приемного канала осуществляется полупрозрачным зеркалом.
Измерения в реальном масштабе времени передаются в бортовую ЭВМ через интерфейс RS 422. Прибор выполняет 78 сканов с секунду при 180 измерениях в каждом скане, сектор обзора пространства лежит в пределах от 0о до 180°. В зависимости от необходимости может быть установлен шаг сканирования системы 0,25°, 0,5° или 1°. Установка того или иного режима проводится программным путем. Дальность действия LMS зависит от коэффициента отражения поверхности наблюдаемого объекта и внешних условий наблюдения, в частности от прозрачности атмосферы.
Для реализации 3D лазерного сканирования на базе 2D лазерного сенсора LMS 291-S05, осуществляющего сканирование по азимуту а, с помощью электропривода (сканатора) вводится дополнительное сканирование по углу возвышения в (рис. 3), что позволяет качать дальномер по углу возвышения в секторе 180° с частотой 1 Гц и разрешением 10'. Следящий привод реализован на контроллере SIEMENS ECM 167, данные от LMS 291-S05 и датчика вал-код поступают в контроллер, а затем передаются в ЭВМ навигационной системы.
Камера и 3D лазерный сканатор совместно откалиброваны [1] и синхронизированы программным модулем синхронизации таким образом, чтобы данные от двух датчиков соответствовали одной и той же сцене.
Рис. 3. Принцип действия 3D лазерного сенсора
Предварительная обработка. Первым этапом обработки данных обоих сенсоров является преобразование координат из "camera view" в "bird's-eye view", т.е. переход от полученных изображений сцены с перспективными искажениями к изображениям в плоскости горизонта.
Очевидно, что переход к виду дорожной сцены "сверху" имеет следующие преимущества:
1. Мы можем избавиться от эффекта перспективы в изображении, а значит, края дороги, которые сходятся на линии горизонта, после преобразования станут вертикальными и параллельными. Таким образом, будет выделен такой ярко выраженный признак дороги, как постоянная ширина полотна (ширина колеи). При этом используется основное предположение, что полосы параллельны или близки к параллельным.
2. Мы можем обрабатывать только регион интереса исходного изображения — объекты, лежащие в плоскости горизонта, что способствует существенному сокращению времени на обработку.
Данная операция может быть осуществлена с помощью метода Inverse Perspective Mapping (IPM), предложенного Bertozzi в 1998 г. [2] и Ortiz в 2010 г. [3]. Положим
1) I = (u,v) е E2 — плоское изображение в 2D пространстве;
2) W = (x,y,z) е E3 — 3D изображение реальной дорожной сцены.
Изображение I(u, v) сформировано камерой. Проекция xy преобразованного изображения — поверхность S, причем S = {(x,y, 0) е W} исходя из предположения о том, что дорога плоская, так как на каждом кадре обрабатывается только ближайший к транспортному средству участок изображения протяженностью не более 30 м. Для использования метода IPM должны быть известны характеристики камеры и параметры ее закрепления, приведенные на рис. 4, где обозначено: C = (l,d,h) е W — координаты центра сенсора в 3D системе координат; курс y и наклон в — угловые координаты оптической оси; 2а и 2в — горизонтальная и вертикальная угловые апертуры камеры; пространственное разрешение m х п.
Для каждого пикселя (u, v) е I позиция M (x,y,z) е S вычисляется следующим образом:
M =
(
\
h ctg h ctg
(Y - a) + u (Y - a) + u
2a
m — 1 2a
m1
cos
sin
в — ß) + v — ß)+ v
ß
n — 1 2ß
n1
+1 + d0
\
/
Примеры результирующего изображения приведены на рис. 5. Завершает предварительную обработку фильтрация шумов двумерным гауссовым фильтром.
Рис. 4. Параметры преобразования координат IPM
Сегментация изображения. Данный этап обработки выполняется параллельно с сегментацией облака 3D точек, полученного с помощью 3D лазерного сканатора, и связан с сегментацией "bird's-eye view" изображения, детектированием и подгонкой границ дороги.
Предложенный подход основан на комбинации двух методов: упрощенной версии преобразования Хафа [4] для поиска всех прямых параллельных линий в допустимых пределах на изображении с их последующей подгонкой с помощью алгоритма Random Sample Consensus (RANSAC) [5] для достижения субпиксельной точности.
б
Рис. 5. Результат применения преобразования IPM:
а — исходное изображение; б — преобразованное изображение
Упрощенное преобразование Хафа основано на вычислении проекции значений яркости в каждом столбце бинаризованного и отфильтрованного изображений. Затем полученная проекция сглаживается фильтром Гаусса, вычисляются локальные максимумы, чтобы получить координаты строк, и далее корректируются до достижения приемлемой точности подгонкой параболы локальных максимумов и пары их ближайших соседей. Наконец, близкорасположенные линии объединяются, чтобы исключить дублирование близкорасположенных линий.
Следующим шагом является более точная подгонка линий с использованием RANSAC. Вдоль каждой из линий, найденных на предыдущем шаге, выделяются ближайшие точки краев дороги с заданным шагом, которые становятся входными данными алгоритма подгонки линий до субпиксельной точности.
Пример работы алгоритма приведен на рис. 6.
Сегментация облака 3D точек. Для выделения дорожного полотна в светолокационных данных облако 3D точек фильтруется, преобразуется в плоскость горизонта и сегментируется. Алгоритмы обработки 3D облака во многом аналогичны алгоритмам сегментации изображения и являются их обобщением на трехмерное пространство.
Для фильтрации выбросов и предварительной обработки используется инструментарий библиотеки Point Cloud library (PCL) [6]. Выбросы фильтруются с помощью метода pcl::removeNaNFromPointCloud(). Следующим этапом является преобразование координат в плоскость горизонта абсолютно аналогично описанному ранее способу IPM. Пример преобразованного облака точек изображен на рис. 7.
Параллельно с преобразованием координат применяется метод pcl::extractEuclideanClusters() для кластеризации облака по значению
Рис. 6. Выделение границ дороги:
a — исходное изображение; б — сегментированное изображение; в — выделенные и подогнанные края дороги
Рис. 7. Результат IPM-преобразования облака 3D-точек:
а — телевизионное изображение, б — 1РМ-преобразованное изображение, в — 1РМ-преобразованное облако 3Б точек
среднеквадратического отклонения и евклидова расстояния между точками.
Комплексирование. Чтобы выполнить комплексирование данных нескольких датчиков, важно учитывать, как датчики будут работать вместе, т.е. на каком уровне будет объединяться их информация.
Предложенный алгоритм выделения дороги является кооперативным методом комплексирования сенсоров: комплексирование выполняется после независимой обработки и выделения маски дорожного полотна на телевизионном изображении и в облаке 3Б точек. Выделенные маски дороги во взаимно откалиброванной паре сенсоров объединяются с помощью бинарной операции "И". Пример подобной операции приведен на рис. 8, в.
Заключение. Предложен эффективный комплекс алгоритмов ком-плексирования данных нескольких сенсоров для детектирования и выделения дороги. Особенностью алгоритма является выделение таких ярко выраженных ограничивающих параметров дороги, как ширина
Рис. 8. Результат комплексирования:
а — телевизионное изображение, б — 3D облако точек, в — маска области проходимости (дороги)
полотна (ширина колеи), посредством преобразования косоугольной съемки дорожной сцены в плоскость горизонта и последующего совмещения с отфильтрованным облаком 3D точек логической операцией "И", что позволило достигнуть высокой вероятности достоверного распознавания.
На основе предложенного подхода разработан макет СТЗ, состоящей из CCTV-камеры Smartec STC-3080/3 ULTIMATE с объективом Smartec STL-5055DC и 3D лазерного сенсора, построенного на базе лазерного сканатора Auto Ident SICK LMS291-S05.
Тестирование СТЗ было выполнено на реальном объекте управления в реальных услових. Результаты компьютерных экспериментов и полевых испытаний подтвердили работоспособность и перспективность идей, заложенных в основу предложенного подхода.
СПИСОК ЛИТЕРАТУРЫ
1. Н о с к о в В. П., Р у б ц о в И. В., Р о м а н о в А. Ю. Формирование объединенной модели внешней среды на основе информации видеокамеры и дальномера // Мехатроника, автоматизация, управление. Новые технологии. - 2007. -№ 8. - С. 2-5.
2. Bertozzi M., Broggi A., Fascioli A. Stereo inverse perspective mapping: Theory and applications // Image and Vision Computing. 1998. - Vol. 16. No. 1. - P. 585-590.
3. Bonin-FontF., Ortiz A., Oliver G. A visual navigation strategy based on inverse perspective transformation // Robot Vision, chapter 5. - P. 61-84.
4. Forsyth D., Ponce J. Computer vision: A modern approach // Prentice Hall, 2002.
5. F i s c h l e r M., B o l l e s R. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography // Comm. Of the ACM 24: - 1981. - P. 381-395.
6. P o i n t cloud library // http://pointclouds.org/
