Научная статья на тему 'ОПРЕДЕЛЕНИЕ СКОРОСТИ ПОДВИЖНОГО ОБЪЕКТА НА ОСНОВЕ ДИНАМИЧЕСКОГО ОТСЛЕЖИВАНИЯ УЧАСТКОВ ДОРОЖНОГО ПОКРЫТИЯ ПО ДАННЫМ ИДЕОПОТОКА'

ОПРЕДЕЛЕНИЕ СКОРОСТИ ПОДВИЖНОГО ОБЪЕКТА НА ОСНОВЕ ДИНАМИЧЕСКОГО ОТСЛЕЖИВАНИЯ УЧАСТКОВ ДОРОЖНОГО ПОКРЫТИЯ ПО ДАННЫМ ИДЕОПОТОКА Текст научной статьи по специальности «Медицинские технологии»

CC BY
122
27
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ИЗУАЛЬНАЯ ОДОМЕТРИЯ / НАВИГАЦИОННАЯ СИСТЕМА / БЕСПИЛОТНОЕ ТРАНСПОРТНОЕ СРЕДСТВО / ЦИФРОВАЯ ОБРАБОТКА ВИДЕОСИГНАЛА

Аннотация научной статьи по медицинским технологиям, автор научной работы — Мартынов Олег Владимирович, Карпенков Андрей Сергеевич

В статье описывается, разработанный авторами метод определения скорости объекта на основе динамического отслеживания опорных участков дорожного покрытия в потоке изображений, получаемого с видеокамеры. Отслеживание опорных участков осуществляется на основе формирования разностного функционала по функциям цветности изображений опорных участков, сохранённых на первичном кадре, и участков, получаемых при сканировании текущего кадра видеопотока.Разработанный авторами метод определения скорости объекта на основе динамического отслеживания опорных участков дорожного покрытия в потоке изображений, получаемого с видеокамеры, заключается в следующей последовательности действий. Сначала осуществляется выбор и сохранение в памяти функции цветности максимально неоднородных участков изображения в первичном кадре (на основе определения коэффициента неоднородности участка изображения). Затем проводится оценка достоверности распознавания опорного участка на текущем кадре видеопотока (на основе определения коэффициента достоверности). После этого осуществляется расчет смещения координат опорных областей, с отбраковкой недостоверных областей распознавания опорных участков. После усреднения смещений областей (на основе весовых коэффициентов, определяемых по коэффициенту достоверности и коэффициенту неоднородности опорной области) осуществляется расчет скорости подвижного объекта. Приведена проверка работоспособности метода, которая проводилась на автомобиле, в котором была установлена видеокамера и спутниковая навигационная система, работающая в режиме сантиметровой точности. Показано, что использование метода динамического отслеживания участков дорожного покрытия для нахождения скорости объекта позволяет определить эту величину с погрешностью, соизмеримой с погрешностью спутниковой навигационной системы сантиметровой точности. Показаны достоинства и недостатки разработанного авторами метода по сравнению с существующими.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по медицинским технологиям , автор научной работы — Мартынов Олег Владимирович, Карпенков Андрей Сергеевич

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

CALCULATION OF VELOCITY OF A VEHICLE BASED ON DYNAMIC TRACKING OF ROAD PAVEMENTS USING VIDEO STREAM DATA

The article describes the method developed by the authors for calculation the velocity of a vehicle based on dynamic tracking of sections of the road surface obtained from a video camera. The advantages and disadvantages of this method are shown in comparison with existing methods. The complex development of a number of additional measures necessary for the effective application of this method to determine the speed in real conditions is given. The article describes the method developed by the authors for calculation the velocity of a vehicle based on dynamic tracking of sections of the road surface obtained from a video camera. Tracking of the reference areas is carried out on the basis of the formation of the difference functional according to the chromaticity functions of the images of the reference areas saved on the primary frame and areas obtained by scanning the current frame of the video stream. The method developed by the authors for calculation the velocity of a vehicle based on dynamic tracking of reference sections of the road surface in the stream of images obtained from a video camera consists in the following sequence of actions. First, the selection and storage of the chromaticity function of the most inhomogeneous areas of the image in the primary frame is carried out (based on the calculations of the coefficient of inhomogeneity of the image area). Then, the reliability of the recognition of the reference area is assessed on the current frame of the video stream (based on the calculations of the confidence factor). After that, the offset of the coordinates of the reference areas is calculated, with the rejection of unreliable recognition areas of the reference areas. After averaging the displacements of the regions (based on the weight coefficients determined by the coefficient of reliability and the coefficient of inhomogeneity of the reference region), the speed of the moving vehicle is calculated. A test of the efficiency of the method is presented, which was carried out on a car in which a video camera and a satellite navigation system operating in centimeter accuracy mode were installed. It is shown that the use of the method of dynamic tracking of pavement sections to find the speed of an object makes it possible to determine this value with an error commensurate with the error of the satellite navigation system working in centimeter accuracy mode. The advantages and disadvantages of the method developed by the authors in comparison with the existing ones are shown.

Текст научной работы на тему «ОПРЕДЕЛЕНИЕ СКОРОСТИ ПОДВИЖНОГО ОБЪЕКТА НА ОСНОВЕ ДИНАМИЧЕСКОГО ОТСЛЕЖИВАНИЯ УЧАСТКОВ ДОРОЖНОГО ПОКРЫТИЯ ПО ДАННЫМ ИДЕОПОТОКА»

\^

Мартынов О. В. Mаrtynov О. V.

кандидат физико-математических наук, доцент, доцент кафедры «Робототехника

и комплексная автоматизация», ФГБОУ ВО «Ковровская государственная технологическая академия им. В.А. Дегтярева», г. Ковров, Российская Федерация

Карпенков А. С. Karpenkov Л. S.

кандидат технических наук, доцент кафедры «Робототехника и комплексная автоматизация», ФГБОУ ВО «Ковровская государственная технологическая академия им. В.А. Дегтярева», г. Ковров, Российская Федерация

УДК 004.896:535.8 DOI: 10.17122/1999-5458-2020-16-3-68-78

ОПРЕДЕЛЕНИЕ СКОРОСТИ ПОДВИЖНОГО ОБЪЕКТА НА ОСНОВЕ ДИНАМИЧЕСКОГО ОТСЛЕЖИВАНИЯ УЧАСТКОВ ДОРОЖНОГО ПОКРЫТИЯ ПО ДАННЫМ ВИДЕОПОТОКА

В статье описывается, разработанный авторами метод определения скорости объекта на основе динамического отслеживания опорных участков дорожного покрытия в потоке изображений, получаемого с видеокамеры. Отслеживание опорных участков осуществляется на основе формирования разностного функционала по функциям цветности изображений опорных участков, сохранённых на первичном кадре, и участков, получаемых при сканировании текущего кадра видеопотока.

Разработанный авторами метод определения скорости объекта на основе динамического отслеживания опорных участков дорожного покрытия в потоке изображений, получаемого с видеокамеры, заключается в следующей последовательности действий. Сначала осуществляется выбор и сохранение в памяти функции цветности максимально неоднородных участков изображения в первичном кадре (на основе определения коэффициента неоднородности участка изображения). Затем проводится оценка достоверности распознавания опорного участка на текущем кадре видеопотока (на основе определения коэффициента достоверности). После этого осуществляется расчет смещения координат опорных областей, с отбраковкой недостоверных областей распознавания опорных участков. После усреднения смещений областей (на основе весовых коэффициентов, определяемых по коэффициенту достоверности и коэффициенту неоднородности опорной области) осуществляется расчет скорости подвижного объекта.

Приведена проверка работоспособности метода, которая проводилась на автомобиле, в котором была установлена видеокамера и спутниковая навигационная система, работающая в режиме сантиметровой точности. Показано, что использование метода динамического отслеживания участков дорожного покрытия для нахождения скорости объекта позволяет определить эту величину с погрешностью, соизмеримой с погрешностью спутниковой навигационной системы сантиметровой точности. Показаны достоинства и недостатки разработанного авторами метода по сравнению с существующими.

Ключевые слова: визуальная одометрия, навигационная система, беспилотное транспортное средство, цифровая обработка видеосигнала.

CALCULATION OF VELOCITY OF A VEHICLE BASED ON DYNAMIC TRACKING OF ROAD PAVEMENTS USING VIDEO STREAM DATA

The article describes the method developed by the authors for calculation the velocity of a vehicle based on dynamic tracking of sections of the road surface obtained from a video camera. The advantages and disadvantages of this method are shown in comparison with existing methods. The complex development of a number of additional measures necessary for the effective application of this method to determine the speed in real conditions is given.

The article describes the method developed by the authors for calculation the velocity of a vehicle based on dynamic tracking of sections of the road surface obtained from a video camera. Tracking of the reference areas is carried out on the basis of the formation of the difference functional according to the chromaticity functions of the images of the reference areas saved on the primary frame and areas obtained by scanning the current frame of the video stream.

The method developed by the authors for calculation the velocity of a vehicle based on dynamic tracking of reference sections of the road surface in the stream of images obtained from a video camera consists in the following sequence of actions. First, the selection and storage of the chromaticity function of the most inhomogeneous areas of the image in the primary frame is carried out (based on the calculations of the coefficient of inhomogeneity of the image area). Then, the reliability of the recognition of the reference area is assessed on the current frame of the video stream (based on the calculations of the confidence factor). After that, the offset of the coordinates of the reference areas is calculated, with the rejection of unreliable recognition areas of the reference areas. After averaging the displacements of the regions (based on the weight coefficients determined by the coefficient of reliability and the coefficient of inhomogeneity of the reference region), the speed of the moving vehicle is calculated.

A test of the efficiency of the method is presented, which was carried out on a car in which a video camera and a satellite navigation system operating in centimeter accuracy mode were installed. It is shown that the use of the method of dynamic tracking of pavement sections to find the speed of an object makes it possible to determine this value with an error commensurate with the error of the satellite navigation system working in centimeter accuracy mode. The advantages and disadvantages of the method developed by the authors in comparison with the existing ones are shown.

Key words: visual odometry, navigation system, unmanned vehicle, digital video processing.

В настоящее время всё большую популярность получает задача автономной навигации движущегося объекта. Это относится как к движению транспортных средств по дорожной магистрали, так и к всевозможным объектам, обеспечивающим перемещение грузов по пересечённой местности. Насущная необходимость решения этой задачи обусловлена многими причинами, в частности:

• потребностью в беспилотных транспортных средствах (БПТС), обеспечивающих доставку пассажиров и груза к пункту назначения без участия человека;

• потребностью в обеспечении кратковременного автономного движения пилотируемого транспортного средства;

• потребностью в повышении безопасности движения средств передвижения;

• потребностью развития робототехни-ческих средств, включающих обеспечение их движения как по дорогам общего пользования, так и по пересечённой местности.

Для реализации этих потребностей требуется точная навигации указанных средств (точное позиционирование и ориентация в пространстве), а также возможности их привязки к транспортным линиям по глобальной и локальной картам.

Наиболее эффективным и распространённым средством навигации является космическая навигация, однако позиционирование движущихся объектов часто сильно осложняется в случае существенного ухудшения получения данных с космических спутников по причине особенностей местности (горы, леса) и прочих помех. В таких случаях необ-

ходимо подключать автономную навигацию, не завязанную на работу спутников. Одним из базовых параметров, необходимых для обеспечения автономного определения координат объекта, является его скорость. Существующие методы и средства определения этого параметра при различных условиях и состояниях дорожного полотна обладают рядом недостатков, затрудняющих эффективное получение координат объекта в любой момент времени.

Эта статья посвящена описанию метода, разработанного авторами, по определению скорости объекта на основе динамического отслеживания участков дорожного покрытия получаемого с видеокамеры изображения. Этот метод относится к методам визуальной одометрии.

Для обеспечения навигации объекта необходимо определять в любой момент времени следующие параметры:

• координаты объекта в различных системах отсчёта;

• ориентацию продольной оси объекта (курс, тангаж и крен).

В случае автономной навигации определение координат осуществляется на основе измерения величины и направления скорости движения объекта в реальном времени. Это определяет потребность в точном определении величины скорости объекта в любой момент времени.

Основными средствами определения скорости объекта являются:

• механические датчики скорости;

• доплеровские датчики скорости;

• спутниковая навигационная система;

• датчики скорости визуальной одометрии.

Механический одометр имеет собственную погрешность до 5 %. В зависимости от условий эксплуатации транспортного средства, износа узлов и агрегатов, использования нештатных запчастей суммарная погрешность прибора может достигать 12-15 %.

На погрешность будут влиять такие факторы:

• несоответствие диаметра шин заводским (на которых производилась калибровка одометра);

• давление воздуха в шинах и состояние протектора;

• состояние дорожного покрытия (проскальзывание), закругления дороги;

• наличие или отсутствие груза;

• степень изношенности съемного механизма одометра;

• точность заводской калибровки (как правило, пробег немного завышается).

Недостатком доплеровских датчиков скорости является сильная зависимость их точности измерения скорости от типа подстилающей поверхности и их положения относительно поверхности. Более того, данный тип датчиков чувствителен к шуму окружающей среды и шуму от других источников сигнала, работающих на схожих частотах [1-3].

Спутниковая навигационная система позволяет с высокой степенью точности измерить абсолютную скорость передвижения мобильного объекта в случае открытых пространств. Однако в случае густой растительности или плотной застройки точность измерений сильно падает.

Одним из способов повысить точность определения скорости движения объекта является использование методов визуальной одометрии, которые позволяют достичь точностей измерения скоростей с погрешностью в пределах 0,1-2,0 % [4].

Существующие методы визуальной одо-метрии можно разделить на три группы:

1. методы, базирующиеся на отслеживании изменения местоположения особых точек на изображении;

2. методы, основывающиеся на отслеживании изменения местоположения яркостной группы пикселей изображения;

3. методы, основывающиеся на отслеживании изменения местоположения участка изображения.

В первой группе методов осуществляется выбор и определение изменения местоположения особых точек (углы, прямые линии, кривые) изображения на последовательности кадров. На основании вычисленного изменения местоположения особых точек осуществляется расчет векторов скорости для каждой пары точек (на предыдущем кадре изображения и текущем). После этого осуществляется

расчет итогового вектора скорости камеры путем фильтрации множества значений расчетных векторов скоростей с предыдущего шага. Как правило, в качестве фильтра используется фильтр Калмана. По полученному итоговому вектору скорости камеры осуществляется расчет вектора скорости объекта, на котором установлена камера

[5-11]. '

Вторая группа методов определяет изменение вектора скорости объекта по изменению яркости пикселей изображения видеокадра [12-16]. В методах данной группы осуществляется расчет смещения яркостной группы пикселей изображения между соседними кадрами. В качестве таких яркостных групп пикселей может выступать как каждый пиксель изображения (как в случае алгоритма Хорна-Шунка), так и распределенных по изображению групп пикселей (как в случае алгоритма Лукаса-Канаде). Достоинством алгоритмов первого типа является то, что отсутствует этап выбора яркостных групп пикселей на изображении. А их недостаток заключается в меньшей помехоустойчивости, по сравнению с алгоритмами второго типа. Недостатком алгоритмов второго типа является необходимость выбора таких яркостных групп пикселей, чтобы обеспечивалась высокая контрастность по сравнению с соседними к ним пикселями.

Общим недостатком методов визуальной одометрии первых двух групп является низкая точность работы на слаботекстурирован-ных поверхностях, таких как снег, асфальт, бетон, трава.

На данных поверхностях высокую точность показывают методы третьей группы, которые заключаются в выделении и последующем отслеживании изменения местоположения одной или нескольких областей изображения [17]. В методах данной группы используются различные алгоритмы поиска объектов, образов на изображении. Основными характеристиками сходства, которые широко используются при сопоставлении областей изображения, являются: сумма квадратов разностей, сумма абсолютных разностей и нормализованная функция взаимной корреляции. Использование норма-

лизованной функции взаимной корреляции позволяет добиться большей точности, однако необходимо вычислительное устройство более высокой производительности [18].

Общий алгоритм работы методов третьей группы начинается с получения пары последовательных кадров изображения. После этого из первого кадра выбирается область изображения и затем она сопоставляется со следующим кадром посредством нормализованной взаимной корреляции. Затем вычисляется смещение пикселей между выделенной областью на первоначальном изображении и точкой максимальной корреляции. После измерения горизонтального и вертикального смещений пикселей эти смещения пикселей преобразуются в физическое горизонтальное и вертикальное смещение камеры (в метрах) с использованием параметров внутренней и внешней калибровки камеры.

Для эффективной работы методов визуальной одометрии третьей группы в окружающей среде должно присутствовать достаточное освещение и статическая сцена с достаточной текстурой, чтобы можно было выделить видимое движение [19]. В областях с гладким полом и с низкой текстурой очень важно учитывать направленный солнечный свет и условия освещения, которые могут приводить к неравномерности яркости изображения. Более того, тени от статических или динамических объектов или от самого транспортного средства могут существенным образом снизить точность расчета пиксельного смещения и, таким образом, привести к ошибочной оценке смещения [20].

Предлагаемый метод основан на отслеживании положения выделенных областей изображения дорожного покрытия в видеопотоке при движении объекта. Отслеживание участков дорожного покрытия (выделенных областей) в данном случае означает сохранение цвета (RGB параметра) каждого пикселя этих областей изображения в памяти с дальнейшим распознаванием этих областей на новых кадрах видеопотока. Определение величины изменение положения выделенных областей в плоскости изображения позволяет определить изменение положения самого

Data processing facilities and systems

объекта, что, в свою очередь, даёт возможность вычислить скорость его движения.

Применение этого метода в реальных условиях затрудненно целым рядом существенных проблем. Так, сложность отслеживания выделенных областей дороги обусловлена следующим:

• поверхность дорожного покрытия, как правило, обладает слабой неоднородностью;

• освещённость дорожного покрытия при движении может сильно изменяться;

• при поворотах движущегося объекта может изменяться как угол зрения на выделенную область, так и её ориентация в изображении;

• масштаб выделенной области меняется при изменении расстояния до неё;

• возможно появление помех на дороге, загораживающих выделенную область.

Кроме того, возникают проблемы при расчёте смещения объекта:

• калибровочный коэффициент пересчёта смещения области изображения в пикселях в смещение объекта в метрах зависит от расстояния до области из-за изменения масштаба изображения;

• для отслеживания областей и расчёта смещения объекта в реальном времени необходимо высокое быстродействие вычислений.

Для решения этих проблем была проведена комплексная разработка целого ряда дополнительных методов как для эффективного отслеживания областей, так и для оптимальной обработки полученных данных. Эти методы являются неотъемлемой частью описываемого метода.

Предлагаемый метод состоит из следующих этапов:

1. В первичном кадре видеопотока проводится выделение опорных областей изображения и сохранение функции цвета (функции полученной по RGB параметрам) каждого пикселя этих областей в памяти.

Предварительно всё изображение разделяется на заданное количество одинаковых по площади участков. В каждом участке осуществляется поиск координат области (с заданным размером), в которых она обладает максимальным коэффициентом неоднородности. Коэффициент неоднородности определяется по формуле:

"*2 гУг

гх 2 гу 2 = X

JXi JVi

dfRGB(x,y) dfRGB{x,y) (-—-)2 + (-—-)2dx ■ dy,

dx

dy

где/р.ад ^,у) — функция цвета пикселя с координатами x,y, зависящая от интенсивности красной, зелёной и синей его составляющих (цветовая функция); x1, уь x2, у2 — координаты границы области. Для дискретного представления коэффициент рассчитывается следующим образом (рисунок 1):

кпо —

n2

j=l 1=2

N1 N2

2 2 (/RGß(X"yj) ~ /ясв O^-l)) ■

1=1 7=2

Рисунок 1. Схема выбора координат при расчёте коэффициента неоднородности области изображения

Полученные области изображения сохраняются в массивы цвета (сохраняется функция цветности области) и массив координат границ областей. При превышении смещения координат опорных областей от начального положения в текущем кадре видеопотока заданному критическому смещению, либо уменьшении максимальной по областям достоверности обнаружения ниже критической достоверности процедура выбора областей повторяется в этом кадре. Это позволяет существенно уменьшить погрешность при изменении освещённости дороги, а также при поворотах объекта.

Такой подход к выбору опорных областей изображения дорожного покрытия позволяет

существенно повысить вероятность достоверного обнаружения этих областей на последующих кадрах (т.к. уменьшается вероятность выделения области со слабой неоднородностью).

2. В последующих кадрах видеопотока проводится поиск выделенных опорных областей.

Распознавание опорной области осуществляется на основе формирования разностного функционала по функциям цветности опорной области и области, получаемой при сканировании текущего кадра видеопотока. Разностный функционал (И^(х!,у)) определяется по следующей формуле:

Ж^Ус) =

Х0+Хг+(Х2-Х1) Уo+Уt+(У2-Уl) / /

I /ясв(* о + Х{ + Х,у0 +У1 + У)-

Х0+Хг

Уо+Уе

- /ясвор(х, у),- р(х, у) \-dx- ду,

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

где х0, у0 — координаты начала сканирования текущего кадра видеопотока; хь уг - координаты начала получения функционала; хь уь х2, у2 — координаты границы опорной области (рисунок 2); ^оВ (х,у) — функция цветности сканируемой области изображения; /КОВор (х,у) — функция цветности опорной области; р(х,у) — плотность вероятности нахождения пикселя опорной области вблизи

точки с запомненной координатой х,у (функция вводится для учёта искажения изображения опорной области в текущем кадре видеопотока).

Для уменьшения ошибки обнаружения и увеличения скорости расчётов для каждой опорной области выбирается область сканирования с координатами границ х0, у0, хк, ук, меньшая области кадра видеопотока. Причём

4-г-и*-и •4-И А'^ —

Рисунок 2. Схема выбора координат при сканировании изображения

координаты сканирования выбираются с учётом прогноза изменения положения опорной области (так, при преимущественном движении в одном направлении размер сканирования по движению увеличивается, а в противоположном направлении уменьшается).

Распознавание опорной области в текущем кадре осуществляется нахождением глобального минимума разностного функционала. Координаты области, соответствующие этому минимуму, принимаются за координаты опорной области в данном кадре.

Существенным отличием данного метода от подобных методов, существующих в мировой практике, является то, что отслеживаются не особые точки изображения, а особые области. Такой подход позволяет существенно повысить точность определения смещения кадров в условиях слабой неоднородности дорожного покрытия по причине того, что вероятность чёткого выделения особой области и дальнейшего её достоверного обнаружения в таких условиях выше, чем в аналогичной процедуре для особых точек.

3. Проводится определение проекций скорости объекта по осям ОХ и OY (ОХ направлена по направлению скорости движения объекта, а OY — в перпендикулярном направлении), а также, по этим проекциям, величины скорости.

В начале, по разности координат (в пикселях) опорных областей в текущем и предыдущем кадрах определяется набор смещений координат за кадр каждой опорной области. Затем проводится пересчёт этих значений в смещения координат опорной области в метрах путём умножения на калибровочный коэффициент, масштабируемый линейной зависимостью от координат опорной области, отсчитываемых от центра изображения. Для уменьшения нелинейности изменения этого коэффициента при изменении расстояния от точек опорной области поверхности дорожного покрытия до видеокамеры оптическая ось камеры располагается перпендикулярно этой поверхности и проводится компенсация дисторсии изображения.

По значениям смещения координат опорной области (в метрах) проводится определе-

ние смещения координат изображения за кадр с учётом достоверности распознавания каждой опорной области и их коэффициентов неоднородности. Коэффициент достоверности распознавания определяется по формуле:

Käi= 1 -

Npma* ■ min(RFj(x,y)y N ■ • RF

iJlpi lyl max )

100%,

где min(RF(x,,y)) — минимальное значение разностного функционала для данной опорной области на текущем кадре; RFmax - разностный функционал, определяемый при самых неблагоприятных условиях распознавания (определяется однократно для данной видеокамеры); Npi — число пикселей в опорной области; Npmax — число пикселей в области, по которой определялся RFmax. Для повышения точности получения смещения изображения за кадр проводятся следующие процедуры:

• отбраковываются смещения опорных областей, не соответствующие условию достоверности обнаружения (коэффициент достоверности ниже порогового);

• проводится специализированное усреднение смещений областей (на основе весовых коэффициентов, определяемых по коэффициенту достоверности и коэффициенту неоднородности опорной области).

Изменение координат изображения соответствует величинам изменения координат объекта. Таким образом, проекции скорости объекта определяются как отношение изменения соответствующей координаты к периоду следования кадров видеопотока.

По описанной методике удаётся существенно уменьшить негативное влияние указанных выше факторов отслеживания выделенных областей дороги и расчёта смещения объекта. Однако её применение в реальном времени требует высокого быстродействия расчётов. Эту проблему удалось решить за счёт использования функций openCL, реализующих технологию CUDA многопоточных вычислений.

Проверка работоспособности метода проводилась на автомобиле Газель Next (рисунок 3), в котором были установлены видеокамера и спутниковая навигационная система

(СНС), работающая в режиме сантиметровой точности.

При движении автомобиля осуществлялось определение величины скорости как по СНС, так и по динамическому отслеживанию участков дорожного покрытия по данным

видеопотока, получаемого с видеокамеры, направленной перпендикулярно дороге (графики скоростей показаны на рисунке 4).

Для анализа влияния существенного искажения изображения на измерение скорости по описываемому методу на участке дороги

Рисунок 3. Схема расположения видеокамеры на а/м Газель Next

I э

, L/wj \Л й к И ' - [11 л »v. Л ilA

4 2 у* v v vtf v , 1 г 1

it : : \\ у

лКла.JV /' /1 / а Wv \ л /\ л А Улл^ wS/V

u) li 20 25 '»iki

Рисунок 4. Сравнительный график скорости, полученной по видеокамере (непрерывная линия) и скорости, полученной по СНС (пунктирная линия)

от 15 до 23 с была проведена засветка изображения поверхности. Частота измерения скорости по СНС и по видеокамере составляет 5 Гц.

Как видим по графикам рисунка 4, погрешности измерений скорости по СНС (с сантиметровой точностью определения координат) и по видеокамере (при отсутствии сильной засветки в изображении дороги см. рисунок 5) практически совпадают. Даже при наличии сильной засветки выброс не происходит (рисунок 6 справа).

Это обусловлено тем, что имеются участки с хорошей неоднородностью, и при поиске именно они и выбираются в качестве опорных областей. Кроме того, специализированное усреднение смещений областей позволяет провести усреднение по областям с хорошим коэффициентом неоднородности и высоким коэффициентом достоверности обнаружения. Однако, в момент времени 19,5 с имеется разовый выброс. Этот выброс соответствует сильной засветке изображения дорожного покрытия (рисунок 6 слева).

Причём, в этом случае по всему изображению опорные области будут иметь низкий коэффициент неоднородности. На основе проведённого эксперимента можно сделать вывод, что использование метода динамического отслеживания участков дорожного

покрытия для нахождения скорости объекта позволяет определить эту величину с погрешностью, соизмеримой с погрешностью СНС сантиметровой точности. Выделим основные достоинства и недостатки этого метода.

Рисунок 5. Изображения дорожного покрытия без засветки

Рисунок 6. Изображения дорожного покрытия с сильной засветкой (слева — сильная засветка изображения и происходит разовый выброс определения скорости; справа — сильная засветка, выброса не происходит)

Достоинства метода:

1. Такой метод определения скорости является автономным, т.е. не зависит от наличия спутников и качества их решения;

2. Частота получения скорости зависит только от числа кадров в секунду, реализуемой в видеокамере и может составлять 100 Гц и более;

3. Отсутствует зависимость точности от параметров движущегося объекта (наличие проскальзывания, изменение давления в шинах и прочее);

4. Позволяет проводить измерения при сложных погодных условиях (снег, дождь, ветер и прочее), если они не приводят к существенному ухудшению изображения дорожного покрытия;

5. Позволяет проводить измерения, хотя и с пониженной точностью, при неблагоприятном для измерений состоянии дорожного покрытия (мокрый или заснеженный асфальт, грязь на дороге и прочее).

Недостатки метода:

1. Увеличение погрешности измерений при низком качестве изображения дорожного покрытия;

2. Для определения больших значений скоростей требуется видеокамера, обеспечивающая высокое значение числа кадров в секунду (при 30 кадрах/с измеряемая максимальная скорость - 40 км/ч) и видеокарта с большим количеством ядер (> 1000);

3. Возможны выбросы измерения скорости при появлении кадров с низкой неодно-

родностью изображения (засветка, водяное покрытие и прочее).

Вывод

Для компенсации проблем, обуславливающих точность измерения скорости, необходимо провести комплексирование с другими датчиками измерения этой величины.

Так, комплексирование измерения скорости, получаемой с механического датчика, и скорости, получаемой по видеокамере, позволит избежать выбросов при возникновении кадров с неоднородностью, уменьшить ошибку при низком качестве изображения.

Список литературы

1. Kreczmer B. Objects Localization and Differentiation Using Ultrasonic Sensors. West Palm Beach: INTECH Open Access Publisher, 2010.

2. Rone W., Ben-Tzvi P. Mapping, Localization and Motion Planning in Mobile Multi-Robotic Systems // Robotica. 2013. No. 31(1). P. 1-23.

3. Sanchez A., Castro A.D., Elvira S. Autonomous Indoor Ultrasonic Positioning System Based on a Low-Cost Conditioning Circuit // Measurement. 2012. No. 45(3). P. 276-283.

4. Scaramuzza D., Fraundorfer F. Tutorial: Visual Odometry // IEEE Robot Autom. Mag. 2011. No. 18(4). P. 80-92.

5. Nister D., Naroditsky O., Bergen J. Visual Odometry for Ground Vehicle Applications // J Field Robot. 2006. Vol. 23(1). P. 3-20.

6. Howard A. Real-Time Stereo Visual Odometry for Autonomous Ground Vehicles // Anonymous 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems. 2008. P. 3946-3952.

7. Cumani A. Feature Localization Refinement for Improved Visual Odometry Accuracy // Int J Circuits Syst Signal Process. 2011. No. 5(2). P. 151-158.

8. Benseddik H., Djekoune O., Belhocine M. SIFT and SURF Performance Evaluation for Mobile Robot-Monocular Visual Odometry // J Image Gr. 2014. No. 2(1). P. 7.

9. Naroditsky O., Zhou X., Gallier J., Roumeliotis S., Daniilidis K. Two Efficient Solutions for Visual Odometry Using Directional Correspondence // IEEE Trans Pattern Anal Mach Intell. Apr. 2012. No. 34(4). P. 818-824.

10. Jiang Y., Xu Y., Liu Y. Performance Evaluation of Feature Detection and Matching in Stereo Visual Odometry // Neurocomputing. 2013. No. 120. P. 380-390.

11. Parra I., Sotelo M., Llorca D. Robust Visual Odometry for Vehicle Localization in

Urban Environments // Robotica. 2010. Vol. 28(03). P. 441-452.

12. Gonzalez R., Rodriguez F., Guzman J. Combined Visual Odometry and Visual Compass for Off-Road Mobile Robots Localization // Robotica. 2012. No. 30(6). P. 865-878.

13. Lovegrove S., Davison A., Ibañez-Guzmán J. Accurate Visual Odometry from a Rear Parking Camera // Proceedings of Anonymous IEEE Intelligent Vehicles Symposium. 2011. P. 788-793.

14. Yu Y., Pradalier C., Zong G. Appearance-Based Monocular Visual Odometry for Ground Vehicles // IEEE/ASME International Conference on Anonymous Advanced Intelligent Mechatronics. Piscataway. 2011. P. 862-867.

15. Nourani-Vatani N., Roberts J., Srinivasan M. Practical Visual Odometry for Car-Like Vehicles // IEEE International Conference on Anonymous Robotics and Automation. Piscataway. 2009. P. 3551-3557.

16. McManus C., Furgale P., Barfoot T. Towards Lighting-Invariant Visual Navigation: an Appearance-Based Approach Using Scanning Laser-Rangefinders // Robot Auton Syst. 2013. No. 61(8). P. 836-852.

17. Aqel M., Marhaban M., Iqbal M. Adaptive-Search Template Matching Technique Based on Vehicle Acceleration for Monocular Visual Odometry System // IEEJ Trans Electr Electr Eng. 2016. No. 11(6). P. 739-752.

18. Yoo J., Hwang S., Kim S. Scale-Invariant Template Matching Using Histogram of Dominant Gradients // Pattern Recognit. 2014. No. 47(9). P. 3006-3018.

19. Gonzalez R., Rodriguez F., Guzman J. Combined Visual Odometry and Visual Compass for Off-Road Mobile Robots Localization // Robotica. 2012. No. 30(6). P. 865-878.

20. Nourani-Vatani N., Borges P. Correlation-Based Visual Odometry for Ground Vehicles // J Field Robot. 2011. No. 28(5). P. 742-768.

Data processíng facíutíes and systems

References

1. Kreczmer B. Objects Localization and Differentiation Using Ultrasonic Sensors. West Palm Beach, INTECH Open Access Publisher, 2010.

2. Rone W., Ben-Tzvi P. Mapping, Localization and Motion Planning in Mobile Multi-Robotic Systems. Robotica, 2013, No. 31(1), pp. 1-23.

3. Sanchez A., Castro A.D., Elvira S. Autonomous Indoor Ultrasonic Positioning System Based on a Low-Cost Conditioning Circuit. Measurement, 2012, No. 45(3), pp. 276-283.

4. Scaramuzza D., Fraundorfer F. Tutorial: Visual Odometry. IEEE Robot Autom. Mag., 2011, No. 18(4), pp. 80-92.

5. Nister D., Naroditsky O., Bergen J. Visual Odometry for Ground Vehicle Applications. J Field Robot, 2006, Vol. 23(1), pp. 3-20.

6. Howard A. Real-Time Stereo Visual Odometry for Autonomous Ground Vehicles. Anonymous 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2008, pp. 3946-3952.

7. Cumani A. Feature Localization Refinement for Improved Visual Odometry Accuracy. Int J Circuits Syst Signal Process, 2011, No. 5(2), pp. 151-158.

8. Benseddik H., Djekoune O., Belhocine M. SIFT and SURF Performance Evaluation for Mobile Robot-Monocular Visual Odometry. J Image Gr, 2014, No. 2(1), pp. 7.

9. Naroditsky O., Zhou X., Gallier J., Roumeliotis S., Daniilidis K. Two Efficient Solutions for Visual Odometry Using Directional Correspondence. IEEE Trans Pattern Anal Mach Intell, Apr. 2012, No. 34(4), pp. 818-824.

10. Jiang Y., Xu Y., Liu Y. Performance Evaluation of Feature Detection and Matching in Stereo Visual Odometry. Neurocomputing, 2013, No. 120, pp. 380-390.

11. Parra I., Sotelo M., Llorca D. Robust Visual Odometry for Vehicle Localization in Urban Environments. Robotica, 2010, Vol. 28(03), pp. 441-452.

12. Gonzalez R., Rodriguez F., Guzman J. Combined Visual Odometry and Visual Compass for Off-Road Mobile Robots Localization. Robotica, 2012, No. 30(6), pp. 865-878.

13. Lovegrove S., Davison A., Ibañez-Guzmán J. Accurate Visual Odometry from a Rear Parking Camera. Proceedings of Anonymous IEEE Intelligent Vehicles Symposium, 2011, pp. 788-793.

14. Yu Y., Pradalier C., Zong G. Appearance-Based Monocular Visual Odometry for Ground Vehicles. IEEE/ASMEInternational Conference on Anonymous Advanced Intelligent Mechatronics. Piscataway, 2011, pp. 862-867.

15. Nourani-Vatani N., Roberts J., Srinivasan M. Practical Visual Odometry for Car-Like Vehicles. IEEE International Conference on Anonymous Robotics and Automation. Piscataway, 2009, pp. 3551-3557.

16. McManus C., Furgale P., Barfoot T. Towards Lighting-Invariant Visual Navigation: an Appearance-Based Approach Using Scanning Laser-Rangefinders. Robot Auton Syst, 2013, No. 61(8), pp. 836-852.

17. Aqel M., Marhaban M., Iqbal M. Adaptive-Search Template Matching Technique Based on Vehicle Acceleration for Monocular Visual Odometry System. IEEJ Trans Electr Electr Eng, 2016, No. 11(6), pp. 739-752.

18. Yoo J., Hwang S., Kim S. Scale-Invariant Template Matching Using Histogram of Dominant Gradients. Pattern Recognit., 2014, No. 47(9), pp. 3006-3018.

19. Gonzalez R., Rodriguez F., Guzman J. Combined Visual Odometry and Visual Compass for Off-Road Mobile Robots Localization. Robotica, 2012, No. 30(6), pp. 865-878.

20. Nourani-Vatani N., Borges P. Correlation-Based Visual Odometry for Ground Vehicles. J Field Robot, 2011, No. 28(5), pp. 742-768.

i Надоели баннеры? Вы всегда можете отключить рекламу.