Система технического зрения для навигации транспортных средств Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

УДК 681.5

СИСТЕМА ТЕХНИЧЕСКОГО ЗРЕНИЯ ДЛЯ НАВИГАЦИИ ТРАНСПОРТНЫХ СРЕДСТВ

О.Ю. Сергиенко, доцент, к.т.н,

Институт Инженерии Автономного университета Нижней Калифорнии, Мексика

Аннотация. Предложена новая модель системы технического зрения для автомобиля. Рассматриваются вопросы создания, функционирования и взаимодействия составных частей и элементов системы. Разработан математический аппарат для обработки цифровой информации внутри системы и для определения расстояний и угловых мер в предложенной системе. Определены предполагаемая точность, скорость работы, диапазон действия, потребление энергии при использовании системы. Приведены возможные сферы применения разработанной автоматической навигационной системы на практике.

Ключевые слова: навигация, система технического зрения, мобильный робот, фотоприемник.

СИСТЕМА ТЕХНІЧНОГО ЗОРУ ДЛЯ НАВІГАЦІЇ ТРАНСПОРТНИХ ЗАСОБІВ

О.Ю. Сергієнко, доцент, к.т.н,

Інститут Інженерії Автономного університету Нижньої Каліфорнії, Мексика

Анотація. Запропоновано нову модель системи технічного зору для автомобіля. Розглядаються питання створення, функціонування та взаємодії складових частин і елементів системи. Розроблено математичний апарат для обробки цифрової інформації всередині системи і для визначення відстаней та кутових вимірів у запропонованій системі. Визначено очікувану точність, швидкість роботи, діапазон дії, споживання енергії при використанні системи. Наведено можливі сфери застосування розробленої автоматичної навігаційної системи на практиці.

Ключеві слова: навігація, система технічного зору, мобільний робот, фотоприймач.

SCANNING VISION SYSTEM FOR VEHICLE NAVIGATION

O. Sergiyenko, Associate Professor, Candidate of Technical Science, Engineering Institute of Autonomous University of Baja California, Mexico

Abstract. The new model of the scanning vision system for vehicles is offered. The questions of creation, functioning and interaction of the system units and elements are considered. The mathematical apparatus for processing digital information inside the system and for determining distances and angle standard in the offered system is worked out. Expected accuracy, functioning speed, range of action, energy consumption when using the system are determined. The possible areas of the developed automatic navigation system use are offered.

Key words: navigation, technical vision system, mobile robot, photoreceiver.

Введение

Исследования возможности применения автоматической навигации мобильного робота (МР) в современной науке являются весьма актуальными, особенно в областях автомати-

ки и оптоэлектроники. Например, ДАРПА (Агентство передовых оборонных исследовательских проектов) [1] в США проводило конкурсное испытание С^обомобилейЦ но приемлемое решение до сих пор не найдено.

Анализ публикаций

Существует несколько подходов к решению данной проблемы (см. детальный анализ в [10]), например, использование контакта чувствительного элемента с заблаговременно установленной линией, указывающей направление движения (дискретная линия из магнитных элементов, непрерывная индукция, или просто видимая линия); адаптация CCD (устройство с зарядовой связью) камер для имитации человеческого бинокулярного зрения и т.д. Любая из этих систем не имеет универсального характера, а это не позволяет её применить на любом мобильном объекте, а также в любой неизвестной среде без предварительной Сйодготовкий Необходимость окончательных практических решений появилась с момента высадки МР на Луну, и с того времени начали систематизировать основные принципы создания подобных систем [2-9]. Возможность управления мобильным объектом без участия человека в полностью автоматическом режиме актуальна для решения большинства практических задач: при вождении автомобиля в сложных условиях дорожного движения, транспортных тележек на промышленных предприятиях, при исследовании планет солнечной системы с помощью мобильных радиоэлектронных устройств, которые доставляются на эти планеты посредством ракет и космических кораблей. Кроме этой передовой отрасли науки, предлагаемая система технического зрения применима и в других, не менее важных сферах, например, для навигации дорожно-строительных машин, как часть транспортной системы «круиз-контроль С]

Предлагаемая конструкция системы технического зрения радикально отличается по возможностям от других известных подходов [2, 5, 7] и является дальнейшим развитием ранних публикаций автора [8, 9].

Цель работы

Целью данной работы является разработка структуры (модели) оптоэлектронной системы, выполняющей следующие функции: получение информации о поверхности, по которой движется МР; обнаружение препятствий и их классификация (по элементарному типу □ выступ или впадина); измерение расстояния до них и определение их размеров. Выполнение указанных функций необходимо

для успешной автоматической навигации мобильного объекта.

Автоматическая навигация МР

Предлагается следующая последовательность действий для реализации навигации МР. После установки в заданном положении на поверхности неизвестного ландшафта и автоматического контроля эксплуатационной пригодности всех систем МР должен Усмотреть □ местность поблизости с помощью системы технического зрения (СТЗ) и начать движение в допустимом направлении от начальной позиции. После прохождения небольшого отрезка пути МР должен снова Сйскать» направление по своему маршруту на допустимом расстоянии. Если МР настроен на возвращение в начальную точку, то после затрат (< 50 %) энергоресурсов он должен определить местоположение относительно начальной точки и двигаться в этом направлении, используя СТЗ.

Таким образом, чтобы выполнить навигацию МР, необходимо решение двух технических задач: 1) техническая разработка (рис. 1-3) и моделирование СТЗ и 2) математический аппарат для обработки данных (формулы (1)П (5)). Точнее будет назвать это двуединой технической задачей: получение и обработка данных с целью выработки оптимальной траектории движения робота из заданной начальной точки в желаемую конечную с учётом случайного характера появления препятствий в заданном секторе должны производиться параллельно, в реальном масштабе времени и, желательно, максимально быстро.

Личным вкладом автора, отражающим научную новизну работы, является создание нового теоретического принципа динамической триангуляции, позволяющей осуществлять быстрое и точное определение пространственных координат в реальном масштабе времени. Главное отличие данного метода от уже существующих [3, 7] □ гораздо более широкий сектор обзора (так, в [10] на стр. 401 показано, что существовавшие доныне две разновидности принципа статической триангуляции как раз и имеют недостатком крайне низкий (до 2-5°) сектор обзора, что делает их в принципе неприменимыми для задач навигации). Этот метод позволяет реализовать рассмотренную ниже оригинальную конструкцию пассивной сканирующей апертуры.

Описание работы системы

На рис. 1 показаны основные элементы и положение СТЗ на МР. СТЗ представляет собой лазерную систему, расположенную в верхней передней части МР, которая использует измерение углов и расстояния. СТЗ содержит очень мощный лазер с коллиматором. Лазер и коллиматор установлены непосредственно в системе позиционирования (позиционирующий лазер ПЛ) (рис. 1, б, рис. 2).

Рис. 1. Конструкция и применение СТЗ

На другом конце планки находится сканирующая апертура (СА), которая показана отдельно на рис. 3. Угол СА □ перпендикулярный планке и плоскости XOY. Планка Ь установлена средней частью в системе позиционирования, в которой есть горизонтальный (ПГ) и вертикальный (ПВ) шаговые приводы (рис.1).

СТЗ работает следующим образом. По команде от компьютера планка устанавливается таким образом, что ось вращения СА располагается так, что угол её вращения перпендикулярен плоскости ХОУ СТЗ системы координат. ПЛ устанавливает лазер с коллиматором, например, в крайнюю правую позицию. Ось коллиматора (с помощью ПВ-шагового привода) занимает крайнюю верхнюю позицию (над горизонтом). Лазер и СА включены. СА вращается с помощью электромотора ЭМ. При каждом повороте СА лазерный луч должен попасть на препятствие, которое отражается от него (точка £-■) и возвращается к зеркалу 3 (рис. 3). Если три объекта: точка отражения £у, перпендикуляр к зеркалу 3 и вертикальная ось СА попадают в одну плоскость, перпендикулярную плоскости ХОУ во время вращения СА, то оптический сигнал, пройдя путь «8- □ зеркало М □ объект О □ оптический канал ОК □ фотоприемник ФП» генерирует электрический сигнал остановки.

Рис. 3. Конструкция СА

Сигнал запуска предварительно формируется СА посредством датчика нулевого положения (установленного на планке а, ось Ь). Заполняя интервал во времени 1В1 = В1 / ю. (где В\ □ угол между осью планки (направление датчика на нуле и направление СА □ 8- (рисунок 3); ю □ уровень вращения СА) импульсами опорной частоты /0, мы получим код МВ1 = tm • /0. Цикл вращения СА одновременно заполняется теми же импульсами частоты /0. При этом получен код

^*1 = Т2тлЛ. Угол В1 = 2^- Ыв1 /N. прежним.

2п1

остался

Рис. 2. Конструкция ПЛ

Когда зеркало СА проходит направление к точке Б-, лазер выключается с целью сохранения энергии. Электрический импульс поступает к ПЛ, а шаговый привод перемещает лазер с коллиматором на угол а1 вдоль горизонта (рис. 1, б). При приближении зеркала 3 СА к [Просматриваемому сектору» МР включается лазер.

Если лазерный луч находится в новом положении и он обнаруживает препятствие, формируется новая точка отражения и измерения проходят повторный цикл. Если лазерный луч не обнаруживает препятствия, отражаемый сигнал не возникает и новая точка не будет сформирована. В таком случае, как и в случае существования точки отражения, формирование кода NB2 начинается с сигнала нулевого датчика.

Как только этот код наберет определенное значение, перекрывая диапазон возможных значений кода, соответствующих оперативному сектору, счетчик, где сформированы коды выставляется в ноль и лазер вы-

ключается. Шаговый привод ПЛ поворачивает лазер до угла а2. Циклы с измерениями углов на точках отражения, образованных на препятствиях, или единичные циклы сканирования без препятствия, повторяются в той же последовательности. Значения углов В1 в цикле, где происходит отражение точек, сохраняются. Когда система ПЛ находится в крайней позиции п, определяемой по минимальному расстоянию и максимальному углу зрения, шаговый привод планки системы позиционирования поворачивает ее вокруг горизонтальной оси угла Р1 (рис. 1, а). Циклы с измерениями углов В* повторяются. Углы йторой строчки изображения» ап были пройдены в обратном порядке от позиции п до позиции 0.

После установления планки в исходную (начальную) позицию и последующего перемещения луча лазера справа налево или наоборот все лазерные лучи попадают на исследуемую поверхность, создавая точки отражения Б-. Если в этом случае мощность

излучения лазера и расстояние до точек отражения, так же как и чувствительность фотоприемника, достаточны для образования

импульса остановки, то безинформативные циклы сканирования СА не возникнут. Измерение циклов повторяется до тех пор, пока плоскость, образовавшаяся с помощью горизонтальной оси планки Ь и последней точки Б-, находится от плоскости ХОУ под углом

т

Ер ,.

1=1

Исходя из вышеизложенного, измерение всех данных углов В, будет сохраняться в памяти

компьютера. Один из этих углов показан на

рис. 4. Угол приведения С- = Стах -^а*,

1=1

где Стах □ ЭТО исходный угол позиции ПЛ.

Углы С-, так же как и углы ЕР -, внесены в

1=1

память одновременно с измерениями углов В- во время каждого цикла.

Используя теорему синусов и соотношение между сторонами и высотой треугольника, изображенного на рис. 4, можно определить формулу для расчета расстояний наклона йот основания до точек, подсвеченных лазером.

Рис. 4. Динамическая триангуляция

= а •-

8Ш В*: 8Ш С*:

_____У _____Ч___

8ш[180°-(В- + С- )] ’

(1)

где а □ базовое расстояние между осью вращения ПЛ и СА. Это расстояние достаточно точно измерено заранее. Для упрощения последующих вычислений рекомендуемое значение а = 1 м, что значительно упрощает умножение и уменьшает время сканирова-

-

ния. Используя значения углов В-, С-, Ер - и

-=1

основания а, можно вычислить каждую выделенную лазером точку в прямоугольной

а

системе координат ОХУХ СТЗ, используя следующие формулы

х1} = а

81П В1} 81П С1} £ Р,

' 8іи[і80° -( + С, А

при В.. < 90° (вращение вправо)

У,, = а •

^ 1 8Ш В, С08 С,, ^

_________________Ч________Ч _

2 8ш[і80° -(В,, + С,,%

при В, > 90° (вращение влево)

(2)

(3)

использовать высокоскоростной двигатель постоянного тока или асинхронный двигатель переменного тока с повышенной частотой.

На рис. 3 одно измерение производится во время одного поворота зеркала. Если двигатель вращается со скоростью и (с ), частота измерений направлений (углов) выделенных точек в секторе вида будет такой же. Частота может быть увеличена приблизительно в 10-12 раз, если пирамида с / = 10-12 отражающими гранями используется вместо зеркала. Тогда частота измерения углов в указанных точках будет /т = /-и. Если, например, и = 100 с-1, / = 10, / = 10-100 = 103сп.

У,, = -а •

1

2 + 8іи[і80° -( + С,%

8Ш В, С08 С,

ч ч

(4)

3

У У ЕР,

,=1

8іи[і80° -(В,,%

(5)

Таким образом, бортовой компьютер с помощью СТЗ обеспечивает цифровое описание съемки местности в секторе обзора МР в реальном масштабе времени. Если в направлении наблюдения появляется какое-либо препятствие в виде углубления (в этих местах точки -разреживаются») или высту-

па над поверхностью (в этих местах точки Б- накапливаются), МР с помощью вертикального пошагового привода поворачивает

П

СТЗ на угол Е а. налево или направо, в

г=1

зависимости от местоположения препятствий относительно оси ОХ, и -йщетП новый сектор.

Скорость работы СТЗ

Количество зафиксированных точек в секторе вида МР к = т-п, полнота полученной информации, а также скорость СТЗ при определенной скорости СА и компьютера зависят от следующих факторов.

Зеркало СА вращается с помощью электромотора. Так как результат измерения угла В. = 2%Ыщ / Ы2щ не зависит от режима вращения системы электромотора, то возможно

Для к = т - п = 100 СТЗ будет

Ж = Ей/к = 103/102 = 10 изображений в секунду на компьютере. При к = т - п = 100 СТЗ с зеркальной пирамидой производит одно изображение в секунду. Для транспортного робота будет достаточно 10 изображений в секунду.

Предполагается, что частота углов наклона всех шаговых приводов СТЗ и скорость бортового компьютера превышают частоту углов измерения в СТЗ. Компьютер распознает местность и определяет маршрут в режиме реального времени посредством измерения углов Д.

Анализ точности пространственных карт

Этот критерий мы понимаем как определение искажений для координат точек X, У, X на исследуемой поверхности. Следует принять во внимание тот факт, что искажения в измерениях углов □ это основной источник искажений. Предполагаемый квадрат ошибки (ПКО) одного измерения угла В.с помощью сканирующей апертуры был

доказан экспериментально и равен 10-14 угловых секунд. Угол несоосности шагового привода даёт искажения, равные 3-5 угловых секунд.

]

Допустим, что ПКО углов Ву, Су, Ер у со-

,=1

ставляет = 15".

Чтобы определить ПКО в координатах точек отражения X, У, X , используем метод мо-

ментов, который основан на том, что зависимость функции будет следующей

V = ф(х1, Х2,..Х ) .

Аргументы х., согласно математическому ожиданию функции, равны линейной функции, и распределение функций аргументов производится с использованием нормального закона. Ожидание и ПКО «йочти линейных □ функций может выражаться формулами

M (у) = ф(М і, M 2,..М),

а

= I

^ dфЛ'

dx

V u Jm

а

(б)

(7)

В данном случае выражения (2), (3), (4) и (5) соответствуют формуле (6). Несмотря на то, что расчет для каждой координаты определяется формулами (2), (3), (4), (5), расчёт ПКО по формуле (6) получается достаточно объемным. Можно полагать, что

= sinаB « аB /p".

(S)

При этом йВ П угол связывающей дуги су,

выраженный в радианах, р" = 206265". С другой стороны,

/dj =<

' / a.

(9)

Здесь са О ПКО в определяемом расстоянии йу. Заменяя значение йВ из (8) на (9) и принимая в расчет ПКО угла С, получим

—а .

ap

Зависимость сй от йу представлена в табл. 1.

Таблица 1 Колебания погрешности между подсвеченными точками

d, m 1 2 u З0 100

ad, mm 0,10 0,41 U 2З7,11 1028,43

превышают 1. Следовательно, ПКО в определяемых координатах точек на оси X и X не превышает значений ай, то есть

ау ~а* <ай.

ПКО в определяемых координатах У, можно рассчитать основываясь на (8)

а у = -/2 • йВ «-/2 • й, • а "В / р ".

Значение а „ изменяется линейно от 0,1

мм

для йу = 1 м до 10 мм на расстоянии 100 мот центра координат.

Режим работы СТЗ

Параметры СТЗ обусловлены мощностью лазера и чувствительностью фотоприемника СА (порог зрительного восприятия).

Поток лазерного излучения Рь отражается, достигая препятствия. Допустим, что он диффузно рассеивается с постоянной плотностью I, равномерно распределяясь внутри пространственного угла , т. е.

I= Pl / Q .

(11)

Пространственный угол точки рассеивания 0,8 = 4л 8т2(/Р /2) [5, 6]. При этом .Р = 180° /р Ю это плоский угол рассеивания.

Поток света, отражаясь в зеркале СА и попадая на фотоприемник, выражается формулой

Pm =Ю m .

(10) Известно [З, б], что

Qm = Sm / dij

(12)

(1З)

пространственный угол с верхней точкой отражения и началом на зеркале СА, общая площадь Бт, при перпендикуляре к зеркалу, точка отражения и вращение оси СА находятся в одной плоскости. Таким образом,

Из выражений (1), (2) и (1), (5) видно, что они отличаются только коэффициентами ] i

cos i и sin ^р i. Эти коэффициенты не

j=1 j=1

= Sm / Qm.

Используя (11), (12), (1З) и (14), получаем

2

Г k • Sm Pl Л

{s/nfl s P

p У

= (s'n)ns Pd,2

L kSm p v

где k << 1 □ коэффициент расчета потери выделения энергии на отражение и переход сигнала через оптический канал СА. При этом s/n □ зависимость сигнал-шум, вместо потока света Pm значения порога зрительного восприятия фотоприемника заменяем: Pp > Pm- При k = 0,2; Sm = 5-10-4 м2; QS = 6,28ср; s/p = 5; Pp = 10-8 Вт и dj = 20 м.

Pl =

З • 6,28 •lO~8 • 4 •lO~2

0,2 • 3 •lO

= 1,26 Вт.

Для йу = 100 м значение ПЛ = 31,5 Вт.

Моделирование задачи

Для первой разработки прототипа мы можем допустить размеры сектора просмотра 2 м ширины и 1 м высоты, с максимальным расстоянием 10 м от СТЗ до объекта на местности.

Расстояние между выделенными точками

Мы определили значение контура приблизительно между точками 10 см в ширину и 10 см в высоту, спроецированными на плоскую поверхность на расстоянии до 10 м от СТЗ. Расстояние между точками, спроецированными на поверхность, не является постоянной величиной, так как угол между каждой точкой всегда одинаковый. Поэтому при измерении, когда проекция точки отдаляется от перпендикуляра проекции к поверхности, расстояние увеличивается. Эта зависимость показана в табл. 2. Предполагается, что расстояние от исходной точки поверхности до СТЗ □ 10 метров. Угол между каждыми двумя точками зависит от минимального угла шагового двигателя. Следует также учитывать, что этот угол состоит из набора шагов двигателя. В данном случае количество шагов для каждой проекции □ 6 для получения контура приблизительно 10 см вертикально и горизонтально. Следовательно, размеры контура точек на расстоянии до 10 м будут такими: ширина П1,895 м и высота □0,9432 м.

Табл. 2 и соответствующий рис. 5 показывают изменения расстояния между каждой указанной точкой при увеличении шага вертикального шагового привода, а также изменения угла аг-.

Таблица 2 Изменение расстояния между указанными точками

N 9, град Wn (m)

1 0,34 0,09423

2 1,08 0,09427

3 1,62 0,09430

4 2,16 0,09433

3 2,7 0,09442

6 3,24 0,09430

7 3,78 0,09460

8 4,32 0,09472

9 4,86 0,09486

10 3,4 0,09301

11 3,94 0,09318

12 6,48 0,09336

13 7,02 0,09337

14 7,36 0,09379

13 8,1 0,09603

Wn (m)< Wn-l (m)

Рис. 5. Переменный шаг СА

Фундаментальным аспектом является то, что при каждом полном обороте ЭД необходимо полностью сканировать место действия. Для этого необходимо также осмотреть 21 точку в ширину и 11 в высоту, всего 231 точку, и если потребуется, производить 1 изображение места за секунду; при этом очень важно обеспечить постоянную скорость электродвигателя 231 сп, синхронного с механизмом

ПЛ. Это позволяет обеспечить максимальная паспортная скорость выбранного мотора постоянного тока 13860 минп.

Выводы

1. Предложенный принцип построения СТЗ полностью решает две проблемы навигации МР: она позволяет обследовать местность перед роботом и определять направление к начальной точке траектории робота. СА предоставляет возможность наблюдать точки, расположенные над или под уровнем горизонта в пределах « 45 °.

2. Предложенная СТЗ не требует новых элементов и устройств и может быть создана на базе приборов, которые в настоящее время выпускаются в полном масштабе.

3. СТЗ представляет реализацию идеи компьютерного зрения в виде аналогово-цифровой модели пространства перед роботом. Эта модель легко может быть трансформирована компьютером в изображение, пригодное для восприятия человека-оператора.

4. СТЗ не противодействует восприятию информации, относящейся к окружающей среде. Наоборот, СТЗ и ПЗС могут взаимно дополнять друг друга. Интересной задачей для будущих исследований может стать анализ возможных преимуществ одновременного совместного использования сразу двух систем: оригинального лазерного сканера с оптоэлектронным сканированием и СТЗ, построенного на видеокамерах.

5. Как показывает анализ (табл. 1), работа системы весьма подобна логике обычного человеческого зрения: на больших дистанциях СТЗ позволяет только обнаружить объект-препятствие и примерно (с метровой точностью на стометровом расстоянии) определить его положение в секторе. Затем, по мере приближения к препятствию, робот может вернуться к «рассмотрению □ данного препятствия и локализировать его с более высокой точностью.

Литература

1. DARPA [Electronic Resource]. □ Mode of

access: URL: www.darpa.milD Title from the screen.

2. Nishide K. Automatic position findings of

vehicle by means of laser/ K. Nishide, M. Hanawa, T. Kondo // IEEE International Conference on Robotics and Automation. □ April. П1986. □ Vol. 3. □ P. 1343Q348.

3. Fuchs E. Multidimensional laser scanning

system to test new concepts in underwater imaging / E. Fuchs // Proceedings IEEE Techno-Ocean '04, November. □ 2004. □ Vol. 3. □ P. 1224Q228.

4. Chen, Bor-Tow. A 3D scanning system based

on low-occlusion approach / Bor-Tow Chen, Wen-Shiou Lou, Chia-Chen Chen, Hsien-Chang Lin // Proceedings 2d International Conference on 3-D Digital Imaging and Modeling. П1999. □ P. 506C515.

5. Goto Y. Mobile Robot Navigation: The CMU

System / Y. Goto, A. Stentz // IEEE Expert. П1987. □ Vol. 2, No. 4. □ P. 44И5.

6. McTamaney L.S. Mobile Robots: Real-Time

Intelligent Control / L.S. McTamaney // IEEE Expert. □ 1987. □ Vol. 2, № 4. □ P. 55-68.

7. Hebert M. 3D Measurements from Imaging

Laser Radars / M. Hebert, E. Krotkov // Image and Vision Computing, April. □ 1992. - Vol. 10, № 3. □ P. 170П178.

8. Sergiyenko O. Yu. Optoelectronic System for

Mobile Robot Navigation. / O. Yu. Sergi-yenko // Springer-Allerton Press, Inc., Optoelectronics, Instrumentation and Data Processing, October. □ 2010. Wol. 46, № 5. □ P. 414И28

9. Sergiyenko O. Dynamic Laser Scanning

method for Mobile Robot Navigation / O. Sergiyenko, V. Tyrsa, L. Devia, W. Hernandez, O. Starostenko, M. Rivas // Proceedings of ICCAS-SICE 2009, Fukuoka, Japan, 2009. □ P. 4884И889.

10. Computer vision. Edited by Xiong Zhihui /

Chapter 22 «Machine vision: approaches and limitations»] Authors: M. Rivas Lopez, Oleg Sergiyenko, Vera Tyrsa, pp. 395И28. IN-TECH, Vienna, Austria, 2008. □ 538 p.

Рецензент: А.В. Полярус, профессор, д.т.н., ХНАДУ.

Статья поступила в редакцию 12 марта 2012 г.