CC BY
119
Султан Садыкович Садыков Ирина Анатольевна Сафиулова Максим Игоревич Ткачук
Рекомендована кафедрой информационных систем Муромского института
УДК 680.5.01:621.384
М. И. Труфанов, С. В. Прилуцкий СПОСОБ
ОБНАРУЖЕНИЯ ПРЕПЯТСТВИЙ ПЕРЕД ТРАНСПОРТНЫМ СРЕДСТВОМ
С ИСПОЛЬЗОВАНИЕМ БИНОКУЛЯРНОЙ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ
Представлен способ обнаружения препятствий перед движущимся транспортным средством путем анализа изображений, формируемых бинокулярной системой технического зрения. Способ характеризуется большим диапазоном обнаружения препятствий и высокой точностью оценки их координат.
Ключевые слова: предупреждение столкновений, техническое зрение, транспортное средство, траектория движения, обнаружение препятствий.
Важнейшей задачей в условиях постоянного роста количества транспортных средств является обеспечение безопасности дорожного движения. Существенную долю риска среди прочих факторов составляют столкновения транспортного средства (ТС) с неподвижными препятствиями и встречными автомобилями [1]. В этой связи особую значимость приобретает создание автоматических средств достоверной оценки расстояния между ТС и препятствием в процессе движения для своевременного предупреждения водителя о возможном столкновении.
Серийно выпускаемые технические средства обеспечивают лишь частичное решение указанной задачи и характеризуются ограниченными функциональными возможностями. Так, известны ультразвуковые радары и системы предупреждения столкновений, применяемые для оценки расстояния до препятствия при парковке. Недостаток таких средств заключается в возможности обнаружения только объемных препятствий и низкой селективности. Известны также системы технического зрения для предупреждения столкновений, функционирующие лишь в условиях хорошей освещенности и не обеспечивающие своевременного обнаружения встречного подвижного объекта при высокой скорости движения.
Значительное внимание системам предотвращения столкновений уделено зарубежными разработчиками [2—6].
В частности, в работе [2] представлена интеллектуальная система помощи водителю, основанная на анализе показаний радара, установленного в переднем бампере. Кроме того, предусмотрена возможность получения данных от бортовой системы глобальной системы навигации для предупреждения о поворотах и перекрестках. Недостатками системы являются
Сведения об авторах д-р техн. наук, профессор; Муромский институт (филиал) Владимирского государственного университета, кафедра информационных систем; E-mail: sadykovss@yandex.ru
канд. мед. наук; Отделенческая больница на станции Муром ОАО „Российские железные дороги", врач-кардиолог; E-mail: irina120779@yandex.ru
аспирант; Муромский институт (филиал) Владимирского государственного университета, кафедра информационных систем; E-mail: maxim.tkachuk@gmail.com
Поступила в редакцию 14.04.10 г.
34
М. И. Труфанов, C. В. Прилуцкий
невозможность селективной (раздельной) обработки данных о различных препятствиях вследствие особенностей работы радара (широкой диаграммы направленности антенны радара, являющейся датчиком информации) и необходимость использования вспомогательных навигационных данных для своевременного предупреждения водителя об особенностях дорожного движения.
В работе [6] представлен типичный способ обнаружения препятствий, к недостаткам которого относится высокая вероятность появления погрешностей измерений, а также сложность практического применения при различной интенсивности дорожного движения вследствие необходимости получения информации о количестве объектов вспомогательными средствами. Еще одним недостатком является небольшой диапазон рабочих расстояний системы, на которых осуществляется достоверное обнаружение объектов.
Анализ доступных разработок и публикаций позволил установить, что на сегодняшний день не существует средств, в полной мере обеспечивающих решение задачи своевременного обнаружения препятствий. Одной из нерешенных проблем является низкая точность вычисления координат возможного препятствия и недостаточная, для своевременного предупреждения водителя, дальность обнаружения встречного объекта.
В настоящей статье представлен способ, позволяющий обеспечить повышение дальности и точности обнаружения препятствий при помощи бинокулярной системы технического зрения, наблюдающей дорожную обстановку по ходу движения транспортного средства.
Предлагаемый способ заключается в следующем. Система технического зрения (СТЗ), состоящая из двух оптико-электронных датчиков (ОЭД), обеспечивающих бинокулярное техническое зрение, устанавливается на транспортном средстве и ориентируется по направлению движения. При помощи ОЭД СТЗ в различные моменты времени формируются стереопары изображений рабочей сцены, на изображениях выделяются одинаковые объекты и измеряются их трехмерные координаты. По этим координатам каждого объекта определяются траектории движения объектов в кадре. В случае если траектория движения какого-либо объекта (объектов) пересекает траекторию движения транспортного средства, формируется предупреждающий сигнал. Траектории ТС и встречных объектов считаются прямолинейными, скорости движения — постоянными на временном участке между моментами измерений.
Рассмотрим перечисленные операции предлагаемого подхода подробнее. Для получения изображения рабочей сцены на транспортном средстве закрепляют два ОЭД и ориентируют относительно друг друга и ТС согласно схеме, представленной на рис. 1: ОЭД располагают на заданном расстоянии L = 1,1...1,5 м, что обусловлено габаритными размерами ТС; главные оптические оси ОЭД ориентируют под равными углами а/2 к нормали к прямой, проходящей через ОЭД.
Автомобиль *--——_Ц.а/2__ -------- L ^^ N
____"З а/2
Рис. 1
Данное расположение ОЭД (в отличие от традиционной бинокулярной системы с параллельными главными оптическими осями) обеспечивает повышенную точность измерения пространственных координат объектов за счет увеличенной базы и меньшее минимальное рабочее расстояние за счет ориентации главных оптических осей ОЭД под углом к друг другу.
После получения изображения рабочей сцены каждым из ОЭД производится поиск одних и тех же объектов на разных кадрах изображения. Объект описывается совокупностью контуров, его составляющих. Сопоставление объектов осуществляется на основе расчета функции принадлежности м для каждой пары объектов Q1it Q2j [7] на различных кадрах изображений бинокулярной системы технического зрения:
М ij = Мид^Ь, Й2/)ЛМ«двн (Q1i, ^ЛМидг^Ц Q2j), где Мид, Мидвн, Мидг — функции принадлежности термам „внутренняя идентичность", „внешняя идентичность", „идентичность гистограмм"; индексы i, j определяют очередной анализируемый объект кадра изображения.
Далее осуществляется выбор пары для каждого объекта Q1i с максимальным значением функции
М ij = max (мг,7).
Для каждого объекта измеряются его двумерные координаты ( Xq , yQ ), (xq2 , yQ2 ) на каждом из кадров стереопары и затем рассчитываются трехмерные координаты объектов (xq, yQ, zq): < xq, yQ, zq >=M3D(xQi (( (x, y)), yQi (Iqi (x, y)), XQ2 (Iq2 (X, y)), yQ2 ( (x, y))),
где M3D — функция расчета трехмерных координат объектов по их двумерным координатам; Iq (x, y), Iq2 (x, y) — изображения, поступающие с оптико-электронных датчиков СТЗ.
Поясним принцип определения координат объекта (препятствия), для чего вычислим координаты (x, y, z) одной из крайних точек Т, определяющих его габариты. Расчет координат осуществляется путем решения системы уравнений, полученной из геометрической схемы, представленной на рис. 2 (мировая система координат совпадает с системой координат правого ОЭД;
Z, z1
Рис. 2
ось 2 совпадает с его главной оптической осью; оси X, У направлены соответственно влево и вверх, ось У не показана на рисунке):
L = z_+L
1
Xi x
2
L = L + (L - z sin a - x) cos a • sin a ; x2 (L - z sin a - x) cos a
36
М. И. Труфанов, С. В. Прилуцкий
/(-/соба-Ь+ео8ах/+х2/+х2 б1па-Ь-х2 бш3 а-Ь-х2 б1пах + х2 бш3 ах)
г = -
/2 соба-Бта+соБах/-х2 бш2 а-/+х2 бш4 а-/-х2 ах + х2 бш3 ах
х=
(/ соб а-Ь - х2 / - х2 б1п а-Ь+х2 бш3 а-Ь+/2 соб а-Бт а-х2 бш2 а-/+х2 бш4 а-/) х! /2 соба-Бта+соБах/-х2 бш2 а-/+х2 бш4 а-/-х2 Бтах + х2 бш3 ах
У = ( г+/)/у ,
где / — фокусные расстояния ОЭД, х!, х2 — абсциссы объекта на изображениях, формируемых ОЭД; у! — ордината объекта на изображении, полученном с первого ОЭД.
Ордината точки Т рассчитывается после вычисления координат г и х.
Обнаружение препятствия заключается в анализе траектории движения каждого объекта Q рабочей сцены и определении, может ли траектория движения объекта пересечь область, соответствующую положению СТЗ транспортного средства на траектории его движения. Если траектория движения ТС и одна или несколько траекторий движения объектов пересекаются, то принимается решение о возможном столкновении.
Для обнаружения препятствия определяются направления движения объектов, текущая скорость их движения и время возможного столкновения.
Пусть транспортное средство с установленной на нем СТЗ находится в центре системы координат (рис. 3) и движется с известной скоростью уТс по оси Z. Встречный объект движется с неизвестной скоростью VQ. Получение двух стереопар изображения в различные моменты времени г! и г2 позволяет определить координаты (г!, х!) и (г2, х2) и затем вычислить проекции скорости VQZ, VQХ на оси Z и X соответственно.
Вероятное препятствие
Рис. 3
Приведем выражения для расчета координат ТС и встречного объекта в момент времени г.
Уте (0=0, гтс (0= vтc г, гQ (0=г! + VQZ г = г^г!-^)/^ - ^Х ХQ (г) = х! + VQX г = х ! + (х!- х2)/( х! - х2) г.
Приравняв правые части уравнений, определяющие соответствующие координаты объектов, определим моменты времени гх, гг, в которые координаты совпадают.
гх = -х! / ((х !- х 2)/(г! - г 2)), гг^-г^г-г^ь-гг)- vтc).
Оба уравнения линейные и имеют один корень. Критерием пересечения траекторий движения ТС и объекта является равенство времен гх, гг и их положительные значения, определяющие факт возможного столкновения позднее текущего момента времени. гх=гг>0.
Для предотвращения столкновения в расчетных соотношениях должны быть учтены погрешности измерения координат объектов, от которых зависит погрешность расчета вре-
мени столкновения At. В результате условие для определения времени возможного столкновения приобретает следующий вид:
tx > 0, tz>0, |tx - tz|<At. (1)
При определении времени возможного столкновения с неподвижным препятствием выражения упрощаются:
Xq = 0, tz=Zi/ VXG, tz > 0. (2)
Соотношения (1) и (2) позволяют определить время возможного столкновения с препятствием. В случае если это время меньше предварительно заданного, формируется предупреждающий сигнал.
Рассмотренные операции могут быть реализованы на цифровом вычислительном средстве с подключенными к нему двумя ОЭД. В качестве вычислительного средства могут быть использованы портативный персональный компьютер, а также специально разрабатываемые средства на базе программируемых логических интегральных схем и микроЭВМ или сигнальных процессоров. В качестве ОЭД целесообразно использовать малогабаритные видеокамеры (в частности, экспериментальные исследования проводились с использованием видеокамер Logitech 9000).
Представленный способ позволяет повысить точность определения положения вероятного препятствия в пространстве за счет увеличения базы бинокулярной системы технического зрения и анализа траекторий движения возможных препятствий, а также расширить диапазон рабочих расстояний.
Работа выполнена при поддержке гранта Президента РФ, № МК-6351.2010.8.
СПИСОК ЛИТЕРАТУРЫ
1. Московский автомобильно-дорожный институт, школа проф. А. А. Юрчевского [Электронный ресурс]: <http://auto.madi.ru/index.php? page=school6>.
2. Nissan to Equip „Fuga" / Intelligent Pedal, Intelligent Cruise Control [Электронный ресурс]: <http://techon.nikkeibp.co.jp/english/news_en/ 20071214/144251/ Nissan to Equip 'Fuga' w/ 'Intelligent Pedal,' 'Intelligent Cruise Control'>.
3. Pat. 7436430 USA, H04N 7/18. Obstacle Detection Apparatus and Method / Takeda, Nobuyuki, Hattori, Hiroshi. 10/923,048; Publ. 14.10.08.
4. Pat. 7389171 USA, B60K 31/00. Single Vision Sensor Object Detection System / J. Rupp. 10/572,542; Publ. 17.07.08.
5. Pat. 7306331 USA, G02C 7/16 .Vision Protection Device for Night Driving /A. Tigert. 11/244,922; Publ. 11.12.07.
6. Pat. 7248968 USA, G06K9/20. Obstacle Detection Using Stereo Vision / J. Franklin Reid. 10/977,675; Publ. 24.07.2007.
7. Нечеткая математическая модель автофокусирующейся системы обработки изображений / М. И. Труфанов, Т. А. Ширабакина // Изв. вузов. Приборостроение. 2003. Т. 46, № 11. С. 12—16.
Сведения об авторах
Максим Игоревич Труфанов — канд. техн. наук, доцент; Курский государственный технический уни-
верситет, кафедра вычислительной техники; E-mail: temp1202@mail.ru Сергей Викторович Прилуцкий — аспирант; Курский государственный технический университет, кафедра вычислительной техники; E-mail: temp1202@mail.ru
Рекомендована кафедрой Поступила в редакцию
вычислительной техники 14.04.10 г.
