CC BY
42
УДК 629.113
АВТОМАТИЗИРОВАННАЯ КОМПЬЮТЕРНАЯ СИСТЕМА ДЛЯ ИНТЕРАКТИВНОГО ОБЩЕНИЯ С ВОДИТЕЛЕМ
А.П. Кравченко, профессор, д.т.н., Т.М. Терещенко, доцент, к.т.н.,
И.В. Морозов, аспирант, Восточноукраинский национальный университет
имени Владимира Даля, Луганск
Аннотация. Рассмотрена электронная система, служащая для удобства управления автомобилем и повышения безопасности движения. Предложена инновационная разработка комплексной системы голосового управления с возможностью интерактивного общения, функцией предупреждения от засыпания.
Ключевые слова: компьютерная система, голосовое управление, интерактивное общение, речевой словарь.
АВТОМАТИЗОВАНА КОМПЮТЕРНА СИСТЕМА ДЛЯ ІНТЕРАКТИВНОГО
СПІЛКУВАННЯ З ВОДІЄМ
О.П. Кравченко, професор, д.т.н., Т.М. Терещенко, доцент, к.т.н.,
І.В. Морозов, аспірант, Східноукраїнський національний університет імені Володимира Даля, Луганськ
Анотація. Розглянуто електронну систему, що служить для зручності керування автомобілем і підвищення безпеки руху. Запропоновано інноваційну розробку комплексної системи голосового керування з можливістю інтерактивного спілкування, функцією попередження від засинання.
Ключові слова: комп^Ьтерна система, голосове керування, інтерактивне спілкування, мовний словник.
AUTOMATED COMPUTER SYSTEM FOR INTERACTIVE COMMUNICATION WITH A DRIVER
A. Kravchenko, Professor, Doctor of Engineering Science, T. Tereshchenko, Assistant Professor, Candidate of Engineering Science, I. Morozov, postgraduate,
East Ukrainian Volodymyr Dahl National University, Lugansk
Abstract. The electronic system which serves for the convenience of driving and improve neut of traffic safety has been regarded. Innovative development of an integrated system of voice control with the possibility of interactive communication and the function of preventing from falling asleep has been given.
Key words: computer system, voice control, interactive communication, speech dictionary.
Введение
Новые технологии с каждым днём входят в повседневную жизнь и позволяют усовершенствовать мир, делая жизнь более комфортной и удобной. Взяв за пример суще-
ствующие транспортные средства, нельзя не отметить, что далеко не в каждом автомобиле в полной мере используется современная техника, созданная для повышения комфорта и безопасности движения, не требующая дополнительных усилий и внимания.
Внедрение в транспортные средства компьютерной системы интерактивного общения, а также дополнительного комплекса предупреждения водителя от засыпания существенно снизит риск аварий, связанных с отвлечением внимания на управление бортовыми функциями машины, а также предупредит засыпание водителя [1, 2].
Анализ публикаций
Распознавание образов находит все большее применение в повседневной жизни. Распознавание речи и рукописного текста значительно упрощает взаимодействие человека с компьютером. Базовым является неопределимое понятие множества. В компьютере множество представляется набором неповторяющихся однотипных элементов. Слово Сйеповторяющихся □ означает, что какой-то элемент в множестве либо есть, либо его там нет. Универсальное множество включает все возможные для решаемой задачи элементы, пустое не содержит ни одного.
В классической постановке задачи распознавания универсальное множество разбивается на части-образы. Образ какого-либо объекта задается набором его частных проявлений. В случае с распознаванием текста в универсальное множество войдут все возможные знаки, в образ ИЫ» □ все возможные начертания этой буквы, а программа распознавания занимается тем, что на основе небольшого набора примеров начертаний каждой буквы (обучающей выборки) определяет, какую из них символизирует введенная закорючка.
Распознавание команд голосом является актуальным вопросом передовых технологий. Несмотря на то, что современная автомобильная отрасль достигла вершин прогресса, всё же очень трудно встретить транспортное средство, оснащенное системой распознавания голоса и управления с его помощью бортовыми командами. Известные автомобильные концерны ВМ^ УОЬУО, Mercedes стремятся повысить комфорт водителя и безопасность на автомобильных дорогах, поэтому на последних моделях своих разработок дают возможность управлять бортовой электроникой при помощи голоса (СЪключи радио, включи следующую станцию, позвонить, номер и др.^ [3, 4].
Цель и постановка задачи
Целью работы является повышение степени безопасности движения и простоты управления автомобилем, а также предотвращение засыпания водителя во время управления. Поставлена задача разработки системы, позволяющей избавить от лишних манипуляций водителя, при этом следить за его лицом, анализируя область глаз, и выявлять факт засыпания. Отсутствие различных кнопок и необходимости их нажимать существенно снижает риск опасности отвлечь водителя во время управления автомобилем.
Система технического зрения
На базе разработанной компьютерной системы голосового управления бортовыми функциями автомобиля [4] создан модуль контроля водителя на факт засыпания [5]. Данная система может быть интегрирована в обычный автомобиль и при этом обеспечивать как удобство во время езды, так и безопасность (рис. 1).
Рис. 1. Компьютерный модуль, интегрированный в переднюю панель автомобиля
При создании программного обеспечения для детектирования фактора сна возникает необходимость поставить систему технического зрения (СТЗ). Комплекс устройств, которые входят в состав системы, включает в себя определенный набор технических средств. Основными являются камера, осуществляющая захват изображения, и блок обработки изображения, или контроллер. Дополнительными устройствами, но не менее важными, являются оптика, определяющая границы обзора камеры, подсветка, освещающая объект наблюдения, и дисплей, необходимый для отображения информации в реальном времени и для настройки системы.
Способность восприятия внешнего мира в форме образов позволяет с определенной достоверностью узнавать бесконечное число объектов на основании ознакомления с конечным их числом, а объективный характер основного свойства образов позволяет моделировать процесс их распознавания. Будучи отражением объективной реальности, понятие образа столь же объективно, как и сама реальность, а поэтому это понятие может быть само по себе объектом специального исследования [6].
Но, как выяснилось, заставить СТЗ работать □ задача не из легких, поэтому возникла необходимость построения математической модели видеокамеры и определения значений всех параметров, входящих в модель, при помощи ОрепСУ. Эта модель очень полезна при необходимости выполнения измерений при помощи видеокамеры (рис. 2).
Рис. 2. Модель видеокамеры
Уравнение перспективной проекции выглядит так
(1)
С учетом того, что обычно главная оптическая ось не проходит через точку Сйрибора с зарядовой связью□ (ПЗС) □ матрицы с координатами (0, 0)
/■ х
-и = і-------------+ с.
2
(2)
Здесь с □ координата точки пересечения главной оптической осью ПЗС матрицы. Учитывая факт, что из-за технологической погрешности изготовления матрицы пиксели имеют слегка прямоугольную форму, получены уравнения для координат X и У
и = /и ■ 2+си;
(3)
где su и sv □ коэффициенты формы пикселя.
Чтобы с ними было удобнее работать, покажем уравнения перспективной проекции в матричном виде
coггected
= и ■ (1 + к1 + г2 + к2 ■ г4);
УсоггесШ = у ■ (1 + к1 + г2 + к2 ■ г4Х (4)
где г □ расстояние от точки пересечения главной оптической осью ПЗС матрицы до точки проекции; £ь к2 □ коэффициенты радиального искажения.
Теперь учтём факт, что линза не тонкая и она вносит искажение в изображение (рис. 3).
Рис. 3. Радиальный вид искажения Введём функцию
Х = 1 + к1 • г2 + к2 • г4. (5)
Тогда матричное уравнение перспективной проекции имеет вид
(X 0 0 ^ 0 X 0 0 0 1
■ м ■ 0.
(6)
Погрешности ориентации
Rz (e) =
f cos(e) sin(e) 0Л
- sin(e) cos(e) 0
0 0 1
f 1
Rx (у) =
0
0 cos(y) sin(y)
0 - sin(y) cos(y)
Ry (ф) =
cos^) 0 - sin(ф) 0 1 0
sin^) 0 cos(ф)
\
(7)
В модель видеокамеры входят внутренние: /и, □ фокусные расстояния; си, су □ положение оптического центра и внешние параметры: три угла Эйлера, три компонента вектора трансляции.
Рассмотрим определение этих параметров на ОрепСУ, т.е. выполнение калибровки камеры. Принцип калибровки можно наблюдать на изображениях шахматной доски. Зная, как расположены углы шахматной доски, численно подбираются параметры камеры. ОрепСУ имеет набор встроенных средств для поддержки такой модели калибровки.
Результирующая матрица вращения камеры вокруг требуемой системы координат
Д(у, ф, 0) = Ях (у) • Яу (ф) • (0). (8)
Вектор смещения камеры относительно требуемой системы координат
T =
К tz J
(9)
Теперь модель камеры с учётом радиального искажения и погрешностей установки выглядит
Z
fX 0 0 ^ 0 Я 0 0 0 1
• M • R • (Q + T). (10)
Для удобства подготовки таких алгоритмов использована Open Motion Planning Library, написанная на платформе boost специально для планирования траекторий мобильных роботов и манипуляторов [7].
В ходе эксперимента, сутью которого было получить различия между открытыми и закрытыми глазами водителя, были получены следующие результаты. Видеокамера была закреплена на лобовом стекле автомобиля (рис. 4).
с
Перейдём к однородным координатам
^Ui ^ 'Я 0 0 >
vi 1 0 Я 0 • M x
i = Z
К1 j К0 0 1J
f r00 r01 r02 tx ^
r10 r11 r12 ty
К r20 r21 r22 tz J
f x,. ^
Zi
1
(11)
где г— соответствующие компоненты результирующей матрицы вращения камеры вокруг требуемой системы координат; 1Х, 1У,
□ компоненты вектора смещения камеры относительно требуемой системы координат.
Рис. 4. Расположение камеры
Для того чтобы распознать лицо водителя в ночное время суток, применялась камера инфракрасного виденья со светодиодной подсветкой. При фиксировании состояния сна водителя во время движения автомобиля система выдаёт предупредительный сигнал и начинает общение с водителем.
Для предотвращения последующего засыпания с водителем ведется диалог набором заранее записанных фраз, которые можно по желанию менять.
На рис. 5 (а, б) сделаны две обработки изображения, взятого с видеокамеры.
x
б
Рис. 5. Фото с видеокамеры: а □ сон; б □ нормальный режим
Выводы
Разработана система, повышающая степень безопасности движения и простоту управления автомобилем, предотвращающая засыпание водителя во время управления. В системе реализовано программное обеспечение для детектирования фактора сна на основе реализации системы технического зрения (СТЗ). Построена математическая модель видеокамеры и определены значения всех параметров, входящих в модель, при помощи OpenCV. Для расчётов использовалась Open Motion Planning Library, написанная на платформе boost, специализирующаяся на планировании траекторий мобильных роботов и манипуляторов.
Система, кроме управления основными командами, работает как Сумная □ электроника. Гибкость программного обеспечения позволяет настроить работу всех функциональных приборов логически, к примеру, защиту от запуска стартера во время того, как двигатель уже работает. Естественно, что компьютерная система не смогла бы работать и анализировать происходящие процессы без дополнительных встроенных датчиков, которые являются Скервными окончаниями» всей системы.
Дополнение к системе □ это качественный диалоговый интерфейс, задача которого □ обеспечить интерактивное общение с водителем в длительном пути. Система будет распознавать ключевые слова водителя и, сопоставляя их с набором заранее заложенных фраз, выдавать наиболее подходящие по смыслу диалоговые сообщения. Система, работающая по такому принципу, будет имитировать собеседника. Такая разработка существенно снизит утомление и возможность заснуть от монотонной езды на современных автомагистралях.
Литература
1. Anselm D. Zwei Jahre elektronishe Wegfahr-
sperre □ Ergebnisse im Jahre 1996 / D. Anselm // Electronik im Kraftfahrzeug, 1996. □ P. 110Q23.
2. Климнов А. Автомобильная энциклопедия
2008. Автомобили мира / А. Климнов, А. Субботин, В. Варенов. □ М.: Третий Рим, 2007. □ С. 7С50.
3. Schurmann J. TIRIS □ Leader in Radio Fre-
quency Identification Technology / Joe Schurmann, Herbert Meier // Technical Journal.
4. Кравченко А.П. Автоматизированная ком-
пьютерная система голосового управления автомобилем / А.П. Кравченко, Н.М. Крамарь, И.В. Морозов // Автомобильный транспорт: сб. науч.тр. □2009.
□ Вып. 25. □ С. 44G47.
5. Кравченко А.П. Система контроля и пре-
дупреждения водителя от засыпания / А.П. Кравченко, Б.Н. Локотош, И.В. Морозов // В1сник ДААТ. □ 2010. □ Вип. 4.
□ С. 22^7.
6. Steinhagen W. A Low Power Read / Write
Transponder IC for High Performance Identification Systems / W. Steinhagen, U. Kaiser // Proceedings of ESSCIRD94, Ulm, Germany, September 20ffi2. □ 1994. □ P. 256П259.
7. Гибсон У. Распознавание образов / У. Гиб-
сон. □ М.: ACT, 2005. □ 381 с.
Рецензент: О.Я. Никонов, профессор, д.т.н, ХНАДУ.
Статья поступила в редакцию 15 мая 2012 г.
