Научная статья на тему 'ДОПОЛНЕННАЯ РЕАЛЬНОСТЬ В ИНТЕЛЛЕКТУАЛЬНОЙ СИСТЕМЕ УПРАВЛЕНИЯ ТРАНСПОРТНЫМ СРЕДСТВОМ'

ДОПОЛНЕННАЯ РЕАЛЬНОСТЬ В ИНТЕЛЛЕКТУАЛЬНОЙ СИСТЕМЕ УПРАВЛЕНИЯ ТРАНСПОРТНЫМ СРЕДСТВОМ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
171
23
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ВИРТУАЛЬНАЯ РЕАЛЬНОСТЬ / ДОПОЛНЕННАЯ РЕАЛЬНОСТЬ / ТРАНСПОРТНОЕ СРЕДСТВО / ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ УПРАВЛЕНИЯ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Круглова Лариса Владимировна, Сисей Фафа К.

Использование дополненной реальности в интеллектуальных системах управления транспортными средствами - важная и актуальная задача производства и эксплуатации автомобилей. Наряду с разработкой сенсоров необходимо создание алгоритмического и программного обеспечения таких систем. Описана программа, моделирующая формирование изображения дополненной реальности на проекционном дисплее, расположенном на лобовом стекле машины. Моделирование контента дополненной реальности предлагается осуществлять путем объединения изображения, видимого через лобовое стекло, и данных, поступающих от сенсоров интеллектуальной системы управления автомобилем. Функционирование интеллектуальной системы управления автомобилем базируется на принципе Sensor Fusion, в соответствии с которым входные данные от нескольких дискретных датчиков объединяются для получения виртуальной модели окружающей среды. Основным достоинством разработанной программы является возможность адаптивной настройки параметров изображения в зависимости от условий окружающей среды. В программе также реализована функция переключения каналов информации для отображения данных от различных устройств. Применение технологий дополненной реальности в интеллектуальных системах управления транспортными средствами способствует не только удобству эксплуатации автомобиля, но также улучшает комфортность условий поездки, повышает уровень безопасности вождения.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Круглова Лариса Владимировна, Сисей Фафа К.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

AUGMENTED REALITY IN AN INTELLIGENT VEHICLE CONTROL SYSTEM

The use of augmented reality in intelligent vehicle control systems is an important and urgent task for the production and operation of vehicles. Along with the development of sensors, it is necessary to create algorithms and software for such systems. The paper describes a program that simulates the formation of an augmented reality image on a projection display located on the windshield of a car. Augmented reality content modeling is proposed to be carried out by combining the image seen through the windshield and the data coming from the sensors of the intelligent car control system. The functioning of an intelligent vehicle control system is based on the principle of Sensor Fusion, according to which the input data from several discrete sensors are combined to obtain a virtual environment model. The main advantage of the developed program is the possibility of adaptive adjustment of image parameters depending on environmental conditions. The program also implements the function of switching information channels to display data from various devices. The use of augmented reality technologies in intelligent vehicle control systems contributes not only to the convenience of car operation, but also improves the comfort of travel conditions, increases the level of driving safety.

Текст научной работы на тему «ДОПОЛНЕННАЯ РЕАЛЬНОСТЬ В ИНТЕЛЛЕКТУАЛЬНОЙ СИСТЕМЕ УПРАВЛЕНИЯ ТРАНСПОРТНЫМ СРЕДСТВОМ»

Вестник РУДН. Серия: Инженерные исследования RUDN Journal of Engineering Research

2022;23(2):155-164

ISSN 2312-8143 (Print); ISSN 2312-8151 (Online) journals.rudn.ru/engineering-researches

DOI 10.22363/2312-8143-2022-23-2-155-164 УДК 004.358

Научная статья / Research article

Дополненная реальность в интеллектуальной системе управления транспортным средством

Л.В. Круглова Фафа К. Сисей

Российский университет дружбы народов, Москва, Российская Федерация 1x1 kruglova-lv@rudn.ru

История статьи

Поступила в редакцию: 14 февраля 2022 г. Доработана: 20 мая 2022 г. Принята к публикации: 28 мая 2022 г.

Ключевые слова:

виртуальная реальность, дополненная реальность, транспортное средство, интеллектуальные системы управления

Аннотация. Использование дополненной реальности в интеллектуальных системах управления транспортными средствами - важная и актуальная задача производства и эксплуатации автомобилей. Наряду с разработкой сенсоров необходимо создание алгоритмического и программного обеспечения таких систем. Описана программа, моделирующая формирование изображения дополненной реальности на проекционном дисплее, расположенном на лобовом стекле машины. Моделирование контента дополненной реальности предлагается осуществлять путем объединения изображения, видимого через лобовое стекло, и данных, поступающих от сенсоров интеллектуальной системы управления автомобилем. Функционирование интеллектуальной системы управления автомобилем базируется на принципе Sensor Fusion, в соответствии с которым входные данные от нескольких дискретных датчиков объединяются для получения виртуальной модели окружающей среды. Основным достоинством разработанной программы является возможность адаптивной настройки параметров изображения в зависимости от условий окружающей среды. В программе также реализована функция переключения каналов информации для отображения данных от различных устройств. Применение технологий дополненной реальности в интеллектуальных системах управления транспортными средствами способствует не только удобству эксплуатации автомобиля, но также улучшает комфортность условий поездки, повышает уровень безопасности вождения.

Для цитирования

Круглова Л.В., Сисей Ф.К. Дополненная реальность в интеллектуальной системе управления транспортным средством // Вестник Российского университета дружбы народов. Серия: Инженерные исследования. 2022. Т. 23. № 2.

С. 155-164. http://doi.org/10.22363/2312-8143-2022-23-2-155-164

© Круглова Л.В.. Сисей Ф.К.. 2022

I(ее) ф © I This work is licensed under a Creative Commons Attribution 4.0 International License БЯЕКЯ https://creativecommons.Org/licenses/by-nc/4.0/legalcode

Augmented reality in an intelligent vehicle control system

Larisa V. Kruglova Fafa K. Ceesay

Peoples' Friendship University of Russia (RUDN University), Moscow, Russian Federation

^ kruglova-lv@rudn.ru

Article history

Received: February 14, 2022 Revised: May 20, 2022 Accepted: May 28, 2022

Keywords:

virtual reality, augmented reality, vehicle, intelligent control systems

Abstract. The use of augmented reality in intelligent vehicle control systems is an important and urgent task for the production and operation of vehicles. Along with the development of sensors, it is necessary to create algorithms and software for such systems. The paper describes a program that simulates the formation of an augmented reality image on a projection display located on the windshield of a car. Augmented reality content modeling is proposed to be carried out by combining the image seen through the windshield and the data coming from the sensors of the intelligent car control system. The functioning of an intelligent vehicle control system is based on the principle of Sensor Fusion, according to which the input data from several discrete sensors are combined to obtain a virtual environment model. The main advantage of the developed program is the possibility of adaptive adjustment of image parameters depending on environmental conditions. The program also implements the function of switching information channels to display data from various devices. The use of augmented reality technologies in intelligent vehicle control systems contributes not only to the convenience of car operation, but also improves the comfort of travel conditions, increases the level of driving safety.

For citation

Kruglova LV, Ceesay FK. Augmented reality in an intelligent vehicle control system. RUDN Journal of Engineering

Research. 2022;23(2):155-164. (In Russ.) http://doi.org/10.22363/2312-8143-2022-23-2-155-164

Введение

В последние годы многие производители автомобильных транспортных систем проявили большой интерес к дополненной реальности (AR), главным образом из-за ее доступности и потенциала для создания инновационных решений. AR - это форма человеко-машинного интерфейса (НМ1), в которую виртуальные компоненты вставляются и накладываются на реальный мир, создавая иллюзию «обогащенной» реальности. Это позволяет пользователям получать необходимую им информацию об определенных аспектах или процедурах непосредственно в рабочей среде [1] и потенциально может обогатить сенсорное восприятие человека [2]. Основываясь на определении П. Милгрэмом континуума реальности и виртуальности [3], можно сказать, что AR является неотъемлемой частью смешанной реальности, которая представляет собой слияние реального и виртуального миров. Приложения AR

варьируются от предназначенных для промышленности и производства (робототехника, транспорт, здравоохранение, образование) до услуг, используемых в повседневной деятельности (игры, развлечения и т. д.).

Существуют обширные исследования, в которых рассматривается влияние дополненной реальности на автомобильную промышленность, а также проблемы и направления развития в этой области [4-9].

AR открывает новые многообещающие возможности практически во всех областях автомобильной промышленности. Например, AR может значительно улучшить пользовательский интерфейс с помощью проекционных дисплеев (head-up display, HUD) - прозрачных устройств, предназначенных для представления различной важной информации в поле зрения водителя в режиме реального времени [10].

AR вносит вклад во многие другие этапы автомобильного производства, такие как техническое

обслуживание, ремонт, диагностика, обучение [1] специалистов по производству и потребителей продукции и т. д. Тестирование точечной сварки с использованием пространственной дополненной реальности на основе проектора, визуализация некоторых частей автомобиля с помощью портативных устройств [11] или выполнение процедур технического обслуживания с применением головных дисплеев (HMDS) - вот некоторые примеры использования дополненной реальности. Технология AR внедрена в качестве маркетингового инструмента, чтобы клиенты могли интерактивно настраивать свой автомобиль перед покупкой [12; 13].

Системы виртуальной и дополненной реальности используют информацию, полученную от интеллектуальной системы управления автомобилем.

1. Сенсоры интеллектуальной системы управления автомобилем

Интеллектуальные системы управления транспортными средствами базируются на использовании датчиков, данные которых объединяются, создавая виртуальную рабочую среду. Датчики делятся на две категории: внешние и внутренние.

Внешние датчики предоставляют информацию об окружающем пространстве транспортного средства, позволяя рассчитать безопасную и эффективную траекторию движения к месту назначения. В первую очередь они включают радар, лидар, ультразвуковые датчики, GPS-контроллер и дневную видеокамеру.

Радарные датчики, применяемые в настоящее время в некоторых системах адаптивного круиз-контроля, обеспечивают максимальную четкость определения относительной скорости. Используя эффект Доплера, они могут определять относительную скорость объектов вокруг транспортного средства. Из-за широкого угла обзора радар не может адекватно различить форму и контур небольших объектов. Его наилучшим применением в интеллектуальном транспортном средстве является быстрое определение скорости сближения и обнаружение объектов на большом расстоянии [14].

Лидар обеспечивает более точное виртуальное изображение окружающего мира непосредственно вокруг транспортного средства. Из-за узкого угла луча лазера для покрытия целевой области необходим механический сканер. Это приводит

к некоторой задержке по сравнению с радаром, но вместе они обеспечивают плавность изображения окружения транспортного средства. Интеллектуальное транспортное средство может включать в себя несколько лидарных датчиков для повышения качества модели виртуального мира.

Ультразвуковые датчики в настоящее время есть в большинстве систем обнаружения. Они обеспечивают точность обнаружения ближних препятствий и могут использоваться для получения виртуального изображения ближних объектов вокруг всего транспортного средства. Это позволяет менять полосу движения и выполнять экстренные маневры без непреднамеренного столкновения с близлежащими объектами.

ОРБ-контроллер (ОРБ-трекер) обеспечивает определение абсолютного местоположения, навигацию и привязку скорости к координатам объекта. Это позволяет вычислять ускорение и скорость в макромасштабе на основе картографических данных и моделей дорог, а также обеспечивает непрерывную калибровку инерциального измерительного блока (ИДУ) и датчиков скорости.

Инфракрасный (ИК) приемопередатчик устанавливается за ветровым стеклом автомобиля, обычно перед зеркалом заднего вида. Он принимает инфракрасные сигналы от ИК-маяков и передает их обратно.

Магнитный датчик - это небольшой твердотельный блок, который воспринимает магнитное поле Земли. Обычно он монтируется на крыше транспортного средства, как можно дальше от источников магнитных помех, таких как двигатель.

Внутренние датчики включают в себя множество датчиков транспортного средства, которые информируют компьютер транспортного средства о рабочем состоянии различных подсистем. Ключевыми, связанными с интеллектуальным управлением автомобилем, являются датчики скорости вращения колеса, угла поворота рулевого колеса, датчики рыскания и ускорения автомобиля.

Датчики скорости вращения колеса и угла поворота рулевого колеса используются совместно для обеспечения обратной связи по замкнутому контуру с контроллером транспортного средства. При задании траектории рулевое колесо будет поворачиваться, и дифференциальный крутящий момент будет приложен к ведущим колесам. Обратная связь с датчиком поможет предотвратить проскальзывание колес и позволит виртуальной модели вычислять абсолютное положение автомобиля.

Датчики рыскания и ускорения, объединенные в инерциальный измерительный блок (inertial measurement unit, IMU), обеспечивают исправление ошибок для датчиков скорости вращения колеса и угла поворота рулевого колеса. Данные IMU позволяют использовать обратную связь с замкнутым контуром для коррекции скольжения и предотвращения потери управления.

Процессор представляет собой микрокомпьютер, функция которого заключается в приеме входных данных от блока управления и датчиков транспортного средства, декодировании информации, отслеживании местоположения транспортного средства, передаче данных на дисплей для представления водителю и передаче информации во внешние системы. Обычно он монтируется под сиденьем или в багажнике, хотя дальнейшая миниатюризация может привести к тому, что в более поздних системах он будет интегрирован с дисплейным блоком.

2. Интеллектуальная система управления автомобилем

Автомобиль с интеллектуальной системой рулевого управления, торможения и регулированием мощностью отдельных колес в режиме реального времени может обеспечить беспрецедентный уровень безопасности и эффективности в различных условиях. Это достигается путем объединения входных сигналов датчиков, определения оптимальных траекторий и поддержания замкнутого контура управления динамикой транспортного средства.

Различные датчики обеспечивают входные данные, необходимые компьютеру транспортного средства для построения виртуального изображения окружающего мира. Современные автомобили оснащены точными датчиками скорости для управления автоматической коробкой передач и датчиками скорости вращения колес для включения системы ABS. Интеллектуальные системы управления автомобилем включают в себя ультразвуковые или основанные на видеокамерах резервные системы предупреждения и аналогичные системы обнаружения боковых слепых зон. Действуя независимо, эти датчики прямо или косвенно предоставляют водителю информацию о результатах измерений. Интеллектуальная система управления с технологией Sensor Fusion объединяет вышеуказанные данные с датчиками скорости и расстояния дальнего действия для со-

здания виртуальной модели объектов вокруг транспортного средства [14].

Активное управление перемещением по полосе движения как часть технологии Sensor Fusion позволяет транспортному средству сохранять центральное положение между полосами движения на основе анализа изображений маркеров полосы движения и входных данных от других датчиков транспортного средства. На основе этих входных данных вычисляются оптимальные траектории либо для следования изгибу дороги, либо для избегания опасностей на дороге [15].

Если перед транспортным средством возникает препятствие, датчики обнаружения препятствия сообщают виртуальной модели его размер и местоположение.

Затем интеллектуальная система управления транспортным средством решает обратную кинематическую задачу для управления тормозами, двигателями и рулевым колесом транспортного средства.

Маневр торможения на высокой скорости требует ввода данных от всех четырех датчиков скорости колеса для определения пробуксовки колес, датчика рыскания для определения изменения положения транспортного средства и акселерометра для вычисления абсолютного ускорения вдоль траектории. Данные поступают непосредственно в виртуальную модель, гарантируя, что все входные сигналы управления транспортным средством соответствуют его текущему положению и ускорению [16].

При управлении водителем-человеком такие алгоритмы обеспечивают контроль устойчивости в случае, если транспортное средство потеряет сцепление с дорогой во время маневрирования.

Применение интеллектуальных систем управления направлено на повышение эффективности, производительности и безопасности автомобилей. Такие системы включают в себя:

- объединение сенсорных данных - компьютерная модель, которая объединяет входные данные от нескольких дискретных датчиков для получения виртуального изображения окружающей среды;

- полностью электрический привод - система привода, которая позволяет полностью контролировать скорость и крутящий момент отдельных колес с помощью отдельных колесных двигателей;

- дифференциальный контроль стабильности крутящего момента предоставляет возможность

модулировать крутящий момент на каждом ведущем колесе для повышения устойчивости автомобиля, уменьшения проскальзывания колес и улучшения сцепления на неровных или скользких поверхностях;

- управление скоростью рыскания - в сочетании с контролем устойчивости функция контроля скорости рыскания сравнивает скорость рыскания автомобиля с ожидаемой скоростью рыскания на основе данных системы рулевого управления и скорости. Этот дифференциал может регулировать мощность двигателя и процесс торможения, чтобы предотвратить потерю управления автомобилем [16; 17];

- датчики положения и перемещения могут решать самые разные задачи: измерять положение и перемещение (угловое, линейное) рабочих органов машин или механизмов, других объектов, а также выполнять функции передачи данных о состоянии транспортного средства дальше в систему, реализуя в качестве звена обратной связи системы слежения в различного рода автоматизированных системах управления.

3. Когнитивные функции интеллектуальных систем управления транспортными средствами

Когнитивный искусственный интеллект. Термин «когнитивный» возник в психологии для обозначения познавательной деятельности человека, а затем перешел в область техники и технологии для определения интеллектуальных технических систем, способных к самообучению. Когнитивный искусственный интеллект способен самообучаться или самосовершенствоваться. В рамках искусственного интеллекта разрабатываются искусственные когнитивные системы, накапливающие знания в процессе обучения [18].

Базы данных и базы знаний. Данные - это информация, полученная в результате наблюдений или измерений отдельных характеристик (свойств), характеризующих объекты, процессы и явления в данной области. Знания (с точки зрения представления знаний в интеллектуальных системах) - это связи и закономерности предметной области (принципы, модели, законы), которые были получены в результате практической деятельности и профессионального опыта и позволяют специалистам выявлять и решать проблемы в этой области.

Система управления движением интеллектуальных транспортных средств на автомагистралях. Для контроля и управления движением интеллектуальных транспортных средств на автомагистралях используются интеллектуальные встроенные контроллеры дорожной инфраструктуры, светофоры, системы оповещения на светодиодных панелях, детекторы обнаружения транспортных средств, камеры наблюдения.

Такие системы можно условно разделить на несколько функциональных групп:

- детекторы транспортных средств - собирают информацию о транспортном потоке, включая количество транспортных средств, их скорость, местоположение, а затем отправляют эту информацию на интеллектуальный встроенный компьютер через систему беспроводной передачи;

- встроенный компьютер как часть контроллера управления дорожным движением - вычисляет и анализирует данные для определения состояния транспортного потока, затем посылает управляющие сигналы на светофоры и предупреждающие табло, тем самым создавая условия для непрерывного процесса движения и предотвращения заторов на шоссе;

- контроллер управления дорожным движением - также может отправлять информацию на средства уведомления водителей о пробках на шоссе и об альтернативных способах объезда заторов.

Интеллектуальная система контроля положения транспортного средства. Определение положения объекта, регистрация маршрута и скорости движения осуществляется GPS-контроллером системы. Мониторинг времени движения, парковки и работы оборудования выполняется с помощью специальных датчиков. Данные из бортовой системы объекта передаются на сервер по каналу GPRS, а также архивируются в энергонезависимой памяти бортовой системы (в случае отсутствия канала GPRS).

Основные особенности системы:

- графическое отображение текущего положения объекта на карте;

- графическое отображение на карте маршрута объекта;

- контроль пробега;

- контроль времени в пути, парковки;

- контроль за соблюдением маршрута;

- регистрация работы исполнительного оборудования.

Система контроля положения транспортного средства предназначена для дистанционного мониторинга интеллектуальных транспортных средств. Она позволяет получать оперативную информацию о местоположении и маршруте автомобиля в режиме реального времени. Кроме того, предоставляется полная информация о состоянии транспортного средства (пробег, время в пути, время стоянки и т. д.).

4. Дополненная реальность в интеллектуальной системе управления транспортными средствами

Дополненная реальность обладает огромным потенциалом для повышения эффективности эксплуатации автомобиля - от улучшения качества вождения до предотвращения несчастных случаев и предоставления полезной информации о направлениях движения1.

Интегральные впечатления. С того момента, как клиент садится в автомобиль, AR, искусственный интеллект, интернет-приложения, программное обеспечение смартфона работают вместе, чтобы улучшить драйв и сделать предстоящее путешествие легким.

Навигация и маршрут следования. Благодаря встроенному дисплею HUD на лобовом стекле навигация упрощается, появляется информация об условиях на дороге по ходу движения, что делает поездку проще и безопаснее.

Точки интереса (points of interest, POI). Система поиска мест интереса (достопримечательностей) поможет легко найти все: от вариантов парковки до ближайшей заправочной станции на пути к следующему пункту назначения.

Система компьютерного зрения. Пешеходы, велосипедисты и другие потенциальные опасности на дороге могут быть непредсказуемыми. AR выделяет объекты, которые с наибольшей вероятностью могут представлять опасность, чтобы водитель мог безопасно избежать аварии.

Анализ окружающих объектов. Встроенные датчики передают информацию в режиме реаль-

1 The future of augmented reality (AR) in cars. URL: https://plat4m.medium.com/the-future-of-augmented-reality-ar-in-cars-788933212aa9 (accessed: 25.02.2022).

ного времени непосредственно в AR, чтобы не только информировать водителя о том, что его окружает, но и предупреждать о внезапных изменениях скорости или полной остановке впе-редиидущих транспортных средств.

Интеллектуальная парковка. Используя пространственное моделирование, HUD отображает парковочные места, в которые может поместиться автомобиль, а также определяет связанные с этим затраты или временные ограничения для места.

Автоматическая адаптация. Независимо от того, едете ли вы по туннелю, выезжаете из гаража или двигаетесь при ярком дневном свете, HUD автомобиля адаптируется, чтобы водитель всегда мог четко видеть важную информацию, отображаемую с помощью AR.

Уведомления. Принимая телефонный звонок или получая важное сообщение, водитель никогда не должен отрывать взгляд от дороги. Интеграция HUD, микрофона и автомобильных динамиков гарантирует, что водителю больше никогда не придется смотреть на свой телефон во время вождения.

5. Моделирование дополненной реальности в интеллектуальной системе управления автомобилем

На основе представлений о функционировании интеллектуальной системы управления автомобильным транспортным средством разработана программа для отображения различной информации от сенсоров автомобиля, моделирующая работу системы дополненной реальности.

В основе алгоритма программы лежит процесс объединения изображения, видимого через лобовое стекло автомобиля, и данных, поступающих от сенсоров интеллектуальной системы автомобиля.

В верхней части окна программы расположен трекбар («ползунок») для задания уровня яркости изображения данных и поле со списком для выбора прибора, информация от которого отображается на лобовом стекле.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

В главном окне программы расположены изображения:

- лобового стекла;

- показаний прибора;

- показаний прибора на лобовом стекле (рис. 1).

а

б

Рис. 1. Главное окно программы: изображение лобового стекла, изображение показаний прибора, изображение показаний

прибора на лобовом стекле при разных значениях уровня яркости изображения показаний прибора (датчика скорости) Figure 1. The main window of the program: the image of the windshield, the image of the instrument readings, the image of the instrument readings on the windshield at different values of the brightness level of the image of the instrument readings (speed sensor)

Программа создана в программной среде Microsoft Visual Studio, реализована на языке C# по технологии Windows Forms.

6. Результаты

В программе имеется возможность регулировать яркость изображения данных, поступающих от сенсоров интеллектуальной системы, имитирующая зависимость изображения данных от яркости освещения лобового стекла.

Также реализована функция переключения каналов информации для отображения данных от различных устройств (рис. 2).

Основным достоинством разработанной программы является возможность адаптивной настройки параметров изображения в зависимости от условий окружающей среды и особенностей зрительного восприятия водителя транспортного средства.

Программа отображения в дополненной реальности данных сенсоров интеллектуальной системы автомобиля позволяет улучшить процесс и качество вождения, способствует концентрации внимания водителя на дорожной ситуации, обеспечивает повышение безопасности дорожного движения, адекватное управление транспортным средством в случае нештатной ситуации.

б

в

г

Рис. 2. Изображение лобового стекла, изображение показаний прибора, изображение показаний прибора на лобовом стекле при разных значениях уровня яркости изображения показаний прибора: парктроника (а, б), лидара (в, г) Figure 2. The image of the windshield, the image of the instrument readings, the image of the instrument readings on the windshield at different values of the brightness level of the image of the instrument readings: parking sensors (а, б), lidar (в, г)

Заключение

Технологии дополненной реальности применяются в процессе изготовления и эксплуатации транспортных средств. Основой интеллектуальной системы управления автомобилем является комплекс датчиков, контроллеров, микропроцессорных устройств.

На основе представлений о функционировании интеллектуальной системы управления автомобильным транспортным средством разработана программа для отображения различной информации от сенсоров автомобиля, моделирующая работу системы дополненной реальности. В основе ее алгоритма лежит процесс объединения изображения, видимого через лобовое стекло автомобиля, и данных, поступающих от элементов интеллектуальной системы автомобиля.

Представлены изображения виртуальной реальности, моделирующие различные условия освещения лобового стекла автомобиля, и изображения данных, получаемых от различных сенсорных устройств и систем транспортного средства.

Программа отображения в дополненной реальности данных от элементов интеллектуальной системы управления автомобилем позволяет получать актуальную информацию о процессе движения и параметрах окружения транспортного средства, способствует улучшению вождения, повышению безопасности дорожного движения, обеспечивает адекватное управление транспортным средством в различных условиях, в том числе экстремальных.

Список литературы / References

1. Dini G, Mura MD. Application of augmented reality techniques in through-life engineering services. Procedia CIRP. 2015;38:14-23. https://doi.org/10.1016/j.procir.2015.07.044

2. Daponte P, De Vito L, Picariello F, Riccio M. State of the art and future developments of the augmented reality for measurement applications. Measurement. 2014;57:53-70. https://doi.org/10.1016/j.measurement.2014.07.009

3. Milgram P, Kishino F. A taxonomy of mixed reality visual displays. IEICE Transactions on Information and Systems. 1994;E77-D:1321-1329.

4. Jetter J, Eimecke J, Rese A. Augmented reality tools for industrial applications: what are potential key performance indicators and who benefits? Computers in Human Behavior. 2018;87:18-33. https://doi.org/10.1016/j.chb.2018.04.054

5. Martinetti A, Marques H, Singh S, Dongen L. Reflections on the limited pervasiveness of augmented reality in industrial sectors. Applied Sciences. 2019;9:3382. https://doi.org/10.3390/APP9163382

6. Cardoso LF, Mariano FC, Zorzal ER. A survey of industrial augmented reality. Computers & Industrial Engineering. 2020;139:106159. https://doi.org/10.1016Zj.cie.2019.106159

7. Masood T, Egger J. Augmented reality in support of Industry 4.0 - implementation challenges and success factors. Robotics and Computer-Integrated Manufacturing. 2019;58:181-195. https://doi.org/10.1016/j.rcim.2019.02.003

8. Egger J, Masood T. Augmented reality in support of intelligent manufacturing - a systematic literature review. Computers & Industrial Engineering. 2020;140:106195. https://doi.org/10.1016/j.cie.2019.106195

9. Gattullo M, Scurati GW, Fiorentino M, Uva AE, Ferrise F, Bordegoni M. Towards augmented reality manuals for industry 4.0: a methodology. Robotics and Computer-Integrated Manufacturing. 2019;56:276-286. https://doi.org/10.1016/j.rcim.2018.10.001

10. Arnaldi B, Guitton P, Moreau G. Virtual reality and augmented reality: myths and realities. Hoboken: ISTE Ltd, John Wiley & Sons; 2018.

11. Lima JP, Roberto R, Simoes F, Almeida M, Fi-gueiredo L, Teixeira JM, Teichrieb V. Markerless tracking system for augmented reality in the automotive industry. Expert Systems with Applications. 2017;82:100-114. https://doi.org/10.1016/j.eswa.2017.03.060

12. Gay-Bellile V, Bourgeois S, Tamaazousti M, Naudet-Collette S, Knodel S. A mobile markerless augmented reality system for the automotive field. Proceedings of the IEEE ISMAR 2012 Workshop on Tracking Methods and Applications, Atlanta, GA, USA, 5-8 November 2012. Atlanta; 2012.

13. Halim AZ. Applications of augmented reality for inspection and maintenance process in automotive industry.

Journal of Fundamental and Applied Sciences. 2018;10: 412-421.

14. Lundquist C, Schön T. Estimation of the free space in front of a moving vehicle. SAE Technical Paper. 2009-01-1288. https://doi.org/10.4271/2009-01-1288

15. Zhenhai G, Bing W. An adaptive PID controller with neural network self tuning for vehicle lane keeping system. SAE Technical Paper. 2009-01-1482. https://doi.org/10.4271/2009-01-1482

16. Li J, Yang X, Wang ZH, Miao H. Research of three anti-lock braking control algorithms to enhance the effect of vehicle directional stability. Applied Mechanics & Materials. 2014;742:618-624. https://doi.org/10.4028/www.scientific.net/AMM.742.618

17. Jin H, Li Sh. Research on stability control based on the wheel speed difference for the AT vehicles. Discrete Dynamics in Nature & Society. 2015;2015:251207. https://doi.org/10.1155/2015/251207

18. Surkova NE, Ostroukh AV, Eremina TI. Professional information systems and databases: guidelines

for laboratory work. Krasnoyarsk: Science and Innovation Center Publishing House. 2015. (In Russ.) https://lib.madi.ru/fel/fel1/fel16M490.pdf

Суркова Н.Е., Остроух А.В., Еремина Т.И. Профессиональные информационные системы и базы данных. Красноярск: Научно-инновационный центр, 2015. 49 с.

Сведения об авторах

Круглова Лариса Владимировна, кандидат технических наук, доцент департамента механики и процессов управления, Инженерная академия, Российский университет дружбы народов, Российская Федерация, 117198, Москва, ул. Миклухо-Маклая, д. 6; ORCID: 0000-0002-8824-1241, eLIBRARY SPIN-код: 2920-9463; kruglova-lv@rudn.ru

Сисей Фафа К., магистрант, департамент механики и процессов управления, Инженерная академия, Российский университет дружбы народов, Российская Федерация, 117198, Москва, ул. Миклухо-Маклая, д. 6; ORCID: 0000-0001-67629231; 1032199266@rudn.ru

About the authors

Larisa V. Kruglova, Candidate of Technical Sciences, Associate Professor of the Department of Mechanics and Control Processes, Academy of Engineering, Peoples' Friendship University of Russia (RUDN University), 6 Miklukho-Maklaya St, Moscow, 117198, Russian Federation; ORCID: 0000-0002-8824-1241, eLIBRARY SPIN-code: 2920-9463; kruglova-lv@rudn.ru

Fafa K. Ceesay, master student, Department of Mechanics and Control Processes, Academy of Engineering, Peoples' Friendship University of Russia (RUDN University), 6 Miklukho-Maklaya St, Moscow, 117198, Russian Federation; ORCID: 00000001-6762-9231; 1032199266@rudn.ru

i Надоели баннеры? Вы всегда можете отключить рекламу.