CC BY
61УДК 004.3
Информационные технологии
Акатьев Ярослав Алексеевич, оператор ЭВМ, кафедра практической и прикладной информатики, МИРЭА-Российский технологический университет
(РТУ МИРЭА), Россия, г. Москва Латыпов Артём Равилевич, студент бакалавриата, 2 курс, МИРЭА-Российский технологический университет (РТУ МИРЭА), Россия, г. Москва, Институт информационных технологий
Россия, г. Москва
АНАЛИЗ ОСОБЕННОСТЕЙ АЛГОРИТМОВ МАШИННОГО ОБУЧЕНИЯ В АВТОМАТИЗИРОВАННЫХ СИСТЕМАХ ВОЖДЕНИЯ
Аннотация: В данной статье обсуждаются основные алгоритмы и методы, применяемые в разработке автоматизированных систем вождения. Описаны основные цели и задачи к достижению полной автоматизации управления автомобилем. Выявлены проблемы и особенности различных концепций автопилота.
Ключевые слова: Машинное обучение, автопилот, нейронная сеть, ML алгоритмы, автоматизация, машинное зрение, LIDAR, искусственный интеллект, прогнозирование, сбор данных.
Annotation: This article discusses the main algorithms and methods used in the development of automated driving systems. The main goals and objectives to achieve full automation of driving are described. The problems and features of various autopilot concepts are revealed.
Key words: Machine learning, autopilot, neural network, ML algorithms, automation, machine vision, LIDAR, artificial intelligence, forecasting, data collection.
Внедрение автоматизированных систем вождения в повседневную жизнь перспективное, но дорогостоящее направление. Подходы и методы решения МЬ задач в системах автоматизации управления транспортным средством сильно разнятся. Использовать нетривиальные алгоритмы машинного обучения или сосредоточиться на оптимизации работы дорогостоящих компонентов? Неочевидность и очевидность разного рода проблем, с которыми можно столкнуться при разработке подобных систем, а также поиск их решения.
Применение алгоритмов машинного обучения в автоматизированных системах вождения является обязательным условием к достижению высокого уровня автономности автомобиля на дорогах. Благодаря МЬ-алгоритмам, машины могут узнавать окружающий мир, классифицировать объекты, определять расстояние до объектов, двигаться по заданной траектории и не выходить за дорожную полосу. Но даже при наличии всех этих технических возможностей, существует множество препятствий, которые не позволяют на сегодня достичь полной автономности автомобиля на дороге. Сложность обучения систем автопилота заключается в непредсказуемости окружающего мира. Возникновение ситуаций, к которым пока ни один натренированный и хорошо обученный ИИ не сможет быть готов. Человек, в отличие от робота, в большинстве случаев сможет найти решение из непредвиденных инцидентов на дороге, а вот робот - нет. Системы автопилота должны научиться безопасно выходить из любых проблемных ситуаций
Самый очевидный способ заставить автомобиль добраться до пункта назначения без помощи водителя - запрограммировать машину двигаться строго по начертанной заранее полосе движения, линии. Робот, с помощью камеры или датчиков, будет центровать положение автомобиля по отношению к этой линии и, соответственно, двигаться, не сходя с пути. Минусы данной технологии очевидны. В первую очередь - отсутствие какой-либо дорожной гибкости. Чтобы поменять путь, необходимо будет заново провести линию до пункта назначения. В последствии появится необходимость нанесения целого множества линий. Это затратно по времени и по ресурсам. Также не стоит
забывать про поддержку внешнего вида дорожной линии. Необходимо систематически проверять их внешнее состояние, и, по необходимости, приводить их к нормальному заводскому виду, при котором машина сможет распознать в ней «рельсу движения». Это мы еще не затронули проблему местности, ведь существует потребность перебираться через просёлочные дороги, леса. А погодные условия? Зима и снег на дороге напрочь затмевают применение данной концепции в условиях реального мира. Не смотря на недостатки и всяческие ограничения, можно приспособить ее выполнять определенного рода задачи. Так, например, ТеБ1а на своих заводах использует роботов, которые двигаются по специальной магнитной полосе, выполняя задачи транспортировки. По словам самого Илона Маска, генерального директора ТеБ1а, такие роботы просты в обслуживании, их легко запрограммировать, и, даже не нужно быть программистом, чтобы заставить их двигаться. При возникновении потребности в смене траектории пути или пункта назначения, стоит просто «начертить» новый путь машине. В данном случае выбор обоснован практической стороной вопроса, универсальностью и малыми затратами на обслуживание технологии.
Куда сложнее реализовать полноценную автоматизированную систему вождения, которой можно будет присвоить высокий (4 или 5) уровень автономности (см. Рис. 1). Низкие уровни представляют собой «помощь водителю», «круиз контроль», помощь в парковке, фиксированный контроль скорости автомобиля - управление автомобилем происходит в привязанности человека к системам. Что касается высоких уровней, например 5-ого уровня, -это уже система, которая не будет требовать наличия водителя за рулем, что означает полную автоматизацию, где вмешательство человека вовсе не требуется. Достижение 5-ого уровня автоматизации вождения — это то, к чему все стремятся.
Рис. 1 - Уровни автономности автомобиля
В современных автоматизированных системах вождения используются алгоритмы на основе Байесовского метода одновременной локализации и построения карт. Сам метод был представлен дочерней компанией Google Waymo. Работа алгоритмов на основе этого метода представляет собой комбинированную работу датчиков и камер автомобиля c данными оффлайн карт. Бортовой компьютер сопоставляет данные из карт с тем, что он видит. После сравнения и анализа, компьютер передает реакцию системам управления автомобиля.
В автоматизированных систем вождения одними из основных задач алгоритмов машинного обучения являются непрерывное отображение окружающей среды и прогнозирование изменений в этой среде. Эти задачи подразделяются еще на 4 подзадачи: - обнаружение объекта;
- классификация объектов распознавания;
- локализация объекта;
- прогнозирование движения.
Сами алгоритмы машинного обучения разделены на 4 класса: алгоритмы регрессии, алгоритмы распознавания образов, матрицы решений и кластеризации. Некоторые позволяют выполнять сразу несколько задач.
Алгоритмы регрессии могут быть использованы для локализации объекта, а также для обнаружения объекта или прогнозирования движения. С помощью регрессионного анализа мы оцениваем связь между результирующей и независимыми переменными. Общий результат анализа зависит от 3 основных метрик: тип регрессионного анализа (форма линии), тип и количество независимых переменных. Так, в линейной регрессии, как в наиболее распространённой технике предсказания, связь между переменными -линейная.
Рис. 2 - Пример графика для линейной регрессионной модели с двумя независимыми
переменными
Алгоритмы регрессии также используются для краткосрочного прогнозирования и длительного обучения. Помимо линейной регрессии, в системах автопилота применяются и другие формы регрессии, такие как регрессия нейронной сети и байесовскую регрессию.
Алгоритмы матрицы решений систематически анализируют, идентифицируют и оценивают эффективность взаимосвязей между наборами полученной информации и заданных значений. Эти алгоритмы используются для принятия решений, например нужно ли автомобилю затормозить или повернуть налево. Многое зависит количества собранных данных, на каком этапе обучения находится система. Все это отражается в уверенности, с которой эти алгоритмы распознают, классифицируют и предсказывают следующее движение объектов. Алгоритмы матрицы в помощи принятии решений системы автопилота состоят из различных математических моделей принятия решений, которые были обучены независимо друг от друга. Позже они объединяются и получают общий, более точной прогноз, уменьшая вероятность ошибок при принятии решения.
Алгоритмы кластеризации помогают распознать объекты на изображениях плохого качества. Изображения бывают низкого разрешения и объекты на них не определены достаточно четко. В таком случае существует вероятность того, что алгоритмы классификации могут дать сбой и пропустить объект, из-за чего могут возникнуть непредвиденные ситуации. Алгоритмы кластеризации специализируются на обнаружении структуры объекта по точкам данных. Происходит объединение данных в кластеры, при этом алгоритмы должны полагаться на заранее заданные условия.
О 0,2 0.4 0.6 0.8
Рис. 3 - Пример группировки множества объектов методом кластеризации
Метод к-средних - наиболее часто используемый алгоритм при решении задач кластеризации. Популярность объясняется простотой реализации, а также его большой скоростью, что является важной составляющей при классификации объектов с видео. Алгоритм старается минимизировать суммарное отклонения точек кластеров от их центра. Метод итеративно делит множество пикселей с изображения на к кластеров, которые образуются из точек. Все они стараются быть максимально приближенными к их центрам. Кластеризация происходит за счет смещения этих центров.
° о °о О о
о о О о
о да о
% о°о 0 о о
о
о о о
о ®
О о 1 о г
«О О о
О И О О
о оо о
% о°о . о о
о
о о
о ®
О о
I О о
0
о о
о _о О о ■
О 00 о
* о°о .
о о ■
о о о
о
о ® *
« о
°о О
о Л
О -О О
о ■
О 00 о * о
о о о
о ®
О о
Рис 4 - Пример работы алгоритма к-средних
Алгоритмы распознавания образов относятся к алгоритмам классификации. Для эффективной классификации объектов используются алгоритмы сокращения данных. Изображения, полученные с датчиков и камер, помимо распознаваемого объекта, включают в себя множество ненужных данных об окружающей среде. Фильтрация изображения необходима для определения категории объектов путем исключения не относящихся к объекту данных. Перед классификацией объектов распознавание шаблонов является важным шагом в наборе данных. Используя алгоритмы сокращения данных, мы производим подгонку сегментов линий объекта, а также дуг окружности к краям. Различными способами объекты изображения (дуги окружности и сегменты линий) объединяются для формирования объектов, которые используются для классификации объекта.
Рис 5 - Распознавание шаблона объекта автомобиля
Среди российских разработчиков автоматизированных систем вождения дальше всех ушла Yandex. Если обратиться к западу - одним из лидеров в данном направлении условно можно считать Tesla. Технически существует два способа реализовать систему автопилота. Первый способ подразумевает необходимость использовать LIDAR, т^ лидарная локализация. LIDAR -устройство, которое позволяет построить образ местности, компьютерную 3д модель окружающего мира. LIDAR получает точное расстояние до объектов и сканирует окружение, возвращая компьютеру «облако точек». Алгоритмы работают с этим облаком, получая информацию о объектах. Можно различать типы объектов, понимать кто перед машиной - человек или столб, машина или велосипед. Но недостаточно использовать одну технологию LIDAR. LIDAR эффективен на расстоянии до 100 метров, поэтому на открытой местности лидара может не хватить. В лидарной локализации также используются камеры и радары, технологии GNSS и др. Радар позволяет автопилоту неточно узнавать объекты на большом расстоянии, определяя их скорость. GPS, GNSS и другие глобальные спутниковые системы позиционирования выступают в роли поддержки общей системы автопилота. Они не играют жизненно важную роль в управлении автомобиля, но в некоторых ситуациях могут внести свой вклад. Беда GPS в неточности предоставленных данных. Плохая погода, застройка, лес - всё это оказывает негативное влияние на точность. Компьютер получает
данные со спутника по текущему местоположению, но технически вполне может передвигаться и с отключенными системами GPS и «Глонасс».
Сторонникам лидарной локализации и, в частности, Яндексу, для работы автопилота не требуется интернет-соединение и обязательное использование систем глобального позиционирования. Яндекс разрабатывает полностью автономную беспилотную систему. Сенсоры и камеры собирают информацию об окружающем мире, компьютер автопилота соотносит данные с загруженной HD-картой и проектирует траекторию движения, передавая команды органам управления автомобиля. На первый взгляд может показаться, что построение HD-карт достаточно сложная задача. Построение карт высокого разрешения требует ресурсов и времени. Чем больше охватываемая территория, тем затратнее процесс. Но Дмитрий Полищук, руководитель направления беспилотных автомобилей Яндекса, в интервью дал комментарий по этому поводу. Ответив на вопрос журналиста: "Что является главной проблемой для беспилотных автомобилей, если не построение HD-карт?", Дмитрий ответил, что основная проблема, не HD-карты, а алгоритмы [6].
Второй способ реализации системы автопилота основан на машинном зрении. Tesla заявила, что глупо полагаться на лидарную локализацию. Те, кто надеются использовать эту технологию - обречены на провал. LIDAR - это прежде всего продвинутый радар. По заверениям Tesla лидар предоставляет нам очень ограниченную информацию об объектах. С помощью лидара проблематично определить, например, пакет перед нами или собака. Представим ситуацию, когда на проезжей части перед нами велосипедист. Он оглядывается и хочет сменить полосу. В данном случае только обученное машинное зрение сможет понять, что произойдет дальше. Вся дорожная инфраструктура предназначена только для визуального потребления. Принцип работы алгоритмов автопилота Tesla это сбор и обработка нейронными сетями огромного количества изображений с камер. Нейронные сети обучают компьютер реагировать и вести себя как человек. На вход мы получаем картинку, на выход возвращаем команды автомобилю.
Искусственные нейронные сети в компьютерном зрении представляют собой грубую математическую модель зрительной коры человека. Нейронная сеть включает в себя наличие нейронов, миллионы нейронов, при этом каждый нейрон должен иметь связь. Нам, людям, ничего не стоит посмотреть на изображение и определить, что находится на этом изображении. Компьютеру сделать это куда сложнее. Он получает на вход лишь пиксели, значение яркости в конкретных точках. Мы видим изображение, а компьютер матрицу из сотни тысяч чисел.
Для автопилота, алгоритмы которого основываются на машинном зрении, необходимо распознавать полосы движения, пешеходные переходы, автомобили, дорожные знаки и другие подобные объекты. Причем распознавать их необходимо корректно. Например, тот же знак «STOP» может быть расположен на дороге по-разному. Знак может быть перекрыт листьями деревьев, он может быть перевернут, или, иметь другую форму или цвет. Но компьютер должен все равно понимать, что это знак остановки движения. Именно поэтому ему необходимо предоставить огромное количество примеров. Миллионы изображений, которые будут обучать нейросеть распознавать объекты. Искусственные нейросети без примеров никогда не смогут достоверно определять объекты. В самом начале нейросеть инициализирует свои нейроны и связи между ними случайными числами. Результат, который будет выдавать нейросеть в начале обучения, окажется абсолютно непредсказуемым. Тренируя нейросеть большим количеством разнообразных примеров, мы помогаем ей сделать правильный прогноз в распознавании объекта.
Каждый нейрон хранит в себе числовое значение. На вход каждого нейрона поступает множество значений, а на выход одно единственное. Мы присваиваем разным областям изображения разные коэффициенты. Например, мы предполагаем, что в верхней части изображения должны быть яркие пиксели, например, как в случае картинки со знаком остановки движения, его верхняя информативная часть. Для этой области мы можем задать повышенный коэффициент, а для других областей - пониженный. Такие коэффициенты
принято называть весами. Перемножая входные значения яркости на веса, мы понимаем, был ли в этой области нужный нам признак дорожного знака или нет. Если признак распознаваемого объекта был найден, в нейрон будет записано большее число, иначе меньшее число. Чтобы активировать нейрон, необходимо подать на него числовое значение, которое будет выше определенного порогового значения. В противном случае нейрон прекращает свою активность и на выход ничего не передает. Для повышения точности предсказания, используется метод обратного распространения ошибки. С помощью этого метода мы слегка обновляем значения весов, повышая коэффициенты для нужного нам предсказания, и понижая, в случае отсутствия нужных признаков объекта на изображении. Подобным образом происходит обучение. Показывая нейросети миллионы изображений с дорожным знаком, мы эффективно повышаем точность предсказаний. Мы также помогаем нейросети обучаться, сообщая ей правильный ответ. Сеть тем самым несколько меняет свое мнение в нужную нам сторону. Все это повторяется сотни тысячи раз, процесс обучения продолжается снова и снова, и в итоге, компьютер выискивает для себя шаблон, начинает выдавать верные предсказания и ответы. Следует отметить, что нейросетям действительно необходимо предоставлять очень много примеров. Искусственная нейросеть начинает с абсолютного нуля и ничего по началу не знает.
Чтобы автопилот смог оперативно определить тот же дорожный знак, ранее ему нужно обработать кучу данных о дорожных знаках. Обучение проходит на сотни тысяч примеров, где этот дорожный знак будет представлен в разных условиях освещения, на разном фоне, при разных погодных условиях и т.д. Без предоставленных необходимых данных компьютер не научится распознавать объекты. Уникальность машинного обучения Tesla состоит в том, что флот является основным источником данных для обучения. Флот - это автопарк Tesla. Фактически каждый владелец автомобиля Tesla вносит свой вклад в обучение автопилота, совершая ежедневные поездки и сталкиваясь с разными ситуациями на дорогах. Tesla собирает данные со всех автомобилей и
использует их для обучения. Стоит отметить, что в ТеБ1а отправляются не все данные. Есть алгоритм, который обнаруживает неточности в работе автопилота. Если замечена неуверенность в работе нейронной сети или обнаруживается ситуация, где потребовалось вмешательство водителя, происходит отправка данных. Например, системой плохо распознается дорожный знак или разметка в туннеле. Алгоритм это замечает и отправляет соответствующие изображения в модульные тесты, чтобы позже подобного рода проблемы не возникали. Благодаря флоту ТеБ1а получает на обработку множество обучающих примеров похожих проблемных ситуаций. В обучающую выборку вносятся корректировки в соответствии с проблемой и сеть переобучается. Всё это циклично повторяется снова и снова. Таким образом, проблемные ситуации искореняются и больше не повторяются.
Несмотря на всё вышесказанное, автопилот ТеБ1а не является полностью автономным. Автопилоту ТеБ1а, который не использует ЬГОАЯ и карты высокого разрешения, можно присвоить максимум 3 уровень автономности, наличие водителя за рулем в данном случае необходимо.
Автоматизированные системы вождения сочетают в себе различные методы восприятия окружающей среды с использованием различных датчиков или камер, а также алгоритмов. Методы, которые решают конкретные задачи систем автопилота (распознавание образов, принятие решений, прогнозы), основываются на работе искусственных нейронных сетей. Ни один алгоритм и подход в данный момент не сможет обеспечить 100% автономность транспортного средства. Прогресс развития автопилота параллельно связан с частотой столкновений со сложными ситуациями в реальном мире. Системы 45 уровня автономности должны обрабатывать 99, 9999% возможных случаев на дороге и не только. ТеБ1а называет это «погоней за девятками». Одна из сложнейших задач на сегодняшний день.
Среди всех компаний, которые разрабатывают автопилот с использованием ЬГОАЯ, за все время был зафиксирован только 1 случай дорожно-транспортного происшествия. В плохую погоду, из-за нарушений
ПДД велосипедистом, автопилот не смог вовремя среагировать, что в итоге привело к наезду автомобиля на человека. В противовес этому, примеров ДТП, где работа автопилота основывается на машинном зрении, множество. Проблема в том, что на данный момент современные нейронные сети в лучшем случае могут воспроизвести очень грубую имитацию системы человеческого зрения. Глубокое машинное обучение на основе машинного зрения имеет четкие границы, которые мешают воспринимать мир и реагировать на ситуации так, как это делает человек. Нейронным сетям требуется огромное количество обучающих данных для уверенной работы. Отсутствие природной гибкости является главной проблемой. В новых ситуациях, где нейронная сеть не была обучена, обязательно последует непредсказуемое поведение, которое может повлечь за собой непоправимые последствия.
Масштабы, в которых тестируются и развиваются технологии автопилота, сильно отличаются. Системы автопилота лидарной локализации имеют серьезное территориальное ограничение по функционированию. Подобного рода системы ещё куда менее пластичны, чем системы на основе машинного зрения. В автопилоте Tesla всё же есть некая гибкость и приспособленность к окружающему миру в отличие, например, от автопилота Яндекса. Известны случаи, где необученная нейронная сеть находила корректное решение и выдавала правильный прогноз. Автопилот Tesla может управлять автомобилем не только в стерильных условиях мегаполиса, но и за пределами городов. Отсутствие дорожной разметки в данный момент уже не является поводом для отказа систем автопилота Tesla.
Большинство случаев ДТП мог бы предотвратить человек, вовремя среагировав на реакцию автопилота в случае отказа систем управления. Автопилот Tesla - это изначально продвинутая система помощи водителю, которая десятикратно повышает безопасность нахождения человека за рулем. Владельцы автомобилей Tesla слишком надеются на продвинутые системы управления, забывая о том, что в техническом плане необходимо быть всегда готовым перехватить управление автомобилем на себя. Люди, обманывая
систему безопасности, позволяют себе спать за рулем и всячески отвлекаться. Не смотря на это, статистика ДТП с участием автопилота на основе машинного зрения с каждым годом падает, а количество машин с ним на дороге возрастает. Частота случаев ДТП обусловлена огромным флотом, функционирующим автопарком ТеБ1а. В сравнении с ТеБ1а, действующих автомобилей с системами автопилота на основе лидарной локализации, единицы. Ежегодно продается 500 000 автомобилей ТеБ1а, их автопилоты используются реальными людьми почти по всему миру. Необходимо учитывать подобного рода статистику охвата собранных данных о ДТП. Если приравнять число функционирующих автомобилей, вполне возможно, что статистика приравняется.
К автопилоту на основе лидарной локализации допускают только обученных инженеров-тестировщиков. Они собирают и анализируют данные с компьютера и в случае сбоя, оперативно выводят машину из непредвиденной ситуации. Автомобили в данном случае чаще всего двигаются по закрытым полигонам или по ограниченным территориям, а системы ТеБ1а могут, хоть и частично, но функционировать в абсолютно неприспособленных условиях и местностях.
Стоит добавить, что ЬГОАЯ является дорогостоящим оборудованием. Его внедрение и обслуживание затратно по ресурсам в массовом производстве, поэтому примеры машин, оборудованных данным типом автопилота, ограничены малым производством. К тому же автопилоты с их использованием подразумевают необходимость построение карт высокого разрешения местности, по которой будет происходить движение. Из этого следуют огромные ограничения на охват покрываемой автопилотом территории.
Библиографический список:
1. Михаил Бугара. Алгоритмы, применяемые в автономных системах транспортных средств. Гливице: Научно-исследовательский центр «OBRUM», 2018 г.
2. Себастьян Трун. Вероятная робототехника. Кембридж: Издательство Массачусетского технологического института, 2005 г.
3. Презентация Tesla Autonomy Investor Day. Разработка Full Self-Driving Computer для автопилота Tesla. Калифорния, 2019 г.
4. Дэнни Шапиро (интервью), директор подразделения автомобильных систем NVIDIA. Работа автопилота Tesla. Москва: Информационное агентство «РИА Новости», 2016 г.
5. Алина Тестова. Как видят беспилотные автомобили: алгоритмы и методы. Томск: Научно-производственный комплекс «Интеграл», 2017 г.
6. Дмитрий Полищук (интервью), руководитель направления беспилотных автомобилей «Яндекс». Устройство российских беспилотных автомобилей Yandex. Москва: Деловое издание «Ведомости», 2019 г.
7. Википедия [Электронный ресурс]. - Режим доступа: https://ru.wikipedia.org/wiki/Беспилотный_автомобиль, свободный.
