Применение классического машинного обучения и обучения нейронных сетей при диагностике и эксплуатации экваториальной эстакады общепланетарного транспортного средства Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.855.5+004.9312

Применение классического машинного обучения и обучения нейронных сетей при диагностике и эксплуатации экваториальной эстакады общепланетарного транспортного средства

РГ

Для диагностики экваториальной эстакады общепланетарного транспортного средства (ОТС) предложена технология, позволяющая посредством блока 1М11 и камеры проводить исследования в космической и транспортной сферах, используя классическое машинное обучение и обучение нейронных сетей. Данный набор датчиков является самым дешёвым, доступным и надёжным в эксплуатации. Автор анализирует эффективность различных алгоритмов, таких как метод опорных векторов (БУМ) и логистическая регрессия (ИЗ), которые показывают, что классическое машинное обучение оптимально для работы с большими объёмами данных. Предложено применение обучения нейронных сетей и рассмотрен принцип трансферного обучения. Подчеркиваются возможности и обозначаются ограничения классического машинного обучения и обучения нейронных сетей в контексте космических и транспортных исследований. Авторские наработки могут быть полезными для специалистов, осуществляющих эксплуатацию экваториальной взлётно-посадочной эстакады ОТС.

М.Н. Гусев

ЗАО «Струнные технологии», г. Минск, Беларусь

Ключевые слова:

машинное обучение, набор данных вТ8!1В, общепланетарное транспортное средство (ОТС), свёрточная нейронная сеть, трансферное обучение, эстакада ОТС, \ZGG16.

UDC 004.855.5+004.9312

Application

of Classical Machine Learning and Neural Networks Training in the Diagnostics and Maintenance of the General Planetary Vehicle Equatorial Overpass

M.Gusev

Unitsky String Technologies Inc., Minsk, Belarus

PP

There is a technology proposed for diagnostics of the General Planetary Vehicle (GPV) equatorial overpass which allows to perform research in the space and transport spheres on the basis of classical machine learning and neural networks training using IMU unit and camera. This set of sensors is the cheapest, most affordable and most reliable in operation variant. The author analyzes the efficiency of various algorithms, such as the support vector method (SVM) and logistic regression (LR), which show that classical machine learning is optimal for processing large data volumes. The article offers application of neural networks training and transfer learning. The opportunities and limitations of classical machine learning and neural networks training in the context of space and transport research are highlighted. The author's work may be useful for the specialists who maintain the GPV equatorial takeoff and landing overpass.

Keywords:

convolutional neural network, GPV overpass, GTSRB dataset, General Planetary Vehicle (GPV), machine learning, transfer learning, VGG16.

Введение

Геокосмическая программа uSpace имеет право называться самым амбициозным проектом XXI в. Экваториальная взлётно-посадочная эстакада общепланетарного транспортного средства (ОТС) имеет длину 40 076 км [1-3], включает в себя взлётно-посадочную полосу ОТС, а также скоростной (до 200 км/ч], высокоскоростной (до 600 км/ч] и гиперскоростной (до 1500 км/ч] транспортно-инфра-структурные комплексы Струнного транспорта Юницкого (ЮСТ), обеспечивающие земную логистику геокосмических грузопассажирских перевозок. Обслуживание и анализ такой масштабной инфраструктуры могут быть весьма затратными.

Рассмотрим возможные методы анализа протяжённых конструкций. К примеру, на 2018 г. в Словении насчитывалось 43 670 км дорог общего пользования, что всего на 8,9 % больше, чем составляет наземная инфраструктура ОТС. Однако даже в такой традиционной сфере имеются проблемы со своевременным обслуживанием и, что особенно важно, контролем состояния дорог в реальном режиме. Самое простое решение - использование классических инструментов в области машинного обучения, таких как метод опорных векторов [SVM] и логистическая регрессия [LR], Набор данных для исследования взят из открытых источников [4].

Ещё одно потенциальное применение SVM и LR - помощь в позиционировании транспортного средства при отсутствии или слабом GPS-сигнале. Среди существующих технических решений - установка сигнальных меток на опорах эстакады в формате знаков дорожного движения, содержащих информацию по локациям.

Для того чтобы проводить диагностику состояния экваториальной эстакады ОТС, автор предлагает следующие методы:

• классическое машинное обучение, при котором используются данные с инерциального блока - считывание скорости, ускорения, высоты и положения подвижного состава и элементов эстакады в пространстве;

• обучение модели распознавания с помощью нейронных сетей посредством камер - через визуальные метки определяется местоположение транспорта.

Данные методы могут лечь в основу вспомогательной или ключевой функции автоматической системы управления.

Цель данной работы - проанализировать точность инструментов на базе доступного набора данных; сравнить два типа алгоритмов и оценить возможность применения инструментов.

Контролируемое машинное обучение (БУМ и ИЗ)

Для обеспечения безопасного движения гиперскоростного транспорта по экваториальной эстакаде ОТС, а также для диагностики состояния путевой структуры предлагается применять классические датчики, такие как камера и инер-циальный блок, однако показания датчиков использовать в совершенно новом ключе. Как известно, для машинного обучения требуются многочисленные данные реально действующей системы: для определения и распознавания знаков - не менее 30 000 изображений. По этой причине для исследования за основу взяты данные из открытых источников, наиболее приближенные к показателям, которые могут быть получены при функционировании экваториальной эстакады. Ниже представлено обучение модели с помощью информации с инерциального блока.

Открытый набор данных взят из доступных зарубежных источников [5]. Задача - показать контролируемый анализ набора данных о транспортных средствах и сравнить любые два алгоритма классификации для достижения наилучших результатов. В процессе исследования изучен набор данных, распознаны функции, обработаны и отформатированы данные для устранения несогласованности, определены две возможные модели (логистическая регрессия и поддержка машинного обучения], выбранные среди нескольких алгоритмов. Сравнивались следующие показатели: точность, сбалансированная точность и оценка Л. Результаты метрик проанализированы относительно моделей и выбранных функций. Окончательная версия проекта составлена отдельными блоками кода, которые объединены в репозиторий ЭЛНиЬ [6].

БУМ - это алгоритм контролируемого машинного обучения, который необходим для классификации или регрессии. БУМ действует путём разделения входных данных на классы, используя гиперплоскости с максимальным запасом [4]. Хотя БУМ создан для бинарных классификаций, его можно применять в полиномиальной классификации, разбив полиномиальные категории на множество задач бинарной классификации [7].

И? - ещё один метод классификации, который является расширением линейной регрессии. Используется для прогнозирования вероятности принадлежности входных данных к классу. Подобно БУМ, логистическая регрессия разработана как бинарный классификатор, однако может быть расширена для использования в полиномиальной классификации. Полиномиальная логистическая регрессия задействует оценку максимального правдоподобия для предсказания членства в классе. Метод регуляризации

способствует уменьшению ошибки обобщения алгоритма обучения, но не ошибки обучения [8]. Регуляризация наносит ущерб сложной модели, следовательно, может использоваться для уменьшения переобучения и повышения производительности модели [9].

Для оценки и сравнения результатов классификации БУМ и 1.1} необходимо применять вероятностные метрики. Входе настоящей работы изучены следующие параметры: точность, сбалансированная точность и оценка Л.

Точность - соотношение между правильными прогнозами и общим количеством прогнозов. Это широко используемая метрика в приложениях классификации и прогнозирования; вычисляется по формуле:

Точность

Правильные классификации Общие классификации

ТР+ ТЫ

(1)

ТР+РР + ты^ы

где ТР- верные положительные прогнозы;

ТЫ- верные отрицательные прогнозы;

ЕР- ложные положительные прогнозы;

ТЫ - ложные отрицательные прогнозы.

Точность не является идеальным измерением; она выдаёт вводящие в заблуждение высокие результаты, когда второстепенные классы определяются неправильно. Применение данного способа оправдано в случае, если имеется равное количество образцов из каждого класса.

Сбалансированная точность - метрика, хорошо выявляющая классовый дисбаланс в данных. Представляет собой среднее значение отклика модели и верного отрицательного показателя; вычисляется по формуле:

Сбалансированная _ _1_ точность 2

ТР

ТЫ

ТР+ТР ТЫ+ТЫ

(2)

Оценка Л - среднее гармоническое значение точности и отклика модели. Максимальное значение - 1, что является идеальными откликом и точностью, а минимальное значение - 0, что означает наихудшие точность и отклик. Оценка Л считается подходящей метрикой для отслеживания при попытке свести к минимуму как ложные положительные, так и ложные отрицательные величины. Широко используется в приложениях, поддерживающих машинное обучение:

Оценка Л

2 ТР

Данные, полученные с датчиков, могут быть расплывчатыми и несбалансированными, значит, их необходимо обработать перед применением, чтобы обеспечить достоверность и смысл ввода. В ходе исследования необработанные данные были проанализированы; числа с запятыми преобразованы в числа с плавающей точкой. Точно также нечисловые значения [ЫаЫ] заменены наиболее часто встречающимся значением в столбце с использованием модуля 81тр1е1три1ег из пакета эсМЫеагп [10]. Унификация столбцов достигнута путём подбора и преобразования стандартного скаляра для масштабирования дисперсий, что упрощает данные для анализа.

Целевые характеристики открытого набора данных -дорожное покрытие, трафик и стиль вождения, которым присвоены числовые категории с помощью стандартной функции 0гсйпа1Епсос1ег из пакета эайЫеагп [11]. Каждая из трёх характеристик независима, сильно смещена к одному элементу, как показано на круговых диаграммах [рисунок 1]. Предвзятость такого рода возникает, когда в результатах доминирует один элемент (например, на категорию ЕуепРасе51у1е приходится 89 % всех данных о стиле вождения]. Этот дисбаланс признаков будет учитываться при конечной обработке.

Гладкая поверхность Неровная поверхность Ухабистая поверхность

Низкая загруженность Обычная загруженность Высокая загруженность

Равномерный стиль Агрессивный стиль

2ТР+ ТР + ТЫ

[3]

Рисунок 1 - Анализ разделения на классы набора данных Кадд1е: а - класс «дорожное покрытие»; б - класс «трафик»; в - класс «стиль вождения»

Как видно из вышеприведённого, дисбаланс различных меток в целевых переменных повлиял на точность классификаторов и сбалансированную точность: более несбалансированные целевые переменные показали более высокую точность, а также более низкую сбалансированную точность. Данный факт указывает на то, что классификаторы недостаточно хорошо справлялись с классификацией менее часто встречающихся меток. Оценка Л более явно отражает низкую точность при использовании несбалансированных данных. Подходы опорных векторов и логистической регрессии схожи; минимальный разрыв в показателях считается приемлемым. Небольшой разрыв метрик является следствием разных подходов к функции потерь или того, что БУМ рассматривает только точки вблизи локальной границы, а 1.1} - глобальные границы. В ситуации с более сбалансированными данными БУМ и 1.1} могут показать большие разрывы в метриках двух методов. Совершенствование моделей сильно зависит от качества и размера данных.

Таким образом, результаты моделей 1.1} и БУМ, представленные в таблице и на рисунке 2, показывают возможность использования функций в рамках диагностики путевой структуры экваториальной эстакады. Дальнейшие исследования более сложных моделей и оптимизация

гиперпараметров могут привести к модели, подходящей для компенсации дисбаланса в обучающих данных.

Трансферное обучение (VGG16)

Дальнейший этап работы - исследование возможности распознавания знаков как данных с камеры. Иннова-ционность подхода состоит в применении указанного метода в отношении гиперскоростного транспорта с помощью переобучения модели свёрточной нейронной сети VGG16.

Свёрточная нейронная сеть (CNN, или ConvNet) - класс нейронных сетей, специализирующихся на обработке данных, имеющих структуру сетчатой топологии (например, фотографии, изображения). Цифровое изображение - это двоичное представление визуальных данных, т. е. ряд пикселей, расположенных в виде сетки. Каждая ячейка содержит визуальные данные (яркость, цвет). Подобно тому как нейроны в мозге реагируют на стимул только в ограниченной области поля зрения, называемой рецептивным полем в системе биологического зрения, каждый нейрон в CNN также обрабатывает данные только в своём рецептивном поле. Слои настроены таким образом, что сначала они находят более простые фигуры (линии, кривые и др.), а затем более сложные образы (лица, объекты и др.).

Таблица - Результаты обучения

Класс Точность SVM Сбалансированная точность SVM Оценка Л SVM Точность LR Сбалансированная точность LR Оценка Л LR

Дорожное покрытие 0,782652 0,737606 0,728651 0,778446 0,715456 0,719583

Трафик 0,775441 0,468239 0,45545 0,782051 0,487309 0,499387

Стиль вождения 0,881611 0,5 0,46854 0,880409 0,512502 0,496514

.I_I_I_

Дорожное Трафик Стиль Дорожное Трафик Стиль Гладкая Неровная Ухабистая

покрытие вождения покрытие вождения поверхность поверхность поверхность

а) б) в)

БУМ

Рисунок 2 - Результаты обучения: а - точность; б - сбалансированная точность; в - оценка Л

0,8 0,6 0,4 0,2

VGG16 - модель свёрточной нейронной сети (рисунок 3), предложенная сотрудниками Оксфордского университета [12]; достигает точности 92,7 % - топ-5 при тестировании на ImageNet в задаче распознавания объектов на изображении. Этот набор данных состоит из более чем 14 млн изображений, распределённых по 1000 классам.

Опыт, накопленный при решении одной задачи, транс-ферное обучение позволяет использовать для решения другой аналогичной задачи. Нейронная сеть сначала обучается на большом объёме данных, затем на целевом наборе, для чего необходимы две составляющие: наличие подходящей предварительно обученной модели и переназначение модели путём выделения характерных признаков, а также с помощью тонкой настройки.

Предварительно обученная модель - модель, которая разработана и обучена кем-то другим для решения проблемы, подобной нашей. На практике кто-то, обладающий большими вычислительными ресурсами, создаёт большую нейронную сеть для конкретной задачи, обучает её на большом наборе данных (Big Data], таких как открытые для использования ImageNet или Wikipedia Corpus. Например, VGG19 имеет 143 667 240 параметров и применяется для классификации изображений.

В архитектурах Deep Learning (глубокое обучение] начальные уровни изучают общую информацию, а слои последнего уровня - более конкретные характеристики. Многие модели обучаются всевозможным ситуациям. Например, ImageNet содержит 1 млн изображений, распределённых

по 1000 классам, поэтому нет необходимости изменять общую картину, которую видит текущая модель. Вместо этого будет полезно дополнить её новыми специфическими свойствами, переподготовив только последние слои, чтобы перепрофилировать для собственных нужд. При воздействии на большее количество слоёв переобучения возрастает риск чрезмерного переобучения.

Выделение характерных признаков использует изображения, полученные с помощью предыдущей модели, для добавления признаков из новых выборок, которые затем обрабатываются новым классификатором. Такой метод требует добавления классификатора, который будет обучен с нуля, поверх предварительно обученной модели для решения целевой функции. Архитектуры CNN обычно состоят из двух частей: свёрточной и полностью соединённой. При выделении характерных признаков свёрточная часть остаётся неизменной, в то время как тонкая настройка захватывает несколько последних свёрточных слоёв.

Оба метода переназначения модели могут повысить её точность, но при условии наличия достаточного количества данных. В противном случае сеть не почувствует изменений из нового набора данных и не сможет выполнить профилирование.

Выделение характерных признаков используется, когда проблема, решаемая в прошлой сети, аналогична целевой. Однако если имеются существенные различия, то целесообразнее дополнительное обучение, которое является более дорогостоящим с вычислительной точки зрения.

224 х 224 х 3 224 х 224 х 64

Рисунок 3 - Архитектура модели свёрточной нейронной сети VGG16

Полученная с датчиков информация может быть расплывчатой и несбалансированной. Некоторые дорожные знаки система будет видеть на каждом участке, а некоторые - значительно реже. Набор данных GTSRB системы Kaggle имитировал этот дисбаланс.

Общее количество всех изображений обучающей части набора данных равно 39 209 единицам, разделённым по 43 классам; большинство относится к 17 классам и содержит 28 710 изображений, или 73,3 %. Это означает, что в остальных 26 классах содержится всего 10 499 изображений, или 26,7 %. Один класс может занимать от 5,7 до 0,5 % от обучающего набора данных (рисунок 4).

Согласно стандартной архитектуре VGG16 входные данные, по умолчанию равные 224 x 224, нами сокращены до 40 х 40.

Вычислительная мощность обучающегося оборудования ограничена, поэтому изменение масштаба, обрезка и центрирование всех изображений выполнялись с помощью функции «Генератор данных изображений» (Image Data Generator). Такой подход позволяет сократить требование к вычислительной мощности транспорта и сделать модель более доступной.

Таким образом, выбрано выделение характерных признаков вместо тонкой настройки, поскольку модель VGG16 обучена решению аналогичной задачи, а применение тонкой настройки требовало больше времени, вычислительной мощности и предварительной обработки. Код модели можно посмотреть на GitHub [13].

Рисунок 5 демонстрирует вариативность набора данных, использованных при переобучении модели \ZGG16 для распознавания знаков. Библиотека изображений случайным образом была разделена на данные, предназначенные для обучения (90 %] и тестирования (10 %], которые послужили контролем точности выбранного системой решения.

В процессе обучения модель показала следующие метрики (рисунок 6):

• после обучения в течение 10 эпох - точность тестирования 76,6 % и обучения 90,8 %. Эти результаты стали отправной точкой для будущего анализа. Дальнейшие шаги - повышение точности и сокращение потерь при обучении;

• после обучения в течение 30 эпох - точность тестирования 78,5 % и обучения 94,4 % (т. е. +1,9 % к точности тестирования и +3,6 % к точности обучения);

• после обучения в течение 50 эпох - точность тестирования 78,6 % и обучения 98 % (т. е. всего +0,1 % к точности тестирования и +3,6 % к точности обучения).

Полученные результаты свидетельствуют о том, что наиболее подходящее количество эпох - 30 (соответствие). Модель с 50 эпохами увеличила точность обучения, однако только на 0,1 % точность тестирования. Это прямые признаки чрезмерной подгонки модели.

Для того чтобы повысить точность, необходимо уменьшить потери по обучению и избежать чрезмерного обучения -модели требуется больше обучающих данных или более сбалансированный набор данных.

n: : : — : ■■ ■

О 3000 6000 9000 12 000 15 000 18 000 21 000 24 000 27 000 30 000 33 000 36 000 39 000

43 класса

Рисунок 4 - Анализ набора данных СТ31?В

© (30) © © © © © © © © О ®

ААААААААААААААА ФОООООО®

Рисунок 5 - Знаки в наборе данных СТ31?В

/о

Эпоха

а)

/о

Эпоха

— Обучение — Тестирование

Рисунок 6 - Графики точности и потерь данных ЭТЭкВ: а - точность обучения; б - потери обучения

Такая точность не позволяет использовать модель как основную систему безопасности и распознавания знаков, но при этом показывает огромный потенциал её применения, когда появится большой набор данных для обучения системы, так как наибольший процент обучения составляет 98 % (при 39 ООО изображений). Если значительно увеличить количество выборки, точность может достигать 99 % и более. Это даст возможность использовать модель как часть автоматической системы управления гиперскоростного транспорта экваториальной эстакады.

Заключение

В данной работе проанализированы возможности и ограничения двух подходов к машинному обучению -классического и нейронных сетей - в контексте транспортных и будущих космических исследований. Предложено использование классических методов машинного обучения, таких как БУМ и 1Д а также метода переобучения свёрточных нейронных сетей на основе данных с камеры.

Указанные подходы показали достаточную эффективность для внедрения.

Классическое машинное обучение базируется на методе опорных векторов и логистической регрессии и оценивает эффективность этих инструментов при работе с большими данными.

Обучение сетей возможно через различные архитектуры сетей (свёрточные и рекуррентные). Исследована их применимость к ОТС и обозначены проблемы, связанные с недостатком данных при обучении нейронных сетей для задействования в космосе.

В дальнейшем предполагается рассмотрение возможности комбинирования классического машинного обучения и обучения нейронных сетей. Например, с целью предварительной обработки данных и извлечения признаков можно использовать классические алгоритмы, а затем - нейронные сети для финального прогнозирования или классификации. Важно продолжать работу по сбору и анализу космических данных или данных с ОТС - чем больше информации будет доступно для обучения, тем более точные и надёжные модели машинного обучения можно создать.

Такие подходы в диагностике путевых структур, а также при строительстве и эксплуатации экваториальной эстакады ОТС будут способствовать повышению безопасности транспортной системы и одновременно снижению стоимости, поскольку цена датчиков невысокая, а эффект от их использования значителен.

Настоящая статья вносит существенный вклад в исследование применения машинного обучения в сфере автономного транспорта, в том числе в космической области; полезна для специалистов, помогая им принимать обоснованные решения при выборе подхода к анализу данных для разработки безопасного транспорта.

Список основных источников

1. Безракетная индустриализация ближнего космоса: проблемы, идеи, проекты: материалы V междунар. науч.-техн. конф., Марьина Горка, 23-24 сент. 2022 г. / ООО «Астроинженерные технологии», ЗАО «Струнные технологии»; под общ. ред. А.Э. Юницкого. - Минск СтройМедиа-Проект, 2023. - 320 с.

2. Юницкий, А.Э. Инженер: автобиография / Анатолий Юницкий. - Минск Белпринт, 2021 - 400 е.: ил.

3. Unitsky, A. System Foundations of Non-Rocket Near Space Industrialization: Problems, Ideas, Projects/ed. A. Unitsky. -Minsk: Gradient, 2021. - 568 p.

person 0.90

llOäWl9T)5ST^4üa:j meters я

4. Traffic, Driving Style and Road Surface Condition [Electronic resource], - Mode of access: https://www.kaggie. com/datasets/gioseto/traffic-driving-style-road-surface-condition. - Date of access: 08.08.2023.

5. Machine Learning in the Internet of Things: A Semantic-Enhanced Approach [Electronic resource]/M. Ruta [et a!.]// Semantic Web. - 2018. - No. 10 (1']. - Mode of access: https.// www.researchgate.net/publication/326965774_Machine_ learning_in_the_lnternet_ofThings_A_semantic-enhanced_ approach. - Date of access: 0108.2023.

6. GusevPortfolio/Comparison-of-SVM-and-LR-in-ML [Electronic resource] - Mode of access: https://github.com/ GusevPortfolio/Comparison-of-SVM-and-LR-in-ML. - Date of access: 07.08.2023.

I. Shmilovici, A. Support Vector Machines [Electronic resource]/A. Shmilovici. - Mode of access: https://link. springer.com/chapter/i0J007/0-387-25465-x_ 12#citeas. -Date of access: 05.08.2023.

8. Goodfellow, I. Deep Learning [Electronic resource]/1. Good-fellow, Y. Bengio, A. Courville. - Mode of access: https.// www.deeplearningbook.org/. - Date of access: 08.08.2023.

9. Nagpal, A. L1 and L2 Regularization Methods, Explained [Electronic resource] /A. Nagpal. - Mode of access: https://builtin.com/data-science/l2-regularization. - Date of access: 08.08.2023.

10. Sklearn.impute.Simplelmputer [Electronic resource], -Mode of access: https://scikitlearn.org/stable/modules/ generated/skiearn.impute.Simplelmputer.html. - Date of access: 09.08.2023.

II. Sklearn.preprocessing.OrdinalEncoder [Electronic resource] - Mode of access: https://scikitlearn.org/stabie/ moduies/generated/sklearn.preprocessing.Ordinai-Encoder.html. - Date of access: 06.08.2023.

12. Simonyan,K. Very Deep Convolutional Networks for Large-Scaie Image Recognition [Electronic resource]/K. Simonyan, A. Zisserman // International Conference on Learning Representations: Collection of Articles, San Diego, 2015. - Mode of access: https://www.robots.ox.ac.uk/~vgg/pubiications/ 20I5/Simonyani5/ - Date of access: 07.08.2023.

13. GusevPortfolio/Road-Sign-Recognition-model-ML [Electronic resource] - Mode of access: https://github.com/ GusevPortfolio/Road-Sign-Recognition-model-ML. - Date of access: 05.08.2023.

I F>Q

145.63169^9370117