Научная статья на тему 'МОДЕЛИРОВАНИЕ И РЕАЛИЗАЦИЯ МОДУЛЯ ОПРЕДЕЛЕНИЯ ДОРОЖНОГО ПОКРЫТИЯ ДЛЯ АВТОМАТИЧЕСКОГО УПРАВЛЕНИЯ ТРАНСПОРТНЫМ СРЕДСТВОМ С ИСПОЛЬЗОВАНИЕМ НЕЙРОННОЙ СЕТИ U-NET'

МОДЕЛИРОВАНИЕ И РЕАЛИЗАЦИЯ МОДУЛЯ ОПРЕДЕЛЕНИЯ ДОРОЖНОГО ПОКРЫТИЯ ДЛЯ АВТОМАТИЧЕСКОГО УПРАВЛЕНИЯ ТРАНСПОРТНЫМ СРЕДСТВОМ С ИСПОЛЬЗОВАНИЕМ НЕЙРОННОЙ СЕТИ U-NET Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
64
15
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ / U-NET / АНАЛИЗ ДАННЫХ / МАШИННОЕ ОБУЧЕНИЕ / DEEP LERNING / СВЕРТОЧНЫЕ НЕЙРОННЫЕ СЕТИ / СВЕРТКА / МАКСИМАЛЬНЫЙ ПУЛ / СЕГМЕНТАЦИЯ ИЗОБРАЖЕНИЙ / МОДЕЛИРОВАНИЕ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Евсин В.А., Широбокова С.Н., Воробьев С.П., Евсина В.А.

В данной статье рассматривается проблематика определения дорожного покрытия для автоматического управления транспортным средством с использованием искусственной нейронной сети. Описано состояние отрасли на текущий момент времени, а также актуальность данных исследований. Представлены входные данные для определения дорожного покрытия. Обосновывается идея применимости метода сегментации изображений для определения дорожного покрытия. Производится формирование структуры искусственной нейронной сети на базе архитектуры U-NET. В частности визуализируется строение последовательности слоев. Особое внимание уделяется математическому моделированию процесса свертки и максимального пула. Приводится математическая модель процесса обучения искусственной нейронной сети, а так же функций активации: линейной функции и сигмоиды. Предложен алгоритм формирования модели искусственной нейронной сети. Визуализирован на графике процесс обучения данной функции. Представлен результат обучения.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Евсин В.А., Широбокова С.Н., Воробьев С.П., Евсина В.А.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

MODELING AND IMPLEMENTATION OF THE PAVEMENT DETECTION MODULE FOR AUTOMATIC VEHICLE CONTROL USING THE U-NET NEURAL NETWORK

This article discusses the problems of determining the road surface for automatic control of a vehicle using an artificial neural network. The current state of the industry is described, as well as the relevance of these studies. Describes the input data for determining the road surface. The idea of the applicability of the image segmentation method for determining the road surface is substantiated. The structure of an artificial neural network based on the U-NET architecture is being formed. In particular, the structure of the sequence of layers is described. Particular attention is paid to the mathematical modeling of the convolution process and the maximum pool. A mathematical model of the learning process of an artificial neural network, as well as activation functions: linear functions and sigmoids, is given. An algorithm for forming an artificial neural network model is proposed. The learning process of this function is visualized on the graph. The result of the training is presented.

Текст научной работы на тему «МОДЕЛИРОВАНИЕ И РЕАЛИЗАЦИЯ МОДУЛЯ ОПРЕДЕЛЕНИЯ ДОРОЖНОГО ПОКРЫТИЯ ДЛЯ АВТОМАТИЧЕСКОГО УПРАВЛЕНИЯ ТРАНСПОРТНЫМ СРЕДСТВОМ С ИСПОЛЬЗОВАНИЕМ НЕЙРОННОЙ СЕТИ U-NET»

Моделирование и реализация модуля определения дорожного покрытия для автоматического управления транспортным средством с использованием нейронной сети U-NET

В.А. Евсин, С.Н. Широбокова, С.П. Воробьев, В.А. Евсина

Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, Новочеркасск

Аннотация: В данной статье рассматривается проблематика определения дорожного покрытия для автоматического управления транспортным средством с использованием искусственной нейронной сети. Описано состояние отрасли на текущий момент времени, а также актуальность данных исследований. Представлены входные данные для определения дорожного покрытия. Обосновывается идея применимости метода сегментации изображений для определения дорожного покрытия. Производится формирование структуры искусственной нейронной сети на базе архитектуры U-NET. В частности, визуализируется строение последовательности слоев. Особое внимание уделяется математическому моделированию процесса свертки и максимального пула. Приводится математическая модель процесса обучения искусственной нейронной сети, а так же функций активации: линейной функции и сигмоиды. Предложен алгоритм формирования модели искусственной нейронной сети. Визуализирован на графике процесс обучения данной функции. Представлен результат обучения.

Ключевые слова: искусственные нейронные сети, U-NET, анализ данных, машинное обучение, deep lerning, сверточные нейронные сети, свертка, максимальный пул, сегментация изображений, моделирование.

В настоящий момент большое развитие и распространение получают технологии автоматического управления транспортным средством, данной технологией заинтересованы ведущие технологические компании мира, к числу которых относятся: Яндекс, Тесла, Cognitive Pilot, Nvidia, Alphabet (Google) и многие другие. Данная проблема является актуальной, поскольку позволяет повысить качество вождения, что даёт возможность снизить риски аварийных ситуаций. При этом, данная область включает в себя множество различных задач и способов их решения. Основной задачей для реализации автоматического управления транспортным средством является распознавание дорожных объектов, в том числе - дорожного покрытия.

Данная задача относится к классу слабоформализуемых, для решения подобного типа задач наилучшим образом подходит аппарат искусственных

нейронных сетей (далее ИНС). Примеры слабоформализуемых проблематик, в которых уместно решение с использованием ИНС, представлены в [1,2], подробнее об ИНС в [3,4].

Входными данными для определения дорожного покрытия является поток фреймов (изображений) дорожной ситуации перед транспортным средством. Для выделения из полученного изображения дорожного покрытия необходимо сформировать сверточную нейронную сеть (далее СНС), подробнее о данном типе ИНС в [5,6], которая будет выделять маску дорожного покрытия. Для решения поставленной задачи использована архитектура сети П-ИЕТ, представленная в следующих работах [7,8]. Общая концепция работы данной архитектуры СНС сводится к сегментации изображений, то есть разбиению изображения на отдельные покрывающие его области. Для решения поставленной задачи будет достаточно двух областей: дорожного покрытия и остального изображения. Архитектура сети представляет собой последовательность слоев свертки и максимального пула, подробнее о которых в [9], она пошагово уменьшают размерность изображения, после пытается восстановить маску из сжатого изображения. Архитектура сети П-ИЕТ представлена на рисунке 1. Данная архитектура состоит из сужающегося и расширяющегося пути. Сужающийся путь представляет собой архитектуру СНС, состоящую из двух слоев свертки с ядром 3x3, далее следуют активационная функция и операция максимального пула для понижения размерности изображения. Каждый шаг в расширяющемся пути состоит из:

— операции свертки с ядром 2x2;

— конкатенации тензора маски дороги и тензора слоя свертки на соответствующем уровне;

— операции двух сверток с ядром 3x3, за которыми следует активационная функция.

и

СТ1

Рис. 1. - Архитектура сети Ц-ИЕТ Формальное определение операции свертки состоит в том, что это процесс, который на входе принимает тензор А размерности па х па и ядро свертки К, размерности щ х щ дает на выходе тензор В размерности пв х пв, причем:

пВ =

пА - пк , 1

(1)

где — шаг сдвига тензора исходного изображения. С учетом того, что

основной размерностью ядра для решения данной задачи является ядро 3x3, каждый элемент рассчитывается следующим образом:

^11 ^12 ^13 ^21 ^22 ^23 ^31 ^32 ^33

а11 а12 а13

а21 а22 а23

а31 а32 а33

= 1 *к, 1 •

'=1 1=1

(2)

£

M

Размерность тензора входных сигналов для RGS-изображения, следующая:

PH * PW * 3, (3)

где РН — количество пикселей изображения в высоту, PW— количество

пикселей изображения в ширину. Для полученной свертки необходимо провести нелинейное преобразование функцией активации ReLU, которая имеет следующую форму:

Г z, если z > 0

RELU (z) = \ ' , (4)

[ 0, иначе

где z - выходное значение нейрона. Данная функция делает значения каждого нейрона выходного тензора операции свертки неотрицательными. Полученный выходной тензор именуется картой признаков. В ходе проведения операции максимального пула из субтензора размерности ядра выбирается максимальное значение. Для обучения нейронной сети используется метод адаптивной оценки момента (ADAM):

St = V wtJ (w ),

mt = Pxmt , + (1 -ft)*St,

v(=M-,+(i -m \ (5)

v *

w+,=wt-1 * mt

ylvt

где ôt - градиент функции ошибки, J(wt ) - функция ошибки, mt - момент расчета, wt - веса модели, 77 - темп обучения, Д Д - параметры обучения. В качестве функции ошибки данной модели используется бинарная кроссэнтропия, которая подробно описана в [10], и имеет форму:

Loss = -(y log(p) + (1 - y)log(1 - p% (6)

где p - это предсказанное значение на выходе модели, y - это соответствующе истинное значение. В качестве функции активации модели используется функция sigmoid, которая используется для предсказания

вероятности того, относится ли данный пиксель к дороге или нет. Общая формула данной функции имеет следующую форму:

1

SIGM ( z ) = -

+ e

(7)

где г - выходное значение нейрона. Итоговый алгоритм формирования нейронной сети представлен на рисунке 2.

Формирование модели

Внесение данных по обучению нейронной сети

ГЧ ^ у

Создание слоя C[i+1] : Слой свертки с 2A(i)*16 нейронами Активационная функция relu. Слой отключения 10% нейронов. Слой свертки с 2A(i)* 16 нейронами. Активационная функция relu. Слой максимального пула.

Создание слоя C[4]: Слой свертки с 256 нейронами. Активационная функция relu. Слой свертки с 256 нейронами. Активационная функция relu.

i=0,3

>

Создание слоя U[6+i]: Слой свертки с 2A(4-i)*16 нейронами и ядром свертки 2х2. Активационная функция relu. Слой отключения 10% нейронов. Слой свертки с 2A(4-i)*16 нейронами. Активационная функция relu. Слой максимального пула Конкатенация слоев U[6+i];C[4-i] Активационная функция sigmoid

^ Конец ^

Рис. 2. - Алгоритмизация построения архитектуры сети U-NET для

определения дорожного покрытия Для реализации модуля использован фреймворк Tensorflow языка программирования Python. Модель была обучена на обучающей выборке, включающей различные погодные эффекты, а также различную степень изношенности трассы. Динамика изменения функции ошибки в процессе обучения представлена на рисунке 3.

и

Рис. 3. - Динамика изменения функции ошибки нейронной сети П-ИЕТ Тестовое изображение определения маски дорожного покрытия представлено на рисунке 4.

о 20 40 60 80 100

FV

/ \

Рис. 4. - Тестовое определение маски дорожного покрытия Таким образом, получено изображение маски дорожного покрытия. Дальнейшие исследования будут направлены на уточнение данной модели, а также на разработку модуля определения дорожных объектов.

Литература

1. Параскевопуло К.М., Наркевич А.Н. Применение классических нейронных сетей для распознавания злокачественных новообразований на цифровых изображениях кожи // Инженерный вестник Дона, 2021, №5. URL: ivdon.ru/uploads/article/pdf/IVD_31_5_Paraskevopulo.pdf_70f8c97ba7.pdf.

2. Евсин В.А., Евсина В.А., Широбокова С.Н., Продан Е.А. Математическое моделирование процесса оценки стоимости аренды

недвижимости с использованием искусственных нейронных сетей // Инженерный вестник Дона, 2019, №1. URL:

ivdon.ru/ru/magazine/archive/n1y2019/5456

3. Хайкин С. Нейронные сети. Полный курс. 2 изд. М.: Издательский дом "Вильямс", 2006. 1104 с.

4. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия. Телеком, 2002. 382 с.

5. Dean J. Big Data, Data Mining, and Machine Learning. Value Creation for Business Leaders and Practitioners. New Jersey: John Wiley & Sons Limited, 2014. 208 p.

6. Аггарвал, Ч. Нейронные сети и глубокое обучение. М.: Диалектика, 2020. 752 c.

7. Albishri A.A., Shah S.J.H., Kang S.S. AM-UNet: automated mini 3D end-to-end U-net based network for brain claustrum segmentation // Multimed Tools Appl, 2022. DOI: doi.org/10.1007/s11042-021-11568-7.

8. Liu S., Ye H., Jin K. CT-UNet: Context-Transfer-UNet for Building Segmentation in Remote Sensing Images // Neural Process Lett, 2021, № 53. DOI: doi.org/10.1007/s11063-021-10592-w.

9. Микеллучи, У. Прикладное глубокое обучение. Подход к пониманию глубоких нейронных сетей на основе метода кейсов. СПб.: БХВ-Петербург, 2020. 368 c.

10. Kline D.M., Berardi V.L. Revisiting squared-error and cross-entropy functions for training neural network classifiers // Neural Comput and Applic, 2005, № 14. DOI: doi.org/10.1007/s00521-005-0467-y.

References

1. Paraskevopulo K.M., Narkevich A.N. Inzhenernyj vestnik Dona, 2021, №5 URL:ivdon.ru/uploads/article/pdf/IVD_31_5_Paraskevopulo.pdf_70f8c97ba7.pdf

2. Evsin V.A., Evsina V.A., SHirobokova S.N., Prodan E.A. Inzhenernyj vestnik Dona, 2019, №1. URL: ivdon.ru/ru/magazine/archive/n1y2019/5456.

3. Hajkin S. Nejronnye seti. Polnyj kurs. [Neural networks. A Comprehensive Foundation]. 2 vol. M.: Williams Publishing House, 2006. 1104p.

4. Kruglov V.V., Borisov V.V. Iskusstvennye nejronnye seti. Teorija i praktika. [Artificial neural network. Theory and practice.] M.: Hotline. Telekom, 2002. 382p.

5. Dean J. Big Data, Data Mining, and Machine Learning. Value Creation for Business Leaders and Practitioners. New Jersey: John Wiley & Sons Limited, 2014. 208 p.

6. Aggarval, CH. Nejronnye seti i glubokoe obuchenie [Neural networks and deep learning]. M.: Dialektika, 2020. 752p.

7. Albishri A.A., Shah S.J.H., Kang S.S. Multimed Tools Appl, 2022. DOI: doi.org/10.1007/s11042-021-11568-7.

8. Liu S., Ye H., Jin K. Neural Process Lett, 2021, № 53. DOI: doi.org/10.1007/s11063-021-10592-w.

9. Mikelluchi, U. Prikladnoe glubokoe obuchenie. Podhod k ponimaniyu glubokih nejronnyh setej na osnove metoda kejsov [Applied deep learning. An approach to understanding deep neural networks based on the case method]. SPb.: BHV-Peterburg, 2020. 368p.

10. Kline D.M., Berardi V.L. Neural Comput and Applic, 2005, № 14. DOI: doi.org/10.1007/s00521-005-0467-y.

i Надоели баннеры? Вы всегда можете отключить рекламу.