ОБНАРУЖЕНИЕ И АНАЛИЗ ПОВРЕЖДЕНИЙ АВТОМОБИЛЕЙ С ПОМОЩЬЮ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ Текст научной статьи по специальности «Компьютерные и информационные науки»

TECHNICAL SCIENCE

УДК 004.852

Арысбек А.Б.

Научный руководитель: - к.т.н, и.о. доцента Абдрахманов Р.Б.

Международный Казахско-Турецкий Университет имени Ахмет Ясави

DOI: 10.24412/2520-2480-2020-3183-25-28 ОБНАРУЖЕНИЕ И АНАЛИЗ ПОВРЕЖДЕНИЙ АВТОМОБИЛЕЙ С ПОМОЩЬЮ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ

Arysbek A.B.

Scientific adviser: - Abdrakhmanov R.B.

Candidate of Technical Sciences, acting associate professor International Kazakh-Turkish University named after Ahmet Yassawi

DETECTION AND ANALYSIS OF VEHICLE DAMAGE USING CONVOLUTIONAL NEURAL

NETWORKS

Аннотация.

В настоящее время распространение автомобильной промышленности напрямую связано с увеличением количества автомобильных аварий. Таким образом, страховые компании сталкиваются с множеством одновременных претензий и утечкой претензий. Смысл искусственного интеллекта (ИИ), основанный на алгоритмах машинного обучения и глубокого обучения, может помочь решить подобные проблемы для страховых компаний. В этом случае важны изображения и их обработка. Следовательно, неполные изображения не позволяют нам обнаружить и проанализировать предпосылку изображения. Для нас это бесполезно, но современные платформы машинного обучения способны восстанавливать потерянные или поврежденные части таких изображений, облегчая понимание контекста за кулисами и эффективный анализ сделанных изображений. В рисовании экстраполяция может выполняться путем распространения локальных структур на неизвестные части, чтобы построить один пиксель (или участок) недостающей части за раз, сохраняя согласованность с соседними пикселями. Это приложение глубокого обучения используется при обнаружении повреждений автомобиля и извлечении оригинальных характеристик до инцидента для своевременных страховых выплат.

Abstract.

The spread of the automotive industry is now directly related to the increase in the number of car accidents. Thus, insurance companies face multiple concurrent claims and claims leakage. Artificial Intelligence (AI) Sense, powered by machine learning and deep learning algorithms, could help solve similar problems for insurance companies. In this case, the images and their processing are important. Consequently, incomplete images prevent us from discovering and analyzing the background of the image. This is useless for us, but modern machine learning platforms are able to recover lost or damaged parts of such images, making it easier to understand the context behind the scenes and efficiently analyze the captured images. In drawing, extrapolation can be performed by spreading local structures to unknown parts to plot one pixel (or patch) of the missing part at a time, while maintaining consistency with neighboring pixels. This deep learning application is used to detect vehicle damage and extract pre-incident original characteristics for timely insurance payments.

Ключевые слова: сверточных нейронных сетей, глубокий обучение, искусственный интеллект, Mask R - CNN, YOLO

Keywords: convolutional neural networks, deep learning, artificial intelligence(AI), Mask R - CNN, YOLO

I. ВВЕДЕНИЕ

В этой статье мы предлагаем автоматизированную систему, которая может классифицировать поврежденный автомобиль и предсказать, как произошло повреждение. Сверточная нейронная сеть (CNN) может использоваться для понимания, обнаружения и анализа различных классов повреждений в малых и крупных частях автомобиля. Повреждения могут быть любого типа, например, вмятина на бампере, вмятина на двери, разбитое стекло, разбитая фара, разбит задний фонарь, царапины и разбиты. CNN используется для задачи распознавания объектов, в предлагаемой системе применяется в конкретном контексте распознавания

повреждений автомобиля. Задача классификации выполняется на наборе данных о поврежденных автомобилях. Этот набор данных состоит из изображений различных типов поврежденных транспортных средств. Маска RCNN используется для сегментации, декомпозиции и разделения различных экземпляров машинного обучения. Это позволяет нам разделять разные объекты и задавать ограничивающие рамки, классы и маски. После определения ограничивающих рамок его можно раскрасить и по отдельности извлечь элементы. Custom Mask RCNN позволяет определить точную зону повреждения для улучшения требований страховых компаний.

II. ЛИТЕРАТУРНЫЙ обзор

Распознавание повреждений транспортного средства и выделение особенностей поврежденных частей транспортного средства из-за различных препятствий и других встречных транспортных средств является важной областью распознавания объектов и компьютерного зрения в сочетании с методами глубокого обучения. Функция обнаружения и описания ищет в цифровом изображении интересные особенности. Преобразование инвариантного к масштабу признака - это функция, представляющая собой алгоритм определения и дескриптора признаков, который обеспечивает правильное изображение независимо от масштаба и поворота. Выбираются определенные точки интереса и преобразуются в значения на основе вектора. Эти многомерные векторы преобразуются в однозначные слова, чтобы легко работать с извлеченным контентом. Распознавание автомобилей -сложная проблема, но у нее есть много потенциальных решений. Для распознавания используются не-деформируемая физическая структура и уникальные местные особенности. [1]

Чтобы точно предсказать, повреждено данное транспортное средство или нет, и тем самым при-

влечь клиента, такого как страховая компания, к автоматизации процесса требования страховки для поврежденного транспортного средства, мы должны продемонстрировать потенциал сети свертки в контексте обнаружения повреждений автомобиля. Предварительно заданная трехмерная компьютерная модель поврежденного транспортного средства наносится поверх фотографии, чтобы проверить, как бы автомобиль выглядел, если бы он не был поврежден. ConvNet реализован для выполнения задачи обнаружения повреждений автомобилей. ConvNets обучены на наборе данных Image Net с использованием трансферного обучения. Результатом стало применение ConvNet для обнаружения повреждений автомобилей. Эта модель может распознать автомобиль и обнаружить повреждения. Эта система успешно демонстрирует потенциал ConvNets в контексте распознавания повреждений автомобилей. ConvNets хорошо подходят для обучающих данных, но они часто плохо обобщаются, когда набор данных изображения повреждений автомобиля ограничен по размеру. Когда маркировка изображения неправильная, прогноз повреждения также неверен. Эта модель не только распознает поврежденный автомобиль, но также определяет место, размер и тип повреждения. [2].

скрытый слой 1

Рис.1. Трехслойная нейронная сеть с тремя входами, два скрытых слоя по четыре узла в каждом и два.

Разработать систему для точной, быстрой и правильной обработки претензий по страхованию автомобилей и классифицировать типы повреждений автомобиля, чтобы можно было рассчитать фактическую выплату по претензиям и тем самым сократить утечку претензий. Для выполнения задачи классификации типов повреждений автомобилей, Используются методы на основе сверточной нейронной сети. CNN предварительно обучается с использованием автокодировщика с последующей тонкой настройкой с использованием передачи обучения от крупных CNN, обученных на наборе данных ImageNet.

В дальнейшем для повышения точности метод ансамбля построен на предварительно обученном классификаторе. Успешно разработал решение на основе глубокого обучения для классификации повреждений автомобилей. Замечено, что трансфер-ное обучение работает лучше всех других методов глубокого обучения, используемых для обучения CNN. Поскольку общедоступного набора данных нет, он вручную аннотируется путем сбора изображений из Интернета. Конкретный автомобиль может быть неэффективным для классификации повреждений автомобиля. Поврежден часть можно локализовать, используя тот же подход. [3]

Рис.2. Настройка переноса обучения

В настоящее время запрос и урегулирование страховки транспортного средства осуществляется через Интернет, где клиентам разрешается загружать изображение поврежденного транспортного средства, снятое с помощью своих мобильных телефонов, и запрашивать претензию. Однако возможны повторные претензии по одному и тому же случаю, которые могут быть убытками для страховой компании. Итак, основная цель - разработать систему проверки на мошенничество, чтобы обработать запрос и ускорить процесс страхового возмещения. Детектор YOLO используется как фреймворк для обнаружения объектов. YOLO обнаруживает повреждения на транспортном средстве, изучая особенности через регрессию по 4 координатам. Для извлечения локальных признаков в качестве экстрактора признаков используется предварительно обученная модель распознавания объектов VGG16. Глобальные глубокие функции и цветовая гистограмма присутствуют в Globalfeature. [4]

Для обнаружения повреждений деталей используются передовые технологии анализа изображений и распознавания образов. Первый метод -это обнаружение ограниченного объекта, при котором используются методы обработки изображения для обнаружения интересующей области. Второй метод - сравнение изображений по регионам, этот метод сравнивает изображения автомобиля до и после аварии для определения поврежденных участков. Третий метод - это сравнение изображений на основе формы, когда сравнение изображений автомобиля происходит с точки зрения их формы, в частности, их профилей или внешних границ. Это выполняется в следующих трех шагах. Шаг 1: выделение границ объекта и кодирование. Шаг 2: сопоставление границ объекта. Шаг 3: идентификация поврежденного участка. Четвертый метод - это совместное сравнение изображений на основе области и формы. Мы получаем результаты обнаружения как на основе подходов, так и на основе формы,

мы складываем их вместе на основе критерия пересечения и объединения. [10]

Здесь применяется новое приложение. Он использует такие технологии, как расширенный анализ изображений и распознавание образов, для автоматической идентификации и определения класса повреждений. Это приложение помогает компаниям по автострахованию ускорить процесс обработки претензий и эффективно использовать ресурсы. Автомагазины получают изображения во время регулярного технического обслуживания. Недостатком является то, что клиентам нравится идея использования техники анализа изображений для обнаружения поврежденных частей транспортного средства, поскольку они думают, что это аккуратно и интересно, но есть много проблем, которые необходимо решить, рассматривается до его реального развертывания. [5]

Задача - исследовать обнаружение лобовых повреждений кузова транспортного средства по изображениям с камер наблюдения за проезжей частью. В нем реализованы методы глубокого обучения и методы классификации изображений для определения статуса автомобиля. Сначала необходимо обнаружить автомобили в необработанном изображений, во-вторых, с помощью обрезанных изображений он представляет основные черты транспортного средства, наконец, путем применения операций классификации к поврежденному транспортному средству. Средние результаты точности поврежденного и неповрежденного класса через классификаторы SVM с использованием заявленных функций на тестовых изображениях. Здесь можно установить четкую точность между классом поврежденных и неповрежденных, чтобы не вводить в заблуждение общие результаты производительности. Для получения результатов с минимальной точностью требуется больший набор данных, с которыми приходится сталкиваться многим моделям. [6]

Система распознает царапины на автомобилях с помощью нейронной сети Convolution. Для этого нам нужно использовать методику трансферного обучения. Для реализации нейронных сетей Convolution требуются три вещи: сетевая архитектура, база данных и параметры обучения. Основываясь на сети, базе данных и параметрах обучения, мы можем добиться точности изображений, проверки и точности изображений. Реализуя архитектуру CNN, он снижает сложность в развитии качества физических повреждений транспортных средств. Он анализирует участок, который не соответствует автомобилям, иначе наличие грязи в автомобиле будет спутано с царапинами. [7]

Более быстрый R-CNN используется для эффективного прогнозирования объекта и оценки объекта в каждой позиции. Предложение региона используется сетевой метод. На входе используются изображения, а на выходе получается прямоугольный объект с оценкой объекта. Это основано на полностью сверточной сети и для вычислений с сетью обнаружения объектов Fast R-CNN. Метод оптимизации используется для реализации полностью сверточной сети, которая может быть обучена от начала до конца с помощью обратного распространения и стохастического градиентного спуска. Результат - детектор объектов, использующий свер-точные слои эффективно и в первую очередь ориентированы на точное определение средней точности. Это эффективный детектор объектов с высокой точностью. Но когда тестирование пересечения границы не игнорируется, это вызывает большую ошибку, которую трудно исправить. [11]

Лучший подход

1. Извлечение Области Интереса (ОИ) -

изображение передается в ConvNet, которая возвращает интересующую область, поддерживаемую стратегиями, такими как выборочный поиск (RCNN), затем уровень объединения ОИ в извлеченной области интереса, чтобы гарантировать, что все области имеют одинаковый размер.

2. Задача классификации - регионы передаются в полностью связанную сеть, которая классифицирует их по различным классам изображений. В нашем случае это будет царапина («повреждение») или фон (кузов автомобиля без повреждений).

3. Задача регрессии - наконец, регрессия Bounding Box (BB) используется для прогнозирования ограничивающих прямоугольников для каждой идентифицированной области для облегчения ограничивающих прямоугольников, которые получают точные относительные координаты Bounding Box.

III. ВЫВОД

Автоматическое обнаружение внешних повреждений автомобиля и последующая их количе-

ственная оценка (серьезность повреждений) поможет дилерам подержанных автомобилей (торговая площадка) точно и быстро оценивать автомобили за счет исключения ручного процесса оценки повреждений. Эта концепция одинаково выгодна для страховщиков имущества и от несчастных случаев (P&C) с точки зрения более быстрое урегулирование претензий и, как следствие, большее удовлетворение потребностей клиентов. Кроме того, после обнаружения и маскировки повреждений автомобиля, этот процесс может помочь специалистам по оценке автомобилей / персоналу по урегулированию претензий в количественной оценке серьезности повреждений с точки зрения размеров и приблизительной относительной площади повреждения. [8] Сверточные нейронные сети (CNN), движущая сила приложений компьютерного зрения, быстро развиваются благодаря передовым и инновационным архитектурам, позволяющим решать практически любую под солнцем проблему, связанную с визуальной системой, и Mask-RCNN -это следующая эволюция моделей обнаружения объектов, которые позволяют обнаруживать с большей точностью и аккуратностью. [9]

Литература

[1]. Дэниел Маркус Джанг и Мэтью Терк, «Car-Rec: система распознавания автомобилей в реальном времени» CA 93106.

[2]. Джеффри де Дейн, «Автоматическое распознавание повреждений автомобиля с использованием сверточных нейронных сетей», 29 марта

2018 г.

[3]. Калпеш Патил, Мандар Кулкарни, Ананд Шрираман и Шириш Каранде, «Классификация повреждений автомобилей на основе глубокого обучения».

[4]. Пей Ли, Бин Ю Шен и Вэйшань Донг, «Система защиты от мошенничества для претензий по страхованию автомобилей, основанная на визуальных доказательствах»

[5]. Ин Ли и Читра Дораи, «Применение анализа изображений к сортировке автостраховщиков: новое приложение».

[6]. Бурак Бальчи, Юсуф Артан, Бенсу Алкан и Альперен Элихос, «Обнаружение повреждений транспортного средства переднего вида с использованием изображений камеры наблюдения за проезжей частью».

[7]. Сезар Джовани Пачон-Суэскун, Паула С. Усече Мурильо и Робинсон Хименес-Морено, «Обнаружение царапин в автомобилях с помощью сверточной нейронной сети с помощью трансфер-ного обучения», IJAER 16 ноября 2018 г.

[8]. Шаоцин Рен, Кайминг Хе, Росс Гиршик и Цзянь Сан, «Более быстрый R-CNN: на пути к обнаружению объектов в реальном времени с помощью региональных сетей»