CC BY
23
DOI: 10.34020/2073-6495-2020-2-235-249 УДК 004.93
МОДИФИКАЦИЯ ЭТАПА ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКИ СИСТЕМЫ РАСПОЗНАВАНИЯ ДОРОЖНЫХ ЗНАКОВ С УЧЕТОМ ОСОБЕННОСТЕЙ ПРЕДМЕТНОЙ ОБЛАСТИ
Пчелинцев С.Ю.
Тамбовский государственный университет имени ГР Державина E-mail: veselyrojer@mail.ru
От систем распознавания дорожных знаков требуется высокий уровень оперативности и точности выполнения при ограниченном использовании вычислительных ресурсов. Процесс предварительной обработки изображений предшествует процессу непосредственно распознавания изображений, поэтому от его эффективности зависят результаты распознавания. При проведении предварительной обработки важно учитывать особенности предметной области, в рамках которой производится распознавание. В статье рассматривается процесс проведения предварительной обработки и подготовки изображений в контексте создания системы по распознаванию дорожных знаков. Обозначены основные проблемы, возникающие в ходе функционирования такой системы, предложены их решения. Собственная комбинация данных решений позволила создать новую систему по распознаванию дорожных знаков, дающую выигрыш в скорости обработки за счет отсечения не представляющих интерес изображений до поступления на классификатор, а также учитывающую особенности эксплуатации в городской среде - более сложных условиях по сравнению с распознаванием дорожных знаков на трассах или на искусственно созданных полигонах.
Ключевые слова: компьютерное зрение, нейронные сети, распознавание образов, искусственный интеллект, распознавание дорожных знаков.
MODIFICATION OF THE PRE-PROCESSING STAGE OF A TRAFFIC SIGN RECOGNITION SYSTEM TAKING INTO ACCOUNT THE CHARACTERISTICS OF THE SUBJECT AREA
Pchelintsev S.Yu.
Tambov State University named after G.R. Derzhavin E-mail: veselyrojer@mail.ru
Traffic sign recognition systems require a high level of responsiveness and accuracy with limited use of computing resources. The process of image pre-processing precedes the process of directly recognizing images, therefore, the recognition results depend on its effectiveness. When conducting pre-processing, it is important to take into account the features of the subject area, within which recognition is performed. The article discusses the process of pre-processing and preparing images in the context of creating a system for recognizing road signs. The main problems that arise during the operation of such a system are identified. Their solutions are proposed. Own combination of these solutions allowed us to create a new system for recognizing road signs, which gives a gain in processing speed by cutting off images of no interest before entering the classifier, and also taking into account the peculiarities of operation in an urban environment - more difficult conditions compared with recognition of road signs on tracks or on artificially created training grounds.
Keywords: computer vision, neural networks, image recognition, artificial intelligence, road sign recognition.
© Пчелинцев С.Ю., 2020
ВВЕДЕНИЕ
Одной из ключевых характеристик системы распознавания дорожных знаков, входящей в состав комплекса автономного управления транспортными средствами, является оперативность, поскольку система должна принимать решения о дорожной обстановке и корректировать в соответствии с ними свое поведение в режиме реального времени. При этом неоднозначность в принятии решений недопустима. Необходимость действовать быстро приводит к выводу об отсутствии у системы лишнего времени на сложные комплексные преобразования поступающей в блок принятия решений информации [4]. А значит, исходные данные, поступающие с камер в форме видеопотока, должны быть преобразованы и обработаны оптимальным образом.
Задача распознавания дорожных знаков заметно усложняется в плотной городской среде, поскольку заметно возрастает как частота появления самих знаков, так и посторонних объектов, таких как рекламные билбор-ды, стоящие транспортные средства, пешеходы, здания и прочие препятствия [7]. Все это тоже приходится анализировать системе, затрачивая свои ресурсы. Значительный недостаток многих исследований на тему распознавания дорожных знаков состоит в том, что они проводились в более простых дорожных ситуациях: на автомагистралях, автополигонах, в сельской местности, а также на малой скорости движения.
Системы автономного управления транспортными средствами предназначены для распознавания ограничений, потенциальных опасностей и угроз, возникающих во время движения транспортных средств, а также определяют возможности для их движения. Ключевой фактор успеха -определение обстановки с учетом правил дорожного движения, регламентирующих действия водителя на данной территории. Так, визуальное распознавание знаков позволяет повысить уровень безопасности дорожного движения, поскольку значительная часть дорожно-транспортных происшествий происходит при недостаточной внимательности водителя или при отсутствии возможности заметить им важный дорожный знак.
Разработка систем распознавания дорожных знаков активно ведется с 1980-х гг. В это время во избежание сложностей, возникающих при работе с большими вычислениями, и для обхода других ограничений, связанных с текущим уровнем развития технологий мобильных вычислений, было разработано специальное микропрограммное аппаратное обеспечение на оптической основе. Затем стали появляться программные комплексы, предназначенные для интеграции с автомобилями. Для успешного функционирования такие системы требовали обработки изображений в реальном времени. Тем не менее они использовали аппаратные компоненты параллельно с программными. При этом используемые камеры имели низкую частоту кадров и низкую разрешающую способность. Это было необходимым ограничением для успешных вычислений. В середине 2000-х гг. применение видеокамер стало массовым явлением, вместе с этим возросли их разрешающая способность и производительность вычислительных систем. Это стало причиной значительного роста числа исследований на тему распознавания дорожных знаков на последующие годы. Вместе с тем проблему
высокоточного распознавания дорожных знаков до сих пор нельзя назвать решенной, поскольку график роста объема обрабатываемой информации, как и разрешающей способности камер, является степенной функцией [9]. В то же время, как известно из закона Мура, график роста вычислительной мощности описывается линейной функцией. Особенно остро вопрос ограничения доступной вычислительной мощности стоит в автономных и мобильных системах.
ОБЩИЕ ПРОБЛЕМЫ
Зачастую распознавание дорожных знаков проводят в искусственно контролируемой среде. Такое ограничение помогает инженерам создавать системы с использованием обширных знаний о дорожных ситуациях, в которых правила дорожного движения не нарушаются, знаки и разметка всегда читаемы. Между тем, реальные дорожные условия, например, представленные на рис. 1, могут сильно отличаться от идеальных, что приводит к практически бесконечному множеству проблем, возникающих при внедрении системы распознавания дорожных знаков. Данные проблемы характерны применительно к предметной области дорожных знаков. Поэтому учитывание ее особенностей позволит подстроить под них обработку изображений и тем самым частично скомпенсировать эти проблемы.
Одна из наиболее популярных проблем заключается в том, как обнаружить и компенсировать изменение условий освещения, возникающее при изменении погоды, времени суток, а также при поворотах транспортного средства. Большинство камер оптимизировано под возможности человеческого зрения, поэтому они могут изменять отображаемое цветовое представление в соответствии с яркостью и углом освещения. Например, камеры добавляют наименее важный цвет (обычно синий), чтобы добавлять ощущение тени, тумана, дождливой или облачной погоды, а также чтобы компенсировать серые области на изображениях. Другая хитрость заключается в уменьшении красных компонентов (и увеличении серых) в условиях непрямого освещения: человеческие глаза по-прежнему ощущают обширные красные пиксели, в то время как общее представление снимка
Рис. 1. Пример ситуаций, в которых нарушена читаемость дорожных знаков
становится более аутентичным. Если камеры расставлены перед источником света, т.е. часть их направлена против солнца, камеры компенсируют значения яркости белым, превращая все цвета в серые [3]. Стоит отметить, что в настоящее время практически не существует проектов по распознаванию дорожных знаков в ночное время.
Сокрытие дорожных знаков или их части за другими дорожными объектами такими, как растительность, здания, транспортные средства, пешеходы и прочие препятствия, также является важным фактором, который следует учитывать. Если часть объекта скрыта, то для успешного обнаружения и классификации необходимо ослабить некоторые условия распознавания, выполнение которых требуется в рамках решения задачи распознавания, что приводит к увеличению количества ошибок распознавания, поскольку могут быть распознаны как дорожные знаки некоторые объекты, не являющиеся ими. Общий подход состоит в том, чтобы вычислять и записывать все объекты, присутствующие на изображениях, однако из-за сложности вычислений соблюдение условия реального времени может выполняться только при очень низкой скорости обработки или с низкой частотой кадров.
Различные повороты в плоскости и вне плоскости, а также изменение угла обзора могут вызывать проблемы для распознавания как для распознавателя, действующего на основе поиска объекта по его форме, так и для других методов классификации, недостаточно надежных для я-мерных неаффинных преобразований. Например, квадратные дорожные знаки скорее похожи на трапеции, с точки зрения водителя, а нелинейные оптические преобразования камеры превращают круги в овалы. Вот почему в большинстве случаев необходима нелинейная адаптивная нормализация. Однако для того, чтобы найти идеальное преобразование, необходимо идентифицировать эталонный объект.
Физический износ и внешние повреждения распознаваемого объекта также влияют на его успешное восприятие. Ухудшение или преднамеренные деформации (например, коррозия) приводят к потере информации об объекте или ее неправильному толкованию. Эти проблемы не могут быть решены только с помощью систем, основанных на камерах. Существуют исследования [10], в рамках которых рассматривалась случайная деградация для изображений с низким разрешением, однако их генеративная модель скорее подходит для функции деградации, чем реальных ухудшений. В другом исследовании [12] подобные искажения объекта сравнивались с проблемами распознавания объекта с большого расстояния. В рамках этого исследования было заявлено, что яркость является хорошей характеристикой для инвариантного распознавания дистанции, которая не помогает идентифицировать локально поврежденные дорожные знаки, но свето-возвращающий слой содержит информацию, помогающую процессу распознавания. Таким образом, системы распознавания ограничения скорости используют вспомогательное излучение света и извлекают эту световоз-вращающую информацию там, где они доступны.
Видео - это последовательность изображений, снятых на разной скорости движения. Из-за этого могут возникать проблемы с фокусировкой или размытием, а иногда они не позволяют захватить дорожные знаки с при-
емлемым для распознавания размером (по меньшей мере 18 пикселей). Записи с высокоскоростных камер могут быть компенсированы увеличением частоты кадров до достижения условия реального времени.
Не менее важная проблема заключается в том, что знаки могут отличаться от региона к региону, а тем более от государства к государству. Особенно это касается знаков, содержащих текстовую информацию. Знаки ряда государств, в том числе и Российской Федерации, подписавших Венскую конвенцию о дорожных знаках и сигналах, унифицированы и стандартизированы [15]. Это частично, но не полностью устраняет данную проблему.
ОСНОВНЫЕ ЭТАПЫ ПРОЦЕССА РАСПОЗНАВАНИЯ
Система распознавания дорожных знаков реального времени столкнется со всеми вышеупомянутыми проблемами во время выполнения трех основных этапов распознавания, указанных на рис. 2:
1. Сегментация цвета или цветокоррекция включает в себя декодирование видео и изображений, а также преобразования цветового пространства.
2. Выбор областей интересов, в которых на изображении присутствуют дорожные знаки [5].
3. Идентификация дорожных знаков, т.е. методы извлечения признаков, используемые с классификаторами интеллектуального анализа данных.
ЭтапО. Этап 1.
Получение Выделение изображения цвета
Этап 2.
Определение области интересов
Этап 3.
Классификация
Рис. 2. Основные этапы процесса распознавания дорожных знаков
Существует три различные группы решений в области сегментации цвета:
1. Использующие изначально доступные цветовые пространства, такие как RGB, это RGBY, YUV или YCbCr.
2. Использующие специальные преобразования цветовых пространств, такие как HSL, HSI или HSVHSB.
3. Новые исследования, сосредоточенные на более сложных цветовых пространствах, например CIELAB, CIECAMи CIELUV, которые очень хороши для моделирования восприятия цвета человеком [2].
RGB и YUV являются очевидным выбором для распознавания дорожных знаков, поскольку наиболее распространенные видеокодеки изначально поддерживают эти цветовые пространства, дополнительное время обработки не требуется. С другой стороны, такой выигрыш во времени об-
работки обычно теряется всякий раз, когда цвета, такие как красный, синий или желтый, извлекаются в естественных условиях. Эта проблема может быть легко решена с помощью HSL и подобных цветовых пространств за счет расчета матричного произведения. Не существует уверенных доказательств того, что цветовое пространство RGB или HSL лучше подходит для распознавания дорожного знака, каждое имеет свои преимущества и недостатки. В случае CIECAM подсчет требует значительного времени вычисления, но результаты показывают, что это цветовое пространство может повысить общую точность классификации в солнечную, облачную и дождливую погоду на 8 % по сравнению с HSL. Наиболее важные цвета для распознавания дорожных знаков, а именно красный, синий, желтый, черный и белый, не могут быть легко зафиксированы в одном цветовом пространстве. Компонент оттенок, который содержит информацию о цвете в цветовых пространствах HSV и CIELAB, зависит от расстояния, погодных условий и возраста дорожных знаков. Кроме того, эти цветовые пространства ориентированы на определение цвета одного пикселя, они не имеют отношения к проблеме аддитивного смешения цветов, т.е. когда соседние пиксели (например, серый и оранжевый или черный и белый) рассматриваются как другой цвет (например, красный или серый соответственно) с определенного расстояния.
Наиболее распространенные подходы при выборе областей интересов - это использование фильтрации на основе цвета, формы и фрагментов для выбора на изображениях областей, которые могут содержать дорожные знаки. Цветовые фильтры выбирают подходящие области, в которых распределение и количество действительных цветов дорожного знака присутствуют в допустимом размере. Как отмечалось выше, восприятие цвета - нечеткий процесс. В городской среде красный, синий и белый цвета встречаются слишком часто. Например, рекламные щиты, телефонные будки часто используют эти цвета, поэтому цветные фильтры обычно выявляют слишком много областей интересов, что замедляет обработку изображений. Цветовые фильтры, как правило, используются только для автомобильных дорог.
В фильтрах формы используются хорошо известные алгоритмы обнаружения краев, однако они чувствительны к шумам, поэтому для сглаживания часто требуются фильтры Лапласа. Различные типы преобразований Хафа также популярны, но поскольку их сложность составляет O(n2) или выше, если учитывать повороты, где n - число пикселей. Как следствие, фильтры формы не используются в чистом виде для решения задач в реальном времени. Стоит отметить, что уменьшение n значительно улучшает общую производительность. Один из способов сделать это - использовать цветные фильтры для предварительного выбора области интересов, другой способ - использовать некоторые конкретные точки или функции и вычислять преобразование только по этим точкам. Последнее называется фильтрацией на основе исправлений.
Большинство подходов на основе исправлений вдохновлены наработками, основанными на каскаде усиленных признаков Хаара [1]. В этом случае признаки Хаара представляют собой линейное уравнение для значений пикселей в прямоугольниках, которые классифицируются по алгоритму
AdaBoost. Поскольку эти прямоугольники подходят только для знаков дорожного движения, подход Виолы - Джонса может хорошо идентифицировать повернутые и погнутые дорожные знаки. Сложность подхода Виолы - Джонса составляет O(f s • n), где f - число объектов, s - размер прямоугольника и n - число пикселей на изображении, поэтому тогда и только тогда, когда f • s << n сложность квазилинейна, т.е. алгоритм быстр для поиска небольших объектов на изображениях высокого качества [8].
Идентификация дорожных знаков обычно состоит из двух тесно связанных этапов: предварительной обработки и стадии классификации [7]. Хорошо известные классификаторы, такие как многослойные персептро-ны (MLP), радиальные базисные функции (SVM), ^-ближайших соседних узлов, деревья решений, чувствительны к несоответствиям входных данных, например, к смещению данных, поворотам, затенению или затуханию, а также к проблемам с масштабированием, особенно если входные данные являются двумерными объектами [16]. Классификаторы требуют, чтобы входные данные были нормализованы любым возможным способом, поэтому важно использовать методы извлечения признаков для преобразования входных данных в единое пространство объектов.
Некоторые решения используют любое быстрое простое распределение цвета или сопоставление с образцом на основе правил. Несмотря на то, что они удивительно устойчивы к затенению, они не могут должным образом обрабатывать повороты или присутствие множества дорожных знаков одновременно. Другие решения пытаются использовать хорошо известную технику обработки данных, основанную на выборе признаков, такую как анализ основных компонентов (PCA), разложение по сингулярным значениям (SVD) или различные виды преобразований Фурье. Однако эти решения не только затратны вычислительно, но также могут применяться без каких-либо затенений и очень чувствительны к цветовому представлению. Алгоритмы SIFT и SURF были придуманы для решения наиболее распространенных проблем распознавания объектов путем введения ключевых факторов распознавания в изображениях [14]. Оба алгоритма и производные от них очень надежны и даже справляются с изменением угла обзора, тем не менее они могут применяться для распознавания или отслеживания небольших объектов в приложениях, работающих в реальном времени.
ПРЕДЛАГАЕМОЕ РЕШЕНИЕ
Основная идея предлагаемого решения в том, чтобы сократить общее время обработки, предварительно отфильтровав все регионы, объекты-кандидаты и схемы цветов, которые определенно не являются дорожными знаками. Очевидно, что, если проблемное пространство достаточно мало, для обработки видео в реальном времени могут применяться даже трудоемкие операции. Исходя из вышеуказанного, был придуман новый метод предварительной обработки, сочетающий в себе использование кодировки YUV420, статистический анализ для отбора наиболее значимых цветов, обрезку не представляющих интереса частей изображения для ускорения обработки, использование цветового пространства CIELAB и фильтрация на основе хроматической плотности. Прошедшие предварительную
Рис. 3. Основные этапы функционирования системы
обработку изображения поступают на вход сверточной нейронной сети. Блок-схема, содержащая основные этапы функционирования предлагаемой системы показана на рис. 3. Это система в общем виде, которая может использоваться как в персональных, так и в мобильных компьютерных средах на основе высококачественного видеопотока с веб-камерой.
Получение изображений. Веб-камера выводит видео в формате MPEG4 с кодировкой УЦУ420 с разрешением 1600x1200 кадров и скоростью 25 кадров в секунду. Для обработки 2 млн пикселей за 40 мс требуется, чтобы все алгоритмы были линейными или, по крайней мере, квазилинейными.
Статистический анализ изображений. Наиболее распространенные цвета, принадлежащие окружающей среде, например, посередине правой стороны изображений, называются зоной фокусировки, зеленые пятна -это обычно деревья или трава за городом в то время, как значения серого почти всегда являются зданиями в городской среде. Знаки дорожного движения не являются распространенными, тем не менее они гораздо более частые и регулярные, чем рекламные панели, телефонные будки или другие фоновые объекты. Анализ показывает, что 12-22 наиболее распространенных цветов и их оттенков содержатся в дорожных знаках. Поскольку значения цвета на изображении меняются в зависимости от погоды, расстояния и даже в разные времена года, вводится компонент статистического анализа изображения, который исследует распределение цвета изображения в определенных областях и периодически обновляет представляющие интерес значения цвета. Следует отметить, что статистический анализ изображений не позволяет отфильтровать области без какого-либо явного знания о том, какие цвета присутствуют в знаках дорожного движения, т.е. предполагается, что представляющие интерес значения цвета являются надмножеством цветов дорожного знака. Также статистический анализ изображений предоставляет информацию для нормализации цвета, которая очень полезна в различных погодных условиях, или чтобы решить, ведется ли захват изображения из города или за городом, например, в сельской местности.
Также на данном этапе учитывается, в какой части изображения наиболее вероятно появление дорожного знака. Для стран с правосторонним движением - это преимущественно направление правого верхнего угла.
Обрезка проблемных областей. Если представляющие интерес цвета зоны фокусировки не появляются в других областях, несоответствующие области исключаются путем обрезки. Это довольно быстрая операция, которая значительно уменьшает проблемное пространство и делает медленную цветовую сегментацию быстрее.
Сегментация цвета. В качестве устройства ввода, оптимизированного для человеческого зрения, используется веб-камера. Как следствие, во время цветовой сегментации видео с кодировкой YUV420 необходимо учитывать, что сложение смежных цветов пикселей воспринимается людьми по-разному (рис. 4). Повторная цветовая выборка для входных изображений делается с использованием нейронной сети типа многослойный персеп-трон, а значения преобразуются в цветовое пространство CIELAB, используемое для фильтрации цвета.
Рис. 4. Изменение информации о цвете при увеличении изображения, демонстрирующее, что человеческое восприятие цвета -нечеткий процесс с точки зрения компьютера
Фильтрация цвета. Цветовая фильтрация обеспечивает вывод изображений только с цветами, которые используются в дорожных знаках.
Естественно, Хоф-подобное преобразование для правильного определения ограничивающих рамок - это хороший выбор, если точность является единственным параметром, который необходимо принимать во внимание. Хотя в рассматриваемом подходе проблемное пространство значительно сокращается, все же любой известный фильтр на основе формы потребляет не менее 15 мс времени обработки на двухъядерном ноутбуке на базе мобильного процессора, что неприемлемо для приложений в режиме реального времени [11]. Чтобы соответствовать критерию реального времени, используется фильтрация на основе плотности. Для каждого пикселя в координатах i, ] вводится значение хроматической плотности:
,; = +
Х1+1, ]-1 + Х1+1, ] + Х1+1, ]+1 + Х1, ]+1
1, х е С,
где
х,,] 1о, х е С,
здесь С - множество цветов, из которых состоят дорожные знаки.
4
Для каждой строки и столбца матрицы исключаются все смежные строки в каждом направлении (сверху/снизу и слева/справа соответственно), где нет двух смежных пикселей, для которых с, > 1. Если обрезанная область недостаточно велика, т.е. имеет размер не более 18 пикселей, то она отбрасывается. Стоит отметить, что значение хроматической плотности является монотонно возрастающей функцией для непрерывных цветовых точек справа налево и от нижнего правого угла к верхнему левому углу, поэтому оно также кодирует некоторые контуры дорожных знаков. Применив значения длины диагонального прогона, можно выделить перекрывающиеся дорожные знаки из обрезанной области.
Дорожные знаки различаются между регионами и странами. Цветовые коды и пиктограммы, используемые в некоторых населенных пунктах, отличаются друг от друга, поэтому представляется достаточно очевидным рассматривать широкий спектр цветов в качестве цветных знаков для того, чтобы избежать специфического распознавания страны. Кроме того, дорожные знаки могут иметь альтернативный внешний вид, например, могут иметь место альтернативные цвета фона или другие сочетания цветов, больше соответствующие местным условиям видимости.
Выбор области интересов. Отметим, что точность распознавания также зависит от алгоритма выбора области интересов, поэтому надежный метод распознавания должен также идентифицировать дорожные знаки на основе фрагментов изображений. Современные исследования показывают, что бинарные признаки Хаара, выделяемые для каждого канала цветности, идеально подходят для решения последней проблемы. Поскольку количество вариантов возможных цветов для дорожного знака больше, чем количество цветов, используемых для знаков в одной стране, необходимо увеличить число признаков на количество специфичных для отдельных стран каналов цветности. Тесты показывают, что дублирование этих признаков является обязательным, однако большинство формул Хаар-подобных признаков одинаковы для различных цветовых каналов. Поэтому вводятся цвето-нечувствительные вейвлеты Хаара следующим образом.
Пусть С = {ср с2,..., сп} - набор допустимых цветовых кодов, где с - используемый в дорожных знаках цвет; Т - набор распознаваемых системой дорожных знаков и т: Т ^ 22С - функция, которая получает действительные шаблоны для каждого дорожного знака; f : Н ^ 2Т - предопределенная функция, которая отображает признаки Хаара в изображениях на набор возможных дорожных знаков, содержащих этот признак. Например, если красный прямоугольник ширины w высотой к расположен над белым прямоугольником того же размера, то / (Н) = {V}. Если имеется синий прямоугольник, за которым следует зеленый, то / (Н) = 0.
Алгоритм распознавания основан на функциях f и т. Для каждого из признаков Хаара Н„ Н, Нк в пикселях i, ], к соответственно выполняется геометрическая проверка с использованием шаблонов {т(Т) | Т: / (Н) п п / (Н) п / (Нк)}, для которых
Т: / (Н) п / (Н) п / (Щ)
и
argmax (й(/,)), йк), й(1, к)) > г, где t - это предопределенный порог.
Для определения, содержит ли данная область-кандидат дорожный знак, создается новый параллельный поток. При этом в конечной реализации системы функция / была заменена на алгоритм AdaBoost, который работает на вейвлетах Хаара. Для AdaBoost функция т неявно закодирована в своих состояниях после обучения во время построения модели. Использование AdaBoost также дало значительный выигрыш во времени обработки, поскольку признаки Хаара рассчитываются один раз: общая сложность равна О(пТ), где п - количество пикселей (признаков Хаара), подлежащих обработке.
Идентификация дорожных знаков. На вход сверточной нейронной сети поступает обрезанное изображение, предположительно содержащее дорожный знак. Остальные изображения были отсечены на предыдущих этапах в ходе выполнения предварительной обработки. Такой подход позволил сэкономить время на их обработке нейронной сетью. Размер изображения составляет 32 на 32 пикселя. Модель на основе нейронной сети ResNet-20 анализирует полученное изображение, и в случае, если удалось распознать объект на нем как дорожный знак, присваивает присутствующему объекту номер и наименование соответствующего ему дорожного знака согласно ГОСТ Р 52290-2004 [13]. Таким образом производится идентификация дорожного знака.
ЭКСПЕРИМЕНТЫ И РЕЗУЛЬТАТЫ
Для оценки работоспособности и применимости предлагаемого решения была проведена серия тестов. Данные тесты основаны на записях с видеорегистраторов, взятых из открытых источников сети Интернет. Общая продолжительность исследованного материала составила свыше 10 ч. Далее приведены некоторые характеристики экспериментальной выборки:
- 60 % исследуемого видеопотока составили записи в городских условиях, оставшиеся 40 % - записи с загородных трасс и автострад,
- 70 % исследуемых видеозаписей имели разрешение 800 х 600 пикселей, по 15 % исследуемых видеозаписей имели разрешение 388 х 260 и 1600 х 1200 пикселей, во всех случаях частота кадров была равна 24 кадрам в секунду,
- на исследуемых записях были представлены все четыре времени года с различными погодными условиями,
- исследуемые видеозаписи были сняты в Российской Федерации (80 %), а также в странах ближнего зарубежья.
Поскольку основной интерес в данном исследовании представляет используемый в системе распознавания дорожных знаков и синтезированный на основе математических алгоритмов, с учетом знаний особенностей предметной области метод предварительной обработки изображений, для оценки его эффективности было решено сравнить результаты работы системы по распознаванию как с использованием данного метода, так и без него. Таким образом, все проведенные эксперименты можно поделить на две группы. В первую группу вошли серии тестов с системой распознавания дорожных знаков на основе сверточной нейронной сети без проведения предварительной обработки входящих изображений. Во вторую группу вошли
серии тестов с системой распознавания дорожных знаков, аналогичной системе из первой группы, но усиленной предлагаемыми в исследовании методами предварительной обработки.
В первой серии тестов оценивалась общая работа системы. Из всей собранной базы с записями с видеорегистраторов были нарезаны 10 видеороликов, на которых дорожные знаки появляются наиболее часто, продолжительностью по 2 мин каждый. На основе этих роликов была создана база данных шаблонов дорожных знаков, в которой ключевые кадры (содержащие дорожные знаки) были помечены специальной меткой. Каждый шаблон добавлялся в базу при его появлении в обучающей выборке несколько раз (как правило, от 1 до 7), при этом появления между отдельными кадрами не учитывались. Тестовые данные включали один час видеозаписей, которые не появлялись в обучающей выборке.
Во второй серии тестов проводилась оценка всей 10-часовой базы видеозаписей с использованием той же обучающей выборки.
Наконец, в третьей серии тестов экспериментов модель системы была модифицирована с использованием результатов второй экспериментальной группы. После этого была проверена работа предлагаемого решения на новых, неизвестных данному алгоритму видеозаписях с другими дорожными маршрутами.
Результаты экспериментов для системы без проведения предварительной обработки представлены в табл. 1, для системы с проведением предварительной обработки - в табл. 2.
Таблица 1
Результаты экспериментов для системы без проведения предварительной обработки
Серия экспериментов Точное распознавание, % Ложное распознавание, % Пропуск знака, % Кол-во дорожных знаков Частота кадров, к/с
1 52,6 24,6 22,8 254 15
2 43,1 31,2 25,7 3366 14
3 42,8 28,0 29,2 311 6
Таблица 2
Результаты экспериментов для системы с проведением предварительной обработки
Серия экспериментов Точное распознавание, % Ложное распознавание, % Пропуск знака, % Кол-во дорожных знаков Частота кадров, к/с
1 78,4 12,6 9,0 254 30
2 69,7 12,5 17,8 3366 29
3 68,1 16,0 15,9 311 26
Из представленных данных можно сделать вывод, что внедрение методов предварительной обработки позволило увеличить общий процент успешных распознаваний, снизить процент ложных распознаваний (ошибки первого рода) и процент пропуска объекта (ошибки второго рода). Кроме того, методы предварительной обработки позволили ускорить процесс распознавания и достичь тем самым критерия реального времени.
Снижение производительности при переносе системы на более слабый компьютер удалось компенсировать алгоритмами отслеживания: при одном успешном распознавании дорожного знака система игнорировала его в дальнейшем, что позволило получить значительный выигрыш вычислительных ресурсов. Для дальнейшего улучшения точности распознавания следует проводить обучение на более широком наборе данных о дорожных знаках.
ЗАКЛЮЧЕНИЕ
Исследование предметной области дорожных знаков позволило выделить основные особенности процесса распознавания изображений применительно к этой области, включающие цветовые, световые искажения, а также искажения формы объектов и их положение относительно границ кадра. Знание этих особенностей позволило создать систему распознавания дорожных знаков, основанную на сверточной нейронной сети и авторской комбинации математических алгоритмов для создания собственной реализации этапа предварительной обработки изображений. Система объединяет информацию о цвете, форме и движении. Она основана на трех основных компонентах: хорошо известном способе извлечения цвета, ускоренной идентификации области интересов на основе высокоточных преобразований и модуля распознавания, не зависящего от страны.
Для оценки эффективности процесса предварительной обработки были проведены серии тестов как с использованием предварительной обработки, так и без нее. Полученные результаты доказали эффективность предлагаемого решения и являются прямым следствием тщательного тестирования системы с учетом различных условий окружающей среды.
Созданную систему можно оптимизировать под мобильные платформы, в частности ОС Android, что позволит внедрить ее в различный спектр портативных устройств. Использование созданной системы в несвязанных с распознаванием дорожных знаков предметных областях возможно только при тщательном исследовании их особенностей с внесением соответствующих корректив в процесс предварительной обработки и с обучением нейронной сети на соответствующем наборе данных.
Литература
1. Белых Е.А. Обучение каскадов Хаара // Вестник Сыктывкарского университета. Сер. 1: Математика. Механика. Информатика. 2017. Вып.1 (22). С. 41-53.
2. Бычков С.С. Классификация методов распознавания дорожных знаков по видеопоследовательности // Решетневские чтения. 2017 № 21-2. С. 313-314.
3. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2012. 1104 с.
4. Елизаров Д.А. Разработка системы распознавания дорожных знаков // Омский научный вестник. 2017 № 4 (154). С. 120-123.
5. Курбатова Е.Е. Комбинированный алгоритм выделения контуров объектов интереса в мониторинговых системах // Вестник Нижегородского университета им. Н.И. Лобачевского. 2013. № 2 (1). С. 60-65.
6. Медведев М.В., Кирпичников А.П., Синичкина Т.А. Детектирование дорожных знаков при помощи компьютерного зрения // Вестник технологического университета. 2016. № 18. С. 143-147
7. Половинкин А.Н. Алгоритмы классификации изображений с большим числом категорий объектов // Вестник ННГУ 2013. № 4 (1). С. 225-230.
8. Пчелинцев С.Ю., Арзамасцев А.А. Применение Метода Виолы - Джонса для распознавания дорожных знаков // Российская наука в современном мире: сб. ст. XXI Междунар. науч.-практ. конф. М., 2019. С. 107-108.
9. Цуканов М.В., Пшеничкин Е.В. Сравнительный анализ алгоритмов распознавания дорожных знаков // Инновационная наука. 2018. № 4. С. 66-70.
10. Ciresan D., Meier U., Masci J., Schmidhuber J. A committee of neural networks for traffic sign classification. In International joint conference on neural networks. 2011. P 1918-1921.
11. Ishida H., Takahashi T., Mekada Y., Murase H. Identification of degraded traffic sign symbols by a generative learning method. Nagoya, Japan: Graduate School of Information Science, 2006.
12. Li H., Sun F., Liu L., Wang L. A novel traffic sign detection method via color segmentation and robust shape matching. Neurocomputing, 2015. IP 77-88.
13. Siegmann P., Lopez-Sastre R.J., Gil-Jimenez P., Lafuente-Arroyo S., Maldonado-Bascon S. Fundaments in luminance and retroreflectivity measurements of vertical traffic signs using a color digital camera. IEEE Transactions on Instrumentation and Measurement. 2008. № 3. 607 p.
14. ГОСТ Р 52290-2004. Технические средства организации дорожного движения. Знаки дорожные. Общие технические требования. [Электронный ресурс]. URL: http://www.nppskmost.ru/files/G0ST_P_52290_2004_1.pdf (дата обращения: 14.01.2020).
15. Машинное обучение (курс лекций, К.В. Воронцов). [Электронный ресурс]. URL: http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_(курс_ лекций,_К.В.Воронцов) (дата обращения: 14.01.2020).
16. Российская база изображений автодорожных знаков. [Электронный ресурс]. URL: https://graphics.cs.msu.ru/node/1325 (дата обращения: 14.01.2020).
Bibliography
1. Belyh E.A. Obuchenie kaskadov Haara // Vestnik Syktyvkarskogo universiteta. Ser. 1: Matematika. Mehanika. Informatika. 2017. Vyp. 1 (22). P 41-53.
2. Bychkov S.S. Klassifikacija metodov raspoznavanija dorozhnyh znakov po video-posledovatel'nosti // Reshetnevskie chtenija. 2017. № 21-2. P 313-314.
3. Gonsales R., Vuds R. Cifrovaja obrabotka izobrazhenij. M.: Tehnosfera, 2012. 1104 p.
4. Elizarov D.A. Razrabotka sistemy raspoznavanija dorozhnyh znakov // Omskij na-uchnyj vestnik. 2017. № 4 (154). P 120-123.
5. Kurbatova E.E. Kombinirovannyj algoritm vydelenija konturov ob#ektov interesa v monitoringovyh sistemah // Vestnik Nizhegorodskogo universiteta im. N.I. Loba-chevskogo. 2013. № 2 (1). P 60-65.
6. MedvedevM.V., KirpichnikovA.P., Sinichkina T.A. Detektirovanie dorozhnyh znakov pri pomoshhi komp'juternogo zrenija // Vestnik tehnologicheskogo universiteta. 2016. № 18. P 143-147
7. Polovinkin A.N. Algoritmy klassifikacii izobrazhenij s bol'shim chislom kategorij ob#ektov // Vestnik NNGU. 2013. № 4 (1). P 225-230.
8. Pchelincev S.Ju., Arzamascev A.A. Primenenie Metoda Violy-Dzhonsa dlja raspoznavanija dorozhnyh znakov // Rossijskaja nauka v sovremennom mire: sb. st. XXI Mezhdunar. nauch.-prakt. konf. M., 2019. P 107-108.
9. Cukanov M.V., Pshenichkin E.V. Sravnitel'nyj analiz algoritmov raspoznavanija do-rozhnyh znakov // Innovacionnaja nauka. 2018. № 4. P. 66-70.
10. Ciresan D., Meier U., Masci J., Schmidhuber J. A committee of neural networks for traffic sign classification. In International joint conference on neural networks. 2011. P. 1918-1921.
11. Ishida H., Takahashi T., Mekada Y., Murase H. Identification of degraded traffic sign symbols by a generative learning method. Nagoya, Japan: Graduate School of Information Science, 2006.
12. Li H., Sun F., Liu L., Wang L. A novel traffic sign detection method via color segmentation and robust shape matching. Neurocomputing, 2015. P 77-88.
13. Siegmann P., Lopez-Sastre R.J., Gil-Jimenez P., Lafuente-Arroyo S., Maldonado-Bascon S. Fundaments in luminance and retroreflectivity measurements of vertical traffic signs using a color digital camera. IEEE Transactions on Instrumentation and Measurement. 2008. № 3. 607 p.
14. GOST R 52290-2004. Tehnicheskie sredstva organizacii dorozhnogo dvizhenija. Znaki dorozhnye. Obshhie tehnicheskie trebovanija. [Jelektronnyj resurs]. URL: http://www. nppskmost.ru/files/G0ST_P_52290_2004_1.pdf (data obrashhenija: 14.01.2020).
15. Mashinnoe obuchenie (kurs lekcij, K.V Voroncov). [Jelektronnyj resurs]. URL: http://www.machinelearning.ru/wiki/index.php?title=Mashinnoe_obuchenie_(kurs_ lekcij,_K.VVoroncov) (data obrashhenija: 14.01.2020).
16. Rossijskaja baza izobrazhenij avtodorozhnyh znakov. [Jelektronnyj resurs]. URL: https://graphics.cs.msu.ru/node/1325 (data obrashhenija: 14.01.2020).
