CC BY
16УДК 004.932
МЕТОД ПОСЛЕДОВАТЕЛЬНОГО УТОЧНЕНИЯ ГРАНИЦ НА ИЗОБРАЖЕНИЯХ ДОРОЖНОЙ ОБСТАНОВКИ
Статья поступила в редакцию 01.07.2020, в окончательном варианте — 20.09.2020.
Ляшева Стелла Альбертовна, Казанский национальный исследовательский технический университет им. А.Н.Туполева-КАИ, 420111, Российская Федерация, Республика Татарстан, г. Казань, ул. К. Маркса, 10,
кандидат технических наук, доцент, ORCID https://orcid.org/0000-0002-2199-3924, РИНЦ AuthorID 701461, e-mail: salyasheva@kai.ru
Шлеймович Михаил Петрович, Казанский национальный исследовательский технический университет им. А.Н.Туполева-КАИ, 420111, Российская Федерация, Республика Татарстан, г. Казань, ул. К. Маркса, 10,
кандидат технических наук, доцент, заведующий кафедрой автоматизированных систем обработки информации и управления, ORCID https://orcid.org/0000-0002-3021-5139, РИНЦ AuthorID 700796, e-mail: mpshleymovich@kai.ru
В настоящее время активно развивается концепция «умный город», которая определяет задачи оптимального распределения ресурсов и обеспечения безопасности городской инфраструктуры, в том числе безопасности дорожного движения. Это особенно актуально в связи с ростом количества транспортных средств, среди которых прогнозируется появление беспилотных автомобилей. Решение указанной задачи основано на привлечении различных технологий, в том числе технологий компьютерного зрения. Одно из направлений здесь основано на машинном обучении, в рамках которого рассматриваются модели объектов на изображениях в виде векторов признаков. Такие модели представляют собой описания объектов для обучения классификаторов, обеспечивающих их обнаружение и распознавание. В качестве признаков часто используются признаки границ. Их формирование сводится к выполнению двух шагов - выделение границ и их описание в виде дескрипторов. В данной работе описан метод выделения границ объектов на изображениях дорожной обстановки, который базируется на применении кратно-масштабного вейвлет-преобразования. Предлагаемый метод основан на определении значимости величины изменения яркости в некоторой точке на определенном уровне вейвлет-разложения на основе оценки вклада в общую энергию изображения соответствующих этой точке детализирующих коэффициентов. Метод определяет последовательное уточнение границ, которое делается в предположении соответствия граничных точек на разных уровнях. Данное предположение обусловливается тем, что значения яркостей пикселей копий изображения на разных уровнях кратно-масштабного разложения взаимосвязаны друг с другом. Описанный метод прост для реализации, обладает сравнительно высоким быстродействием и возможностью гибкой настройки для реальных условий работы. Как следствие, он может быть использован в системах анализа видеопотоков, работающих в реальном масштабе времени.
Ключевые слова: интеллектуальные системы беспилотных транспортных средств, компьютерное зрение, обнаружение и распознавание объектов на изображениях, признаки границ объектов, выделение границ на изображениях, вейвлет-преобразование, энергия изображения, утончение границ
METHOD OF BOUNDARIES SEQUENTIAL ЯЕЕШШО IN THE IMAGES OF TRAFFIC CONDITIONS
The article was received by the editorial board on 01.07.2020, in the final version — 20.07.2020.
Lyasheva Stella A., Kazan National Research Technical University named after A.N. Tupolev-KAI, 10 K. Marx St., Kazan, 420111, Republic of Tatarstan, Russian Federation,
Cand. Sci. (Engineering), Associate Professor, ORCID https://orcid.org/0000-0002-2199-3924, RISC AuthorID 701461, e-mail: salyasheva@kai.ru
Shleymovich Mikhail P., Kazan National Research Technical University named after A.N. Tupolev-KAI, 10 K. Marx St., Kazan, 420111, Republic of Tatarstan, Russian Federation,
Cand. Sci. (Engineering), Associate Professor, Head of the Department for Automated Systems for Information Processing and Control, ORCID https://orcid.org/0000-0002-3021-5139, RISC AuthorID 700796, e-mail: mpshleymovich@kai.ru
Currently, the concept of "smart city" is being actively developed, which defines the tasks of optimal resource allocation and ensuring the safety of urban infrastructure, including road safety. This is especially true in connection with the growing number of vehicles, among which the appearance of self-driving cars is predicted. The solution to this problem is based on the use of various technologies, including computer vision technologies. One of the directions here is based on machine learning, in which models of objects in images are considered as feature vectors. Such
models are descriptions of objects for training classifiers that ensure their detection and recognition. Boundary features are often used as attributes, which are formed by performing two steps: selecting boundaries and describing them as descriptors. This paper describes a method for selecting the boundaries of objects in images of traffic conditions, which is based on the use of multiple-scale wavelet transform. The method is based on determining the significance of the brightness change at a certain point at a certain level of the wavelet decomposition based on the estimation of the contribution to the total image energy of the corresponding detail coefficients. The method defines a sequential refinement of boundaries, which is done under the assumption that the boundary points match at different levels. This assumption is based on the fact that the brightness values of pixels of image copies at different levels of multiple-scale decomposition are interrelated with each other. The described method is simple to implement, has a relatively high speed and can be flexibly configured for different operating conditions.
Keywords: self-driving cars intelligent systems, computer vision, detection and recognition of objects in images, object boundary features, boundaries detection on images, wavelet transform, image energy, boundary thinning
Графическая аннотация (Graphical annotation)
Изображение Вейвлет-разложение
(Image) (Wavelet decomposition)
Тонкие границы Границы
(Thin boundaries) (Boundaries)
Введение. В настоящее время активно развиваются научно-технические направления, связанные с реализацией концепции «умный город». Цель данной концепции заключается в повышении эффективности и безопасности работы всех городских (в широком смысле слова) служб. В зависимости от целей городского планирования «умный город» можно определить как «цифровой город», «город знаний», «кибергород» или «экогород». Умные города ведут постоянный мониторинг важнейших объектов инфраструктуры - автомобильных дорог, мостов, туннелей, железных дорог, метро, аэропортов, систем связи и др. в целях оптимального распределения ресурсов и обеспечения безопасности [6].
Одной из задач умного города является организация транспортных потоков. При этом весьма остро стоит проблема обеспечения безопасности участников дорожного движения. Указанная задача усложняется тем, что, согласно имеющимся прогнозам, через несколько лет предполагается появление на дорогах миллионов беспилотных транспортных средств [4]. При этом возможность выделения для них отдельных «полос движения» в большинстве существующих городов фактически отсутствует.
Обеспечить безопасность дорожного движения, участником которого является беспилотное транспортное средство, невозможно без интеллектуализации бортовых автомобильных систем. При этом необходимо, чтобы решения в таких системах, принимаемые в процессе управления, были по скорости и точности, по крайней мере, не хуже решений человека-водителя. Для достижения этого при проектировании интеллектуальных систем беспилотных транспортных средств применяются
различные технологии, в том числе технологии компьютерного зрения, геоинформационные технологии, вычислительные технологии, технологии машинного обучения, технологии передачи и хранения больших объемов данных, технологии обеспечения помехозащищенности и др. [1, 2, 11, 13].
Таким образом, актуальны работы, направленные на создание новых эффективных методов в области интеллектуальных технологий для беспилотных транспортных средств, в том числе методов обработки и анализа изображений. Представление одного из таких методов является целью данной статьи.
Обнаружение и описание границ объектов на изображениях. Одним из ключевых компонентов интеллектуальной системы беспилотного транспортного средства является подсистема компьютерного зрения. Как правило, она включает в себя средства обработки информации, поступающей с видеокамер, радаров, лидаров и других источников информации [12].
Обработка изображений от видеокамер позволяет обеспечить обнаружение препятствий в режиме реального времени для облегчения смены полос движения и получения необходимой информации, связанной с использованием проезжей части дороги (например, дорожных знаков).
Создание эффективных средств обработки изображений в интеллектуальных системах беспилотных автомобилей требует решения фундаментальных проблем, связанных с разработкой моделей и методов обнаружения и распознавания объектов и ситуаций в реальном времени.
Одно из таких направлений основано на методах машинного обучения. В его рамках рассматриваются модели объектов на изображениях, представляемых в виде векторов признаков, и классификаторы, которые обучаются распознавать объекты, соответствующие этим моделям. Наиболее часто модели объектов на изображениях базируются на признаках цвета, текстуры и формы [9, 14, 17, 22, 23, 28].
К часто используемым признакам формы относятся признаки границ объектов [21]. Дискретная граница области может быть сколь угодно точно приближена ломаной линией за счет уменьшения размеров ее участков. На практике цель аппроксимации ломаной линией состоит в том, чтобы с помощью как можно меньшего числа отрезков получить наиболее существенную информацию о границе. Несмотря на то, что в общем случае решение данной задачи является трудоемким, имеется несколько методов с приемлемой вычислительной сложностью, например, методы слияния и разбиения. Описание границ объектов может быть представлено, в частности, в виде последовательности одноточечных отрезков, т.е. в виде последовательности отдельных точек. После получения описания границ объектов в виде последовательности отрезков ломаной линии или отдельных точек формируются вектора их признаков. Например, часто применяются цепные коды, с помощью которых можно представить границу в виде последовательности соединенных отрезков с указанием их длин и направлений. Описать границу области можно также с помощью некоторой одномерной функции. В этом случае говорят об описании области с помощью сигнатуры. Например, один из простейших способов в этом случае состоит в построении зависимости расстояния от центра тяжести некоторого объекта до границы области в виде функции угла. Основная идея применения сигнатур заключается в том, чтобы свести представление границы к одномерной функции, которую возможно будет легче описать, чем исходную двумерную границу. Еще один подход основан на применении преобразования Фурье, с помощью которого строятся фурье-дескрипторы границы.
Таким образом, формирование признаков для классификаторов в данном случае сводится к выполнению двух шагов. На первом шаге осуществляется обнаружение границ, а на втором - их описание в виде набора некоторых значений из определенного множества (дескрипторов). Эффективность решения задач обнаружения и распознавания объектов на изображениях с помощью классификаторов с признаками границы в равной мере зависит от эффективности методов, применяемых как для первого, так и второго шагов.
В данной статье описан метод последовательного уточнения границ объектов на изображениях дорожной обстановки. Он ориентирован, прежде всего, на применение в интеллектуальных системах беспилотных транспортных средств и базируется на кратно-масштабном вейвлет-преобразовании (КМВП).
Характеристика метода. В основе предлагаемого подхода лежит идея многомасштабной обработки изображений для определения точек границ. Многомасштабные методы базируются на теории масштабных пространств, которая разрабатывается с 1960-х годов и базируется на результатах исследований физических процессов и биологического зрения.
В рамках теории масштабных пространств учитываются особенности многомасштабного восприятия объектов реального мира, которые представляются по-разному в зависимости от масштаба рассмотрения. Поскольку заранее неизвестно на каких масштабах следует рассматривать объекты сцены на изображениях, то естественным является подход одновременного рассмотрения представлений сцены сразу на всех масштабных уровнях [16].
Частным случаем применения теории масштабных пространств является построение специальной структуры представления изображений - пирамиды изображений [7, 15]. Разработанная первоначально для применения в задачах машинного зрения и сжатия изображений, эта структура представляет собой набор изображений в уменьшающемся масштабе, организованный в форме пирамиды. Основу пирамиды составляет подлежащее обработке изображение высокого разрешения, а вершина пирамиды состоит из копии исходного изображения низкого разрешения. По мере движения вверх по пирамиде размеры и разрешение (масштаб) уменьшаются. Нижний уровень 3 имеет размеры 23 х 23 или N х N где 3 = а верхний уровень «0» имеет размеры 1 х 1. Про-
межуточный уровень ] имеет размеры 2 х 2 (0 < ] < 3). Часто пирамида усекается до К + 1 уровней, где ] меняется от 3 - К до 3 (1 < К < 3). Данная пирамида называется пирамидой приближения.
Развитие методов обработки изображений с использованием пирамид приближения в сочетании с субполосным кодированием и преобразованием Хаара привело к созданию теории вейвлет-анализа изображений и методов их обработки на ее основе [3].
Достоинствами методов на основе вейвлет-анализа с точки зрения обработки изображений являются следующие:
1. Локализация пространственных и частотных характерных особенностей изображений.
2. Быстрые алгоритмы для дискретных кратно--масштабных преобразований.
3. Инвариантность к сдвигу для непрерывных преобразований.
4. Инвариантность к повороту для комплексных преобразований.
Для обработки изображений часто применяются методы, базирующиеся на КМВП [20, 24]. Их достоинством является, как уже было сказано выше, наличие быстрых вычислительных алгоритмов. При КМВП изображение представляется в наборах аппроксимирующих и детализирующих коэффициентов. Причем относительно большие по абсолютному значению детализирующие коэффициенты соответствуют пикселям изображения, в которых наблюдаются значительные изменения яркости по сравнению с пикселями-соседями. Данная особенность иллюстрируется на рисунке 1, где слева показано одно из стандартных полутоновых изображений размера 256 х 256 пикселей из коллекции иБС^Ш [25], в центре - результат двухуровневого КМВП, справа - результат трехуровневого КМВП. Аппроксимирующие коэффициенты на рисунке 1 показаны в виде пикселей копии изображения малых размеров, а детализирующие коэффициенты - в виде градаций серого (более темные точки соответствуют большим по абсолютному значению коэффициентам).
При выполнении КМВП на уровне ] формируются матрица аппроксимирующих коэффициентов ЬЬ и матрицы горизонтальных, вертикальных и диагональных детализирующих коэффициентов ЬННЬр НЦ. При переходе к следующему уровню ] - 1 из матрицы ЬЬ формируются соответственно матрицы ЬЬ^, ЬНм, НЬ^ и НЦч. Аналогичным образом можно продолжить разложение до заданного уровня у0. Само исходное изображение представляет собой ЬЬ3 - матрицу аппроксимирующих коэффициентов уровня 3 = log2N, где N - кратный двум размер изображения. На основе анализа детализирующих коэффициентов всех уровней можно построить процедуру обнаружения границ объектов на изображении.
Рисунок 1 - Кратно-масштабное вейвлет-преобразование изображения. Слева - исходное изображение. В центре - двухуровневое кратно-масштабное вейвлет-разложение. Справа - трехуровневое кратно-масштабное вейвлет-разложение
Согласно модели человеческого зрения при рассмотрении изображений внимание концентрируется только на некоторых областях, характеризующихся определенными особенностями. В качестве одной из таких особенностей может выступать величина изменения яркости, наблюдаемая в некоторых точках области. А границы объектов на изображении как раз и отражают положение точек, в которых наблюдаются существенные изменения яркости.
Величину изменения яркости в некоторой точке с координатами (Х/, у) на уровне вейвлет-разложения ] можно охарактеризовать с помощью детализирующих коэффициентов ЬН/(х/-, у), НЬ/Х/, у) и НН/(Х/, у), соответствующих этой точке. При этом справедливо равенство, согласно которому энергия изображения может быть вычислена с помощью значений коэффициентов [18, 19]. В общую энергию изображения аппроксимирующие коэффициенты вносят вклад, связанный со средней яркостью в точке, а детализирующие коэффициенты - с изменениями этой яркости. Таким образом, значимость величины изменения в некоторой точке на определенном уровне можно оценить по вкладу в энергию изображения соответствующих детализирующих коэффициентов:
<-.-»•.) = ЛЛХ .Г )- П.лх .у )- тлх .г ). (1)
Значения яркости копий (аппроксимирующие коэффициенты) исходного изображения, получаемые в процессе преобразования, взаимосвязаны друг с другом:
/ // (-V . у) ~ /.// (.V. / 2, у / 2) ~ /.// .(X / 4, у / 4). (2)
С учетом этой взаимосвязи можно предположить, что граничные точки на одном уровне должны соответствовать граничным точкам на другом уровне. Данное предположение позволяет определить следующий алгоритм последовательного уточнения границ объектов на изображении:
1. Преобразовать изображение в полутоновую форму.
2. Определить J = 1о§2^ где N - размер изображения.
3. Задать уровень/0 (/0 < J).
4. Выполнить вейвлет-преобразование изображения до уровня/0
5. На каждом уровне ] (/0 <] < J) вейвлет-разложения вычислить оценки энергии Е/(Х/, у/) для каждой точки (Х/, у/) соответствующей копии изображения.
6. Для каждого уровня/ (/0 </ < J) задать пороговое значение Т/.
7. Для каждого уровня/ (/0 </ < J) сформировать бинарное изображение с двумя значениями яркости В0 для фоновых пикселей и В1 для граничных пикселей с помощью порогового преобразования:
, КАх .г.) /Г..
В/ (х/ , -У/ )=.„ (3)
1В1, Е/(X/,у/)> Т/,
8. Последовательно на уровнях] = /0 + 1, ..., J - 1 выполнить уточнение граничных точек с помощью решающего правила:
ГВс, В /(X/,у/) = В{) V
I vB/(x/, У/) = В1Л
I
АВ/ Ч(Х/./2, у//2) = Во,
В/(Х/, У/)= ^ (4)
[В , В/(Х/,У/)= В1А [ Л В/ _1(х / /2, У/ /2)= В1.
Результатом выполнения алгоритма является изображение размера ^ / 2) х (N / 2), где N -размер исходного изображения, на котором показаны границы объектов. При необходимости можно увеличить результирующее изображение до размеров исходного изображения с последующим утончением границ, например, с помощью алгоритма скелетизации Зонга-Суня [5, 8, 27].
Утончение границ с помощью алгоритма Зонга - Суня. При описании алгоритма Зонга -Суня предполагается, что пиксели переднего плана (т.е. пиксели графического представления объектов) являются черными, а пиксели заднего плана - белыми. При выполнении алгоритма осуществляется сканирование изображения и для каждого черного пикселя анализируется его вось-мисвязная окрестность, т.е. пиксели-соседи. Пикселям окрестности ставятся в соответствие бинарные переменные Ри I = 0, ..., 7, показанные на рисунке 2. На нем переменная Р0 соответствует черному пикселю, для которого рассматривается окрестность. Бинарная переменная Р{ равна «0» для белого пикселя и равна «1» для черного пикселя.
Алгоритм Зонга - Суня состоит в том, что делаются два прохода по черным пикселям изображения. В результате выполнения первого прохода удаляются «лишние» черные «юго-восточные» граничные пиксели и «северо-западные» угловые пиксели. При втором проходе будут удалены «лишние» черные «северо-западные» граничные пиксели и «юго-восточные» угловые пиксели. Проходы выполняются до тех пор, пока имеются черные пиксели, удовлетворяющие условиям для них, описываемым ниже.
P3 P2 Pi
P4 Po P 00
P5 P6 P7
Рисунок 2 - Восьмисвязная окрестность пикселя при выполнении алгоритма Зонга - Суня
Проход 1. Черный пиксель удаляется из изображения (т.е. помечается как белый) при выполнении следующих условий:
8
1) 2 < В(Рп) < 6, где В(Рп)= ZP, :
;= 1
2) A(P0) = 1, где A(P0) - количество переходов от белого пикселя к черному при цикличном обходе соседей в порядке Pi, P2, P3, P4, P5, P6, P7, P0, Pi;
3) P2 x P4 x P6 = 0;
4) P4 x P6 x P8 = 0.
Проход 2. Черный пиксель удаляется из изображения (т.е. помечается как белый) при выполнении следующих условий:
8
1) 2 < В(Ра) < 6, где В(Рп)= LP, :
1=1
2) A(P0) = 1, где A(P0) - количество переходов от белого пикселя к черному при цикличном обходе соседей в порядке Pi, P2, P3, P4, P5, P6, P7, P8, Pi;
3) P2 x P4 x P8 = 0;
4) P2 x P6 x P8 = 0.
При асимптотически оптимальной реализации быстродействие алгоритма скелетизации Зон-га-Суня линейно зависит от количества пикселей исходного изображения.
Применение метода к изображениям дорожной обстановки. На рисунке 3 приведено изображение дорожной обстановки размерами 1288 x 964 пикселей из коллекции WPI Lane Keeping Dataset [26]. Для этого изображения на рисунке 4 показаны результаты применения метода последовательного уточнения границ без использования операции утончения (слева) и с использованием данной операции (справа). При этом использовалось различное число уровней преобразования КМВП (изображения сверху были получены при разложении на два уровня, изображения посередине - на три уровня, изображения снизу - на четыре уровня) и с одинаковыми пороговыми значениями на каждом уровне.
Рисунок 3 - Пример изображения дорожной обстановки
Изображения на рисунке 4 отличаются количеством точек, помеченных как граничные. В зависимости от числа уровней и пороговых значений можно получить результаты, удовлетворяющие различным условиям, например, минимальному числу «лишних» точек либо максимальному числу связных граничных точек.
Рисунок 4 - Примеры выделения границ на изображении дорожной обстановки
На рисунке 4 слева - выделение границ без применения операции утончения. Справа - выделение границ с применением операции утончения. Сверху - с использованием разложения на два уровня. Посередине - с использованием разложения на три уровня. Снизу - с использованием разложения на четыре уровня.
Как уже было сказано, размер результирующего изображения составляет половину от размера исходного изображения. С точки зрения решения задач обнаружения и распознавания объектов на изображениях это не является слишком большим недостатком, поскольку, как правило, методы описания границ в виде набора признаков инвариантны к масштабу.
При анализе изображений дорожной обстановки в интеллектуальных системах беспилотных транспортных средств методы выделения границ играют достаточно важную роль. Это связано с тем, что изображения здесь содержат большое количество объектов, характеризующихся линейными границами. К таким объектам можно отнести элементы дорожной разметки, обочины, дорожные знаки, границы регистрационных знаков на автомобилях и др. Примеры изображений дорожной обстановки из Российской базы автодорожных знаков ЯБТБ [10] и результаты применения к ним описанного алгоритма показаны на рисунках 5 и 6.
На рисунке 5 справа приведены цветные изображения реальных дорожных сцен размера 1280 х 720 пикселей, полученные в процессе движения транспортного средства, а слева - соответствующие им бинарные изображения с «толстыми» границами объектов, полученными без применения операции утончения. На рисунке 6 справа также приведены изображения дорожных сцен, а слева - соответствующие им бинарные изображения с «тонкими» границами объектов, полученными с применением операции утончения.
Следует отметить, что полученные бинарные изображения, приведенные на рисунках 5 и 6, содержат наиболее существенную информацию о границах объектов дорожной обстановки. Именно ее можно использовать в дальнейшем для извлечения данных при решении задач поддержки принятия решений, например, для обеспечения движения по заданной полосе или обнаружения пешеходного перехода.
В случае реализации процедур анализа изображений в интеллектуальных системах беспилотных транспортных средств большое значение имеет скорость обработки, поскольку они должны выполняться в реальном времени в процессе движения.
Рисунок 5 - Примеры выделения границ без применения операции утончения на изображениях дорожной обстановки. Слева - изображения дорожной обстановки. Справа - результирующие изображения границ объектов дорожной обстановки
Программная реализация метода. Программная реализация для проведения экспериментов была выполнена на языке C++ в системе программирования Microsoft Visual Studio 2017 с использованием библиотеки компьютерного зрения OpenCV 3.4.9. Эксперименты были проведены на персональном компьютере, использующем четырехядерный процессор Intel® Core(TM) i5-8300H CPU@2.30 GHz и оперативную память 8 Гб. Компьютер работал под управлением операционной системы Microsoft Windows 10.
Время выделения границ программной реализацией предложенного метода без применения операции утончения для изображений дорожной обстановки (рис. 5) с использованием четырех-, трех- и двухуровневого вейвлет-преобразования показано в таблице 1, где I - порядковый номер изображения (номера 1 и 2 соответствуют изображениям в первом ряду слева направо, 3 и 4 - изображениям во втором ряду слева направо и т.д.), t - время, n - число уровней разложения. Время выделения границ для программной реализации предложенного метода с применением операции утончения применительно к изображениям дорожной обстановки (рис. 6) показано в таблице 2 (с теми же параметрами, что и для таблицы 1).
Как видно из таблицы 1, время работы программной реализации описанного метода без использования операции утончения представляет собой практически постоянную величину. Она примерно равна 0,01 с и не зависит от числа уровней разложения при вейвлет-преобразовании. Для сравнения: детектор Кэнни дает изображения границ более высокого качества, но работает примерно в 4 раза дольше.
Время работы программной реализации описанного метода с использованием операции утончения составляет примерно 0,04 с - это сопоставимо со временем работы детектора Кэнни.
Рисунок 6 - Примеры выделения границ с применением операции утончения на изображениях дорожной обстановки. Слева - изображения дорожной обстановки. Справа - результирующие изображения границ объектов дорожной обстановки
Таблица 1 - Время выделения границ без применения операции утончения_
I г, с I г, с
п = 4 п = 3 п = 2 п = 4 п = 3 п = 2
1 0,011 0,011 0,012 7 0,013 0,012 0,012
2 0,011 0,012 0,012 8 0,013 0,014 0,013
3 0,013 0,013 0,013 9 0,013 0,013 0,013
4 0,013 0,012 0,011 10 0,013 0,012 0,011
5 0,012 0,012 0,012 11 0,012 0,011 0,011
6 0,011 0,014 0,012 12 0,011 0,011 0,011
Таблица 2 - Время выделения границ с применением операции утончения
I г, с I г, с
п = 4 п = 3 п = 2 п = 4 п = 3 п = 2
1 0,055 0,055 0,055 7 0,035 0,032 0,032
2 0,045 0,045 0,047 8 0,059 0,058 0,059
3 0,051 0,0051 0,051 9 0,035 0,035 0,035
4 0,036 0,037 0,037 10 0,032 0,032 0,032
5 0,026 0,034 0,034 11 0,056 0,057 0,059
6 0,041 0,042 0,049 12 0,041 0,041 0,041
Заключение. Предложенный метод последовательного уточнения границ может быть использован для обнаружения и распознавания объектов дорожной обстановки в интеллектуальных системах беспилотных транспортных средств на основе методов машинного обучения с использованием «признаков границ». Метод прост для реализации, обладает сравнительно высоким быстродействием и возможностью гибкой настройки для реальных условий функционирования. Кроме того, метод также может быть применен и в других системах, базирующихся на технологиях компьютерного зрения. Однако следует также отметить, что, выигрывая по времени вычислений, предложенный метод проигрывает, например, методу Кэнни по качеству представления обнаруженных границ.
Библиографический список
1. Гизатуллин З. М. Исследование электромагнитной совместимости локальных вычислительных сетей при наносекундных электромагнитных воздействиях / З. М. Гизатуллин, Р. М. Гизатуллин // Радиотехника и электроника. - 2014. - Т. 59, № 5. - С. 463-466.
2. Гизатуллин З. М. Физическое моделирование помехоустойчивости электронных средств при электромагнитном воздействии индустриальных макроисточников / З. М. Гизатуллин, М. Г. Нуриев, Р. М. Гизатуллин // Радиотехника и электроника. - 2018. - Т. 63, № 1. - С. 97-102.
3. Гонсалес Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. - Москва : Техносфера, 2012. - 1104 с.
4. Климов А. А. Архитектура автономных (беспилотных) автомобилей и инфраструктура для их эксплуатации / А. А. Климов, О. Н. Покусаев, В. П. Куприяновский, Д. Е. Намиот // Современные информационные технологии и ИТ-образование. - 2018. - Т. 14, № 3. - С. 727-736.
5. Мохаммед З. Х. М. Н. Модификация алгоритма скелетизации Зонга-Суня для задачи распознавания рукописных символов / З. Х. М. Н. Мохаммед // Моделирование, оптимизация и информационные технологии. -2018. - Т. 6, № 1. - С. 99-107.
6. Намиот Д. Е. Умные города 2016 / Д. Е. Намиот // International Journal of Open Information Technologies. -2016. - Т. 4, № 1. - С. 1-3.
7. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход. - Москва : Издательский дом «Вильямс», 2004. - 928 с.
8. Хаустов П. А. Алгоритмы распознавания рукописных символов в условиях малой обучающей выборки : дис. ... канд. техн. наук: 05.13.11 / П. А. Хаустов. - Томск, 2017. - 181 с.
9. Шапиро Л. Компьютерное зрение / Л. Шапиро, Д. Стокман. - Москва : БИНОМ. Лаборатория знаний, 2006. - 752 с.
10. Шахуро В. И. Российская база изображений автодорожных знаков / В. И. Шахуро, А. С. Конушин // Компьютерная оптика. - 2016. - Т. 40, № 2. - С. 294-300.
11. Шкиндеров М. С. Исследование функционирования системы контроля и управления доступом в условиях воздействия электростатических разрядов / М. С. Шкиндеров, З. М. Гизатуллин // Радиотехника и электроника. - 2018. - Т. 63, № 11. - С. 1181-1187.
12. Cheng H. Autonomous Intelligent Vehicles: Theory, Algorithms, and Implementation / H. Cheng. - Springer, 2011. - 152 p.
13. Handbook of Intelligent Vehicles / Eskandarian A. ^d.). - Springer, 2012. - 1599 p.
14. Hunh C. C. Image Texture Analysis / C. C. Hung, E. Song, Y. Lan. - Springer, 2019. - 258 p.
15. Krig S. Computer Vision Metrics / S. Krig. - Springer, 2016. - 637 p.
16. Lindberg T. Generalized axiomatic scale-space theory / T. Lindberg // Advances in Imaging and Electron Physics. - 2013. - Vol. 178. - P. 1-96.
17. Long F. Fundamentals of content-based image retrieval / F. Long, H. Zhang, D. Feng // Multimedia Information Retrieval and Management. - Springer, 2003. - P. 1-26.
18. Lyasheva S. A. Contours detection in the images using energy characteristics of wavelet transform / S. A. Lyasheva, M.V. Medvedev, M. P. Shleymovich // Proc. SPIE. - 2018. - Vol. 10774. - Art. № 1077417.
19. Lyasheva S. A. Formation of Energy Features of the Image based on Wavelet Transform / S. A. Lyasheva, M. P. Shleymovich // Journal of Physics: Conference Series. - 2019. - № 1202. - Art. № 012006.
20. Mallat S. A Wavelet Tour of Signal Processing / S. Mallat. - Academic Press, 2009. - 832 p.
21. Nixon M. S. Feature Extraction and Image Processing for Computer Vision / M. S. Nixon, A. S. Aguado. -Academic Press, 2020. - 650 p.
22. Pietikinen M. Computer Vision Using Local Binary Patterns / M. Pietikinen, A. Hadid, G. Zhao, T. Ahonen. -Springer, 2011. - 212 p.
23. Shih F. Y. Image processing and pattern recognition: fundamentals and techniques / F. Y. Shih. -Wiley-IEEE Press, 2010. - 552 p.
24. Tang Y. Y. Wavelet Theory and Its Application to Pattern Recognition / Y. Y. Tang. - World Scientific, 2009. -463 p.
25. The USC-SIPI Image Database. - Режим доступа: http://sipi.usc.edu/database/database.php, свободный. -Заглавие с экрана. - Яз. англ. (дата обращения: 14.07.2020).
26. WPI Datasets. - Режим доступа: http://computing.wpi.edu/dataset.html, свободный. - Заглавие с экрана. -Яз. англ. (дата обращения: 14.07.2020).
27. Zhang T. Y. A Fast Parallel Algorithm for Thinning Digital Patterns / T. Y. Zhang, C. Y. Suen // Communications of the ACM. - 1984. - Vol. 27, № 3. - P. 236-239.
28. Zhong Y. Object localization using color texture and shape / Y. Zhong, A.K. Jain // Pattern Recognition. -2000. - Vol. 33, № 4. - P. 671-684.
References
1. Gizatullin Z. M., Gizatullin R. M. Issledovaniye elektromagnitnoy sovmestimosti lokalnykh vychislitelnykh setey pri nanosekundnykh elektromagnitnykh vozdeystviyakh [Study of the electromagnetic compatibility of local area networks under the action of nanosecond electromagnetic disturbances]. Radiotekhnika i elektronika [Radio Engineering and Electronics], 2014, vol. 59, no. 5, pp. 463-466.
2. Gizatullin Z. M., Nuriev M. G., Gizatullin R. M. Fizicheskoye modelirovaniye pomekhoustoychivosti elektronnykh sredstv pri elektromagnitnom vozdeystvii industrialnykh makroistochnikov [Physical Simulation of the Interference Immunity of Electronic Equipment under the Electromagnetic Action of Industrial Macrosources]. Radiotekhnika i elektronika [Radio Engineering and Electronics], 2018, vol. 63, no. 1, pp. 97-102.
3. Gonzalez R., Woods R. Tsifrovaya obrabotka izobrazheniy [Digital Image Processing]. Moscow, Techno-sphera Publ., 2012. 1104 p.
4. Klimov A. A., Pokusaev O.N., Kupriyanovsky V.P., Namiot D.E. Arkhitektura avtonomnykh (bespilotnykh) avtomobiley i infrastruktura dlya ikh ekspluatatsii [On architecture of autonomous (driverless) cars and infrastructure for their operation]. Sovremennyye informatsionnyye tekhnologii i IT-obrazovaniye [Modern Information Technologies and IT-Education], 2018, vol. 14, no. 3, pp. 727-736.
5. Mohammed Z. H. M. N. Modifikatsiya algoritma skeletizatsii Zhang-Suen dlya zadachi raspoznavaniya rukopisnykh simvolov [Modification of the algorithm of the carcass of Zhang-Suen for the problem of handwriting recognition]. Modelirovaniye, optimizatsiya i informatsionnyye tekhnologii [Modeling, optimization and information technology], 2018, vol. 6, no. 1, pp. 99-107.
6. Namiot D. E. Umnyye goroda 2016 [Smart Cities 2016]. International Journal of Open Information Technologies, 2016, vol. 4, no. 1, pp. 1-3.
7. Forsyth D., Ponce J. Kompyuternoye zreniye. Sovremennyy podkhod [Computer Vision. A Modern Approach]. Moscow, Publishing House "Williams", 2004. 928 c.
8. Khaustov P. A. Algoritmy raspoznavaniya rukopisnykh simvolov v usloviyakh maloy obuchayushchey vyborki [Algorithms for recognizing handwritten characters in a small training sample]. Tomsk, 2017. 181 p.
9. Shapiro L., Stockman G. Kompyuternoye zreniye [Computer vision]. Moscow, BINOM. Laboratoriya znaniy Publ., 2006. 752 p.
10. Shakhuro V. I., Konushin A. S. Rossiyskaya baza izobrazheniy avtodorozhnykh znakov [Russian traffic sign images dataset]. Kompyuternaya optika [Computer Optics], 2016, vol. 40, no. 2, pp. 294-300.
11. Shkinderov M. S., Gizatullin Z. M. Issledovaniye funktsionirovaniya sistemy kontrolya i upravleniya dostupom v usloviyakh vozdeystviya elektrostaticheskikh razryadov [Study of an Access Monitoring and Control System Working in the Presence of Electrostatic Discharges]. Radiotekhnika i elektronika [Radio Engineering and Electronics], 2018, vol. 63, no. 11, pp. 1181-1187.
12. Cheng H. Autonomous Intelligent Vehicles: Theory, Algorithms, and Implementation. Springer, 2011. 152 p.
13. Eskandarian A. (ed.). Handbook of Intelligent Vehicles. Springer, 2012. 1599 p.
14. Hunh C. C., Song E., Lan Y. Image Texture Analysis. Springer, 2019. 258 p.
15. Krig S. Computer Vision Metrics. Springer, 2016. 637 p.
16. Lindberg T. Generalized axiomatic scale-space theory. Advances in Imaging and Electron Physics, 2013, vol. 178, pp. 1-96.
17. Long F., Zhang H., Feng D. Fundamentals of content-based image retrieval. Multimedia Information Retrieval and Management. Springer, 2003, pp. 1-26.
18. Lyasheva S. A., Medvedev M. V., Shleymovich M. P. Contours detection in the images using energy characteristics of wavelet transform. Proc. SPIE, 2018, vol. 10774, art. no. 1077417.
19. Lyasheva S. A., Shleymovich M. P. Formation of Energy Features of the Image based on Wavelet Transform. Journal of Physics: Conference Series, 2019, no. 1202, art. no. 012006.
20. Mallat S. A Wavelet Tour of Signal Processing. Academic Press, 2009. 832 p.
21. Nixon M. S., Aguado A. S. Feature Extraction and Image Processing for Computer Vision. Academic Press, 2020. 650 p.
22. Pietikinen M., Hadid A., Zhao G., Ahonen T. Computer Vision Using Local Binary Patterns. Springer, 2011. 212 p.
23. Shih F. Y. Image processing and pattern recognition: fundamentals and techniques. Wiley-IEEE Press, 2010. 552 p.
24. Tang Y. Y. Wavelet Theory and Its Application to Pattern Recognition. World Scientific, 2009. 463 p.
25. The USC-SIPIImage Database. Available at: http://sipi.usc.edu/database/database.php
26. WPIDatasets. Available at: http://computing.wpi.edu/dataset.html
27. Zhang T. Y., Suen C. Y. A Fast Parallel Algorithm for Thinning Digital Patterns. Communications of the ACM, 1984, vol. 27, no. 3, pp. 236-239.
28. Zhong Y., Jain A. K. Object localization using color texture and shape. Pattern Recognition, 2000, vol. 33, no. 4, pp. 671-684.
