CC BY
27
УДК 684.511 Дата подачи статьи: 14.02.22, после доработки: 18.04.22
DOI: 10.15827/0236-235X.138.246-254 2022. Т. 35. № 2. С. 246-254
Автоматизированное детектирование и классификация объектов в транспортном потоке на спутниковых снимках города
В.С. Тормозов 1, старший преподаватель, 007465@pnu.edu.ru 1 Тихоокеанский государственный университет, г. Хабаровск, 680035, Россия
В статье рассматриваются разработанные методы детектирования и классификации объектов в транспортном потоке на данных космической съемки сверхвысокого пространственного разрешения.
С появлением в свободном доступе больших объемов спутниковых данных все большую актуальность приобретает развитие методов машинного обучения на основании геопространственных данных, в частности, спутниковых. В настоящей работе обоснован выбор источника данных о транспортных потоках - спутниковых снимков сверхвысокого разрешения, рассмотрены основные проблемы и задачи, связанные с распознаванием и классификацией объектов.
Целью автора является разработка цепочки алгоритмов, позволяющей с высокой точностью детектировать и классифицировать объекты в транспортных потоках. Исследования основаны на численной оценке качества работы алгоритмов. В работе используются методы распознавания образов, машинного обучения и обработки цифровых изображений.
Научная новизна заключается в уникальном алгоритме извлечения изображений локальных участков улично-дорожной сети, алгоритме определения направления дорожного движения объекта, модернизации алгоритма селективного поиска. Следует подчеркнуть, что используемые данные съемки сверхвысокого разрешения появились в доступе для частного использования относительно недавно.
Ключевые слова: распознавание образов, обработка изображений, спутниковые снимки, сверхвысокое разрешение, транспортный поток, цифровая обработка изображений, машинное обучение, искусственный интеллект.
Получаемые с орбитальных носителей данные дистанционного зондирования (ДДЗ) Земли являются источником обширной и разнородной информации о наземных объектах.
Детектирование и классификация объектов в транспортном потоке (ТП) на спутниковых изображениях составляют важную часть решения задач интерпретации данных, получаемых из систем ДДЗ [1, 2].
Современный подход [2-5] основан на поэтапном извлечении маски дорожного полотна, обнаружении областей внутри маски, предположительно, вмещающих транспортные средства (ТС), на применении различных детекторов для каждой обнаруженной области с целью распознавания объектов и их дальнейшей классификации. Выделяются признаки, характерные для искомого объекта: ключевые точки [6], контуры, яркостные характеристики объекта. Затем либо выполняется классификация каждого из таких признаков на предмет принадлежности к искомому объекту, либо близко расположенные признаки объединяются в группы, которые затем обрабатываются. В промежутках между основными этапами могут выполняться операции улучшения, сглаживания и
фильтрации признаков. При отсутствии или недостаточной видимости подобных признаков у объектов на изображении успешного детектирования не происходит. В отличие от них нейросетевые подходы в значительной степени лишены подобного недостатка, так как признаки, на основе которых осуществляются детектирование и классификация, заранее не задаются человеком, а определяются в ходе машинного обучения. Как следствие, автоматически выделяются признаки, по которым детектирование объекта на тестирующей выборке выполняется лучше всего.
В исследовании [2] задача детектирования ТС на снимке выполняется в несколько этапов. Фоновая информация удаляется из изображения, так как уже имеются изображения той же местности. На оставшейся части снимка, то есть на переднем плане, ищутся локальные ключевые точки по алгоритму SIFT с последующей классификацией точек методом опорных векторов. С учетом позиционных характеристик точки определяется принадлежность конкретной точки классу «автомобиль». Классификация ключевых точек проводится с помощью метода опорных векторов. Подобная си-
стема имеет ряд недостатков: неоднозначность назначения класса ключевым точкам; алгоритм, возможно, непригоден для изображений пространственного разрешения ниже, чем указано в статье, так как снимки, приводимые автором в качестве иллюстративного материала, имеют разрешение, недостаточное для робаст-ного детектирования. Смесь гауссовых функций, используемых автором для выделения переднего плана, требует наличия предыдущих снимков той же местности.
Другой подход к детектированию ТС описан в статье [3]. Вначале обнаруживаются очереди ТС, а затем - ТС внутри области каждой обнаруженной очереди. Для выделения областей интереса используется GIS-информация о расположении участков дорог и позиционировании области съемки на местности. Обнаружение очередей ТС осуществляется путем выделения контуров в области интереса и их дальнейшего анализа. Основные этапы анализа контуров: фильтрация контуров по их направлению, объединение близко расположенных контуров, сглаживание контуров полигональной аппроксимацией, построение функции контраста по всей длине очереди. Для распознавания ТС выполняются соотнесение ядра гауссовой функции с вершиной функции контраста и оценка ее параметров. Для оценки результатов работы метода используются коэффициенты правильности и полноты. Данная методика эффективно работает для обнаружения очередей ТС, однако отдельно стоящие автомобили по тем или иным причинам обнаруживаются не в полном объеме, не обнаруживаются и ТС, частично перекрытые тенью или наземными объектами (растительностью, зданиями, дорожными эстакадами). Построение функции контраста по всей длине очереди и соотнесение ядра гауссовой функции с вершиной функции контраста позволяют эффективно отделять ТС в очереди одно от другого, за исключением прицепов и теней от ТС, ориентированных вдоль дороги. Обнаружение ТС основано на работе с контурами, в связи с чем ТС не локализуются, если не имеют четкого контура либо он зашумлен.
Авторы статьи [4] рассматривают задачу извлечения ТС на спутниковом снимке высокого разрешения как задачу обнаружения объектов небольшого размера, выделяющихся на фоне дорожного полотна. Обнаружение объектов осуществляется внутри области интереса снимка высокого разрешения. Результатом работы алгоритма является общее количество
ТС, выявленных на исследуемой части снимка. Таким образом, точность обнаружения очень сильно зависит от видимости границ ТС на снимке и зашумления. Если какая-либо часть контура не будет извлечена, алгоритм не отметит его как замкнутый контур и ТС не будет обнаружено.
Сложность задачи детектирования и классификации объектов в ТП на спутниковых изображениях заключается в многообразии форм и размеров объектов, их небольших размерах и произвольном направлении, в значительном объеме исходных данных, существовании большого количества объектов схожей формы на спутниковом снимке, в наличии помех от окружающих объектов и их теней [7].
Разработка эффективных методов детектирования и классификации объектов ТП на спутниковых изображениях является актуальной задачей, и именно ее решению посвящена данная работа.
Разработка алгоритмов
и методы исследований
Входными данными последовательности алгоритмов автоматизированного детектирования и классификации являются набор спутниковых снимков сверхвысокого разрешения, а также географическая информация о расположении и ширине дорог на местности. Выделяются базовые этапы автоматического обнаружения: извлечение изображений локальных участков снимка; выявление возможных кандидатов объектов внутри локальных участков; фильтрация кандидатов на основе геометрических, спектральных и текстурных характеристик; распознавание объектов среди множества кандидатов; определение ориентации распознанных объектов; соотнесение объекта с одним из ТП. Проведен анализ основных методов распознавания образов. Приведена постановка задачи системы распознавания образов.
На исходные данные алгоритмами накладываются следующие ограничения: алгоритмы не работают для участков, перекрытых другими объектами (облаками, зданиями, деревьями); наличие зашумлений на изображениях приводит к невозможности распознать объекты; снежный покров препятствует распознаванию наземных объектов, текстурные и спектральные характеристики не имеют значительных отличий от фона.
В качестве метрик для оценки качества работы применяются точность (Р), полнота (К),
F-мера детектирования (F), вероятность обнаружения (Робн.) и точность классификации (A):
TP TP
P = -
TP + FP
-; R = -
TP + FN'
N„,
; A = -
TC
е = 2РР Р =
Р + Р ' обн' N ' ТР + ЕР'
где TP - количество верно детектированных объектов; FP - количество неверно детектированных объектов; FN - количество недетекти-рованных объектов; ТС - количество верно классифицированных объектов; #обн. - количество обнаруженных ТС; N - общее количество ТС, представленных на изображении.
Предлагаемая система детектирования ТС на спутниковых снимках включает в себя несколько основных последовательных этапов (рис. 1). Входными данными системы детектирования и классификации при рассмотрении ее как черного ящика являются множество одномоментных спутниковых снимков, численное значение пространственного разрешения спутниковых снимков - метров на пиксель, географическая информация о местоположении на местности и ширине дорог. Географическая информация должна находиться в той же системе координат, что и спутниковые снимки, чтобы не было необходимости в преобразовании.
Данные спутниковой съемки имеют значительный объем. Их полная обработка с целью детектирования объектов ТП затратна по времени и вычислительным ресурсам. Кроме того, интерес представляют объекты, находящиеся в ТП. Поэтому перед дальнейшей обработкой выполняется извлечение изображений локальных участков снимка, сопоставляемых с элементами улично-дорожной сети. Для уточнения положения извлекаемых локальных участков требуются ОЗМ-данные дорог на
С Извлечь бинарную маску дорожного полотна и граф осевых линий
Г
С Для каждого перегона улично-дорожной сети: извлечь множество кандидатов объектов
С
X
э
Для каждого кандидата: принять решение, является ли объект ТП
1
Для каждого кандидата, который отмечен как объект ТП: классифицировать объект
I
Для каждого кандидата, который отмечен как объект ТП
определить направление его движения
Рис. 1. Декомпозиция задачи детектирования и классификации объектов ТП
Fig. 1. Decomposing the problem of detecting and classifying traffic flow objects
местности. Внутри таких участков возможно обнаружение объектов ТП.
Процедура извлечения локальных участков разбивается на этапы [7]: вычисление позиций ограничивающих рамок рассматриваемой области дороги, корректировка позиций OSM-узлов, построение интерполированной модели, извлечение изображений локальных участков. Задача построения интерполированной модели, в свою очередь, делится на задачу расчета позиции узлов осевой линии и задачу построения ограничительной рамки для каждого сегмента. Задача корректировки позиции узлов решается методом минимизации функции R соответствия интенсивности узлов и кластера области, соответствующего дороге.
Области дорожного полотна на местности могут содержать кривые линии. Однако OSM-данные о дорогах включают дорожные узлы, интерполирующие подобные линии [8]. Поэтому в работе выполняется построение интерполированной модели дорог, отражающей позиции точек дорожного полотна на основе географической информации и данных спутниковой съемки.
При расчете позиции узлов осевой линии ключевой процедурой является вычисление позиции начальных точек извлечения профиля дороги. Обозначим два соседних OSM-узла дороги: Щх,, у,), Д+1(х,+1, yi+l), , е{1, 2, ..., \hJhA} . Тогда позиции начальных точек Р,к(х,к, у,к), к е {0, 1}, сегмента дороги NN+1 рассчитываются последовательно для каждого отрезка Р]Р]+1, hr - длина сегмента дороги; hs -длина отрезков сегмента; а - угол наклона профиля дороги относительно горизонтального положения; wp вычисляется исходя из ширины профиля дорожного полотна и пространственного разрешения снимка:
( Иг,
i k\ X
У
Уо
cos a - sin a
(-1)4
Ограничительные точки дороги определяются как крайние точки отрезка максимальной длины, соединяющие точки экстремума функции интенсивности пикселей вдоль РгР1.
Для извлечения локальных участков предлагается интерполированная модель дороги:
xk+1 = hk cos уk - wk sin уk + xk;
yk+1 = hk cos Ук - wk sin yk + yk,
где к 6 {1, 2, ..., ns} - номер сегмента дороги; (хД yik) - уточненные координаты осевой ли-
i k k
нии дороги; hi, wi - извлеченные размеры сегментов; yk - углы наклона сегментов.
Задача извлечения возможных кандидатов решается алгоритмом сегментации точек растра, поэтапным наращиванием извлеченных сегментов ri до достижения порогового значения Nt, фильтрацией полученных сегментов по их размерам wi; hi и низкочастотной структуре Bi i-го кандидата [9]. В ходе алгоритма из рассмотрения удаляется сегмент, соответствующий дорожному полотну. Локальный участок R = (ri, r2, ..., rn) сегментируется итеративным алгоритмом k-средних, минимизирующим
n _
функцию энергии: F(R) = ^^ (р - ц)2, где
t= 1 psrt
Цк - центроид k-го сегмента rk; k G {1, 2, ..., n}.
С целью оптимизации начальное значение первого сегмента должно соответствовать ранее извлеченному кластеру дорожного полотна [10]. На итерации алгоритма каждый пиксел относится к тому сегменту, центроида которого по интенсивности находится ближе. Центроиды сегментов корректируются:
цк = — ^ р. Алгоритм останавливается, когда
rt psrt
V k G {1, 2, ..., n}: Ц<e.
Объединение на каждой итерации выполняется для сегментов, достигающих максимума меры схожести двух участков s(ri, rj). При достижении количества сегментов меньше порогового (n < N) алгоритм завершается. Оставшиеся и обработанные сегменты формируют набор кандидатов H = (hi, h2, ..., hnh). Однако в H могут находиться кандидаты, которых можно исключить из дальнейшего рассмотрения уже исходя из их размеров и низкочастотной структуры. Диапазоны допустимых размеров [Hmin, Hmax, Wmin, Wmax] рассчитываются исходя из пространственного разрешения и возможных размеров объектов на местности. Кандидаты могут быть отфильтрованы и по интерполированному изображению. Для случая соотнесения кандидатов по интерполированному изображению фильтрация сопоставляет изображение i-го кандидата hi с каждым из изображений эталонов E = (ei, в2, ..., ene) по локальной контрастной нормализации. Извлечение низкочастотной информации осуществляется бинаризацией масштабированных изображений по порогу среднего значения интенсивности точек изображения B(k, j). Условием успешного соотнесения i-го кандидата hi с набором эталонов H является |hi - ej| < T. Та-
ким способом обрабатывается каждый из сформированных ранее кандидатов. Кандидаты, для которых не выполнено одно из условий, отфильтровываются.
Методы машинного обучения, основанные на операциях свертки и субдискретизации, эффективно детектируют даже небольшие объекты на изображении, размеры которых составляют несколько пикселей. Операция свертки позволяет методу не зависеть от какой-либо определенной группы признаков: спектральных, текстурных и других, которые, помимо прочего, требуют точного и эффективного извлечения. Основной проблемой при распознавании объектов на изображении нейронной сетью является то, что многие сети, хорошо решающие эту задачу, формируют признаки, не инвариантные повороту. Существующие работы, применяющие нейросетевой подход для распознавания объектов, либо выполняют распознавание на ранее подготовленном изображении участка дороги [11], либо обучают нейронную сеть по примерам с различными углами поворота [12]. Это дает недостаточную точность, так как в обучающей выборке может быть мало примеров с требуемым углом поворота.
В работе применяется модернизированный метод распознавания ТС: угол поворота извлекается исходя из предположения, что ТС ориентировано вдоль направления движения ТП. Изображение кандидата, как и изображения примеров для обучающей и тестирующей выборок, последовательно подвергается трансформациям подгонки к квадрату, повороту и масштабированию, благодаря чему нейронная сеть обучается и работает только с квадратными изображениями объектов одинаковых размеров под одним и тем же углом поворота, что увеличивает скорость обучения и точность ее работы.
Среди программных средств разработки методов машинного обучения множество преимуществ имеет библиотека Са£Ге, характеризующаяся открытостью, высокой скоростью работы, понятной для восприятия архитектурой [13].
Для максимального охвата изображений кандидатов рецептивными полями слоев и выделения особенностей объектов [14] наиболее эффективным представляется метод распознавания, включающий три сверточных, два суб-дискретизирующих и один полносвязный слои. Четыре выхода у = (у1, у2, Уз, У л) формируют таблицу вероятности принадлежности объекта
одному из четырех классов объектов: легковой автомобиль, грузовик, автобус, мотоцикл (рис. 1). Объект детектируется, если тах(у) < Т, и классифицируется как класс с индексом ГаГаии = Мех(шах(у)).
Разработан алгоритм определения направления дорожного движения объекта ТП по его изображению, который однозначно детектирует направление движения на основании его ориентации и позиции относительно осевой линии дороги. Задача определения направления дорожного движения детектированного объекта в большинстве существующих работ либо не ставится, либо решается переборным методом с помощью математического аппарата распознавания объектов: выполняется подбор угла поворота объекта, при котором он будет распознан. Затем угол поворота соотносится с одним из направлений движения. Такой подход затратен вычислительно и неточен из-за вероятностного характера процедуры распознавания. В работе предлагаются новый подход и математическая модель, использующие тот факт, что участники ТП всегда ориентированы вдоль направления движения этого ТП и расположены либо слева, либо справа от осевой линии дороги. Подход основан на соотнесении координат центральной точки объекта и узловых точек осевой линии дороги.
В результате работы алгоритма будет найдена точка (х0, у0) пересечения кратчайшего отрезка с осевой линией дороги. А, В, С - коэффициенты уравнения прямой, образуемой отрезком ломаной интерполированной модели перегона, расположенным ближе остальных к
центральной точке ТС. Если значение выражения Ах + Ву + С с подставленными значениями координат центральной точки ТС является отрицательным числом, то точка находится с одной стороны от ломаной линии и направление движения прямое, если положительным -с другой стороны и направление движения обратное.
Была разработана уникальная экспериментальная система для проведения исследований. Окончательным результатом работы этой системы являются значения численного распределения детектированных объектов по классам объектов ТП.
Для различного количества примеров, участвовавших в обучении, было оценено качество детектирования и классификации. По мере увеличения количества обучающих примеров значения метрик растут, однако этот прирост постепенно снижается. Для обучающей выборки, содержащей 7 000 примеров, увеличение значений метрик качества становится незначительным. Машинное обучение выполнялось в течение 100 эпох.
Результаты исследований
Были выполнены исследования посредством тестирования алгоритмов извлечения изображений локальных регионов улично-дорожной сети, определения направления дорожного движения объекта, извлечения возможных кандидатов объектов [15]. На рисунке 2 показаны результаты работы системы детектирования на разных этапах для отдельного перегона.
а) б) в) г) д) е)
Рис. 2. Результаты выполнения этапов работы системы: а) часть спутникового снимка с изображением перегона; б) изображение перегона, извлеченное
алгоритмом сокращения области поиска; в) набор кандидатов, выделенных алгоритмом их извлечения; г) кандидаты, оставшиеся после фильтрации по размерам и по низкочастотной информации; д) детектированные и классифицированные объекты; е) определение направления движения объекта исходя из расположения на дорожном полотне
Fig. 2. The results of executing the system stages
80 70 ç 60
L
г 50 j
с 40 j
is0 20 10
2000 4000 6000 8000
Количество примеров в обучающей выборке
F-мера, (наихудший случай) Точность (Precision) (наихудший случай) "Полнота (Recall), (наихудший случай)
Точность классификации, (наихудший случай)
0 2000 4000 6000 8000
Количество примеров в обучающей выборке
^ F-мера, (наилучший случай)
Точность (Precision) (наилучший случай) А Полнота (Recall), (наилучший случай)
Точность классификации, (наилучший случай)
а)
б)
Рис. 3. Графики зависимости точности (P), полноты (R), F-меры (F) и точности классификации (A) от количества примеров в обучающей выборке: а) наихудший случай, б) наилучший случай (высокие значения метрик)
Fig. 3. The dependency graphs of accuracy (P), completeness (R), F-measure (F), and classification accuracy (A) on the number of examples in the training set: а) the worst case, б) the best case (high metrics)
90
80
60
40
20
0
0
0
Для наилучшего случая максимальные достигнутые значения метрик составили: Р = 98,6 %, R = 91,7 %, F = 95 %, А = 86,98 % (рис. 3). Значительное количество объектов на снимках, которые могли быть ложно детектированы, исключаются из обработки алгоритмами сокращения области поиска и фильтрацией кандидатов по размеру и низкочастотной информации [16].
Используемый метод машинного обучения при увеличении количества обучающих примеров показывает устойчивый рост обобщающей способности. Достигнутая в ходе обучения на обучающей выборке минимальная погрешность составила 1 %, погрешность тестирования - 7,3 %. При увеличении размера обучающей выборки растет качество работы метода, выражающееся в снижении погрешности обучения и тестирования.
Заключение
Проведен системный анализ задачи численного детектирования и классификации объек-
тов ТП на спутниковых снимках. Разработаны и модифицированы алгоритмы решения подзадач. Сверточные нейронные сети хорошо зарекомендовали себя при извлечении шаблонов, которые достаточно сложны для распознавания человеком в случае, если в исходных данных находится множество исследуемых объектов. Поэтому для распознавания и классификации транспортных средств в исследовании используются сверточные нейронные сети. Для улучшения качества работы выполнено выборочное внедрение нейронов высокого порядка. Разработан программный комплекс «TDC extractor», реализующий разработанные алгоритмы детектирования и классификации. Программный комплекс предназначен для извлечения распределения объектов ТП по классам и направлениям движения для каждого перегона улично-дорожной сети. Результаты исследований показали, что этот метод позволяет с высокой точностью выполнять детектирование и классификацию ТС.
Работа выполнена при поддержке Минобрнауки РФ, дополнительное соглашение от 21.04.2020 № 075-02-2020-1529/1.
Литература
1. Маркелов Г.Я., Пугачев И.Н. Спутниковый мониторинг в решении региональных и отраслевых задач // Информационные технологии XXI века. 2015. С. 423-431.
2. Chen C., Минальд А.А., Богуш Р.П., Ma G., Weichen Y., Абламейко С.В. Обнаружение и классификация транспортных средств на снимках сверхвысокого разрешения с помощью нейронных сетей // Журнал прикладной спектроскопии. 2022. Т. 89. №. 2. С. 275-282.
3. Gill N.K., Sharma A. Vehicle detection from satellite images in digital image processing. Int. J. of Computational Intelligence Research, 2017, vol. 13, no. 5, pp. 697-705.
4. Shu M., Du S. Geoscene-based vehicle detection from very-high-resolution images. Proc. IV Int. Workshop EORSA, 2016, pp. 295-299. DOI: 10.1109/EORSA.2016.7552816.
5. Triantafyllou D., Kotoulas N., Krinidis S., Ioannidis D., Tzovaras D. Large vehicle recognition and classification for traffic management and flow optimization in narrow roads. Proc. Smart-World/SCALCOM/UIC/ATC/CBDCom/IOP/SCI, 2017, pp. 1-4. DOI: 10.1109/UIC-ATC.2017.8397670.
6. Voronin V., Kan S.C., Cen Y.G., Cen Y., Wang Y.H. SURF binarization and fast codebook construction for image retrieval. J. of Visual Communication and Image Representation, 2017, vol. 49, pp. 104-114. DOI: 10.1016/j.jvcir.2017.08.006.
7. Тормозов В.С. Улучшение работы алгоритма детектирования и классификации транспортных средств на спутниковых снимках путем сокращения области поиска с использованием геоинформации о дорогах // Вестн. РосНОУ. Сер.: Сложные системы: модели, анализ и управление. 2019. № 2. С. 56-63.
8. Kaur J., Singh J. An automated approach for quality assessment of OpenStreetMap data. Proc. GUCON, 2018, pp. 707-712. DOI: 10.1109/GUTON.2018.8674899.
9. Пугачев И.Н., Маркелов Г.Я., Тормозов В.С. Ускорение алгоритма детектирования транспортных средств на спутниковых снимках с помощью процедуры фильтрации гипотез // Вестн. РосНОУ. Сер.: Сложные системы: модели, анализ и управление. 2019. № 1. С. 130-139.
10. Huang J., Rathod V., Sun C., Zhu M., Korattikara A., Fathi A., Murphy K. Speed/accuracy trade-offs for modern convolutional object detectors. Proc. IEEE Conf. CVPR, 2017, pp. 7310-7311. DOI: 10.1109/CVPR.2017.351.
11. Tewari T., Sakhare K.V., Vyas V. Vehicle detection in aerial images using selective search with a simple deep learning based combination classifier. Proc. III Int. Conf. on Microelectronics, Computing and Communication Systems. Lecture Notes in Electrical Engineering, 2019, vol. 556, pp. 221-233. DOI: 10.1007/978-981-13-7091-5_21.
12. Zhou T., Gu L., Ren R., Cao Q. The research of road and vehicle information extraction algorithm based on high resolution remote sensing image. Proc. Remote Sensing System Engineering VI, 2016, vol. 9977, pp. 103-115. DOI: 10.1117/12.2235337.
13. Pugachev I.N., Markelov G.Y., Tormozov V.S., Nosenko A.O. Numerical evaluation of the traffic flow indicators using super-resolution satellite imagery. Proc. FarEastCon, 2019, pp. 1-4. DOI: 10.1109/ FarEastCon.2019.8934802.
14. Амосов О.С., Малашевская Е.А., Баена С.Г. Быстродействующие нейронечеткие алгоритмы фильтрации параметров траектории подвижного объекта // XXIII Санкт-Петербургская междунар. конф. по интегрированным навигационным системам: сб. матер. 2016. С. 331-334.
15. Лагунов Н.А. Выделение и распознавание объектов с использованием оптимизированного алгоритма селективного поиска и сверточной нейронной сети высокого порядка // Фундаментальные исследования. 2015. № 5. С. 511-516.
16. Wiatowski T., Bolcskei H. A Mathematical theory of deep convolutional neural networks for feature extraction. IEEE Transactions on Information Theory, 2015, vol. 64, no. 3, pp. 1845-1866. DOI: 10.1109/ TIT.2017.2776228.
Software & Systems Received 14.02.22, Revised 18.04.22
DOI: 10.15827/0236-235X.138.246-254 2022, vol. 35, no. 2, pp. 246-254
Automated detection and classification of objects in the traffic flow on satellite images of the city
V.S. Tormozov l, Senior Teacher, 007465@pnu.edu.ru
1 Pacific National University, Khabarovsk, 680035, Russian Federation
Abstract. The paper discusses the developed methods of detecting and classifying objects in a traffic flow on ultra-high spatial resolution space survey data.
Due to appearing the large amounts of free access satellite data, the development of machine learning methods based on geospatial data, in particular satellite data, is becoming increasingly urgent. The paper justifies the choice of a source of data on traffic flows - ultra-high resolution satellite images. It also describes the main problems and tasks associated with the recognition and classification of objects in traffic flows.
The purpose of scientific work is to develop and study a chain of algorithms that allows detecting and classifying objects in traffic flows with high accuracy. The research is based on a numerical assessment of the quality of the algorithms. The work uses the methods of pattern recognition, machine learning and digital image processing.
The scientific novelty of the completed work is based on: a unique algorithm for extracting images of local sections of the road network, an algorithm for determining the direction of object's road movement, modernization of the selective search algorithm, which consists in filtering the extracted candidates. The work novelty is also confirmed by the fact that the used ultra-high resolution survey data have become accessible for private use relatively recently.
Keywords: transport planning, satellite imagery, ultra-high resolution, pattern recognition, image processing, traffic flow, digital image processing, machine learning, artificial intelligence.
Acknowledgements. The work was supported by the Ministry of Education and Science of the Russian Federation, additional agreement dated 21.04.2020 no. 075-02-2020-1529/1.
References
1. Markelov G.Ya., Pugachev I.N. Satellite monitoring in solving regional and industry problems. Information Technologies of the XXI Century, 2015, pp. 423-431 (in Russ.).
2. Chen C., Minald A.A., Bogush R.P., Ma G., Weichen Y., Ablameyko S.V. Detection and classification of vehicles in ultra-high-resolution images using neural networks. Zhurnal Prikladnoii Spektroskopii, 2022, vol. 89, no. 2, pp. 275-282 (in Russ.).
3. Gill N.K., Sharma A. Vehicle detection from satellite images in digital image processing. Int. J. of Computational Intelligence Research, 2017, vol. 13, no. 5, pp. 697-705.
4. Shu M., Du S. Geoscene-based vehicle detection from very-high-resolution images. Proc. IV Int. Workshop EORSA, 2016, pp. 295-299. DOI: 10.1109/EORSA.2016.7552816.
5. Triantafyllou D., Kotoulas N., Krinidis S., Ioannidis D., Tzovaras D. Large vehicle recognition and classification for traffic management and flow optimization in narrow roads. Proc. SmartWorld/ SCALCOM/UIC/ATC/CBDCom/IOP/SCI, 2017, pp. 1-4. DOI: 10.1109/UIC-ATC.2017.8397670.
6. Voronin V., Kan S.C., Cen Y.G., Cen Y., Wang Y.H. SURF binarization and fast codebook construction for image retrieval. J. of Visual Communication and Image Representation, 2017, vol. 49, pp. 104-114. DOI: 10.1016/j .jvcir.2017.08.006.
7. Tormozov V.S. Improving the operation of the detection and classification of vehicles on satellite images by reducing the search area using geo-information about roads. Vestn. RosNOU. Ser.: Complex Systems: Models, Analysis and Management, 2019, no. 2, pp. 56-63 (in Russ.).
8. Kaur J., Singh J. An automated approach for quality assessment of OpenStreetMap data. Proc. GUCON, 2018, pp. 707-712. DOI: 10.1109/GUCON.2018.8674899.
9. Pugachev I.N., Markelov G.Ya., Tormozov V.S. Acceleration of the algorithm for detecting vehicles on satellite images using the procedure for filtering hypotheses. Vestn. RosNO U. Ser.: Complex Systems: Models, Analysis and Management, 2019, no. 1, pp. 130-139 (in Russ.).
10. Huang J., Rathod V., Sun C., Zhu M., Korattikara A., Fathi A., Murphy K. Speed/accuracy trade-offs for modern convolutional object detectors. Proc. IEEE Conf. CVPR, 2017, pp. 7310-7311. DOI: 10.1109/ CVPR.2017.351.
11. Tewari T., Sakhare K.V., Vyas V. Vehicle detection in aerial images using selective search with a simple deep learning based combination classifier. Proc. III Int. Conf. on Microelectronics, Computing and Communication Systems. Lecture Notes in Electrical Engineering, 2019, vol. 556, pp. 221-233. DOI: 10.1007/978-981-13-7091-5_213.
12. Zhou T., Gu L., Ren R., Cao Q. The research of road and vehicle information extraction algorithm based on high resolution remote sensing image. Proc. Remote Sensing System Engineering VI, 2016, vol. 9977, pp. 103-115. DOI: 10.1117/12.2235337.
13. Pugachev I.N., Markelov G.Y., Tormozov V.S., Nosenko A.O. Numerical evaluation of the traffic flow indicators using super-resolution satellite imagery. Proc. FarEastCon, 2019, pp. 1-4. DOI: 10.1109/FarEastCon 2019.8934802.
14. Amosov O.S., Malashevskaya E.A., Baena S.G. Fast-acting neural-sensitive algorithms for filtering parameters of the trajectory of a mobile object. Proc. XXIII Saint Petersburg Int. Conf. on Integrated Navigation Systems, 2016, pp. 331-334 (in Russ.).
15. Lagunov N.A. Object detection and recognition using r-CNN model with optimized selective search algorithm and high-order convolutional neural network. Fundamental Research, 2015, no. 5, pp. 511-516 (in Russ.).
16. Wiatowski T., Bolcskei H. A Mathematical theory of deep convolutional neural networks for feature extraction. IEEE Transactions on Information Theory, 2015, vol. 64, no. 3, pp. 1845-1866. DOI: 10.1109/ TIT.2017.2776228.
Для цитирования
Тормозов В.С. Автоматизированное детектирование и классификация объектов в транспортном потоке на спутниковых снимках города // Программные продукты и системы. 2022. Т. 35. № 2. С. 246-254. DOI: 10.15827/0236-235X.138.246-254.
For citation
Tormozov V.S. Automated detection and classification of objects in the traffic flow on satellite images of the city. Software & Systems, 2022, vol. 35, no. 2, pp. 246-254 (in Russ.). DOI: 10.15827/0236-235X.138.246-254.
