CC BY
25
УДК 656.13/ 625.7/8.004
СИСТЕМА СЛЕЖЕНИЯ ЗА АВТОМОБИЛЬНЫМ ТРАНСПОРТОМ НА БАЗЕ БЕСПИЛОТНЫХ ЛЕТАТЕЛЬНЫХ АППАРАТОВ С ПРИМЕНЕНИЕМ ТЕХНОЛОГИИ РАДИОЧАСТОТНОЙ ИДЕНТИФИКАЦИИ И КАМЕР ИНФРАКРАСНОГО ДИАПАЗОНА
СУХАРЕВ Никита Владиславович, аспирант1, ведущий инженер, технический руководитель проектов2; e-mail: [email protected]
Российский университет транспорта (МИИТ), кафедра «Автоматика, телемеханика и связь на железнодорожном транспорте», Москва 2АО «НПП «Мера», Москва
В статье рассматриваются основные принципы работы и преимущества использования беспилотных летательных аппаратов в качестве дополнительного средства контроля за движением автомобильного транспорта, средства анализа и прогнозирования автомобильных пробок в реальном времени, а также в роли системы мониторинга и оценки состояния дорожного полотна и инфраструктуры автомобильных дорог Особое внимание уделено в части применения малогабаритных беспилотных летательных аппаратов в качестве активного комплекса обеспечения транспортной безопасности. Рассматриваются возможности трехканальной системы слежения (видимого, инфракрасного и радиотехнического диапазонов) для определения координат, характеристик, скоростей и действующей регистрации транспортного средства, а также описываются преимущества предлагаемого метода в виде повышения точности и скорости обработки информации, возможности снижения затрат на транспортный контроль, в частности описаны методы использования меток радиочастотной идентификации для повышения эффективности управления транспортными потоками, предотвращения простоев, оптимизации маршрутов, снижения рисков возникновения опасных дорожных ситуаций. Представлено перспективное применение камер инфракрасного диапазона в части детектирования и предотвращения аварий, анализа плотности потока и поведения водителей. Проведено исследование по возможности параллельного использования вышеописанных методов в совокупности с беспилотным летательным аппаратом с целью предложения разработки полной автоматизированной системы мониторинга и контроля за автомобильным транспортом. Приведена актуальность использования малогабаритного летательного аппарата для повышения качества контроля за движением автомобильного транспорта и безопасности движения на дорогах.
Ключевые слова: беспилотный летательный аппарат; методы распознавания транспорта; радиочастотная идентификация объектов; навигационные параметры; макет измерительного комплекса; маршрут облета; распознавание объектов; безопасная дорога.
DOI: 10.20295/2412-9186-2023-9-02-141-152
▼ Введение
В связи с ростом нагрузки на автомобильные дороги пропорционально возрастает количество сценариев, не поддающихся контролю со стороны соответствующих инспекций. Причиной этому служит отсутствие средств контроля
см
г на участках малонагруженных дорог, традици-
± онные методы контроля транспортных средств
со
& на основе камер видимого диапазона, а также
СО
^ особенности существующих средств монито-
® ринга, в том числе их статичность.
Системы мониторинга и управления автомобильным транспортом находятся в центре внимания в современных технологических разработках. Можно наблюдать неоднократные попытки внедрения беспилотных летательных аппаратов (БПЛА) для контроля за автомобилями на трассах согласно статистике. Например, ГИБДД Краснодарского края в числе первых отчиталась об эффективности применения БПЛА в качестве фиксации фактического нарушения правил дорожного
движения (ПДД) водителем, однако еще в 14 регионах Российской Федерации применяется возможность видеофиксации нарушений ПДД с помощью полезной нагрузки дрона. Большая часть потенциала БПЛА не раскрыта в связи с тем, что основной функцией БПЛА является лишь видеофиксация нарушений, при этом остается открытым вопрос распознавания иностранных регистрационных знаков и контроля за действующей регистрацией на внутренних регистрационных знаках.
Подходы к решению задачи слежения за транспортным средством (в том числе распознавания знаков) могут быть совершенно разными и варьироваться в зависимости от поставленной задачи.
В данной статье рассматривается система мониторинга автомобильного транспорта на базе БПЛА с использованием библиотек алгоритмов машинного зрения, технологии радиочастотной идентификации и камер инфракрасного диапазона (далее — ИК-камера). Благодаря этим технологиям система обеспечивает высокую точность и скорость обработки информации, а также возможность быстрого реагирования на изменения в транспортном потоке.
1. Базовые средства мониторинга автомобильного транспорта
Базовыми средствами для мониторинга служат камеры видимого диапазона. Основным применением на данный момент является видеофиксация фактических нарушений ПДД, при этом иногда открывается возможность распознавания государственных регистрационных знаков. Съемка при этом производится на высотах до 50 м над уровнем дорожного полотна, обеспечивая, согласно отчетным материалам сотрудников, минимально допустимое качество для распознавания регистрационного знака. Среди огромного перечня недостатков данного метода можно выделить несколько основных проблем:
• недостаточная освещенность местности;
• плотный трафик;
• загрязнение (умышленное) регистрационных знаков;
• высокая скорость движения транспортных средств;
• откидные рамки монтажа регистрационного номера транспортных средств;
• отсутствие точной привязки данных к координатной сетке транспортного средства и синхронизация с
Рис. 1. Результат работы алгоритма детектирования автомобилей
позиционированием средства фиксации (ложное срабатывание);
• распознавание знаков иностранных государств;
• проверка регистрации транспортных средств по государственному знаку и его соответствия принадлежности объекту слежения.
Характер проблем требует параллельной работы нескольких каналов слежения. На рис. 1 можно заметить довольно плотный поток машин, что при детектировании одного объекта из потока порождает ошибку типа «наложения» нескольких объектов в одну рамку, что не является критичным при выполнении работ по регулировке трафика, однако является грубой ошибкой при поиске конкретного автомобиля с определенными характеристиками.
Результат, представленный на рисунке, был получен в ходе применения телевизионной камеры, установленной на штатив, а также базовых алгоритмов детектирования объектов на основе машинного зрения OpenCV1, разработанных на языке Python [1]. Как можно заметить, отрисовка квадратов на динамических объектах происходит с опозданием или же с наложением на несколько транспортных средств. Причиной этому служит математическая особенность при работе алгоритма, заключающаяся в применении алгоритма Хафа, который рассмотрен в рамках работы в качестве базового инструмента машинного зрения для распознавания объектов.
Используемый классический алгоритм Хафа представляет собой последовательность операций, направленную на выделение границ объекта, при этом происходит трансформация исходного изображения в несколько этапов [1]. При трансформации изображения происходит потеря качества, при этом процесс преобразования слишком долгий и не является пригодным для использования в реальном времени [2].
Преобразование Хафа заключается в следующих шагах:
OpenCV — библиотеки алгоритмов компьютерного зрения, предназначенные для обработки изображений, их классификации и анализа.
Рис. 2. Работа преобразования Хафа для детектирования границ динамических объектов
• преобразование изображения из цветного в серые оттенки;
• сравнение соседних кадров;
• использование фильтра для избавления от точек шума;
• проверка результата нейронной сетью для того, чтобы получить бинарное изображение объекта;
• обработка бинарного изображения.
Применение преобразования Хафа позволяет найти любые типы кривых на кадре и отнести их к определенному семейству [2—4]. Алгоритм преобразования Хафа использует аккумуляторный массив, размерность которого соответствует количеству неизвестных параметров в уравнении семейства искомых кривых. Результатом преобразования Хафа вышерасс-мотренного изображения с рис. 1 является следующая картина, представленная на рис. 2.
В качестве примера и демонстрации недостатка преобразования приведен результат преобразования Хафа для плотного потока автомобилей, представленный на рис. 3.
Исходя из проведенных исследований, можно заметить ярко выраженные недостатки метода, заключающиеся в наложении каждого отдельного объекта в общий поток. Таким образом, можно сделать вывод о непригодности использования преобразования Хафа в качестве обработки кадров в реальном времени.
Решением данной проблемы может служить комплекс, состоящий из ИК-камеры, LIDAR (Light Detection and Ranging — технология измерения расстояния по излучению (лазера) светового луча) и меток радиочастотной
Рис. 3. Локализация области скопления движущихся транспортных средств (78 км МКАД, р-н Белая Дача, ТРЦ «МЕГА»)
идентификации (RFID — Radio Frequency Identification) [2, 5]. Эти методы уже получили применение в части автомобильного транспорта, однако не в комплексе.
Применение RFID-меток позволяет устранить проблему, связанную с нечитаемостью государственных знаков транспортных средств, и позволяет считывать информацию о действительности учета транспортных средств, принадлежности государственного регистрационного знака данному транспортному средству, а в совокупности с ИК-камерой обеспечивает контроль за соблюдением ПДД транспортными средствами.
Предлагается рассмотреть возможность использования приведенных методов с использованием БПЛА.
2. Использование БПЛА
Для реализации системы мониторинга были выработаны особые критерии. Во-первых, система должна состоять не из единичного
БПЛА, а нескольких. Это позволит получить большее перекрытие области покрытия и мониторинга, что особенно важно при проведении работ за проверкой маршрута транзита и его состояния. Во-вторых, необходимо оптимизировать маршрут каждого БПЛА в зависимости от характера задачи, а также выбрать безопасные точки аварийной посадки. И наконец, оптимизировать работу ИК-камеры и метки в совокупности с системой БПЛА.
При этом первую часть задачи необходимо конкретизировать. Предлагается рассмотреть задачу мониторинга за транзитным транспортом в местах съезда и потенциального отклонения от маршрута. В таком случае необходимо иметь несколько БПЛА, зоны мониторинга которых пересекаются, при этом алгоритм работы системы в данном случае представлен следующим образом.
Алгоритм 1. Алгоритм работы системы мониторинга за транзитным транспортом:
1. Определение зоны мониторинга для каждого БПЛА на основе радиуса действия и координат точек мониторинга.
2. Определение соседних зон мониторинга для каждого БПЛА на основе пересечения зон мониторинга.
3. Создание графа связей между БПЛА на основе соседних пересекающихся зон мониторинга и расстояния между БПЛА.
4. Применение алгоритма Дейкстры или А* для поиска кратчайшего пути между БПЛА в графе связей с учетом маршрута транзита.
5. Определение оптимального маршрута для каждого БПЛА с учетом кратчайшего пути до соседних БПЛА.
6. Объединение оптимальных маршрутов для каждого БПЛА в общий маршрут для всех БПЛА.
7. Построение оптимальной траектории маршрута для каждого БПЛА на основе общего маршрута и его собственного оптимального маршрута.
8. Определение времени и места старта каждого БПЛА для выполнения оптимальной траектории маршрута.
В качестве альтернативы использования алгоритма Дейкстры или А*, предлагается модификация алгоритма с использованием
теории муравьиной колонии [4—6]. Тогда необходимо учитывать расположение RFID-меток на протяжении маршрута. После определения количества «популяции муравьев» (количества объектов мониторинга и их маршрутов) необходимо рассчитать эвристическую функцию (1) для каждого транзита на основе количества RFID-меток, расположенных на протяжении участка пути транзита, а выглядеть эта зависимость должна следующим образом:
= Т„(0, (1)
к=1
где F(t) — сама эвристическая функция;
п — порядковое число каждой метки (в том числе установленной на самом транспортном средстве);
Rk — количество меток на всем маршруте; Vn(t) — скорость транзита на определенном участке пути.
Таким образом, каждый транзит приобретает уникальный порядковый номер, соответствующий RFID-метке, при этом есть возможность отслеживания его скорости и маршрута на определенном участке пути, а там, где появляется риск схода с траектории, ожидаемо подключается система на базе БПЛА. Однако следующим важным этапом является выбор опорных точек, где значение эвристической функции в отношении к каждому БПЛА достигается максимальное. Таким образом появляется возможность определения особо нагруженных зон, требующих критического контроля. Далее необходимо обновить используемый граф маршрута между точками мониторинга для каждого объекта мониторинга. Такую операцию необходимо проводить до момента определения оптимального маршрута с наибольшим перекрытием зоны мониторинга относительно длины участка пути транзита, с последующим определением необходимого количество контролеров, то есть БПЛА, для формирования их оптимального маршрута. Существенным недостатком системы можно выделить зависимость от сравнительно низкого объема аккумуляторов и невозможности сопровождения транзита на всем участке пути, однако, как было упомянуто ранее, в рамках исследования учитывается
размещение RFID-меток, в том числе расположенных и на объектах инфраструктуры дорожного транспорта. Так как на каждом транзите используется собственная RFID-метка, предлагается использование в совокупности с самой меткой и считывателя. При условии расположения меток на объектах инфраструктуры автомобильного транспорта (мосты, опоры знаков, рамки светофоров и т. д.), в совокупности с камерами безопасности движения, становится возможным статистически определить места потенциального отклонения от маршрута, тем самым определить и базовые точки для БПЛА. В случае, когда транзит не считывает предполагаемую метку, подразумевается выдача сигнала на располагающуюся впереди базовую станцию для БПЛА, после чего БПЛА с установленным на нем считывателем RFID-метки получает информацию о маршруте транзита с учетом расположения всех RFID-меток, перемещается для контроля проезда навстречу транзиту для контроля его смещения с траектории, передавая сигнал для всех других базовых станций в зоне мониторинга [7—9]. По выдаче сигнала с общего сервера на соседние базовые станции БПЛА выполняется аналогичная операция для каждого БПЛА. Представляется возможным за счет этой процедуры расширить зону поиска сошедшего с пути транзита. В случае отключения водителем системы мониторинга каким-либо способом, на борту БПЛА имеется ИК-камера, позволяющая идентифицировать государственный номер транспортного средства с дальнейшим распознаванием транзита в базе данных таможенного контроля и принятием мер для пресечения противоправных действий. Для более детального описания работы ИК-камеры в комплексе предлагается рассмотреть следующий алгоритм работы системы.
Алгоритм 2. Алгоритм параллельного использования ИК-камеры:
1. Установить ИК-камеры и считыватели RFID-меток на БПЛА.
2. Разместить RFID-метки на транспортных средствах, которые будут проезжать по контролируемой территории.
3. Определить зоны контроля, где будут находиться БПЛА с ИК-камерами и считывателями RFID-меток.
о гч \ \ \ \ \
5.1 м 24.3 м 3 ч-
Е ■о гч
Рис. 4. Оптимальное размещение БПЛА для детектирования объекта
4. Анализировать данные, полученные с ИК-камер и считывателей, и определять возможные нарушения ПДД и состояние регистрации транспортного средства.
5. Запуск БПЛА на контролируемой территории по возникновению ситуации несчитывания транзитом дорожной метки на маршруте.
6. ИК-камера на БПЛА может фиксировать скорость, движение, наличие номерных знаков и другие параметры транспортных средств в том случае, если считыватель на борту БПЛА не может получить информацию с транзита.
7. В случае нарушения ПДД, отсутствия информации о состояния регистрации транспортного средства или отклонения от маршрута, БПЛА может отправить сигнал на удаленный сервер, чтобы оператор мог принять меры. Реализация метода слежения не только за транзитом, но и за нарушением ПДД заключается в применении ИК-камер в качестве средства фиксации факта пересечения транспортным средством в темное время суток на сла-боосвещенных участках пути сплошных линий разметки. Согласно схеме, представленной на рис. 4, на высоте полета 20 м, установки камеры в горизонтальном положении на угол 55°, обеспечивается распознавание объекта на расстоянии около 25 м, а длина участка слепой зоны при угле обзора ИК-камеры 40° составляет 5 м.
На данном этапе следует комплексно рассмотреть решение задачи по определению легитимности вывода о нарушении разметки, т. е. определить потенциальную ошибку при рассмотрении ситуации ложного пересечения автомобиля дорожной разметки. Для этой задачи предлагается использовать алгоритмы машинного зрения, не использующие алгоритм Хафа, а основанные на методе распознавания границ Канни [10]. В процессе алгоритма распознавания границ методом Канни, после трансформации кадров в реальном времени за счет особенностей ИК-камеры отсутствует необходимость перевода изображения из цветного в черно-белое, при этом определение границы разметки становится более четким благодаря тепловому излучению материала разметки, после чего приводится количественный подсчет всех граничных пикселей, в которых обнаруживается несоответствие между полем границ разметки и корпуса автомобиля (2):
Ш/ = ({1, Б(1, у) ф Л(г, ]),0, Б«,;) = Л(г, у)}),
¿=1,1 =1
(2)
где i, j — начальные значения;
X и Y — высота и ширина поля границ картины в пикселях (соответствуют высоте и ширине входной видеоинформации);
A и B — двумерные массивы, описывающие поля распознанных границ объектов сравнения. Таким образом производится расчет количества пикселей границ объектов разметки и автомобиля по схеме, представленной на рис. 5.
Применение и реализация математического аппарата, разработанного вьетнамскими исследователями и представленного в виде 3SSIM (Three-component Structural Similarity Method) подхода, позволит повысить точность определения, при этом реализовать мониторинг при слабой освещенности, неоднократно доказанная в ходе летных испытаний авиационной техники на примере тестовых объектов для ИК-оборудования [11]. При нормальных условиях дорожное полотно нагревается, представляя собой поглощающий материал, при этом прорезиненная разметка белого цвета выступает в роли отражателя, на фоне чего создается тепловой контраст при обработке изображения.
При приведенных выше параметрах размещения камеры БПЛА, как уже было описано ранее, становится возможным одновременное применение RFID-метки для считывания информации об объекте.
В качестве примера в рамках работы рассматриваются UHF-метки с дальностью действия до 30 м, работающие на частоте от 860—950 МГц [8, 12]. Особенностью применения RFID-меток для считывания информации об объекте, помимо расположения в кабине транзита,
Порядок расчета пикселей границ
появляется возможность размещения и на государственном регистрационном знаке для гражданских автомобилей, при этом обеспечивается фиксация информации об объекте на основе заранее заданной в базе данных. Согласно рис. 5 становится возможным распознавание объекта на дистанции от 30 м, далее происходит инициализация камеры на БПЛА.
При рассмотрении задач мониторинга статичных объектов инфраструктуры дорог предлагается следующий метод, основанный на постобработке полученной информации. При
Iteration: 232, time: 11.60
i, м
а б
Рис. 6. Траектория полета БПЛА по спирали: а — идеальная траектория движения БПЛА по спирали; б — зависимость координат от времени в трехмерном пространстве через шесть точек
Iteration: 599, time: 29.95
Рис. 7. Реальная траектория полета БПЛА по спирали
выборе оптимальной траектории полета в рамках этой задачи и вышеописанной также следует рассматривать и перечень параметров, основанный исходя их опыта летных испытаний БПЛА в процессе оценки характеристик камер.
В перечне параметров учитываются ветер, влажность, туман и т. д. Все эти параметры влияют на траекторию полета БПЛА, не говоря уже о недопустимости приближения к строениям инфраструктуры [13—17]. На рис. 6 приведен пример траектории полета БПЛА по спирали, взятый на основе информации с летных испытаний на полигоне летно-исследователь-ского института в городе Жуковском.
Но реальная траектория отличается от приведенной выше и выглядит следующим образом (рис. 7).
Для корректной работы системы необходимо задать таблицу азимутов, для построения которой необходимы следующие действия (они получены в процессе испытаний).
Алгоритм 3. Задание маршрута БПЛА для слежения за статичным объектом:
1. Для приоритетной цели задать уникальную кодировку. В рамках созданной модели по умолчанию была присвоена кодировка object3409.
2. Выделить особые свойства данного объекта для системы (указать объект из базы, например /car).
3. Строго ориентировать шаблон на север, что нужно для задания направления для дальнейших пролетов.
4. После выбора нескольких объектов слежения составляется их список, согласно которому БПЛА рассчитывает расстояния между ними в пикселях.
Таблица азимутов отражает описание маршрута в объектах. Это необходимо для того, чтобы сформировать конкретную задачу для БПЛА, так как абстрактные задачи типа «слежение за водоемом» влекут за собой увеличение энергопотребления и, следовательно, сокращение автономности, в связи с использованием большего ресурса платы и отсутствием конкретного маршрута.
В случае возникновения ситуации потери данных о местоположении БПЛА запускает алгоритм экстренного поиска.
Алгоритм 4. Алгоритм экстренного поиска маршрута для БПЛА:
1. Загружает последний объект маршрута.
2. Возвращается в точку последнего местоположения объекта маршрута.
3. Выполняет пересчет расстояния, исключая потерянный объект, до следующей точки.
4. Запускает программу оптимизации движения.
В качестве алгоритма оптимизации приводится выявление времени пролета от одного объекта маршрута к другому. После первого пролета БПЛА по маршруту устанавливаются временные интервалы перемещения между объектами и расстояние в пикселях, соответственно, в случае отсутствия объекта для ориентира для БПЛА не будет сложным вернуться назад по маршруту и пересчитать время пролета и оптимизировать новый пролет.
Описания движения БПЛА от объекта
к объекту при заданных начальных условиях действия ветра с постоянной средней скоростью и разных направлениях действия
БПЛА перемещается с определенной постоянной скоростью и подвержен в направлении 9 действию внешних возмущений (ветра) с постоянной средней скоростью. В случае переменного ветра предположим, что изменение угла направления ветра случайное:
JL-H « > Eli., •»•■»•а-/- x-tt ни»-* * ¿> j В> к-ESSE
Рис. 8. Присвоение информационных RFID-меток с привязкой к 3D-модели местности
0»+1 = 0» + ю»+1, (3)
где {ю»} — независимые, центрированные и одинаково распределенные случайные величины Е:
Е{ю»} = 0, Е{ю(2} = аЮ < да, Е{юг, ю} = 0, при условии i ф j.
Из чего следует, что при известных начальных условиях возможно сохранить курс движения, что означает перемещение начального
объекта маршрута в точку, где был утерян искомый, с последующим продолжением движения.
Дальнейшая процедура оценки состояния инфраструктуры состоит в построении 3D-модели местности и привязке информации с RFID-меток в качестве маркеров на модели местности (рис. 8) [18—20]. В качестве примера приведена 3D-модель жилого двора, на которой был выполнен поиск и распознавание объектов в виде автомобилей, на которых были установлены RFID-метки [18—23].
Заключение
Результатом данной статьи является проработка концепции системы мониторинга на базе БПЛА с использованием ИК-камер, RFID-меток, необходимость которой вызвана ростом нагрузки на автомобильные дороги, в том числе количеством транзитов и участившихся случаев нарушения их маршрутов, в связи с чем пропорционально возрастает количество сценариев, не поддающихся контролю со стороны соответствующих инспекций. Предлагается ликвидировать причины отсутствия соответствующих средств мобильного контроля на участках малонагруженных дорог и наиболее нагруженных транзитных маршрутов, модернизировать традиционные методы контроля транспортных средств на основе камер видимого диапазона, а также особенности существующих средств мониторинга, в том числе их статичность.
Предложены реальные функциональные применения малогабаритных летательных аппаратов под конкретные задачи с целью повышения э ффективности актуальных систем мониторинга, расширения функционала, снижения вероятности возникновения опасных ситуаций. Так как большая часть потенциала БПЛА остается нераскрытой в настоящее время, а восприятием функционала БПЛА остается лишь видеофиксация нарушений, следует рассмотреть возможность разработки и применения предложенной концепции. Также предложены методы контроля таких сценариев, как распознавание иностранных регистрационных знаков и контроль действующей регистрации на внутренних регистрационных знаках. Разработаны альтернативные подходы к решению задачи слежения за транспортными средствами (в том числе распознавания знаков), которые могут быть совершенно разными и варьироваться в зависимости от поставленной задачи — от мониторинга за статичными объектами до динамической автоматизированной системы мониторинга.
В качестве направления дальнейшего развития концепции рекомендуется проработка математической части, разработка общего алгоритма поведения системы в целом, устранение недостатков в части использования
алгоритмов машинного зрения, включающие в себя поиск оптимального подхода к детектированию границ с целью уменьшения времени на обработку полученных кадров, повышения точности детектирования границ с целью уменьшения вероятности возникновения ложной фиксации нарушения. Требуется углубленная проработка методов построения оптимального маршрута по критерию максимального активного времени действия. А
Библиографический список
1. Viola P. Robust real-time object detection / P. Viola, M. J. Jones // International Journal of Computer Vision. — 2004. — Vol. 57(2). — Pp. 137-154.
2. Lienhart R. An extended set of haar-like features for rapid object detection / R. Lienhart, J. Maydt // In Image Processing. — 2002. — Vol. 1. — Pp. 900-903.
3. Bovik A. C. Content-weighted video quality assessment using a three-component image model / A. C. Bovik, Ch. Li // Journal of Electronic Imaging. — 2010. — Vol. 19(1). — Pp. 011003-1-011003-9.
4. Сирота А. А. Двухэтапный алгоритм обнаружения и оценивания границ объектов на изображениях в условиях аддитивных помех и деформирующих искажений / А. А. Сирота, А. И. Соломатин, Е. В. Воронова // Компьютерная оптика. — 2009. — Т. 34. — № 1. — С. 109-117.
5. Parker J. R. Algorithms for Image Processing and Computer Vision / J. R. Parker. — New York: John Wiley & Sons, Inc., 1997. — Pp. 23-29.
6. Bo R. On path planning for UAVs based on adaptive ant system algorithm / R. Bo, Yu Lei, H. Lixun // Electronics Optics and Control. — 2007. — Vol. 6. — Iss. 14. — Pp. 36-39.
7. Aguiar A. P. Trajectory-tracking and path-following of underactuated autonomous vehicles with parametric modeling uncertainty / A. P. Aguiar, J. P. Hespanha // IEEE Transactions on Automatic Control. — 2007. — Vol. 52. — Iss. 8. — Pp. 1362-1379.
8. Khoroshev V. Actual State Monitoring of Railway Switch Point Blades Based on RFID Technology / V. Khoroshev, G. Osadchy, D. Efanov et al. // Proceedings of 15th IEEE East-West Design & Test Symposium (EWDTS'2017), Novi Sad, Serbia, September 29 — October 2, 2017. — Pp. 283288. — doi: 10.1109/EWDTS.2017.8110084.
9. Тань Л. Планирование маршрута полета малогабаритных летательных аппаратов в условиях неопределенности в реальном режиме времени / Л. Тань, А. В. Фомичев // Междунар. науч.-техн. конф. «Информационные системы и технологии» (ИСТ-2015). — Нижний Новгород, 2015. — С. 273-276.
10. Canny J. A. Computational Approach to Edge Detection / J. A. Canny // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 1986. — Iss. 6. — Pp. 679-698.
11. Wang Z. Multi-scale structural similarity for image quality assessment / Z. Wang, E. P. Simoncelli, A. C. Bovik // Proceedings of 37th IEEE Asilomar Conference on Signals, Systems and Computers, Pacific group, 2003.
12. Hasan N. Roadmap for RFID Implementation in Libraries: Issues and Challenges / N. Hasan // International Journal of Information, Library and Society. — 2014. — Iss. 3(1). — Pp. 65-71.
13. Dunbar W. B. Model predictive control of coordinated multi-vehicle formations / W. B. Dunbar, R. M. Murray // Proceedings of the 41st IEEE Conference on Decision and Control. Las Vegas. — 2002. — Vol. 4. — Pp. 4631-4636.
14. Распопов Б. Я. Автопилот мини-беспилотного летательного аппарата / Б. Я. Распопов // Мехатроника, автоматизация, управление. — 2008. — № 10. — С. 19.
15. Яковлев К. С. Метод автоматического планирования траектории беспилотного летательного аппарата в условиях ограничений на динамику полета / К. С. Яковлев, Д. А. Макаров, Е. С. Баскин // Искусственный интеллект и принятие решений. — 2014. — № 4. — С. 3.
16. Karaman S. Sampling-based algorithms for optimal motion planning / S. Karaman, E. Frazzoli // The International Journal of Robotics Research. — 2011.—Vol. 30. — Iss. 7. — Pp. 846-894.
17. Lee D. Robust tracking control of an underactuated quadrotor aerial-robot based on a parametric uncertain model / D. Lee, T. Burg, D. Dawson et al. // IEEE Intern. Conf. on Systems, Man and Cybernetics (SMC 2009). — 2009. — Pp. 3187-3192.
18. Нехин С. С. Автоматизация фотограмметрического сбора трехмерной информации на ЦФС / С. С. Нехин, С. В. Олейник // Известия вузов. Геодезия и аэрофотосъемка. — 2011. — № 2. — С. 70-74.
19. Лапшенков E. M. Возможные методы оценки потерь при сжатии изображения в системах оптической дефектоскопии / E. M. Лапшенков // Сборник трудов научной конференции МГУПИ «Актуальные проблемы приборостроения, информатики и социально-экономических наук», 2010. — С. 52-56.
20. Гэн K. K. Планирование маршрута для квадрокоптера в неизвестной среде на основе монокулярного компьютерного зрения / K. K. Гэн // Автоматизация. Современные технологии. — 2015. — № 12. — С. 14-19.
21. Achtelik M. Onboard IMU and monocular vision based control for MAVs in unknown in- and outdoor environments / M. Achtelik, S. Weiss, R. Siegwart // Intl. Conf. on Robotics and Automation (ICRA). — 2011. — Pp. 3-7. — DOI: 10.1.1.456.2037.
22. Engel J. Semi-dense visual odometry for a monocular camera / J. Engel, J. Sturm, D. Cremers // Intl. Conf. on Computer Vision (ICCV 2013). — Pp. 1-5.
23. Kerl C. Dense visual SLAM for RGB-D cameras / C. Kerl, J. Sturm, D. Cremers // Intl. Conf. on Intelligent Robot Systems (IROS 2013). — Pp. 1-6. — DOI: 10.1.1.402.5544.
TRANSPORT AUTOMATION RESEARCH, 2023, Vol. 9, No. 2, рр. 141-152 DOI: 10.20295/2412-9186-2023-9-02-141-152
Vehicle Tracking System Based on Unmanned Aerial Vehicles Using Radio Frequency Identification Technology and Infrared Cameras
Information about author
Sukharev N. V., Postgraduate Student1, Leading Engineer, Technical Project Manager2. E-mail: [email protected]
1Russian University ofTransport (MIIT), "Automation, remote control and communication on railway transport" Department, Moscow
2AO "NPP "Mera", Moscow
Abstract: The article discusses the main principles of operation and advantages of using unmanned aerial vehicles as an additional means of monitoring road traffic, analyzing and predicting traffic jams in real-time, as well as serving as a system for monitoring and assessing the condition of road surfaces and infrastructure. Particular attention is paid to the use of small unmanned aerial vehicles as an active complex for ensuring transportation safety. The possibilities of a three-channel monitoring system (visible, infrared, and radio-technical ranges) for determining the coordinates, characteristics, speeds, and a valid registration of a vehicle are considered. The advantages of the proposed method are described, such as increasing the accuracy and speed of information processing, the possibility of reducing costs for transport control. In particular, the article describes the methods of using radio-frequency identification tags to improve the efficiency of traffic management, prevent traffic congestion, optimize routes, and reduce the risks of dangerous road situations. The article presents a prospective application of infrared cameras for detecting and preventing accidents, analyzing traffic density and driver behavior. A research study has been conducted to explore the possibility of using the aforementioned methods in parallel with unmanned aerial vehicles to propose the development of a fully automated system for monitoring and controlling road transport. The relevance of using a small unmanned aerial vehicle to improve the quality of monitoring road traffic and traffic safety is presented.
Keywords: unmanned aerial vehicle; methods of transport recognition; radio frequency
identification of objects; navigation parameters; measurement complex layout; flight
route; object recognition; safe road.
References
1. Viola P., Jones M. J. Robust real-time object detection. International Journal of Computer Vision, 2004, vol. 57(2), pp. 137-154.
2. Lienhart R., Maydt J. An extended set of haar-like features for rapid object detection. In Image Processing, 2002, vol. 1, pp. 900-903.
3. Bovik A. C., Li Ch. Content-weighted video quality assessment using a three-component image model. Journal of Electronic Imaging, 2010, vol. 19(1), pp. 011003-1-011003-9.
4. Sirota A. A., Solomatin A. I., Voronova E. V. Dvukhetapnyy algoritm obnaruzheniya i otsenivaniya granits ob"ektov na izobrazheniyakh v usloviyakh additivnykh pomekh i deformiruyushchikh iskazheniy [Two-stage algorithm for detecting and estimating the boundaries of objects in images under conditions of additive noise and deforming distortions]. Komp'yuternaya optika [Computer Optics]. 2009, vol. 34, Iss. 1, pp. 109-117. (In Russian)
5. Parker J. R. Algorithms for Image Processing and Computer Vision. New York: John Wiley & Sons, Inc., 1997, pp. 23-29.
6. Bo R., Lei Yu, Lixun H. On path planning for UAVs based on adaptive ant system algorithm. Electronics Optics and Control, 2007, vol. 6, Iss. 14, pp. 36-39.
7. Aguiar A. P., Hespanha J. P. Trajectory-tracking and path-following of underactuated autonomous vehicles with parametric modeling uncertainty. IEEE Transactions on Automatic Control, 2007, vol. 52, Iss. 8, pp. 1362-1379.
8. Khoroshev V., Osadchy G., Efanov D. et al. Actual State Monitoring of Railway Switch Point Blades Based on RFID Technology. Proceedings of 15th IEEE East-West Design & Test Symposium (EWDTS'2017), Novi Sad, Serbia, September 29 — October 2, 2017, pp. 283-288. DOI: 10.1109/EWDTS.2017.8110084.
9. Tan'L., Fomichev A. V. Planirovanie marshruta poleta malogabaritnykh letatel'nykh apparatov v usloviyakh neopredelennosti v real'nom rezhime vremeni [Flight route planning for small-sized aircraft under conditions of uncertainty in real time]. Mezhdunar. nauch.-tekhn. konf. "Informatsionnye sistemy i tekhnologii" (IST-2015) [Intern. sci.-tech. conf."Information systems and technologies"(IST-2015)]. Nizhniy Novgorod, 2015, pp. 273-276. (In Russian)
10. Canny J. A. Computational Approach to Edge Detection. IEEE Transactions on Pattern Analysis and Machine Intelligence. 1986, Iss. 6, pp. 679-698.
11. Wang Z., Simoncelli E. P., Bovik A. C. Multi-scale structural similarity for image quality assessment. Proceedings of 37th IEEE Asilomar Conference on Signals, Systems and Computers, Pacific group, 2003.
12. Hasan N. Roadmap for RFID Implementation in Libraries: Issues and Challenges. Journal of Information, Library and Society, 2014, Iss. 3(1), pp. 65-71.
13. Dunbar W. B. Murray R. M. Model predictive control of coordinated multi-vehicle formations. Proceedings of the 41st IEEE Conference on Decision and Control. Las Vegas. 2002 , vol. 4, pp. 4631-4636.
14. Raspopov B. Ya. Avtopilot mini-bespilotnogo letatel'nogo apparata [Autopilot of a mini-unmanned aerial vehicle]. Mekhatronika, avtomatizatsiya, upravlenie [Mechatronika, avtomatizatsiya, upravlenie]. 2008, Iss. 10, p. 19. (In Russian)
15. Yakovlev K. S., Makarov D. A., Baskin E. S. Metod avtomaticheskogo planirovaniya traektorii bespilotnogo letatel'nogo apparata v usloviyakh ogranicheniy na dinamiku poleta [The method of automatic planning of the trajectory of an unmanned aerial vehicle under conditions of restrictions on flight dynamics]. Iskusstvennyy intellekt i prinyatie resheniy [Artificial intelligence and decision making]. 2014, Iss. 4, p. 3. (In Russian)
16. Karaman S., Frazzoli E. Sampling-based algorithms for optimal motion planning. The International Journal of Robotics Research. 2011, vol. 30, Iss. 7, pp. 846-894.
17. Lee D., Burg T., Dawson D. et al. Robust tracking control of an underactuated quadrotor aerial-robot based on a parametric uncertain model. IEEE Intern. Conf. on Systems, Man and Cybernetics (SMC 2009), 2009, pp. 3187-3192.
18. Nekhin S. S., Oleynik S. V. Avtomatizatsiya fotogrammetricheskogo sbora trekhmernoy informatsii na TsFS [Automation of photogrammetric collection of three-dimensional information on CFS]. Izvestiya vuzov. Geodeziya i aerofotos"emka [Izvestiya vuzov. Geodesy and aerial photography]. 2011, Iss. 2, pp. 70-74. (In Russian)
19. Lapshenkov E. M. Vozmozhnye metody otsenki poter' pri szhatii izobrazheniya v sistemakh opticheskoy defektoskopii [Possible methods for estimating image compression losses in optical flaw detection systems]. Sbornik trudov nauchnoy konferentsii MGUPI "Aktuainye problemy priborostroeniya, informatiki i sotsial'no-ekonomicheskikh nauk" [Proceedings of the MGUPI scientific conference "Actual problems of instrumentation, informatics and socio-economic sciences"]. 2010, pp. 52-56. (In Russian)
20. Gen K. K. Planirovanie marshruta dlya kvadrokoptera v neizvestnoy srede na osnove monokulyarnogo komp'yuternogo zreniya [Route planning for a quadrocopter in an unknown environment based on monocular computer vision]. Avtomatizatsiya. Sovremennye tekhnologii [Automation. Modern technologies]. 2015, Iss. 12, pp. 14-19. (In Russian)
21. Achtelik M., Weiss S., Siegwart R. Onboard IMU and monocular vision based control for MAVs in unknown in- and outdoor environments. Intl. Conf. on Robotics and Automation (ICRA), 2011, pp. 3-7. DOI: 10.1.1.456.2037.
22. Engel J., Sturm J., Cremers D. Semi-dense visual odometry for a monocular camera. Intl. Conf. on Computer Vision (ICCV 2013), pp. 1-5.
23. Kerl C., Sturm J., Cremers D. Dense visual SLAM for RGB-D cameras. Intl. Conf. on Intelligent Robot Systems (IROS 2013), pp. 1-6. DOI: 10.1.1.402.5544.
