Усовершенствование алгоритма обработки видеосигналов системы технического зрения для уменьшения погрешности измерения скорости движения протяженных объектов Текст научной статьи по специальности «Компьютерные и информационные науки»

Научная статья УДК 681.518.5

DOI:10.31854/1813-324X-2024-10-1-41-48

É

Усовершенствование алгоритма обработки видеосигналов системы технического зрения для уменьшения погрешности измерения скорости движения протяженных объектов

Ринат Радмирович Диязитдинов, rinat.diyazitdinov@gmail.com Николай Николаевич Васин, n.vasin@psuti.ru

Поволжский государственный университет телекоммуникаций и информатики, Самара, 443010, Российская Федерация

Аннотация: Системы технического зрения нашли широкое применение для контроля состояния инфраструктуры на железной дороге. Системы технического зрения используются не только для видеофиксации, но и для автоматизации технологических процессов. Одной из важных задач, возникающих при автоматизации процессов, является измерение скорости движения протяженных объектов (вагонов, электровозов, железнодорожных составов). Для некоторых систем необходимым требованием является измерение скорости в режиме реального времени (торможение вагонов на сортировочной горке). В этом случае скорость определяется по двум смежным кадрам, чтобы обеспечить минимальную задержку измерений. Однако изображения протяженных объектов могут быть малоинформативными (фрагменты изображений являются однородными по яркости), погодные условия могут создавать значительные помехи, что приводит к резкому увеличению погрешности измерения скорости. Для повышения точности измерения скорости движения при обработке в режиме реального времени было предложено усовершенствование существующего алгоритма, основанного на сравнении двух смежных кадров. Усовершенствование заключается в выборе информативной области изображения, соответствующей протяженному объекту. Сравнительный анализ существующего и усовершенствованного алгоритма показал существенное уменьшение погрешности измерения скорости движения.

Ключевые слова: техническое зрение, скорость, погрешность, телевизионный, протяженный объект, режим реального времени, изображение

Ссылка для цитирования: Диязитдинов Р.Р., Васин Н.Н. Усовершенствование алгоритма обработки видеосигналов системы технического зрения для уменьшения погрешности измерения скорости движения протяженных объектов / / Труды учебных заведений связи. 2024. Т. 10. № 1. С. 41-48. DOI:10.31854/1813-324X^024-10-1-41-48. EDN:JZHITL

Improvement of Machine Vision Video Signal Processing Algorithm for Higher Accuracy in Extended Object Speed Measurements

Rinat Diyazitdinov, rinat.diyazitdinov@gmail.com Nikolay Vasin, n.vasin@psuti.ru

Povolzhskiy State University of Telecommunications and Informatics, Samara, 443010, Russian Federation

© Диязитдинов Р.Р., Васин Н.Н., 2024

41

tuzs.sut.ru

Abstract: Machine vision systems are widely used for monitoring of the railway infrastructure condition. High reliability of machine vision systems allows using them not only for video recording but also for automation of technological processes. One of the important tasks in the process automation is measurement of an extended object speed (rail-road cars, electric locomotives and rolling stock). Some systems have a requirement to estimate speed in real time (braking of cars at a shunting yard). In this case the speed is calculated by two adjacent frames to ensure the minimum delay for measurement. However, the image of an extended object can be uninformative (image fragments are uniform in brightness), the weather can cause interference. It leads to high speed estimation error. This article describes the improvement for the existing real-time algorithm which allows for higher accuracy in speed measurements. The improvement implies selection of an informative image area corresponding to an extended object. A comparative analysis of the existing and improved algorithm showed a significant reduction in the estimation error in speed measurements.

Keywords: machine vision, speed, accuracy, television, extended object, real-time, image

For citation: Diyazitdinov R., Vasin N. Improvement of Machine Vision Video Signal Processing Algorithm for Higher Accuracy in Extended Object Speed Measurements. Proceedings of Telecommun. Univ. 2024;10(1):41-48. DOI:10.31854/1813-324X-2024-10-1-41-48. EDN:JZHITL

Введение

Системы технического зрения широко используются для контроля железнодорожной инфраструктуры в сложных условиях эксплуатации: при осадках (дожде, снеге, тумане) и высокой влажности; при экстремальных температурах (от -40 до +60 ° С); в светлое и темное время суток, что позволяет их использовать для автоматизации технических процессов. Одной из актуальных задач при автоматизации процессов на железнодорожной дороге является измерение скорости протяженных объектов.

Протяженный объект - это объект, геометрический размер которого сопоставим с размером поля зрения применяемых видеокамер или существенно превосходят его [1]. Примером протяженного объекта является вагон, железнодорожный состав, электровоз и т. д. Скорость протяженных объектов должна измеряться с высокой точностью (примечание: с погрешностью +/-2 км/ч), так как эти измерения влияют на дальнейшую обработку видеоданных. Например, при контроле протяженных объектов проводится сжатие видеоданных, основанное на формировании панорамных изображений [2]. Панорама формируется из фрагментов отдельных кадров, но размер фрагмента определяется скоростью движения. Если скорость вычислена неверно, то в панораме будут пропущенные или повторяющиеся фрагменты от протяженного объекта.

Для обеспечения низкой погрешности измерения скорости часто используют обработку нескольких кадров. Отдельные кадры могут содержать искаженные изображения (например, из-за засветки, осадков и т. д.), что ведет к резкому увеличению погрешности измерений. Однако за счет усреднения или медианной фильтрации измерения с высокой погрешностью отбраковываются, и точность измерения скорости повышается [3, 4]. Такой способ уменьшения погрешности при измерении скорости широко применяется в системах распознавания номеров вагонов (составление натур-листов) [5].

Однако существует ряд задач, в которых измерение скорости должно проводиться в режиме реального времени. Например, для управления торможением вагонов на сортировочной горке. Чтобы задержка измерения скорости была минимальной, обработка изображений должна проводиться в течение периода следования кадров. Однако в этом случае резко увеличивается погрешность измерений скорости по сравнению с измерением по совокупности изображений, что связано со статистическими характеристиками обрабатываемых изображений.

Исследованию проблемы уменьшения погрешности измерения скорости протяженного объекта в режиме реального времени по видеосигналам системы технического зрения посвящена эта статья.

1. Обзор работ по измерению скорости

движения протяженного объекта

В работе [6] авторы предлагают алгоритм измерения на основе выбора фрагмента на текущем кадре и поиске положения этого фрагмента на следующем кадре. Измеряя смещение, а также зная расстояние от камеры до протяженного объекта и период следования кадров, происходит расчет скорости движения. Для борьбы с искажениями, возникающими из-за дождя и снега (помехи можно рассматривать как импульсные, так как они приводят к резкому изменению яркости отдельных пикселей изображения), было предложено выбирать фрагмент высотой п строк и суммировать яркость пикселей вдоль столбца. И по полученному одномерному сигналу оценивать смещение. Так как из-за осадков искажаются только отдельные элементы (пиксели) изображения, то за счет суммирования формируется сигнал, устойчивый к этим искажениям. Данный способ имел существенный недостаток: фрагмент изображения, используемый для измерения, мог соответствовать малоинформативной области. В железнодорожном составе присутствуют такие вагоны, которые содержат однородные по яркости протяженные области. Если

фрагмент соответствует такой области, то смещение может быть оценено с большой погрешностью, так как фрагменты в однородной по яркости области очень похожи друг на друга.

Для исправления этого недостатка был разработан способ с предварительной проверкой фрагментов [7], в котором выбирался наиболее информативный фрагмент по максимуму дисперсии (примечание: дисперсия рассчитывается по одномерному сигналу, соответствующему фрагменту). Такое решение было предложено, исходя из того, что однородные по яркости фрагменты изображения будут характеризовать «низкой» дисперсией. Чем больше дисперсия, тем более «неоднороднее» фрагмент изображения. Недостаток этого решения заключается в том, что если в кадре присутствует не только протяженный объект, но и задний фон, то выбранный фрагмент может содержать движущийся объект и неподвижный фон. Использование этого фрагмента для обработки приводит к значительному увеличению погрешности. Для выбора фрагмента, содержащего только движущийся объект, был усовершенствован алгоритм, который обеспечил уменьшение погрешности измерения скорости.

2. Метод измерения скорости движения

В соответствии с работой [8] принцип измерения скорости определяется по смещению фрагмента изображения /-го кадра относительно (/+1)-го кадра на величину Дб.

Реальное смещение протяженного объекта определяется по формуле:

АБ = г • Аб, (1)

где г - это множитель, зависящий от технических параметров системы технического зрения и расстояния от видеокамеры до объекта.

Период следования кадров (т) связан с частотой (/): т = /-1 (2)

Скорость движения (V):

V = АБ/т = г • Аб • / (3)

Параметры г и /являются константами, а смещение Дб определяется в результате обработки изображений.

На рисунках 1Ь и 1с показан пример расчета одномерного опорного И/(Г), I = к, .. , к + т - 1 и анализируемого сигнала й/+1(1), I = 1 .. w. Сигналы И/(Г) и Й/+1Ю формируются как суммарное значение яркости вдоль столбца фрагмента.

16000 ? 14000 g 12000 &10000 I 8000 g 6000 •g- 4000 У2000 0

0

20 40 60 80 100 120 140 160 180 200 220 240 260 280 300 320 b)

Xi X2

Фрагмент сигнала, соответствущего опорномусигналу

a)

16000 S14000 12000 |Ш00 * 8000 1 6000 il 4000 * 2000

°0 20 40 60 80 100 120 140 160 180 200 220 240 260 280 300 320

c)

Рис. 1. Главные измерения протяженного объекта (а) и график одномерного опорного (b) и анализируемого (с) сигнала

Fig. 1. Main Measurement of the Long Object (а) and One-Dimensional Plot of Reference (b) and Analyzed (c) Signal

Смещение As определяется как: As = argmin(Ç(As)),

As

k+m-1

Q(As)= £ (hi+1(l + As) - hi(l))2 l=k

(4)

(5)

Функция Ф(Аб) будет принимать минимальное значение, если И/(Г) и И/+1(Г) будут наиболее похожими (рисунок 2).

-40 -35 -30 -25 -20 -15 -10 -5 0 5 10 15 20 25 30 35 40 Рис. 2. Оценка смещения As

Fig. 2. Offset Estimation

3. Проблема выбора информативного фрагмента

При выборе информативного фрагмента для измерения скорости движения по максимуму дисперсии может быть выбран фрагмент, содержащий одновременно протяженный объект и задний фон. На рисунках 3а и 4а показан этот случай. После совмещения опорный сигнал выбранного фрагмента не совпадает по форме с анализируемым сигналом (см. рисунок 4а). Это различие сигналов по форме было использовано в качестве дополнительного признака для определения информативности выбранного фрагмента, чтобы уменьшить погрешность измерения скорости.

4. Усовершенствование алгоритма

Различие по форме позволяет оценить коэффициент корреляции, который будет много меньше 1.0. Например, между сигналами, показанными на рисунке 4а, он равен 0.664. Усовершенствование алгоритма, описанного в способе [7], заключается во введении предварительного пошагового этапа.

Шаг 1. Расчет опорного сигнала для прямоугольной области /-го текущего кадра.

Шаг 2. Расчет дисперсии опорного сигнала прямоугольной области /-го текущего кадра.

Шаг 3. Выделение горизонтальной полосы на (/ + 1)-м следующем кадре с координатами, соответствующими координатам прямоугольной области /-го текущего кадра.

Шаг 4. Расчет анализируемого сигнала для горизонтальной полосы (/ + 1)-го следующего кадра.

Шаг 5. Определение правдоподобной прямоугольной области и смещения Д5 по формуле (4).

Шаг 6. Вычисление коэффициента корреляции между опорным сигналом прямоугольной области /-го текущего кадра и анализируемым сигналом правдоподобной области (/ + 1)-го следующего кадра по формуле (6), где w/(d), w/+lq(d) - суммы уровней яркости столбца d прямоугольной области /-го кадра (значение опорного сигнала для элемента с номером d) и (/ + 1)-го кадра, имеющей номер д, соответственно; т - количество элементов.

_ 2=1 (wj(d) -1 • £Г=1 Wj(t)) • (wi+1,„(d) -1 • £Г=1 wi+1,„(t)) R ~ ■ . (6)

Z3U (wj(d) - ^ • 2Г=1 wj(t)) • 23=1 (wi+1,q(d) - ^ • wi+1,4(t))

i-й кадр

(i + 1)-й кадр

....... III J

L_

■1

-Q

■W

о ■ Я

S J Я

is If 1

AS = 0 пикселей

1 2 3 4

5 6 7 8

j j 9 ...1° 11 ..... 12

Г

_

.......

I

(i + 1)-й кадр

ill

п=

il

AS = 24 пикселя

a) b)

Рис. 3. Фрагмент, выбранный по максимуму дисперсии (а) и в усовершенствованном алгоритме (b)

Fig. 3. A Maximum Variance Fragment (a) and Analyzed Fragment by Modified Algorithm (b)

x, пиксель

x, пиксель

! 1 ! Опорный сигнал (область N° 8) i-й кадр

1 , , , Коорди1 юта X изображения

50

100

150

200

250

300

350

400

s 11000

о о 10000

О. СС 9000

_о 8000

CÛ 75000

(3000 £Ю00С

11000

H- о 10000

ср 9000

-О 8000

Ш 73000

О .ср 6000

50 00(

11000

1— о 10 00 0

ср 90 00

-О 8000

ш 7000

о ср >. 6000 5000

ата X изображения

50

100

150 200 250

Совмещение гистограмм

300

350

400

Коэффициент

корреляции \ равен 0,664

Координата X изображения

50

100

150

200

250

300

350

ÙsS = 0 пикселей

500

a)

Опорный сигнал (область № 7)

i-й кадр

Координата X изображения

150 200 250

Совмещение гистограмм

300

400

Коэффиг,иент корреляции равен 0,997

f-

50

100

150

Координата X изображения

250 300

ÛS = 24 пи ксе ля

23500

4000

Рис. 4. Оценка смещения в анализируемом (а) и в усовершенствованном (b) алгоритмах

Fig. 4. Offset Estimation by Analyzed (a) and Modified (b) Algorithms

Обработка согласно шагам 1-6 проводится для каждой прямоугольной области /-го текущего кадра. А наиболее информативная область с протяженным объектом для оценки скорости движения выбирается по наибольшей дисперсии опорного сигнала прямоугольной области (шаг 2) и по коэффициенту корреляции (шаг 6), превышающему порог. Идея использования коэффициента корреляции для выбора наиболее информативной области с протяженным объектом для оценки скорости объекта заключается в следующем. Если анализируемая область /-го кадра содержит фрагмент фона, то из-за того, что фон неподвижен, а протяженный объект движется, правдоподобная область на

(/ + 1)-ом кадре не будет похожа на анализируемую область /-го кадра, так как часть области с фоном будет соответствовать смещению близкому к нулю (фон неподвижен), а часть области с подвижным объектом будет соответствовать смещению объекта. В результате на (/ + 1) кадре правдоподобная область не будет похожа по форме на анализируемую область /-го кадра (см. рисунок 4а).

Таким образом, «сходство» анализируемой область /-го кадра и правдоподобной области (/ + 1) кадра означает, что первая содержит протяженный объект, а «различие» означает, что она содержит фрагмент фона. А для определения «сходства»/ «различия» по форме между опорным сигналом

0

0

0

прямоугольной (примечание: на одной строке только одно слово) области /-го кадра и анализируемым сигналом правдоподобной области (/ + 1)-го кадра используется коэффициент корреляции.

Для принятия решения о «сходстве» или «различии» сигналов по коэффициенту корреляции используется порог.

Проведенные эксперименты на сортировочной горке станции Кинель Куйбышевской железной дороги показали, что при использовании областей с протяженным объектом коэффициент корреляции не меньше 0.96, а областей с фоном - не больше 0.88.

По этой причине в качестве значения на порог ЛгЯ для коэффициента корреляции было выбрано среднее значение ЫгЯ = (0.88 + 0.96)/2 = 0.92.

Таким образом, если коэффициент корреляции больше, чем порог, то прямоугольная область текущего кадра является информативной, содержит протяженный объект и обеспечивает корректную оценку смещения Д5 и скорости движения протяженного объекта, в противном случае прямоугольная область текущего кадра не является информативной, так как содержит изображение фона и не подходит для оценки смещения Д5 (примечание: необходимо выравнивание по ширине).

Коэффициент корреляции Я между опорным сигналом прямоугольной области текущего кадра и анализируемым сигналом правдоподобной области следующего кадра рассчитывается по формуле (6).

5.Апробация

На рисунках 3Ь и 4Ь показаны кадры, аналогичные 3а и 4а, но для выбора фрагмента для расчета смещений был использован предложенный выше способ. Коэффициент корреляции сигналов равен 0.997.

На рисунке 5 показаны графики измерения скорости по способу [7] и предложенному усовершенствованию. При использовании алгоритма с выбором фрагмента по максимуму дисперсии [7] на графике скорости отчетливо видны отсчеты с высокой погрешностью измерений, которые отсутствуют на графике, полученном с помощью усовершенствованного алгоритма.

Рис. 5. Сравнение измерений

Fig. 5. Measurement Comparison

На рисунке 6 представлена схема обработки данных. Выбор фрагмента определяется циклом, реализуемым блоками 16-21, а также учетом коэффициента корреляции в блоках 26-27.

В таблице 1 приведены результаты погрешности измерения усовершенствованного алгоритма в сравнении с референтной системой (недостатком которой является то, что она не обеспечивает измерения в режиме реального времени). Погрешность измерения определяется как «максимальное отклонение на уровне 0.95 квантиля».

ТАБЛИЦА 1. Погрешность измерения скорости

TABLE 1. Speed Measurenet Error

№ объекта Длительность измерения, с Погрешность, км/ч

1 125 0.2

2 120 0.5

3 120 0.4

4 110 0.5

5 105 0.6

6 100 0.3

Таким образом, измерение скорости по усовершенствованному алгоритму удовлетворяет требованиям по погрешности, и в проведенных натурных экспериментах не превышает 0.6 км/ч.

Заключение

В работе представлено усовершенствование способа измерения скорости движения протяженного объекта по видеосигналам системы технического зрения. Оно направлено на уменьшение погрешности измерений за счет выбора информативных фрагментов изображений.

Кроме непосредственного решения проблемы, описанный способ учитывает и вопросы быстродействия. Усовершенствование увеличивает время обработки приблизительно на 1-2 % по сравнению с прототипом [7], что позволяет оставить без изменения аппаратную составляющую существующего измерительного комплекса (примечание: используется персональный компьютер с процессором Core i7 - 3770, 3.4 ГГц). Эта характеристика является очень важной, так как возможность сохранения аппаратурной составляющей без изменения часто является решающим фактором при изменении программного обеспечения.

Дальнейшее развитие исследований по измерению скорости планируется проводить в направлении учета фона, что позволит проводить измерения скорости в моменты времени, когда протяженный объект только появляется в кадре или исчезает из него.

На основании предложенного алгоритма была подана заявка на изобретение, и был получен патент [9]. Разработанный алгоритм планируется внедрить в существующую систему измерения скорости.

Список источников

1. Васин Н.Н., Куринский В.Ю. Измерение скорости движения протяженных объектов системами видеонаблюдения // Известия высших учебных заведений. Приборостроение. 2013. Т. 56. № 10. С. 77-80. EDN:RGRLRB

2. Алиев Э.В., Веснин Е.Н., Малыгин Л.Л., Михайлов А.Е., Царев В.А. Оптическая идентификация объектов подвижного состава в задачах управления железнодорожными перевозками // Автоматизация в промышленности. 2009. № 5. С. 49-54. EDN:KVUGWP

3. Обухова Н.А. Методы видеонаблюдения, сегментации и сопровождения движущихся объектов. Автореф. дис. ... докт. техн. наук. СПб.: С.-Петерб. гос. электротехн. ун-т (ЛЭТИ), 2008. 32 с. EDN:NJEOFT

4. Пирим П. Способ и устройство для идентификации и локализации в реальном масштабе времени зоны с относительным перемещением в сцене и для определения скорости и направления перемещения. Патент на изобретение RU 2216780 C2. Опубл. 20.11.2003. EDN:GQPAZF

5. Веснин Е., Царев В., Михайлов А. Распознавание номеров вагонов: принципы решения и приложение в промышленности // Control Engineering Россия. 2014. Т. 49. № 1. С. 60-66.

6. Васин Н.Н., Куринский В.Ю. Способ измерения скорости движения протяженных объектов. Патент на изобретение RU 2398240 C1. Опубл. 27.08.2010. EDN:GPIDIH

7. Диязитдинов Р.Р., Васин Н.Н. Способ измерения скорости движения протяженных объектов. Патент на изобретение RU 2747041 C1. Опубл. 23.04.2021. EDN:DFPPTV

8. Диязитдинов Р.Р., Васин Н.Н. Использование фрагментов телевизионного изображения системы технического зрения для верификации повышения помехоустойчивости измерений скорости протяженного объекта // Труды учебных заведений связи. 2022. Т. 8. № 1. С. 34-40. D0I:10.31854/1813-324X-2022-8-1-34-40. EDN:QQWWLU

9. Васин Н.Н., Диязитдинов Р.Р. Способ измерения скорости движения протяжённых объектов. Патент на изобретение RU 2803031 C1. Опубл. 05.09.2023. EDN:CTIPSZ

1. Vasin N.N., Kurinsky V.Yu. Measuring of Lengthy Object Velocity with Closed Circuit Cameras. Journal of Instrument Engineering. 2013;56(10):77-80. EDN:RGRLRB

2. Aliev E.V., Vesnin E.N., Malygin L.L., Mikhailov A.E., Tsarev V.A. Optical Identification of Rolling Stock Objects in the Tasks of Railway Transport Management. Automation in Industry. 2009;5:49-54. EDN:KVUGWP

3. Obukhova N.A. Methods of Video Surveillance, Segmentation and Tracking of Moving Objects. D.Sc Thesis. St. Petersburg: Saint Petersburg Electrotechnical University "LETI" Publ.; 2008. 32 p. EDN:NJEOFT

4. Pirim P. Method and Apparatus for Real-Time Identification and Localisation of a Zone with Attitudinal Displacement in a Scene and for Determining the Speed and Direction of Displacement. Patent RF, no. 2216780 C2, 20.11.2003. EDN:GQPAZF

5. Vesnin E., Tsarev V., Mikhailov A. Recognition of Wagon Numbers: Principles of Solution and Application in Industry. Control Engineering Russia. 2014;49(1):60-66.

6. Vasin N.N., Kurinsky V.Yu. Method of Measuring the Speed of Motion of Extended Objects. Patent RF, no. 2398240 C1, 27.08.2010. EDN:GPIDIH

7. Diyazitdinov R.R., Vasin N.N. Method of Measuring the Speed of Motion of Extended Objects. Patent RF, no. 2747041 C1, 23.04.2021. EDN:DFPPTV

8. Diyazitdinov R., Vasin N. Using Television Image Fragments of a Machine Vision for Verifying Noise Immunity of an Extended Object Velocity Measurement. Proceedings of Telecommun. Univ. 2022;8(1):37-40. DOI:10.31854/1813-324X-2022-8-1-37-40. EDN:QQWWLU

9. Vasin N.N., Diyazitdinov R.R. Method of Measuring the Speed of Motion of Extended Objects. Patent RF, no. 2803031 C1, 05.09.2023. EDN:CTIPSZ

Статья поступила в редакцию 14.11.2023; одобрена после рецензирования 16.01.2024; принята к публикации 19.01.2024.

The article was submitted 14.11.2023; approved after reviewing 16.01.2024; accepted for publication 19.01.2024.

References

Информация об авторах:

ДИЯЗИТДИНОВ Ринат Радмирович

кандидат технических наук, доцент, доцент кафедры сетей и систем связи Поволжского государственного университета телекоммуникаций и информатики Ы*рз: //orcid.org/0000-0001-6360-0351

ВАСИН

Николай Николаевич

доктор технических наук, профессор, профессор кафедры сетей и систем связи Поволжского государственного университета телекоммуникаций и информатики ЬИрБ: //orcid.org/0000-0001-9749-4884