ИСПОЛЬЗОВАНИЕ ФРАГМЕНТОВ ТЕЛЕВИЗИОННОГО ИЗОБРАЖЕНИЯ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ ДЛЯ ВЕРИФИКАЦИИ ПОВЫШЕНИЯ ПОМЕХОУСТОЙЧИВОСТИ ИЗМЕРЕНИЙ СКОРОСТИ ПРОТЯЖЕННОГО ОБЪЕКТА Текст научной статьи по специальности «Медицинские технологии»

УДК 681.518.5 D01:10.31854/1813-324Х-2022-8-1-34-40 [СФЛЗЦ^И

Использование фрагментов телевизионного изображения системы технического зрения

для верификации повышения помехоустойчивости измерений скорости протяженного объекта

P.P. Диязитдинов1 *, H.H. Васин1©

поволжский государственный университет телекоммуникаций и информатики, Самара, 443010, Российская Федерация *Адрес для переписки: rinat.diyazitdinov@gmail.com

Информация о статье

Поступила в редакцию 16.02.2022 Поступила после рецензирования 14.03.2022 Принята к публикации 16.03.2022

Ссылка для цитирования: Диязитдинов Р.Р., Васин Н.Н. Использование фрагментов телевизионного изображения системы технического зрения для верификации повышения помехоустойчивости измерений скорости протяженного объекта // Труды учебных заведений связи. 2022. Т. 8. № 1. С. 34-40. DOI:10.31854/1813-324X-2022-8-1-34-40

Аннотация: Современные диагностические комплексы, используемые для контроля инфраструктуры железной дороги, оснащены системами технического зрения. Кроме функции видеофиксации, эти системы выполняют задачи распознавания и измерения параметров, необходимые для автоматизации технологических процессов. Одной из существующих задач является измерение скорости протяженных объектов. Измерение скорости необходимо для торможения вагонов на сортировочной горке, для формирования изображения протяженных объектов (отдельных вагонов или составов), которые не могут поместиться в кадр целиком (изображение формируется из фрагментов различных кадров), для решения задач составления натурных листов (распознавание номера вагона) и т. д. В статье описывается процедура верификации фрагментов изображений, используемых для измерения скорости протяженных объектов, которая позволяет повысить помехоустойчивость. Процедура верификации позволила усовершенствовать существующий алгоритм, основанный на сравнении двух смежных кадров для вычисления скорости движения, тем самым повысив достоверность измерений.

Ключевые слова: верификация, телевизионный, техническое зрение, помехоустойчивость, скорость, протяженный объект, изображение.

Введение

Современные диагностические комплексы, используемые на железной дороге, как правило, оснащены системами технического зрения. От обычных систем видеонаблюдения их отличает:

- высокое качество получаемой видеоинформации в различных условиях съемки;

- отсутствие размытия изображений за счет технологии «global shutter»;

- аппаратная синхронизация.

Эти технологические особенности позволяют проводить измерение параметров и обеспечивают стабильное распознавание объектов. Подобные функции позволяют автоматизировать ряд технологических процессов для контроля железнодо-

рожной инфраструктуры. Одной из задач автоматизации является измерение скорости протяженного объекта.

Измерения скорости необходимы для:

- торможения вагонов на сортировочной горке;

- формирования изображения протяженных объектов (отдельных вагонов или нескольких вагонов в сцепке); изображение строится из фрагментов отдельных кадров, а размер фрагмента из кадра определяется скоростью движения;

- распознавания номеров вагонов (измерения скорости используются для формирования изображения протяженных объектов и для компенсации вибраций, искажающих данные).

Принцип измерения скорости заключается в выборе фрагмента на текущем кадре и в определении положения этого фрагмента на следующем кадре. Смещение фрагмента, как правило, пропорционально реальному смещению протяженного объекта. Зная реальное смещение и время между кадрами, рассчитывается скорость движения объекта [1-5].

В [1] рассматривается способ, который был положен в основу патента [2], а также в основу системы измерения скорости на сортировочной горке станции Кинель Куйбышевской железной дороги. Суть представленного способа заключается в том, что анализируемые фрагменты предварительно преобразовываются в одномерные сигналы путем суммирования яркости пикселей вдоль столбцов, а смещение (и, соответственно, скорость протяженного объекта) рассчитывается в результате сравнения этих сигналов. Описанный способ измерения имеет недостаток: алгоритм не содержит механизм верификации, что приводит к появлению недостоверных измерений.

В данной статье предлагается процедура верификации фрагментов телевизионного изображения системы технического зрения, которая позволяет уменьшить вероятность недостоверных данных. За счет этого повышается помехоустойчивость системы измерения скорости движения протяженных объектов.

1. Метод измерения скорости движения

Измерение скорости движения протяженного объекта [1] основано на следующем принципе: фрагмент телевизионного изображения /-го кадра смещается на величину Аб относительно (/ + 1)-го кадра. Смещение Аб, измеренное в пикселях, соответствует реальному смещению А5:

AS = r • As,

(1)

где г - это постоянный коэффициент, который зависит от фокусного расстояния видеосистемы, положения объекта относительно видеосистемы и еще ряда оптических параметров.

Время между смежными кадрами (т) определяется частотой (/ съемки:

т = f -

(2)

Скорость движения определяется следующим образом:

v = AS / т = r • As • f.

(3)

Параметры г, /являются константами, величина Аб вычисляется в ходе обработки данных.

Для измерения смещения в /-м кадре выбирается фрагмент шириной т и высотой п пикселей. Суммируя яркость пикселей вдоль столбца, рассчитывается опорный сигнал И/(Г), I = к, ..., к + т + 1 (см. рисунок 1).

0 20 40 60 80 100120140160180 200 220240 260 280 300 320

Рис. 1. Вычисление опорного сигнала hi(I)

Fig.1. Reference Signal h(l)

16000

k

X1 X2

Анализируемый сигнал HM(l) Л fX/A/" /V/ Фрагмент сигнала, соответствущего опорному;сигналу 1V • ■ • Координата X изображения

0 20 40 60 80 100 120 140 160180 200 220240 260 280 300 320

Рис. 2. Вычисление анализируемого сигнала hi + 1(/)

Fig. 2. Analyzed Signal hi+i(l)

В (/ + 1)-ом кадре аналогичным образом рассчитывается анализируемый сигнал Ь + 1(1), l = 1, ..., W, но ширина фрагмента равна ширине кадра (Щ (см. рисунок 2).

Смещение As определяется по формулам: As = argmin(Q(As)),

As

к+т-1

Q(As)= ^ (hi+i(l + As) - hi(t))

l=k

(4)

(5)

Функция ф^) будет принимать наименьшее значение при таком As, при котором наблюдается наибольшее совпадение сигналов Ь(1) и ^+1(Г). На рисунке 3 показан график функции ф^), на котором минимальное значение функции соответствует искомому смещению As.

-40 -35 -30 -25 -20 -15 -10 -5 0 5 10 15 20 25 30 35 40 Рис. 3. Оценка смещения As Fig. 3. Offset Estimation

2. Проблема выбора фрагмента

Недостаток описанного алгоритма [1] заключается в том, что опорный сигнал может быть вычислен на основе фрагмента телевизионного изображения, представляющего собой однородную по яркости поверхность. Такие малоинформативные фрагменты становятся источниками ошибок при проведении измерений скорости протяженных объектов. На рисунке 4 показан подобный фрагмент изображения. На рисунке 5 на графике ф^) минимум отчетливо не виден; в соответствии с формулой (4) значение As = 7 пикселям.

Как можно видеть из рисунка 5, минимальное значение плохо идентифицируется; при незначительных помехах оценка смещение As может значительно отличаться от истинного значения. Чтобы избежать ошибок, связанных с фрагментами на однородных поверхностях, предлагается следующая процедура верификации: анализ нескольких фрагментов и выбор из них одного фрагмента с максимальной дисперсией (примечание: дисперсия рассчитывается по одномерному сигналу). Логика подобного решения заключается в том, что чем «однороднее» поверхности, тем ниже у нее дисперсия. Фрагмент с максимальной дисперсией используется для вычисления скорости.

2

5500

; 5000

! 4500 Я 4000 ! 3500 ! 3000 Р 2500 ' 2000 0

0 20 40 60 80 100 120 140 160 180 200220 240 260280 300320

5500 рЕ 5000 §4500 £4000 ^3500 lä 3000 °2500 >2000 0

0 20 40 60 80 100 120 140 160 180 200220 240 260 280 300 320

Рис. 4. Неверная оценка смещения

Fig. 4. Wrong Offset Estimation

A

6000000 5000000 4000000 3000000 2000000 1000000 0

ем

Минимальное .......значение

Q(As) при As = 7

As, пиксель

-40 -35 -30 -25 -20 -15 -10 -5 0 5 10 15 20 25 30 35 40 Рис. 5. График 0(As) для однородного фрагмента

Fig. 5. Plot Q(As) for Uniform Region of Image

X1 X2

5500 s 5000 g 4500 S-4000 S 3500 Ш 3000 о 2500 > 2000 0

5500 = 5000 Ц 4500 §^4000 £ 3500 g>3000 °2500 >-2000 0

На рисунке 6 показаны те же самые кадры, но с фрагментом на неоднородной области. На рисунке 7 на графике Ф(Аб) минимум виден отчетливо и соответствует Аб = 13 пикселям.

Одномерный сигнал, соответствующий выбранной неоднородной области изображения, характеризуется уникальной формой.

Эта форма позволяет с высокой вероятностью правильно оценивать смещение Аб. График Ф(Аб) подтверждает это утверждение: глобальный минимум много меньше, чем другие локальные минимумы.

0 20 40 60 80 100 120 140 160180 200220240 260280 300 320

Рис. 6. Верная оценка смещения

Fig. 6. Correct Offset Estimation

-40 -35 -30 -25 -20 -15 -10 -5 0 5 10 15 20 25 30 35 40

Рис. 7. График 0(As) для неоднородного фрагмента

Fig. 7. Plot Q(As) for Non-Uniform Region of Image На рисунке 8 показаны обрабатываемое изображение с выделенными фрагментами, а в таблице 1 - дисперсия этих фрагментов. Наибольшее значение дисперсии имеет фрагмент № 7; он и будет использоваться для оценки смещения Дб.

На рисунке 9 представлена схема обработки данных для усовершенствованного алгоритма.

Блоки с 1 по 4 соответствуют функциональной части системы видеонаблюдения, которая ответственна за фиксацию протяженного объекта, появившегося в поле зрения камеры.

Блок № 5 соответствует записи двух соседних кадров (/ и (/ + 1)), на основе которых оценивается смещение Аб и скорость.

Блоки с 6 по 17 отвечают за выбор области в /-м кадре, которая будет использоваться для формирования опорного сигнала.

Блок № 18 соответствует выбору горизонтальной полосы на (/ + 1)-м кадре, у которой границы по оси ординат определяются выбранной областью на /-м кадре.

Рис. 8. Выбор фрагмента для оценки смещения

Fig. 8. Fragment Selection for Offset Estimatio

ТАБЛИЦА 1. Дисперсия фрагментов 1-12

TABLE 1. Dispersion of Fragments 1-12

61 664,89 1 355,85 132 392,61 70 232,79

4 258,20 3 757,29 510 052,81 406 779,52

24 386,42 6 239,41 214 787,92 70 358,17

Блоки с 19 по 22 отвечают за вычисление смещения на основании выбранной области /'-го кадра и горизонтальной полосы (/' + 1)-го кадра.

Блоки с 23 по 24 соответствуют функциональной части системы видеонаблюдения, которая ответственна за выключение камеры при отсутствии протяженного объекта в поле зрения.

Блок № 25 - это вывод измерения скорости на экран.

Рис. 9. Схема обработки данных

Fig. 9. Data Processing

Заключение

В контексте решаемой задачи был разработан алгоритм оценки скорости протяженного объекта, который в сравнении с существующим алгоритмом [1] характеризуется более высокой помехозащищенностью. Для повышения помехозащищенности была решена задача выбора области телевизионного изображения, обеспечивающая корректное измерение скорости. Дальнейшие исследования для повышения помехоустойчивости измерений планируется проводить с применением методик удаления заднего плана [6-9]. Это позволит убирать из анализа области, которые содержат не только протяженный объект, но и задний

план, и использование которых ведет к неверным измерениям.

Касательно разработанного алгоритма с процедурой верификации, можно отметить следующее:

- введенная процедура верификации достаточно просто реализуется в существующей архитектуре и не требует замены аппаратной части;

- помехоустойчивость работы системы измерения скорости повысилась, при этом ошибок, связанных с однородными фрагментами, не наблюдается.

На основании предложенного алгоритма была подана заявка на изобретение и получен патент [10]. Разработанный алгоритм планируется внедрять в существующую систему измерения скорости.

Список используемых источников

1. Васин Н.Н., Куринский В.Ю. Метод обработки видеосигналов для измерения скорости протяженных объектов // Инфокоммуникационные технологии. 2010. Т. 8. № 2. С. 36-39.

2. Васин Н.Н., Куринский В.Ю. Способ измерения скорости движения протяжённых объектов. Патент на изобретение РФ № 2398240. Опубл. 27.08.2010.

3. Макарецкий Е., Овчинников А., Хиеунгуен Л. Телевизионные измерительные системы контроля скоростного режима дорожного движения // Компоненты и технологии. 2007. № 4(69). С. 34-37.

4. Кузьмин С.В. Инвариантное к масштабу определение задержек между двумя одномерными цифровыми сигналами // Инфокоммуникационные технологии. 2011. Т. 9. № 2. С. 7-10.

5. Васильев Д.В., Денисов С.А., Серебряков С.А. Исследование адаптивного корреляционного измерителя скорости с применением математического моделирования // Вестник МЭИ. 1995. № 2. С. 9-18.

6. Sultana M., Mahmood A., Bouwmans T., Khan M.H., Jung S.K. Background/Foreground Separation: Guided Attention based Adversarial Modeling (GAAM) versus Robust Subspace Learning Methods // Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops. IEEE, 2021. PP. 181-188.

7. Kim K., Chalidabhongse T.H., Harwood D., Davis L. Real-time foreground-background segmentation using codebook model // Real-Time Imaging. 2005. Vol. 11. Iss. 3. PP. 172-185. DOI:10.1016/j.rti.2004.12.004

8. Kim Z.W. Real time object tracking based on dynamic feature grouping with background subtraction // Proceedings of the Conference on Computer Vision and Pattern Recognition (Anchorage, USA, 23-28 June 2008). IEEE, 2008. DOI:10.1109/ CVPR.2008.4587551

9. Schindler K., Wang H. Smooth Foreground-Background Segmentation for Video Processing // Proceedings of the 7th Asian Conference on Computer Vision (ACCV 2006, Hyderabad, India, 13-16 January 2006). Lecture Notes in Computer Science. Vol. 3852. Berlin, Heidelberg: Springer, 2006. PP. 581-590. DOI:10.1007/11612704_58

10. Диязитдинов Р.Р., Васин Н.Н. Способ измерения скорости движения протяженных объектов. Патент на изобретение РФ № 2747041. Опубл. 23.04.2021.

* * *

Using Television Image Fragments of a Machine Vision for Verifying Noise Immunity of an Extended Object Velocity Measurement

R. Diyazitdinov1 , N. Vasin1

1Povolzhskiy State University of Telecommunications and Informatics, Samara, 443010, Russian Federation

Article info

DOI:10.31854/1813-324X-2022-8-1-37-40 Received 16th February 2022 Revised 14th March 2022 Accepted 16th March 2022

For citation: Diyazitdinov R., Vasin N. Using Television Image Fragments of a Machine Vision for Verifying Noise Immunity of an Extended Object Velocity Measurement. Proc. of Telecom. Universities. 2022;8(1):37-40. (in Russ.) DOI:10.31854/1813-324X-2022-8-1-37-40

Abstract: Modern diagnostic systems used to control railway infrastructure are equipped with technical vision systems. In addition to video recording, these systems perform recognition tasks and measure parameters necessary for the automation of technological processes. One of the existing tasks is to measure the velocity of long objects. Measuring velocity is necessary for slowing down a carriage on a gravity yard, for the formation of an image of extended objects (separate wagons or convoys) that cannot fit into the frame as a whole (the image is formed from fragments of different frames). The article describes the procedure of verifying fragments of images used to measure the velocity of extended objects, which increases noise immunity. The verification procedure improved the existing algorithm based on comparing two adjacent frames to calculate the speed of motion, thus increasing the reliability of measurements.

Keywords: verification, television, machine vision, immunity, velocity, long object, image. References

1. Vasin N.N., Kurinsky V.Yu. Method of Processing of Video Signals for Measurement of Speed of Extended Objects. Info-communication Technologies. 2010;8(2):36-39. (in Russ.)

2. Vasin N.N., Kurinskij V.Yu. Method of Measuring Speed of Extended Objects. Patent RF, no. 2394240, 27.08.2010. (in Russ.)

3. Makaretckiy E., Ovchinnikov A., Hieunguen L. Television Measuring System for Speed Control of Transport Traffic. Components & Technologies. 2007;4(69):34-37. (in Russ.)

4. Kuzmin S.V. Scale-Invariant Delay Estimation between Two One-Dimensional Digital Signals. Infocommunication Technologies. 2011;9(2):7-10. (in Russ.)

5. Vasil'ev D.V., Denisov S.A., Serebryakov S.A. Researching of adaptive correlation device of speed measuring by mathematical simulation. Vestnik MEI. 1995;2:9-18. (in Russ.)

6. Sultana M., Mahmood A., Bouwmans T., Khan M.H., Jung S.K. Background/Foreground Separation: Guided Attention based Adversarial Modeling (GAAM) versus Robust Subspace Learning Methods. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops. IEEE; 2021. p.181-188.

7. Kim K., Chalidabhongse T.H., Harwood D., Davis L. Real-time foreground-background segmentation using codebook model. Real-Time Imaging. 2005;11(3):172-185. DOI:10.1016/j.rti.2004.12.004

8. Kim Z.W. Real time object tracking based on dynamic feature grouping with background subtraction. Proceedings of the Conference on Computer Vision and Pattern Recognition, 23-28 June 2008, Anchorage, USA. IEEE; 2008. DOI:10.1109/CVPR. 2008.4587551

9. Schindler K., Wang H. Smooth Foreground-Background Segmentation for Video Processing. Proceedings of the 7th Asian Conference on Computer Vision, ACCV 2006,13-16 January 2006, Hyderabad, India. Lecture Notes in Computer Science. Berlin, Heidelberg: Springer; 2006. vol.3852. p.581-590. D01:10.1007/11612704_58

10. Diyazitdinov R.R., Vasin N.N. Method for Measuring Movement Speed of Extended Objects. Patent RF, no. 2747041, 23.04.2021. (in Russ.)

ДИЯЗИТДИНОВ Ринат Радмирович

Сведения об авторах:

кандидат технических наук, доцент, доцент кафедры сети и системы связи Поволжского государственного университета телекоммуникаций и информатики, rinat.diyazitdinov@gmail.com © https://orcid.org/QQQQ-Q0Q1-636Q-Q351

ВАСИН

Николай Николаевич

доктор технических наук, профессор, профессор кафедры сети и системы связи Поволжского государственного университета телекоммуникаций и информатики, vasin@psati.ru

© https://orcid.org/QQQQ-QQQ1-9749-4884