Исследование признаков для определения количества вагонов в железнодорожном составе по телевизионному изображению Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

УДК 621.397.13:656.021

ИССЛЕДОВАНИЕ ПРИЗНАКОВ ДЛЯ ОПРЕДЕЛЕНИЯ ЧИСЛА ВАГОНОВ В ЖЕЛЕЗНОДОРОЖНОМ СОСТАВЕ ПО ТЕЛЕВИЗИОННОМУ ИЗОБРАЖЕНИЮ А.С. Афанасенко, Б.С. Тимофеев

Санкт-Петербургский государственный университет аэрокосмического приборостроения

Представлена членом редколлегии профессором В.И. Коноваловым

Ключевые слова и фразы: видеонаблюдение на железнодорожном транспорте; обработка изображений; обработка результатов эксперимента.

Аннотация: Статья посвящена анализу телевизионного изображения движущегося состава с целью определения числа вагонов и разделения видеоматериала на фрагменты, соответствующие отдельным вагонам. Исследуются количественные признаки, позволяющие идентифицировать момент прохождения стыка между вагонами. На основе обработки реальных видеоданных получены зависимости правильного и ложного обнаружения стыка по каждому признаку от порога срабатывания. Предложены возможные пути повышения надежности системы, рассмотрены варианты принятия решения по совокупности признаков.

Введение

Задача автоматического определения числа вагонов в грузовом железнодорожном составе, проходящем через контрольный пункт (сортировочную станцию), возникает при создании системы мониторинга на железнодорожном транспорте. В настоящее время на отечественных железных дорогах распространены электронные устройства счета вагонов, действие которых основано на прерывании инфракрасного или лазерного луча при прохождении железнодорожного вагона между датчиками такой системы. При регулярном квалифицированном обслуживании такие устройства решают задачу определения количества вагонов в проезжающем составе с достаточно высокой точностью (вероятность ошибки составляет доли процента).

На сегодняшний день многие пункты прохождения грузового железнодорожного транспорта оснащаются системами телевизионного наблюдения, включающими несколько камер и позволяющими проводить дистанционный осмотр составов, запись и хранение видеоматериалов. Поскольку возможности обработки телевизионной информации чрезвычайно широки, появляется возможность решить задачу определения порядковых номеров вагонов путем аналитической обработки телевизионных изображений. Преимуществом такого подхода является сокращение затрат на установку, ремонт и обслуживание аппаратуры системы контроля железнодорожного транспорта.

В силу многообразия типов железнодорожных вагонов, которые рознятся по конфигурации, габаритам, характеру перевозимого груза и другим параметрам, задача счета вагонов на основе видеоданных не является тривиальной [2]. При этом, с одной стороны, требования к точности работы системы весьма высоки, а с другой - существует ряд обстоятельств, затрудняющих извлечение полезной информации из телевизионного сигнала. Перечислим некоторые из них:

- широкая номенклатура железнодорожных вагонов (более 200 существенно отличающихся друг от друга типов). В частности, длина вагонов может отличаться более чем в два раза (от 10 до 28 м), что исключает возможность определения количества вагонов в составе на основе данных о скорости;

- различные условия съемки (день, ночь, съемка против света, наличие атмосферных осадков);

- присутствие на изображении мешающих факторов различного характера, таких как солнечные блики, подвижные и неподвижные тени;

- шумы и помехи, возникающие при формировании и передаче телевизионного сигнала.

Одним из аналогов разрабатываемой системы определения порядковых номеров вагонов на основе видеоданных является описанная в [1] система технического зрения, предназначенная для распознавания бортовых номеров железнодорожных вагонов. В ней присутствует модуль обнаружения состава и разбиения видеоматериала на фрагменты, соответствующие отдельным вагонам, однако предложенный подход требует установки по бокам проезжающего состава специальных контрастных щитов, которые видны при прохождении стыка между вагонами и не видны в остальных случаях. В этом случае, помимо дополнительных затрат на установку щитов, возникают проблемы при прохождении низких платформ, а также вагонов со сложной конфигурацией.

Постановка исследовательских задач

В настоящей статье проводится исследование признаков для построения системы определения порядковых номеров вагонов в железнодорожном составе на основе видеоданных. Для разбиения телевизионного изображения движущегося состава на фрагменты, соответствующие отдельным вагонам, предлагается использовать ряд характеристик изображения, позволяющих определить моменты прохождения стыков между вагонами. Другие способы являются менее эффективными. Например, определение числа колесных тележек не позволяет решить проблему, так как различные вагоны могут иметь 4, 6 или 8 колесных пар.

Необходимо выработать такой набор признаков, который будет достаточен для определения стыков между вагонами с заданной вероятностью (не менее 99,5 %) в широком диапазоне условий съемки. К этим признакам предъявляются следующие требования:

- простота вычисления значений признаков. Экономия вычислительных ресурсов необходима, поскольку определение порядковых номеров вагонов является лишь одной из задач, решаемых системой телевизионного наблюдения на железной дороге, и, кроме того, данная система призвана работать в реальном времени;

- достаточно высокая вероятность правильного обнаружения стыка по каждому признаку;

- сильная корреляция значений различных признаков при прохождении стыков и слабая корреляция в остальные моменты времени. Выполнение этого требо-

вания ведет к снижению вероятности ложных срабатываний при принятии решения по совокупности признаков;

- возможность оценки степени доверия каждому признаку в текущих условиях съемки. Как и в других задачах многокритериального оценивания, необходимо иметь веса для признаков, причем эти веса, в общем случае, меняются со временем.

Исходными данными для анализа являются телевизионные сигналы от двух камер бокового обзора (рис. 1), установленных по разные стороны от проезжающего состава. Как правило, имеется третья камера, осуществляющая съемку состава сверху. Однако изображение, получаемое от нее, имеет ряд особенностей и в настоящей работе акцент сделан на обработку сигналов от боковых камер.

На основе анализа большого количества телевизионных изображений был выявлен ряд признаков, позволяющих определить моменты прохождения стыков между вагонами.

Анализ видимого движения в центре кадра

Широкий круг задач обработки телевизионных изображений связан с определением векторного поля, описывающего изменение изображения во времени [5]. Это поле, также называемое полем векторов движения или полем оптического потока, является отображением перемещений реальных объектов в пространстве на плоскость фоточувствительного элемента камеры. Это, однако, не означает, что любое реальное движение объектов порождает векторы движения. С другой стороны, ненулевые векторы движения не означают наличия реальных перемещений объектов в пространстве. Тем не менее, на практике информация об оптическом потоке широко применяется для оценки параметров движения реальных объектов.

Рис. 1. Изображение движущегося состава, формируемое камерой бокового обзора

Если оценивать поле векторов движения в средней части растра камеры бокового обзора (прямоугольная зона, обозначенная на рис. 1), можно заметить, что видимое движение в этой области во время прохождения стыков между вагонами существенно отличается от видимого движения при прохождении бортов. В случае, когда за составом нет других подвижных объектов, движение полностью отсутствует (за исключением небольшой области, соответствующей сцепному устройству).

Используются две оценки скорости движения состава на основе векторов оптического потока. Графики этих величин для небольшого фрагмента видеоматериала показаны на рис. 2.

Первая оценка - мгновенная скорость, вычисленная на основе двух соседних кадров, вторая - полученная на основе усреднения мгновенных значений и являющаяся оценкой истинной скорости перемещения изображения состава в экранной плоскости. Неоднородность видимого движения может быть оценена по формуле

х =

v — рмгн Чср |

&ср

(1)

где &мгн - мгновенная скорость (определенная по соседним кадрам); &ср - средняя скорость, соответствующая скорости перемещения состава на изображении.

Величина (1) является признаком для определения стыков между вагонами. На основе тестовых видеоданных определены зависимости вероятности правильного обнаружения и ложного срабатывания от величины порога, по превышению которого принимается решение о прохождении стыка между вагонами. Графики приведены на рис. 3.

V, пиксель/кадр

Рис. 2. Скорость видимого движения состава:

1 - усредненная; 2 - мгновенная

Рис. 3. Зависимость вероятности правильного (1) и ложного (2) обнаружения стыка по признаку неоднородности видимого движения от величины порога обнаружения

Видно, что на основе признака неоднородности видимого движения невозможно обеспечить надежную работу системы определения порядковых номеров вагонов из-за весьма высокой вероятности ложных срабатываний.

Идентификация сцепного устройства

В случае, когда в поле зрения камеры наблюдения попадает сцепное устройство (см. рис. 2), его обнаружение может дать наиболее достоверную информацию о моментах прохождения стыков между вагонами. Условие видимости сцепного устройства выполняется для подавляющего большинства типов грузовых железнодорожных вагонов, так как они, в отличие от пассажирских вагонов, не имеют тамбура. Высота от земли до сцепного устройства практически одинакова у всех вагонов, что необходимо для их стыковки.

На рис. 4 показана фотография сцепного устройства. При типовой установке камер наблюдения размер фрагмента кадра, содержащего сцепное устройство, невелик (примерно 40x36 пикселей при разрешении кадра 384x288 пикселей).

Изображение сцепного устройства существенно меняется в зависимости от условий съемки, что затрудняет его распознавание. Для решения этой задачи возможно применение какого-либо из известных подходов к распознаванию образов, например распознавание с использованием простых классификаторов [6], распознавание на основе анализа распределения коэффициентов вейвлет-преобразования [4] и др.

В настоящей работе для идентификации сцепного устройства был использован более простой, но достаточно эффективный подход. Было замечено, что изображение сцепки более насыщено мелкими деталями, чем изображение бортов вагонов на том же уровне. Для выделения к выбранному участку изображения применяется пространственный оператор Лапласа 3-го порядка с коэффициентами

' 0,167 0,667 0,167

ь = 0,667 -3,333 0,667

0,167 0,667 0,167

Рис. 4. Сцепное устройство

После свертки фрагмента изображения по формуле (2) вычисляется эффективное значение профильтрованного сигнала. Полученная величина нормируется и используется для обнаружения стыков между вагонами. Зависимости вероятностей правильного и ложного обнаружения стыка от величины порога по данному признаку приведены на рис. 5.

Р(х)

Рис. 5. Зависимость вероятности правильного (1) и ложного (2) обнаружения стыка по признаку интенсивности высокочастотной составляющей изображения от величины порога обнаружения

Идентификация стыка по изменению характера изображения

В момент прохождения стыка между вагонами изображение, формируемое камерой бокового обзора, существенно отличается от изображения бортов вагонов, которое она формирует в остальное время. В этот момент в кадр попадают торцевые поверхности вагонов, а также открывается часть фона, находящегося за движущимся составом. Элементы конструкции вагона, расположенные на его бортах, находятся в кадре достаточно долго, в зависимости от угла обзора камеры по горизонтали и скорости движения состава. В момент прохождения стыка между вагонами в кадре, напротив, появляются детали, время присутствия которых на изображении достаточно невелико. Другими словами, во время прохождения борта вагона можно с достаточной точностью предсказать изображение в центре кадра на основе предыдущих кадров, если имеется информация о скорости движения. Для того чтобы произвести предсказание, зададим прямоугольную область изображения Я, имеющую проекции на координатные оси Ях и Яу. Введем условие постоянной яркости, согласно которому наблюдаемые объекты не изменяют своей яркости с течением времени. В этом случае изображение в текущем кадре может быть предсказано на основе предыдущего по формуле

St (Ях, Яу) = St-1(Ях + ^х, Яу + ^у), (3)

где St (х, у) - предсказанные значения яркости в кадре ^ Ях, Яу - проекции прямоугольной области, для которой производится предсказание, на оси х и у соответственно; St ^( х, у) - значения яркости в кадре t - 1; Vх, Vy - координаты вектора смещения объекта в поле зрения камеры за один кадр.

При небольших скоростях движения объекта изменения изображения в двух соседних кадрах будут невелики, что затруднит использование данного признака для идентификации стыков между вагонами. Поэтому предлагается выполнять предсказание изображения в кадре с номером t на основе кадра с номером t - Ы, где Ы есть монотонно убывающая до значения 1 функция скорости движения объекта vср. В связи с этим, а также ограничивая движение объекта только горизонтальной составляющей, можно модифицировать формулу для предсказания отсчетов изображения (3) следующим образом:

St (Ях, Яу) = St -Ы (Ях + Ы Vx, Яу). (4)

Ошибка предсказания 8 может быть количественно оценена по норме разности векторов истинных и предсказанных значений яркости

8 = ||. (5)

На практике удобно пользоваться нормой Ьь учитывающей модули разностей элементов двух векторов. Для рассматриваемого случая имеем

8 = Ь{St,St}= X X (х,у)-St(х,у)|. (6)

хеЯх у^Яу

Эксперимент подтвердил, что ошибка предсказания (6) максимальна в момент прохождения стыка между вагонами. Поэтому локальный (на небольшом

временном интервале) максимум ошибки предсказания изображения в текущем кадре может быть использован в качестве признака для определения числа вагонов в составе.

Несмотря на то что функция, описываемая выражением (6), имеет хорошо выраженные пики, несущие информацию о прохождении стыков между вагонами (рис. 6, кривая 1), полученные данные нуждаются в дополнительной обработке.

Величина ошибки предсказания определяется многими факторами, в числе которых отношение сигнал-шум, освещенность изображения, наличие деталей. В то же время для определения стыков существенной является не само значение ошибки предсказания, а его изменение по сравнению с теми кадрами, в которых присутствуют борта вагонов. Поэтому перед дальнейшей обработкой целесообразно удалить из сигнала ошибки гладкую составляющую (тренд).

Для оценки средней составляющей выбрана медиана, так как она менее подвержена влиянию пиков сигнала по сравнению с математическим ожиданием. Медианой последовательности х1,х2,...,хп при нечетном п является средний по номеру член ряда, получающегося при упорядочении последовательности по возрастанию [2]. Для четного п медиана обычно определяется как полусумма двух средних членов. В случае использования медианы сглаживающий фильтр может быть записан в виде

y(n) = x(n) - Med {x(n - i), x(n - N +1),..., x(n)},

(7)

где y(n), x(n) - выходная и входная последовательности соответственно; N - интервал сглаживания; Med - оператор вычисления медианы по выборке отсчетов.

Интервал сглаживания N выбирается из следующих соображений. При слишком малом N фильтр (7) сгладит пики сигнала, несущие полезную информацию, при слишком большом - не будет отслеживать изменений общего уровня

Градации сигнала

40

30

20

10

*■ 1 * j *i * *■ 1* 1 лГ 1 *- I * 1 * 1

4000 4200 4400 4600 4800 5000

0

Рис. 6. Обработка сигнала ошибки предсказания:

1 - исходный сигнал ; 2 - сигнал после фильтра, удаляющего гладкую составляющую; 3 - моменты прохождения стыков между вагонами

сигнала. Поскольку временные характеристики сигнала связаны со скоростью движения состава, а медленные изменения в основном вызваны сменой характера изображения от вагона к вагону, предложено в формуле (7) использовать Ы, равное числу кадров, за которое мимо камеры проходит самый короткий вагон (при известной скорости движения состава). Количество кадров Ы, за которое состав проходит расстояние Ц), соответствующее минимальной длине вагона (10 м), определяется формулой

Ц0

N = -°, (8)

«V

где V - скорость движения объекта в кадре, пиксель/кадр; к - коэффициент пропорциональности, связывающий геометрические размеры объектов в кадре с их реальными размерами в пространстве, м/пиксель. Эта величина может быть рассчитана математически при известном фокусном расстоянии объектива и расстоянии от камеры до объекта наблюдения, либо задана при калибровке камеры.

На практике следует ввести разумное ограничение величины Ы, так как она бесконечно возрастает при V ® 0, (8).

На рис. 6 показана ошибка предсказания в центральной части кадра (6), результат ее обработки с использованием (7) и (8), а также истинные моменты прохождения стыков между вагонами.

Значения ошибки предсказания могут существенно отличаться в зависимости от условий съемки, времени суток и других факторов. Для того чтобы одинаково интерпретировать величину ошибки предсказания в различных ситуациях, необходимо произвести ее нормировку. Нормировка проводится по эффективному значению сигнала (7).

На рис. 7 показаны зависимости вероятностей правильного обнаружения и ложного срабатывания при обнаружении стыка по признаку ошибки предсказания от величины порога.

Р(х)

Рис. 7. Зависимость вероятности правильного (1) и ложного (2) обнаружения стыка по признаку ошибки предсказания текущего кадра от величины порога обнаружения

Объединение признаков

Таким образом, имеется три признака, по каждому из которых может быть принято решение о прохождении стыка между вагонами. Вероятности правильного обнаружения стыка по каждому из признаков и соответствующие им вероятности ложных срабатываний приведены в табл. 1.

Порог обнаружения по признаку 1 является безразмерной величиной (значения признака лежат в диапазоне от 0 до 1). Пороговая обработка признаков 2 и 3 производится после нормировки их значений на эффективное значение.

Для практического применения вероятности ошибок первого и второго рода

-3

(пропуск и ложное срабатывание) должны иметь порядок 10 . Как видно из табл. 1, ни один из рассмотренных признаков в отдельности не обеспечивает требуемого уровня надежности. При синтезе многопризнакового алгоритма определения порядковых номеров вагонов необходимо руководствоваться следующими соображениями:

- объединение нескольких признаков (с использованием операторов обычной или нечеткой логики);

- объединение информации от нескольких телевизионных камер (как правило, имеются две боковые камеры и одна камера вида сверху);

- учет минимальной длины вагона (позволяет снизить вероятность ложных срабатываний);

- учет условий наблюдения, в которых тот или иной признак является более надежным для идентификации стыка.

В рамках настоящей работы был опробован один из наиболее простых способов принятия решения - по двум признакам из трех. Поскольку признак 1 (неоднородность видимого движения) дает весьма высокую вероятность ложного срабатывания, критерий для принятия решения о прохождении стыка можно сформулировать несколько иначе, а именно: одновременное превышение порога признаком 3 и одним из признаков 1, 2. В табл. 2 приведены результаты работы обоих вариантов алгоритма принятия решения.

Т аблица 1

Результаты обнаружения стыка по одному признаку

Признак Вероятность правильного обнаружения, % Вероятность ложного обнаружения, % Порог обнаружения

1. Неоднородность видимого движения 99,5 30 0,2

2. Интенсивность высокочастотных составляющих изображения 93,6 5 1,4

3. Ошибка предсказания текущего кадра на основе компенсации движения 99,7 5 1,0

Т аблица 2

Результаты обнаружения стыка по совокупности признаков

Критерий принятия решения о прохождении стыка Число обнаруженных стыков (вероятность правильного обнаружения, %) Число ложных срабатываний (вероятность ложного обнаружения, %)

Одновременное срабатывание любых двух признаков 997 из 997 (100) 47 (4,3)

Одновременное срабатывание признака 3 и одного из признаков 1, 2 994 из 997 (99,7) 29 (2,8)

Возможности повышения надежности системы счета вагонов отнюдь не исчерпываются описанными вариантами принятия решения. В дальнейшем планируется провести исследование на предмет синтеза оптимального алгоритма обработки значений признаков с целью принятия решения о прохождении стыка между вагонами.

Выводы

В работе предложены и исследованы три количественных признака, позволяющие принять решение о прохождении стыка между вагонами на основе анализа изображений с камер бокового обзора.

С использованием тестовых видеоданных (16 составов, 997 вагонов) проведен анализ поведения предложенных признаков, и построены зависимости вероятности правильного и ложного обнаружения стыка между вагонами от порога срабатывания.

Лучшим из предложенных признаков оказалась величина ошибки предсказания текущего кадра на основе компенсации движения в предыдущем кадре. Она обеспечивает вероятность правильного определения стыка 99,7 % при 5 % ложных срабатываний.

Было замечено, что худшие результаты по определению стыка получаются в случае, когда область сцепки плохо освещена или на нее приходится тень от вагона. Лучшие результаты получены при обработке ночных записей, когда на станции используется искусственное освещение состава с обеих сторон.

При обнаружении стыка по принципу «два из трех» удалось снизить вероятность ложных срабатываний до 2,8 %.

С целью повышения надежности системы определения количества вагонов требуется проведение дальнейшего исследования на предмет синтеза алгоритма принятия решения о прохождении стыка на основе трех признаков. При этом необходимо исследовать характеристики изображения, позволяющие назначать веса признакам в зависимости от текущих условий телевизионного наблюдения.

Список литературы

1. Система технического зрения для распознавания номеров железнодорожных цистерн с использованием модифицированного коррелятора в метрике Хаус-дорфа / С.Г. Волотовский [и др.] // Компьютерная оптика / Ин-т систем обраб. изобр. Рос. акад. наук. - Самара, 2005. - Вып. 27. - С. 149-154.

2. Тимофеев, Б.С. Системы видеонаблюдения железнодорожных составов / Б.С. Тимофеев // Информ.-упр. системы. - 2004. - № 1. - С. 2-9.

3. Быстрые алгоритмы в цифровой обработке изображений. Преобразования и медианные фильтры / под ред. Т. С. Хуангред. - М. : Радио и связь, 1984. - 221 с.

4. Mallat, S. Multifrequencies Channel Decompositions of Images andWavelets Models. IEEE Transactions on Acoustics, Speech and Signal Processing, 37(12), 1989.

5. Smith, S. Reviews of Optic Flow, Motion Segmentation, Edge finding and Corner Finding. D. Phil. thesis. Robotics Research Group, Department of Engineering Science, Oxford University, 1992. - 35 с.

6. Viola, P., Jones, M. J. Rapid Object Detection using a Boosted Cascade of Simple Features. IEEE CVPR, 2001.

Research into Features for Determination of the Number of Cars in Rolling Stock through TV Image

A.S. Afanasenko, B.S. Timofeev

St. Petersburg State University of Aerospace Instrument Engineering

Key words and phrases: experimental results processing; image processing; video examination on railway transport.

Abstract: The paper is devoted to the analysis of television imaging of moving rolling stock in order to identify the number of cars and division of video materials into fragments corresponding to separate cars. The quantitative features, enabling to identify the moment of cars joint, are studied. On the basis of processing real video data the dependencies of true and false identification of joint by every feature from the threshold operation are obtained. Possible ways of improving the system reliability are proposed, options for decision-making by a feature set are considered.

Forschung der Merkmale fur die Bestimmung der Zahl der Waggons im Zug nach der Fernsehdarstellung

Zusammenfassung: Der Artikel ist der Analyse der Fernsehdarstellung des bewegenden Zuges mit dem Ziel der Bestimmung der Zahl der Waggons und der Teilung des Videomaterials in den Fragmenten, die den abgesonderten Waggons entsprechen, gewidmet. Es werden die quantitativen Merkmale, die den Moment der Durchgange der Grenze zwischen den Waggons zu identifizieren zulassen, untersucht. Aufgrund der Bearbeitung der realen Videoangaben sind die Abhangigkeiten des richtigen und falschen Entdeckens der Grenze nach jedem Merkmal von der Schwelle der Abnutzung erhalten. Es sind die moglichen Wege der Erhohung der Zuverlassigkeit des Systems angeboten, es sind die Varianten der Annahme des Beschlusses nach der Gesamtheit der Merkmale untersucht.

Etudes des indices pour la definition du nombre des wagons dans une rame d’apres une image televisee Resume: L’article est consacre a l’analyse de l’image televisee du materiel roulant dans le but de definir le nombre des wagons et de diviser les materiaux video sur les fragments correspondant aux wagons isoles. Sont etudiees les indices quantitatives permettant d’identifier le moment du passage de la jointure entre les wagons. A la base du traitement des donnees video reelles sont regues les dependances de la decouverte de la joncture vraie ou fausse par chaque indice d’apres le seuil du fonctionnement. Sont proposees de differentes voies de l’augmentation de la securite du systeme, sont examinees les variantes de l’adoption de la solution selon l’ensemble des indices.