CC BY
10Analysis of models for image processing when implementing an object detection system on a railway track
A. T. Tisetsky
Siberian Federal University, 79, Svobodny pr., Krasnoyarsk, 660041, Russia E-mail: tat500@mail.ru
Abstract. With the development of the railway industry, informatization of society and the automation of many technological processes, it becomes possible to create an automatic control system, diagnostics and safety of locomotive movement. One of the most important systems of this complex is the system for detecting objects on railway tracks, ruptures of the railway bed and its turns. Such a system can be developed in the form of a camera installed on a locomotive and information processing systems on board each rolling stock, or a global system for remote processing of information from several locomotives. Regardless of the implementation of the system, there is a need to create a block for detecting objects on images coming from cameras. The implementation of this block is possible using interacting full-convolutional and convolutional neural networks and training on a dataset covering various situations occurring on the railway tracks.
Key words: image processing, analysis, object detection, railway track, automation
УДК 004.582
Анализ моделей для обработки изображений при реализации системы обнаружения объектов на железнодорожной полосе
А. Т. Тисецкий
Сибирский федеральный университет, Красноярск, 660041, Россия
E-mail: tat500@mail.ru
Аннотация. С развитием железнодорожной индустрии, информатизацией общества и автоматизацией многих технологических процессов, появляется возможность создания системы автоматического управления, диагностики и безопасности движения локомотива. Одной из важнейших систем данного комплекса является система обнаружения объектов на железнодорожных путях, разрывов железнодорожного полотна и его поворотов. Подобная система может быть разработана в виде камеры, установленной на локомотиве, и систем обработки информации, находящихся на борту каждого подвижного состава, или глобальной системы осуществляющего удаленную обработку информации с нескольких локомотивов. Независимо от реализации системы существует необходимость создания блока обнаружения объектов на изображениях, приходящих с камер. Реализация данного блока возможна с использованием взаимодействующих между собой полносверточной и сверточных нейронных сетей и обучении на наборе данных, покрывающем различные ситуации, происходящие на железнодорожной полосе.
Ключевые слова: обработка изображений, анализ, обнаружение объектов, железнодорожный путь, автоматизация
1. Введение
Транспортная система (ТС) в любой развитой стране является важнейшей составляющей частью производственной инфраструктуры и экономического «организма» страны (внутреннее содержание и взаимосвязи между субъектами хозяйствования). Она направлена на обеспечение функционирования экономики страны и тесно с ней связана (является необходимым условием подъема экономики). Также верна и обратная зависимость - развитие и модернизация сферы транспорта стимулируется растущей экономикой страны, которая ставит перед ним новые цели и задачи развития. Также можно сказать, что ТС выполняет функцию экономического регулятора потоков (грузов и пассажиров) - данный аспект подчеркивает важность ТС для развития отдельных регионов, всей страны (да и мирового сообщества в целом) [1].
Долгосрочная программа развития (ДПР) ОАО «Российские железные дороги» разработана и синхронизирована с положениями Государственных программ Российской Федерации. К основным задачам данной программы относятся: обновление парка подвижного состава, в том числе тягового, с учётом заключения с его производителями контрактов жизненного цикла; развитие инфраструктуры для обеспечения перспективных объёмов перевозок и повышение производственной эффективности; обеспечение необходимого уровня безопасности движения и экологической безопасности; переход на «цифровую железную дорогу» [2].
К особенностям железных дорог, как объекта защиты, относятся: интенсивность и высокая скорость движения поездов на ряде участков, ограниченное время принятия решений в случае экстренной ситуации; прохождение дорог по территориям ряда субъектов РФ с большой плотностью населения, множество населенных пунктов и дачных массивов, расположенных в непосредственной близости от полосы отвода; люди, легитимно (персонал) и нелегитимно (местные жители, туристы, грибники) присутствующие на железнодорожных путях, отсутствие правовых ограничений на нахождение в полосе отвода и соответственно невозможность защиты от проникновения [3].
Данные планы и особенности позволяют задуматься о возможности создания системы автоматического управления, диагностики и безопасности движения локомотива.
Реализация интегрированной системы автоматического управления, диагностики и безопасности движения локомотивов должна состоять из определенных компонентов:
Централизованной системы управления и безопасности, которая должна:
• обеспечивать анализ поездной ситуации, состояния элементов и подсистем инфраструктуры;
• основываясь на проанализированных данных, формировать графики и маршруты движения поездов;
• гибко подстраиваться под изменяющуюся обстановку на всех участках движения;
• при необходимости изменять графики и маршруты движения во избежание аварийных ситуаций;
• оптимизировать движение составов, таким образом, чтобы оно совпадало с изначальным планом движения;
• иметь возможность обеспечивать интервальное регулирование и управлять стрелками и сигналами на станциях при необходимости корректируя движение поездов.
Системы диагностики, которая должна осуществлять сбор информации о техническом состоянии отдельных поездов и их компонентов, а также о состоянии железнодорожного полотна на проложенных маршрутах следования подвижных составов.
Системы обнаружения объектов, которая определяет объект, при его нахождении на пути подвижного состава, разрывы и повороты железнодорожного полотна, а также расстояние до них.
Системы автоматизированного управления поездом, которая, следуя управляющим сигналам из централизованной системы управления, должна осуществлять управление поездом, а также основываясь на данных из системы диагностики и обнаружения объектов осуществлять экстренное торможение или снижение скорости на определенных участках пути при выявлении посторонних объектов на пути следования, резких поворотах, а также разрывах железнодорожного полотна.
Системой навигации, необходимой для отслеживания места положения поезда.
На сегодняшний день существуют различные системы такие, как Китайская система управления движением поездов(CTCS) и Европейская система управления движением поездов (ЕТСS), Система управления и обеспечения безопасности движения поездов. Данные системы осуществляют диагностику технического состояния подвижных составов, мониторинг их расположения, а также управление графиками, маршрутами и интервалами между поездами [4, 5]. Однако для полностью автоматического управления подвижным составом, также необходима и реализация системы обнаружения объектов, находящихся на пути подвижного состава, поворотов, а также разрывов железнодорожного полотна.
2. Метод
Для решения задачи обнаружения объектов необходима система, которая способна «просматривать» железнодорожное полотно и определять объекты в случае их нахождении на путях, разрывы полотна и повороты. Следовательно, система должна состоять из:
• камеры, установленной в передней части локомотива;
• блок обработки изображения, предназначенный для обнаружения объектов;
• блок связи для взаимодействия системы обнаружения с системой автоматизированного управления.
Существует несколько возможных типов реализации данной системы. Система обнаружения объектов может располагается как на борту локомотива, так и удаленно, принимая изображения по сети. У каждого из этих вариантов есть свои преимущества и недостатки.
Система, находящаяся на борту локомотива, должна представлять из себя вычислительную машину, способную достаточно быстро детектировать объекты на полосе и оповещать об их появлении. Блок связи поддерживает периодическое сообщение с централизованной системой управления.
Основными преимуществами данной системы будут являться скорость обработки изображений, возможность прямой работы с системой автоматизированного управления поездом, отсутствие необходимости постоянного подключения к сети.
Главными недостатками являются дороговизна подобной системы, отсутствие возможности контроля и общей проверки всех систем, а также необходимость обслуживания каждой системы отдельно на всех поездах.
Система, располагающаяся удаленно, должна представлять из себя сервер, который будет принимать данные с камер на обработку и отправлять управляющий сигнал системе автоматизированного управления поездом. Блок связи поддерживает постоянный контакт с системами поезда.
Преимуществами данной системы являются возможность быстрой проверки работоспособности системы, возможность объединения ее с централизованной системой управления, удобство в обслуживании и ее белее низкая стоимость относительно системы, находящейся на борту.
К недостаткам относятся:
• зависимость от среды передачи данных;
• низкая скорость обработки видеопоследовательности (поскольку необходимо
обрабатывать данные с нескольких локомотивов, требуется достаточно мощное
оборудование для обработки данных);
• уязвимость в случае отказа системы (оповещения перестают получать сразу
несколько локомотивов).
Установка подобных систем на эксплуатируемый подвижной состав позволяет не только автоматизировать процесс движения состава, но и дает возможность мониторинга состояния железнодорожной инфраструктуры, не нарушая графика движения поездов в условиях реального взаимодействия подвижного состава и пути при повышенных скоростях движения [6].
Ключевой частью любой из подобных систем является блок обработки изображения. С задачей обнаружения объектов и их классификации, на сегодняшний день наилучшим образом справляются сверточные нейронные сети.
3. Результаты и обсуждения
Для решения задачи обнаружения объектов, разрывов полосы и поворотов было принято решение реализовать несколько моделей для обработки изображения:
• для выделения контура железнодорожной полосы, объектов, находящихся на ней или ее разрывов;
• для классификации объектов обнаруженных первой и вычисления их размеров;
• для определения поворотов, основываясь на данных, полученных по контурам первой.
Реализация первой модели должна представлять из себя сегментирующую (полносверточную) нейронную сеть. Структура данной нейронной сети состоит из нескольких слоев свертки, слоев подвыборки (пулинга) и нескольких слоев транспонированной(обратной) свертки.
На сегодняшний день одной из лучших сегментирующих нейронных сетей признана сеть И-Ые! Данная нейронная сеть в своей структуре помимо всех перечисленных выше слоев, чтобы получить более точные результаты, на каждом шаге после транспонированного слоя использует пропускные соединения, объединяя выходные данные транспонированных сверточных слоев с картами функций из сверточных слоях на тех же уровнях. После каждой конкатенации снова применяется две последовательные регулярные свертки, чтобы модель могла научиться собирать более точный результат. [7]. На рисунке 1 представлена структура нейронной сети И-Ые1
Рисунок 1. Структура нейронной сети И-Ые!
На основе этого было принято решение использовать нейронную сеть со схожей структурой и применять пропускные соединения для объединяя выходные данных
транспонированных сверточных слоев с картами функций из сверточных слоях тех же уровней, но с меньшим количеством слоев, поскольку основной задачей данной нейронной сети является выделение железнодорожного полотна. На рисунках 2-5 представлены примеры обучающих данных для нейронной сети.
Рисунок 2. Пример входных данных.
Рисунок 3. Пример выходных данных.
Рисунок 4. Пример входных данных.
Рисунок 5. Пример выходных данных.
Для реализации второй модели было принято решение использовать сверточную нейронную сеть сосостоящую из нескольких слоев свертки и подвыборки, и последним полносвязным слоем, на вход данной сети подается не только изначальное изображение, но и выходные данные с первой модели, что позволяет не просто определять объекты на изображении, а также определить находятся они на железнодорожных путях или нет.
Для реализации третей модели используется схожая схемы, однако на вход подается лишь результат работы первой модели для определения поворота.
В качестве метода определения расстояния до поворотов и объектов возможно использование анализа серии изображений объекта и его размытия из [8].
При полной реализации данной системы и обучении ее на наборе данных, полностью покрывающем различные аварийные ситуации и возможные конфигурации железнодорожного полотна при различных погодных условиях с различным освещением, позволит реализовать полноценную систему обнаружения объектов на железнодорожных путях, которая является одной из ключевых для создания автономной системы безопасного управления поездами.
[1] Житарь, Б. Е. "Исследование подходов к обеспечению безопасности на железнодорожном транспорте" / Б. Е. Житарь, В. В. Самойлов // Сборник научных трудов Донецкого института железнодорожного транспорта. - 2020. - № 56. - С. 82-
[2] Российская Федерация. Распоряжение Правительства. Долгосрочная программа
развития ОАО «РЖД» до 2025 года: Распоряжение № 466-р. [ утверждено Правительством РФ от 19.03.2019 г.]
[3] Гапанович, В. А. "Обеспечение безопасности на железнодорожном транспорте"
Транспорт Российской Федерации / В. А. Гапанович // Журнал о науке, практике,
4. Заключение
Список литературы
87.
экономике. - 2010. - 2(27). - C. 18-21.
[4] Способы работы автоматической системы управления движением поездов и
автоматическая система управления движением поездов // Патент на изобретение RU 2626430, 27.07.2017. Заявка № 2015150041 от 22.04.2014. / Гедун Н., Ян Ч.
[5] Система управления и обеспечения безопасности движения поездов, снижение рисков
чрезвычайных ситуаций [Электронный ресурс]. - Режим доступа: http://www.rzd-expo.ru/innovation/eastholme_management_and_traffic_safety_reducing_the_risk_of_eme rgencies.
[6] Локтев, А. А. "К задаче проектирования модуля визуального распознавания элементов
верхнего строения пути на высокоскоростных магистралях" Транспорт Российской Федерации / А. А. Локтев, В. П. Сычев, Д. А. Локтев. // Журнал о науке, практике, экономике. - 2017. - № 1(68). - C. 22-26.
[7] Ronneberger, O. U-Net: Convolutional Networks for Biomedical Image Segmentation /
O. Ronneberger, P. Fischer, T. Brox // Computer Science Department and BIOSS Centre for Biological Signalling Studies, University of Freiburg, Germany.
[8] Локтев, Д. А. "Определение геометрических параметров объекта с помощью анализа
серии его изображений" / Д. А. Локтев // T-Comm - Телекоммуникации и Транспорт. - 2015. - 9(5). - С. 47-53.
