CC BY
41ВЕСТН. САМАР. ГОС. ТЕХН. УН-ТА. СЕР. ТЕХНИЧЕСКИЕ НАУКИ. 2022. Т. 30. № 1_
doi: 10.14498/tech.2022.1.4
УДК 004.032.26
ГЛУБОКАЯ НЕЙРОННАЯ СЕТЬ ДЛЯ ДИАГНОСТИКИ ЭЛЕМЕНТОВ ЖЕЛЕЗНОДОРОЖНОГО РЕЛЬСОВОГО ПУТИ
С.П. Орлов, Н.А. Ефимушкин, Н.В. Ефимушкина
Самарский государственный технический университет Россия, 443100, г. Самара, ул. Молодогвардейская, 244
E-mail: [email protected], [email protected], [email protected]
Аннотация. Задачи повышения скорости железнодорожных перевозок и обеспечения их надежности связана с постоянным мониторингом состояния рельсовых путей. Современные вагоны-путеизмерители оснащены видеоаппаратурой и компьютерной техникой для обработки получаемой информации. Однако ручная обработка данных операторами в реальном времени невозможна в связи с большим объемом информации. Предложена глубокая конволюционная нейронная сеть для автоматического распознавания и классификации дефектов рельсовых стыков на изображениях рельсового пути. Массив изображений формируется в процессе видеосъемки рельсов при проходе вагона-путеизмерителя по участку железной дороги. Описано формирование классов рельсовых стыков. Рассматриваются обычные рельсовые стыки с соединителем, изолирующие стыки и сварные стыки. Выделены дополнительные классы, соответствующие различным аномальным конфигурациям рельсовых стыков на изображениях. Построена модифицированная структура предварительно обученной глубокой конволюционной сети. При подготовке обучающих выборок выполнено дополнение реальных изображений рельсовых стыков искусственными изображениями, полученными аффинными преобразованиями. Описан процесс обучения и тестирования классификатора на базе разработанной конволюционной сети. Для обучения нейронной сети используется метод переноса обучения. В результате экспериментов получена точность классификации рельсовых стыков и выявления дефектов не менее 96 %.
Ключевые слова: техническая диагностика, киберфизические системы, искусственная нейронная сеть, машинное обучение, рельсовый путь, стыки между рельсами.
Введение
Современные скоростные железные дороги представляют собой киберфизические системы, состоящие из взаимодействующих подсистем: рельсового пути, подвижного состава, системы энергетики, информационно-измерительных и управляющих систем [1, 2].
Орлов Сергей Павлович, профессор кафедры «Вычислительная техника», доктор технических наук.
Ефимушкин Николай Андреевич, магистрант кафедры «Вычислительная техника». Ефимушкина Наталья Владимировна, доцент кафедры «Вычислительная техника», кандидат технических наук.
Работа поддержана Российским фондом фундаментальных исследований, проект №№ 20-08-00797.
Ключевыми критериями работы железных дорог являются надежность и рентабельность [3]. При этом наибольшие проблемы возникают в области интенсивного энергетического взаимодействия колесных пар транспортных средств и рельсового пути.
Рельсовый стык является местом соединения двух примыкающих концов рельсов при наличии специального скрепления. Рельсовый стык должен обеспечивать переход колеса с минимальной ударной нагрузкой. Представляя самую слабую часть пути, рельсовый стык постоянно изучается и совершенствуется. В процессе эксплуатации в нем могут возникать дефекты, приводящие к нежелательным, а порой и к катастрофическим последствиям [4].
Наиболее эффективными методами определения технических состояний элементов рельсового пути являются вибродиагностика и статистическая обработка сигналов [5-7], а также визуальное наблюдение [8, 9].
Кроме того, рельсовый стык участвует в образовании и функционировании рельсовой электрической цепи. Главное назначение рельсовой цепи - обнаружение присутствия поезда или подвижного состава на участке пути, образующем рельсовую цепь. Рельсовые цепи являются основным элементом автоматической блокировки и применяются для различных целей в устройствах диспетчерской централизации, при ограждении переездов, а также на механизированных сортировочных станциях [10].
Существует проблема оперативной обработки и анализа данных мониторинга рельсового пути. Визуальный контроль предполагает съемку на высокой скорости сотен километров рельсов за один проезд вагона-путеизмерителя. В результате получаются десятки тысяч изображений, которые операторы не могут обработать в реальном времени. Решение задачи предлагается выполнить с использованием интеллектуальных методов обработки больших массивов информации [11-13]. В связи с этим контроль и диагностика состояния рельсовых стыков с помощью искусственных нейронных сетей является актуальной задачей.
Классификация технических состояний рельсовых стыков
В работе [13] описан диагностический комплекс в составе вагона-путеизмерителя. В состав комплекса входят четыре видеокамеры для непрерывной регистрации визуального изображения обоих рельсов, блок препроцессинга изображений и подсистема принятия решений о состоянии рельсового пути (рис. 1). Диагностический комплекс использовался для контроля только рельсовых скреплений. В настоящей статье рассматривается построение глубокой нейронной сети для выявления дефектов рельсовых стыков.
Формирование изображений рельсовых стыков происходит следующим образом. Поезд с вагоном-путеизмерителем движется равномерно со скоростью 30 м/с (108 км/ч). Съемка производится с частотой 60 снимков в секунду с градациями серого (Grayscale). Все сделанные снимки имеют размеры 1024 х 500 пикселей и склеиваются в единое полотно для каждой камеры. При получении нового кадра осуществляется его склеивание с концом полотна практически без «перехлеста». В итоге образуется файл с данными как единое изображение размером 1024k х 500, где k - число кадров в файле полотна. Файл содержит в названии номера вагона, камеры и проезда, дату и время съемки.
Затем из данных в файле полотна вырезаются кадры 300 х 300 со стыками. Для этого используются существующие алгоритмы, обеспечивающие детекцию стыка в кадре; центрирование стыка и масштабирование.
На российских железных дорогах используются три основных типа рельсовых стыков [14]: обычный стык; изолирующий стык; сварной стык.
Рис. 1. Система мониторинга рельсового пути: ВК 1 - ВК 4 - видеокамеры видимого спектра; АРМ - автоматизированное рабочее место оператора; БД - база данных видеосъемки; СППР -система поддержки принятия решений
Первый тип соответствует соединению рельсов при помощи накладки и болтов. Зазор в таком стыке может быть нулевым. Накладка обычно крепится при помощи четырех или шести болтов.
Различают два варианта обычного стыка: без соединителя и с соединителем. Соединитель в виде жгута проводов служит для образования надежной эклектической цепи. На рис. 2, а и рис. 2, б показаны примеры обычных рельсовых стыков. Изображение изолирующего стыка приведено на рис. 2, в, а изображение сварного стыка - на рис. 2, г.
б
Рис. 2. Типы рельсовых стыков: а - обычный стык без соединителя; б - обычный стык с соединителем; в - изолирующий стык; г - сварной стык
а
в
г
В данной работе рассматриваются два основных типа дефектов, которые могут возникать в обычном стыке с соединителем: соединитель оторван с одного конца; соединитель оторван полностью.
Примеры этих дефектов приведены на рис. 3, а и рис. 3, б соответственно. На рис. 3, а один из концов соединителя не закреплен и висит в воздухе, а на рельсе видны следы от него. На рис. 3, б полностью отсутствуют любые элементы соединителя. При этом хотя бы на одном рельсе должны присутствовать следы оторванного конца соединителя. Стоит отметить, что наличие таких следов на изолирующем или сварном стыке не является дефектом, так в этих стыках соединители не используются.
Для полного описания возможных классов изображений рельсовых стыков предлагается добавить два дополнительных типа изображений: «Рельс без стыка» и «Отсутствующий рельс». Примеры таких ситуаций показаны на рис. 4. В первом случае был заснят участок дороги, где на рельсе нет стыка. Такие кадры могу быть иметь место, так как видеосъемка ведется непрерывно, а расстояния между стыками рельсов могут отличаться. Второй вариант связан с вероятностью попадания в кадр участка рельсового пути с поворотом. В этом случае на рельсах может не быть стыка либо в кадр могут попасть сразу несколько рельсов (рис. 4, а).
Отсутствовать рельс может в случае сбоев, произошедших в камере. Она может быть изначально неправильно настроена либо сбита во время движения вагона-путеизмерителя. Часто в такие кадры попадают накладки, шпалы, скрепления, камни и другие посторонние предметы (рис. 4, б).
б
Рис. 3. Дефектные стыки: а - обычный стык с соединителем, оторванным с одного конца; б - обычный стык с полностью оторванным соединителем
а б
Рис. 4. Дополнительные классы изображений: а - участок рельса без стыка; б - изображение без рельса
а
Для идентификации типа и технического состояния рельсового стыка предложены восемь классов. Каждый из таких классов описывает определенные характеристики места соединения рельсов. Названия классов изображений и их соответствие типам и состояниям стыков приведены в табл. 1.
Таблица 1
Классы изображений и типы состояний рельсовых стыков
Обозначение класса Тип и состояние рельсового стыка Количество исходных изображений в классе
conn Обычный стык с соединителем 7010
cut Обычный стык с соединителем. Соединитель оторван с одного конца 1446
fake Изображение, на котором нет рельса 7004
fake rail Изображение, на котором нет стыка 1010
iso Изолирующий стык 5024
missing Обычный стык с соединителем. Соединитель полностью оторван 5024
no conn Обычный стык без соединителя 5010
weld Сварной стык 5008
Классы fake_rail (рельс без стыка) и fake (отсутствующий рельс) образуют дополнительные изображения, которые могут быть получены при съемке. Они описаны ранее и представлены соответственно на рис. 4.
Структура конволюционной нейронной сети VGG16 для классификации состояний рельсовых стыков
В качестве входных данных системы классификации рельсовых стыков используются изображения размером 300 х 300 пикселей в оттенках серого. Затем изображение уменьшается в 2 раза для получения кадра с размерностью 150 х150 х 1. Каждый элемент массива пикселей в кадре делится на 255, что позволяет свести значения яркости пикселей к диапазону от 0 до 1.
Разработка нейронной сети проводилась с использованием библиотек Tensorflow и Keras [15].
Для решения задачи классификации состояний рельсовых стыков была спроектирована предварительно обученная конволюционная сеть VGG16 [16]. Сеть была обучена на массиве изображений с сайта ImageNet: животных и растений, домов, автомобилей и других объектов.
На рис. 5 представлена архитектура нейронной сети, используемой для классификации рельсовых стыков. Модель сети содержит слои InputLayer (входной слой), Conv2D (конволюционный (сверточный) слой), MaxPolling2D (слой максимального объединения), BatchNormalization (нормализация, защита от переобучения), Flatten (спрямляющий), Dense (полносвязный), а также Activation (ак-тивационный). Стрелками указан порядок следования слоев. Каждый блок на рисунке содержит информацию о названии и типе слоя. Правое верхнее поле блока содержит размерности входных массивов, правое нижнее поле - размерности выходных массивов.
Исходная модель VGG16 обучена на изображениях размером 224 х 224 х 3 . Для классификации стыков необходимо обучить модель на имеющихся изображениях размером 150 х150 х 1. В исходной модели можно поменять размеры кад-
ров, если загрузить ее без полносвязных слоев, то есть использовать только feature extractor самой модели.
input: InputLayer ¡150, 150, 1)
(150, 150, 1)
i
block1_conv1: Conv2D ¡150, 150, 1
¡150, 150, 64)
i
block1_conv2: Conv2D ¡150, 150, 64)
¡150, 150, 64)
1
blocklpool: f.laxPoolincj2D ¡150, 150, 64)
¡75, 75, 64)
1
Ыоск2 convl: Conv2D ¡75, 75, 64)
¡75, 75,128)
i
Ыоск2 conv2: Conv2D ¡75, 75, 128)
¡75, 75,128)
J,
block2 pool: f.-laxPoo ling2D ¡75, 75, 128)
¡37, 37, 128)
i
í:lock3 convl: Conv2D ¡37, 37, 128)
¡37, 37, 256)
1
blocks conv2: Conv2D ¡37, 37, 256)
¡37, 37, 256)
1
blockJ conv3: Conv2D ¡37, 37, 256)
(37, 37, 256)
J.
ЫоскЗроо!: MaxPooiing2D (37, 37, 256)
¡18, 18, 256
1
block4_conv1: Conv2D [18,18, 256)
¡18, 18, 512)
г
block4_conv2: Conv2D (18,18, 512)
(18, 18, 512)
1
block4_conv3: Conv2D (18,18, 512)
(IB, 1«, i12)
¿
Ыоск4_роо!: fi1axPooling2D ¡18, 18, 512)
(Э, 9,512)
1
block5_conv1: Conv2D (9, 9, 512)
¡9, 9,512)
i
blockS conv?: Conv2D (9,9, 512)
(9, 9,512)
1
block5_conv3: Conv2D (9,9,512)
(9, 9, 512)
4
blockSpooi: MaxPooling2D (9, 9, 512)
(4, 4, 512)
J,
flatten 1: Flatten ¡4, 4, 512)
(8192)
i
dense 1: Dense ¡8192)
1512)
4
activationl: Activation I (512)
| (512)
1
I) ate h _n o rm al i ziati o n_1: BatchNormalization: (512)
(512)
4.
cíense 2: Dense (512)
Рис. 5. Структура классификатора рельсовых стыков на базе нейронной сети VGG16
Загрузка самого feature extractor модели производится не с целью его обучения, а с целью получения весов с его слоев. Так как модель VGG16 использует RGB-вход, а обучение будет проводиться на grayscale-кадрах, то копия архитектуры feature extractor для VGG16 переопределяется путем задания в качестве входного слоя с размерами 150 х150 х 1 (слой 0). Далее в эту сформированную структуру загружаются веса оригинальной сети VGG16 для слоев, начиная со второго. Для слоя 1 выполняется усреднение по всем трем каналам (RGB) исходных весов VGG16, и результат добавляется в новую версию модели. После этого добавляется классификатор собственной разработки.
Таким образом, классификатор в исходной сети VGG16 полностью заменен классификатором собственной разработки (последние четыре блока на рис. 5). Это связано с используемым способом обучения, который описан далее. Классификатор содержит два полносвязных слоя, активационный и слой нормализации.
Исходные веса в предобученной VGG16 в этом участке конволюционной сети не сохраняются, так как классификатор собственной разработки подготовлен для новой решаемой задачи и его веса необходимо получить, проводя обучение заново.
Каждое изображение с некоторой вероятностью принадлежит к определенному классу. Выходной слой нейронной сети содержит 8 нейронов, при этом каждый из нейронов соответствует определенному классу в табл. 1. Выходной сигнал нейрона равен вероятности принадлежности изображения к заданному классу после прохождения через нейронную сеть.
В рамках разработки глубокой нейронной сети была использована одна из разновидностей градиентного спуска - Adam (Adaptive Moment Estimation) [17]. Метод, в частности, вычисляет экспоненциальное скользящее среднее градиента и квадратичный градиент.
Формирование обучающих выборок и обучение нейронной сети
Для тренировки разработанной нейронной сети используется режим обучения с учителем. Для этого 90 % изображений помещаются в обучающий набор и 10 % изображений - в тестовый набор. В связи с тем, что имеется небольшое количество исходных изображений (менее 10 000 для наиболее часто встречающегося класса), необходима генерация дополнительных изображений. Это в первую очередь касается классов fake rail и cut.
Новые кадры создаются следующими аффинными преобразованиями: вертикальный поворот исходного кадра (поворот на 180 градусов); уменьшение и увеличение яркости кадра (максимум на 70 %); поворот на 2 градуса в случайном направлении относительно центра кадра; приближение изображения (максимум на 10 %). Эти изображения генерируются только для обучающей выборки.
Табл. 2 содержит данные о количестве изображений в каждом классе после аугментации данных.
Таблица 2
Объем обучающей выборки после дополнения кадров
Классы
conn no conn iso weld cut missing fake fake rail
378553 78121 378254 54542 271327 271326 270552 270487
Общий объем выборки для обучения нейронной сети составил 1 973 162 кадра.
Оценка потерь выполняется категориальной перекрестной энтропией. Для повышения скорости обучения выбрано значение 10-5. В процессе обучения отслеживается изменение точности классификации и потерь относительно номера шага. Максимальный период обучения нейронной сети ограничивался значением 100 эпох. Если в течение пяти шагов на каждой эпохе точность классификации модели улучшилась менее чем на 0.001, то тренировка сети останавливается. Это помогает предотвратить переобучение.
Для обучения нейронной сети использовался метод переноса обучения [18]. Он предполагает использование исходного сверточного участка предобученной сети и собственного классификатора. Веса сверточного участка берутся из VGG16 и «замораживаются» (остаются неизменными в процессе обучения). То-
гда процесс обучения не влияет на сверточный участок сети. Напротив, для классификатора происходит настройка весов в ходе тренировки сети.
Точность классификатора после обучения оценивается с использованием двух метрик Precision и Recall. Метрика Precision или PPV показывает долю рельсовых стыков, отнесенных классификатором к заданному классу и при этом действительно принадлежащих этому классу:
TP
PPVK =-,
_ k TPK + FPk
где K = 1,8 - количество классов рельсовых стыков; TPK - истинно-положительные предсказания; FPK - ложноположительные, то есть тестовые результаты, ошибочно классифицирующие стык как принадлежащий классу K .
Метрика Recall или TPR демонстрирует способность классификатора обнаруживать данный класс рельсовых стыков вообще во множестве всех анализируемых изображений:
TPk
TPRK =
k
TPk + FNk
где РЫК - ложноотрицательные результаты, то есть тесты, которые ошибочно классифицируют стыки как не принадлежащие классу К .
Иногда имеет смысл оценить обе метрики с помощью агрегированного критерия качества в виде F1-меры, которая представляет собой среднее гармоническое значение двух величин.
Полученные результаты тренировки нейронной сети для каждого из классов рельсовых стыков показаны в табл. 3. В табл. 4. приведены средние значения метрик разработанного классификатора рельсовых стыков на глубокой нейронной сети.
Таблица 3
Метрики классификации рельсовых стыков
Метрики Классы
conn no conn iso weld cut missing fake fake rail
PPV 0.96 0.98 0.91 0.98 0.97 0.95 1.00 0.99
TPR 0.98 0.90 1.00 1.00 0.93 0.95 0.98 0.95
F1 score 0.97 0.94 0.95 0.99 0.95 0.95 0.99 0.97
Таблица 4
Общая статистика нейросетевого классификатора
Метрики
Accuracy Loss Precision Recall
0.963 0.199 0.964 0.962
Таким образом, разработанная нейронная сеть может эффективно выполнять классификацию состояний рельсовых стыков в целом с точностью 96 %.
Заключение
В работе представлена глубокая нейронная сеть VGG16, предназначенная для классификации рельсовых стыков и выявления их дефектов. Нейронная сеть
работает в составе диагностического комплекса рельсового пути, обеспечивающего получение изображений рельсов при движении вагона-путеизмерителя.
Предложена модифицированная архитектура предобученной глубокой сети, что позволило повысить скорость и точность классификации рельсовых стыков. Разработана методика обучения и тестирования нейронной сети. Экспериментальные исследования сети при прохождении вагона-путеизмерителя на участке железной дороги показали достижение точности классификации стыков не менее 96 %.
Дальнейшее развитие интеллектуальной диагностической системы предполагается выполнять в направлении совершенствования архитектуры глубокой конволюционной сети. В частности, перспективным является использование архитектуры RetinaNet с базовой частью (backbone), построенной на нейронной сети типа ResNet или EfficientNet [19, 20].
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Zhang L. Specification of Railway Cyber-Physical Systems Using AADL // Advanced Technologies, Embedded and Multimedia for Human-centric Computing. Lecture Notes in Electrical Engineering. Springer. 2013. Vol. 260. P. 377.
2. Lee E.A., Seshia S.A. Introduction to embedded systems, A Cyber-Physical Systems approach. 2nd edn. The MIT Press, USA. 2017.
3. Концепция развития систем диагностики и мониторинга объектов путевого хозяйства на период до 2025 года. Режим доступа: https://docs.cntd.ru/document/420365526? marker=6540IN (дата обращения 29.07.2019).
4. Павленко В.В. Система определения предотказного состояния бесстыкового пути для обеспечения безопасности движения поездов // Транспорт Российской Федерации. 2011. № 5(36). С. 31-33.
5. Yi H., Kai L. Inspection and monitoring technologies of transmission lines with remote sensing. Academic Press. 2017. P. 530.
6. Wei J., Liu C., Ren T., Liu H., Zhou W. Online condition monitoring of a rail fastening system on high-speed railways based on wavelet packet analysis // Sensors. 2017. Vol. 17(2). Pp. 318.
7. Bombarda D., Vitetta GM., Ferrante G. Rail Diagnostics Based on Ultrasonic Guided Waves: An Overview // Appl. Sci. 2021. Vol. 11(3), 1071.
8. Feng H., Jiang Z., Xie F., Yang P., Shi J., Chen L. Automatic fastener classification and defect detection in vision-based railway inspection systems // IEEE Trans. on Instrumentation and Measurement. 2014. Vol. 63(4). P. 877-888.
9. Karakose M., Yaman O., Akin E., Baygin M., Murat K. A new computer vision based method for rail track detection and fault diagnosis in railways // Int. Journal of Mechanical Engineering and Robotics Research. 2017. Vol. 6(1). P. 22-27.
10. Andronchev I.K., Tarasov E.M., Bulatov A.A. et al. A Technique for Diagnosis of the Resistance of Conductive Rail Track Joints // Russian Electrical Engineering. 2020. Vol. 91. P. 149-152.
11. Faghih-Roohi S., Hajizadeh S., Nunez A., Babuska R., De Schutter B. Deep convolutional neural networks for detection of rail surface defects // Proc. of the 2016 International Joint Conference on Neural Networks (IJCNN). 2016. P. 2584-2589.
12. Орлов С.П., Гирин Р.В., Пилецкая А.В. Интеллектуальная система обработки информации при мониторинге рельсовых путей // Сб. тр. III Международ. научн. конф. по проблемам управления в технических системах (CTS 2019). С.-Петербург. 2019. С. 302-305.
13. Орлов С.П., Пилецкая А.В., Кусакина Н.М., Тюгашев А.А. Машинное обучение диагностической нейронной сети для мониторинга железнодорожного пути // Математические методы в технике и технологиях: сб. тр. междунар. науч. конф. СПб.: Изд-во Политехн. ун-та. 2020. Т. 3. С. 94-99.
14. Рельсовые стыки // Lokomo. Железнодорожный путь. 2020. Режим доступа: https://lokomo.ru/zheleznodorozhnyy-put/relsovye-styki.html (дата обращения: 27.12.21).
15. Keras: The Python Deep Learning library. Режим доступа: https://keras.io/applications/ (дата обращения: 10.01.2022).
16. Simonyan K., Zisserman A. Very deep convolution networks for large-scale image recogni-tion//2014. arXiv:1409.1556
17. Kingma D.P., Ba J.L. Adam: a method for stochastic optimization // 2017. arXiv: 1412.6980v9 [cs.LG].
18. Gupta V., Murzova A. Keras Tutorial: Transfer Learning using pre-trained models // Learn OpenCV. 2021. Режим доступа: https://learnopencv.com/keras-tutorial-transfer-learning-using-pre-trained-models (дата обращения: 20.12.21).
19. Zeng N. RetinaNet Explained and Demystified. 2018. Режим доступа: https://blog.zenggyu.com/en/post/2018-12-05/retinanet-explained-and-demystified (дата обращения: 25.12.21).
20. Mingxing Tan, Quoc V. Le. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks//2019. arXiv:1905.11946v5 [cs.LG].
Статья поступила в редакцию 10 октября 2021 г.
DEEP NEURAL NETWORK FOR DIAGNOSTICS OF RAILWAY TRACK COMPONENTS
S.P. Orlov, N.A. Efimushkin, N.V. Efimushkina
Samara State Technical University
244, Molodogvardeyskaya st., Samara, 443100, Russian Federation
E-mail: [email protected], [email protected], [email protected]
Abstract. The problem of increasing the speed of railway transportation and ensuring reliability is associated with constant monitoring of the condition of the railway tracks. The modern track measuring cars are equipped with video cameras and computer equipment for processing the received information. However, manual processing of data by operators in real-time is not possible. The article proposes a deep convolutional neural network for automatically recognizing and classifying defects in rail joints on rail track images. The rail video observation forms the image array during the passage of the track recording car. The formation of classes of rail joints is described. Regular rail joints with connectors, insulating joints, and welded joints are considered. Additional classes are identified, corresponding to various anomalous configurations of rail joints in the images. A modified structure of a pre-trained deep convolutional network is constructed. When preparing training samples, the actual images of rail joints were supplemented with artificial images obtained by affine transformations. The process of training and testing the classifier based on the developed convolutional network is described. The Transfer Learning is used to train the neural network. As a result of the experiments, the accuracy of classifying rail joints and detecting defects was at least 96%.
Keywords: technical diagnostics, cyber-physical system, artificial neural network, machine learning, rail track, splice-joints.
REFERENCES
1. Zhang L. Specification of Railway Cyber-Physical Systems Using AADL // Advanced Technologies, Embedded and Multimedia for Human-centric Computing. Lecture Notes in Electrical Engineering. Springer. 2013. Vol. 260. P. 377.
2. Lee E.A., Seshia S.A. Introduction to embedded systems, A Cyber-Physical Systems approach. 2nd edn. The MIT Press, USA. 2017.
3. Kontseptsiia razvitiia sistem diagnostiki i monitoringa obiektov putevogo khoziaistva na period do 2025 goda [The concept of development of systems for diagnostics and monitoring of track facilities for the period up to 2025]. https://docs.cntd.ru/document/420365526?marker= 6540IN (accessed July 29, 2021).
4. Pavlenko V.V. A system for determining the pre-failure state of a continuous welded track to ensure the safety of train traffic// Transport Rossiiskoi Federatsii. 2011. No. 5(36). P. 31-33.
5. Yi H., Kai L. Inspection and monitoring technologies of transmission lines with remote sensing. Academic Press. 2017. P. 530.
6. Wei J., Liu C., Ren T., Liu H., Zhou W. Online condition monitoring of a rail fastening system on high-speed railways based on wavelet packet analysis// Sensors. 2017. Vol. 17 (2). P. 318.
7. Bombarda D., Vitetta G.M., Ferrante G. Rail Diagnostics Based on Ultrasonic Guided Waves: An Overview // Appl. Sci. 2021. Vol. 11(3), 1071.
8. Feng H., Jiang Z., Xie F., Yang P., Shi J., Chen L. Automatic fastener classification and defect detection in vision-based railway inspection systems // IEEE Trans. on Instrumentation and Measurement. 2014. Vol. 63(4). P. 877-888.
Sergey P. Orlov (Dr. Sci. (Techn.)), Professor. Nikolai A. Efimushkin, student.
Natalia V. Efimushkina (PhD (Techn.)), Associate Professor.
9. Karakose M., Yaman O., Akin E., Baygin M., Murat K. A new computer vision based method for rail track detection and fault diagnosis in railways // Int. Journal of Mechanical Engineering and Robotics Research. 2017. Vol. 6(1). P. 22-27.
10. Andronchev I.K., Tarasov E.M., Bulatov A.A. et al. A Technique for Diagnosis of the Resistance of Conductive Rail Track Joints // Russian Electrical Engineering. 2020. Vol. 91. P. 149-152.
11. Faghih-Roohi S., Hajizadeh S., Nunez A., Babuska R., De Schutter B. Deep convolutional neural networks for detection of rail surface defects // Proc. of the 2016 International Joint Conference on Neural Networks (IJCNN). 2016. P. 2584-2589.
12. Orlov S.P., Girin R.A., Piletskaya A.V. Intelligent information processing system for monitoring rail tracks // Proceedings of International Conference on control problems in technical systems (CTS 2019), St. Petersburg, Russia. 2019. P. 302-305.
13. Orlov S.P., Piletskaya A.V., Kusakina N.M., Tyugashev A.A. Machine learning diagnostic neural network for railway track monitoring // Mathematical methods in engineering and technology: International Conference. St. Petersburg, Politechnical University, 2020. Vol. 3. P. 94-99.
14. Relsovye styki. Lokomo. Zheleznodorozhnyi put. [Rail joints. Lokomo. Railway track]. URL: https://lokomo.ru/zheleznodorozhnyy-put/relsovye-styki.html (accessed December 27, 2021).
15. Keras: The Python Deep Learning library. URL: https://keras.io/applications/ (accessed January 10, 2022).
16. Simonyan K., Zisserman A. Very deep convolution networks for large-scale image recognition // 2014. arXiv:1409.1556.
17. Kingma D.P., Ba J.L. Adam: a method for stochastic optimization // 2017. arXiv: 1412.6980v9 [cs.LG].
18. Gupta V., Murzova A. Keras Tutorial: Transfer Learning using pre-trained models // Learn OpenCV. 2021. URL: https://learnopencv.com/keras-tutorial-transfer-learning-using-pre-trained-models (accessed December 20, 2021).
19. Zeng N. RetinaNet Explained and Demystified. 2018. URL: https://blog.zenggyu.com/ en/post/2018-12-05/retinanet-explained-and-demystified (accessed December 25, 2021).
20. Mingxing Tan, Quoc V. Le. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks//2019. arXiv:1905.11946v5 [cs.LG].
