CC BY
27
К задаче проектирования модуля визуального распознавания элементов верхнего строения пути на высокоскоросных магистралях
A. А. Локтев,
д.ф.-м.н., профессор, зав. кафедрой «Транспортное строительство» Московского государственного университета путей сообщения Императора Николая II
B. П. Сычев,
д.т.н., профессор кафедры «Транспортное строительство» МГУПС (МИИТ)
Д. А. Локтев,
ассистент кафедры «Информационные системы и телекоммуникации» Московского государственного технического университета им. Н.Э. Баумана
развитие высокоскоростного движения требует создания инновационных средств мониторинга и организации комплексной диагностики состояния инфраструктуры высокоскоростного железнодорожного транспорта. Это определяется повышенными требованиями к содержанию высокоскоростных линий и, как следствие, к обеспечению деятельного мониторинга верхнего и нижнего строения пути с применением на начальной стадии мониторинга методологии оценки рисков, к повышенным требованиям к приемке пути как после ремонта, так и в процессе его выполнения.
Одним из подходов к повышению эффективности мониторинга высокоскоростных линий является оптимизация состава измерительных устройств с максимальной автоматизацией всех процессов измерения, обработки и анализа получаемой информации с целью уменьшения количества обслуживающего персонала и числа операций в алгоритмах и схемах мониторинга и вычисления.
Такая задача может быть решена при создании диагностических программно-аппаратных комплексов, которые могли бы устанавливаться на высокоскоростные поезда, поэтому одним из направлений повышения эффективности мониторинга является разработка системы диагностики скоростных и высокоскоростных линий наряду с мобильными, магистральными средствами диагностики локальных, съемных средств.
Это позволяет обеспечивать возможность контроля участков пути в случаях, когда магистральные средства диагностики применять нецелесообразно. При этом многофункциональные автоматизированные съемные средства диагностики могут быть использованы для контроля качества ремонтов и выполнения технологических операций текущего содержания железнодорожного пути, причем не только его верхнего строения, а в случае обеспечения дистанционной передачи информации в процессе мониторинга интегрировать
их с машинами и комплексами по ремонту пути в единую систему, что значительно повысит производительность и качество путевых работ.
Но наиболее предпочтительна интеграция измерительных систем в высокоскоростной подвижной состав с целью выявления участков пути с повышенным уровнем показателей динамики скоростного подвижного состава. Установка измерительного оборудования на эксплуатируемый подвижной состав дает возможность мониторинга состояния железнодорожной инфраструктуры, не нарушая графика движения поездов в условиях реального взаимодействия подвижного состава и пути при повышенных скоростях движения.
Применение традиционных ваго-нов-путеизмерителей, вагонов-дефектоскопов и других индивидуальных технических средств такой возможности не дает. При этом необходимо, чтобы система, установленная на высокоскоростной состав, работала автономно без участия оператора и максимально полно реализовывала еще одно важное требование к системе мониторинга и диагностики - достоверность получаемой информации, возможность ее накопления для последующего прогнозирования развития состояния инфраструктуры.
Особенно важна в этих случаях установка измерительных средств на тяговый подвижной состав, что обеспечит контроль железнодорожной инфраструктуры в реальных услови-
ях движения подвижного состава. Известна самоходная путеобследователь-ская лаборатория на базе локомотива СПЛ-ЧС200 разработки НПЦ ИНФО-ТРАНС [1]. Установленная на ней система измерения обеспечивает контроль геометрических параметров рельсовой колеи и рельсов на скоростях до 200 км/ч и дает возможность оценить состояние пути при реальном взаимодействии с локомотивом (около 20 т/ на ось) на высоких скоростях движения.
Следует признать, что пока, как правило, применяются традиционные средства измерения и оценки состояния железнодорожного пути. В то же время на основе фундаментальных исследований физических основ теории распознавания образов появилась возможность применять в системе мониторинга на высокоскоростных магистралях видеорегистрирующие элементы, позволяющие в автоматизированном или автоматическом режиме обрабатывать изображения и в последующем принимать соответствующие решения. Таким образом, становится возможным видеоконтроль состояния пути в процессе движения подвижного состава, что особенно важно при высокоскоростном движении.
Чтобы правильно оценить состояние железнодорожного пути с помощью видеокамер, установленных на подвижном составе, необходимо выработать алгоритм распознавания движущегося объекта, используя возможность его обнаружения несколькими камерами и обработки изображения, полученного с разных ракурсов, а также определение параметров его движения и алгоритма распознавания отдельных дефектов.
В настоящее время полноценные рекомендации по построению и функционированию программно-аппаратных систем мониторинга и контроля на основе использования видеоизображений существуют только для построения систем физической защиты и комплексных систем защиты информации. При этом существует несколько критериев, согласно которым происходит установка видеокамер, среди которых можно выделить информативность изображения, его качество и размер контролируемой зоны.
Оптимизация точек расположения видеокамер с учетом геометрических особенностей рассматриваемого объекта позволит при одинаковых затратах достичь выигрыша в упомянутых параметрах. При установке блока ви-
деорегистрации на подвижной состав существенное влияние на точность изображения может оказывать угол наклона потерь, так как при его изменении будут меняться соотношения видимых в реальных размерах объектов. Это увязывается с критериями Джонсона, показывающими зависимость между вероятностью правильного решения с количеством строк [1]. При этом решаемые задачи делятся на четыре класса: обнаружение, определение ориентации, различение, опознавание. При увеличении высоты установки камеры растет коэффициент линейных искажений:
(1)
где Вг - реальный размер объекта, В( - видимый размер объекта.
Согласно рекомендациям [2], оптимальный угол наклона камеры находится в интервале 20-25°. При размещении камер на подвижном составе основным параметром является максимальная зона покрытия и возможность решать задачи различения на наибольшем расстоянии. Чувствительность определяет нижнюю границу рабочего диапазона освещенности. Освещенность на матрице ПЗС (приборов с зарядной связью) зависит от освещенности на объекте [1]:
Ет=Е0к0т/[(1 + т)2Р2],
(2)
где к0 - коэффициент отражения объекта, ( - коэффициент пропускания света объективом, т - отношение фокусного расстояния объектива к расстоянию до объекта,
¥ - отношение фокусного расстояния /объектива к диаметру В его входного зрачка.
Разрешающая способность зависит от частотно-контрастной характеристики (ЧКХ), которая определяет отношение глубины модуляции сигнала от пространственной частоты. Уменьшение этой характеристики обычно связано с дифракцией в оптической системе, диффузией носителей в ПЗС, с конечными размерами элемента разложения фотоприемника и с неэффективностью при переносе зарядов (разверткой).
Следующим важным параметром является отношение «сигнал/шум». Для определения этой величины может использоваться как линейный, так и логарифмический список:
*Р[о4] = 201ё(£/с/£/я), (3)
где и - амплитуда полезного сигнала; и - среднеквадратичное значение шума.
Среди всех типов шумов, которые могут вносить коррективы в работу ПЗС, можно выделить фотонный шум из-за дискретной природы света, шум темнового сигнала, который связан с темновым током из-за термоэлектронной эмиссии даже в спуске, если полностью отсутствует освещение объектива, шум переноса из-за дефектов и примесей в элементы ПЗС, шум считывания при выводе накопленного сигнала из матрицы, шум сброса, который образуется при выводе из детектирующего узла и предыдущего заряда. Если оценивать количественный вклад каждого приведенного шума в суммарное значение, то получим 200е-20е-16е-20е-130е. Стандартное отношение «сигнал/шум» находится в пределах 20-50 дБ.
Важным аспектом функционирования систем видеомониторинга является синхронизация, которая необходима для синфазности разложения и воспроизведения изображения в телеформатах, что актуально при наличии в системе видеонаблюдения нескольких камер, для избежания срывов синхронизации и появления «строб-эффекта» при коммуникации, мультиплексировании кадров в одном окне и регистрации изображения.
Также к основным характеристикам видеокамер относятся число кадров в секунду при наблюдении и записи (причем не всегда эти величины совпадают) и наличие детектора движения. Разработка алгоритма установки видеокамер на подвижной состав является сложной задачей [3, 4], на которую влияет количество входных данных, точек ветвления алгоритма, внутренних процедур, подключаемых библиотек, уровней вложенности вычислений, итераций внутренних и внешних циклов, вид формы предоставления конечных результатов и т. д.
В рассматриваемом случае предполагается, что порядок сложности алгоритма зависит только от его наиболее быстро возрастающей ветви, при этом постоянные множители в получаемых выражениях не учитываются. Такие исследования с применением процедур построения одиночных алгоритмов и их комплексов, которые затем реализуются с помощью ЭВМ, были проведены в работах [5, 6] для создания современных мультимедийных интерфейсов человеко-машинного взаимодействия, для реализации прикладного программного комплекса по моделированию про-
цесса распространения продольных и поперечных волн в пластинках после ударного воздействия на них [7]. В приведенных работах, как и в настоящей, алгоритм используется в качестве средства решения конкретной задачи.
Представим исследуемый алгоритм в виде следующих блоков, в каждом из которых учтены имеющиеся математические операции по обработке данных:
1) ввод трех координат для N точек
- O(3N);
2) ввод фокусного расстояния, угла обзора, количества камер для установки - O(kolkam+2), что приблизительно равно O(k);
3) поиск высоты и ширины плана -приблизительно O(2N), так как это два последовательных цикла;
4) прорисовка плана - один цикл, т. е. сложность данного элемента программы - O(8N+8), что приблизительно равно O(8N);
5) поиск ближайшей точки до элемента верхнего строения пути
- здесь количество (рельсов, шпал) равно p/2, сложность алгоритма = O(7N) + O(p/2*(2N+2));
6) расчет количества определяемых параметров - O(N);
7) расчет max количества камер -сложность равняется O(3);
8) изображение верхнего строения пути в виде отрезков - O(20N);
9) нахождение координат камер и их прорисовка на плане в виде треугольников - O(50N);
10) дальнейшее нахождение координат камер и их прорисовка на плане в виде треугольников - O(k*50N) (k - количество камер).
Таким образом, суммарное значение сложности алгоритма, рассчитанное по описанной методике и представляющее собой верхнюю оценку вычислительной сложности, равно O(88N) + O(p/2*(2N+2)) + O(k*50N). Здесь p - количество координат, которыми обозначаются исследуемые объекты верхнего строения пути. Максимально теоретическое p равно общему количеству координат N, а максимальное количество камер k зависит от угла обзора beta и количества дверей p/2 и равно p/2*360/beta. Минимальный угол обзора по горизонтали для видеокамер с размером матрицы 1/4" равен 2,444°. Таким образом, можно записать верхнюю оценку вычислительной сложности как
O(88N) + O(p/2*(2N+2)) + O(k*50N) = O(88N) + O(p/2*(2N+2)) + 0(p/2*360/
/beta*50N) = O(88N) + O(N2+N) + + O(N/2*360/2,444*50N) = O(88N) + + O(N2+N) + O(3682,5N2)" O(3683N2).
Из приведенных оценок отдельных элементов алгоритма видно, какие из них вносят наибольший вклад в конечное значение сложности. Согласно этим данным можно выделить процедуры, которые оптимизируются на этапе тестирования программно-аппаратного комплекса мониторинга и диагностики.
Для распознавания существуют несколько современных средств [5-8], которые могут быть интегрированы в программное обеспечение стандартной вычислительной системы, одним из таких средств является библиотека компьютерного зрения с открытым исходным кодом OpenCV. Она реализована с помощью языков программирования C и C++ и может работать со многими популярными операционными системами (Linux, Windows и Mac OS X).
Эта библиотека содержит более 500 функций, которые охватывают такие области, как мониторинг конвейерной продукции, медицинскую визуализацию, безопасность, пользовательские интерфейсы, калибровку камер, зрение для робототехники. Компьютерное зрение и решение задач распознавания непосредственно связаны с процедурами обучения программного комплекса, в OpenCV содержится комплексная библиотека машинного обучения общего назначения Machine Learning Library.
Эта подсистема ориентирована на статистическое распознавание образов, в том числе для последующей кластеризации [5]. В основе методики лежит алгоритм адаптивного усиления AdaBoost (adaptive boosting). Адаптивность алгоритма заключается в том, что каждый последующий классификатор получается из объектов, которые были неправильно классифицированы на основе предыдущих классификаторов [6]. При выборе того или иного признака для классификации необходимо описать изображение, для чего предлагается использовать набор простейших элементов, называемых примитивами Хаара.
Процедура использования примитивов заключается в их наложении на эталонное изображение [5] и определения обобщенной характеристики анизотропии выделенной области N
N = 0-0.,, (4)
где Q, 0Ы - суммарное количество, соответствен-
но, белых и черных пикселей в примитивах, расположенных в выделенной области изображения.
На основе классификаторов с наиболее эффективными примитивами строится каскад, каждый последующий элемент которого содержит большее количество примитивов, занесенных туда на этапе машинного обучения [7].
Задача проектирования модуля визуального распознавания непосредственно связана с созданием программного обеспечения, прототипом которого предлагается web-среда, поскольку она позволяет использовать различные языки программирования и может применяться для создания распределенной информационной системы, которая будет работать на стороне как сервера, так и пользователя.
Взаимодействие между пользовательским web-приложением, которое запускает администратор системы видеомониторинга или оператор, находящийся непосредственно на транспортном средстве, и модулем распознавания происходит через специализированное приложение на стороне пользователя, которое будет управлять приемом и передачей данных. Согласно этому подходу, web-приложение может функционировать независимо от всей системы, а модуль распознавания может работать непрерывно, не останавливаясь при сеансовых обновлениях web-страниц.
Схема обмена данными между уровнями прототипа представлена на рис. 1, на ней видно, что основной поток данных между клиентской и серверной частью проходит через средний связующий уровень, реализация которого выполнена на стороне пользователя [8]. Для организации непрерывной работы модуля распознавания и приложения среднего уровня без обновления страницы в браузере и одновременного функционирования пользовательского web-приложения предлагается использовать пакет программных продуктов Ajax, который объединяет технологии стандартизованного представления информации с использованием XHTML и CSS, динамического отображения и взаимодействия при помощи Document Object Model (DOM), обмена и управления данными через XML и XSLT, асинхронного получения данных с использованием XMLHttpRequest и языка написания сценариев, который связывает между собой все предыдущие компоненты.
В традиционном подходе к реализации web-технологий много времени теряется на ожидание пользователем ответа сервера. Приложение, созданное по технологии Ajax в начале пользовательской сессии, загружает через браузер набор сценариев, реализованный на JavaScript и скрытый в специальном фрейме, который взаимодействует с пользователем независимо от взаимодействия с сервером, т. е. асинхронно.
Создание системы распознавания объектов, образы которых получены через видеорегистраторы, функционирующей в режиме реального времени, может рассматриваться только как комплексная задача, состоящая из нескольких подзадач, каждая из которых представляет собой отдельную проблему.
Первой такой задачей является разработка модуля визуального распознавания и аутентификации, затем нужно создать приложение среднего уровня, которое будет интегрировать блок распознавания в web-приложение, и наконец, разработать само web-приложение, которое может быть доступно в удаленном режиме и функционировать как в локальной вычислительной сети, так и в среде Internet.
В качестве тестовой серверной части возможно использование комплекта «Денвер» Дмитрия Котерова, который включает в себя набор дистрибутивов (Apache, PHP, SSL, SSI, MySQL, Perl и т. д.) и программную оболочку, используемую web-разработчиками для создания сайтов на локальной Windows-машине без необходимости выхода в Internet.
На протяжении всего времени движения диагностического средства и нахождения элементов верхнего строения пути в зоне обзора камеры модуль определяет и распознает наличие отдельных дефектов в поле зрения web-камеры (рис. 2). К вопросу распознавания определенного объекта (например, головки рельса) и появления предупреждения об опасности следует относиться достаточно осторожно [3], так как ни один из современных алгоритмов аутентификации не обеспечивает однозначного распознавания. Таким образом, предлагается запускать сценарии тревоги сразу после подозрения на наличие дефекта пути.
Работа программной части модуля распознавания будет включать следующие этапы: подключение к камере и инициализацию программного модуля, получение изображения с регистратора, обработку изображения,
рис. 1. схема обмена данными элементов прототипа
отправку изображения экземпляру определенного класса, получение и обработку результата детектирования (в отсутствие положительного события — возврат на второй этап и выполнение кода опустошения полосы наполнения), выделение области распознанного лица для визуального подтверждения (выполнение кода полосы наполнения), возврат на второй этап. Блок-схема работы модуля визуального распознавания и аутентификации представлена на рис. 3.
Связующее приложение системы распознавания будет использоваться как контейнер для модуля распознавания и конечного web-приложения и как канал обмена управляющими командами между ними [9]. Связующее приложение целесообразно реализовать в виде одной HTML-страницы, содержащей в себе теги внешнего оформления, объект модуля распознавания и ряд необходимых функций, реализованных на языке написания сценариев JavaScript, управляющих поведением модуля распознавания и самого web-приложения. Модуль распознавания размещается на web-странице с использованием стан-
дартных методов встраивания сценариев JavaScript [10].
Программная часть связующего модуля состоит из нескольких специализированных функций, первая из которых — function_start() — вызывается модулем распознавания сразу после разрешения пользователем использования видеокамеры. Эта функция загружает в рабочую область стартовую страницу web-приложения, которое затем через связующий модуль посылает обратный сигнал, реализованный через функцию function_test(). Если модуль распознавания обнаружил ошибочную ситуацию и необходимо подать сигнал тревоги, то вызывается функция function_alarm().
Важной частью программного приложения является библиотека опознанных образов, а также использующая её функция function_load(), которая обновляет рабочую область, вызывая работу web-при-ложения и асинхронно получая ответные данные от него. Приложение после старта будет подгружать серию изображений, полученных с разных ракурсов, и затем поочередно анализировать их, выбирая объекты, имеющиеся в базе данных, и помечая их с помощью меток.
рис. 2. место возможной установки видеодетекторов для диагностики состояния верхнего строения пути
Рис. 3. Алгоритм работы модуля распознавания дефекта верхнего строения пути
После того как пользователь системы распознавания дал разрешение сценарию модуля распознавания на работу с камерой (или с предварительно загруженными изображениями - для тестирования самого приложения), модуль дает команду связующему приложению загрузить стартовую страницу системы.
В качестве алгоритма распознавания используется достаточно простой алгоритм Виолы - Джонса, но в общем случае модуль распознавания можно реализовать в виде собственного А^гуеХ-компонента, который способен задействовать более точные и более
требовательные к ресурсам алгоритмы распознавания.
Однако упомянутое приложение является только прототипом проектируемой системы и реализует лишь часть возможных функций технологии непрерывного визуального распознавания объектов в распределенной системе видеомониторинга.
В целом спроектированная и частично реализованная система позволяет понять всю перспективность подобных модулей распознавания объектов для оценки состояния железнодорожного пути на высокоскоростных магистралях. □
Литература:
1. Локтев А. А., Алфимцев А. Н., Локтев Д. А. Алгоритм размещения видеокамер и его программная реализация // Вестн. МГСУ. 2012. № 5. С. 167-175.
2. Волхонский Г. В. Критерии выбора разрешающей способности в системах теленаблюдения. // PROSystem ССТУ, № 2 (38), 2009. С. 60-64.
3. Айдаров Ю.Р. Новый алгоритм анализа протоколов информационной безопасности и оценка его вычислительной сложности // Вестн. Перм. ун-та. Сер. Математика. Механика. Информатика. 2008. Вып. 4. С. 165-168.
4. Сычев В. П., Локтев А. А., Локтев Д. А., Изотов К. А. Моделирование системы мониторинга железнодорожного пути для повышения информативности оценки его содержания // Мобильный бизнес: перспективы развития и реализации систем радиосвязи в россии и за рубежом: сб. материалов (тезисов) XXXVIII междунар. конф. РАЕН. 2016. С. 11-13.
5. Алфимцев А.Н., Девятков В.В. Интеллектуальные мультимодальные интерфейсы. Калуга: Полиграф-Информ, 2011. 328 с.
6. Девятков В. В., Алфимцев А. Н. Распознавание манипулятивных жестов // Вестн. МГТУ им. Н. Э. Баумана. Сер. Приборостроение. 2007. № 3. С. 56-75.
7. Черномордик И. В. Об одном алгоритме восстановления в задаче распознавания изображения // Вестн. Перм. ун-та. Сер. Математика. Механика. Информатика. 2010. Вып. 4 (4). С. 50-53.
8. Глумов Н. И. Мясников Е. В., Копен-ков В. Н., Чичева М. А. Метод быстрой корреляции с использованием тернарных шаблонов при распознавании объектов на изображениях // Компьютерная оптика. 2008. Т. 32, № 3. С. 277-282.
9. Алфимцев А. Н., Локтев Д. А., Локтев А. А. Разработка пользовательского интерфейса комплексной системы видеомониторинга // Вестн. МГСУ. 2012. № 11. С. 242-252.
10. Алфимцев А. Н., Локтев Д. А., Локтев А. А. Реализация пользовательского интерфейса системы видеомониторинга на основе онтологического подхода // Вестн. Москов. фин.-юридич. ун-та. 2013. № 1. С. 91-101.
