CC BY
36
УДК 004.932.2
DOI: 10.15587/2312-8372.2018.123441
РАСПОЗНАВАНИЕ КОЛЕС С ПОМОЩЬЮ ЛАЗЕРА ДЛЯ ВЫЧИСЛЕНИЯ ДЕФОРМАЦИИ ШИН
Лымаренко Ю. А., Татиевский Д. Н.
1. Введение
Компьютерное зрение - одна из самых современных областей, которая использует результаты многих смежных научных направлений, таких как машинное обучение, проективная геометрия, теория вероятности и т. п.
Основной круг задач компьютерного зрения лежит в сфере качественного и количественного анализа изображений и потоков видеоданных (поиск и классификация объектов, сопровождение объектов н^ видео и др.). Распознавание изображений является сложной задачей для компьютерного алгоритма. Это связано, в первую очередь, с высокой вариативностью изображений отдельных объектов [1-3].
Большинство методов решения указанных задач, тем или иным образом, использует различные подходы для выполнения предобработки изображений или кадров видео потока, с целью дальнейшего повышения качества работы алгоритмов. Различные алгоритмы имеют свои преимущества и недостатки, как следствие, все алгоритмы имеют свою область применения.
В настоящем исследовании реализовано распознавание колес транспортного средства, с помощью их освещения лазерным лучом. Актуальность такого распознавания связано со многими практическими применениями для анализа их состояния, в частности, определения деформации шин, что было выполнено в ходе исследования. От физико-механических свойств шины зависят такие эксплуатационные показатели автомобиля, как грузоподъемность, экономичность, управляемость, проходимость и др. В конечном итоге, все эти показатели определяются значением и видом деформации шины, под действием внешних сил.
2. Объект исследования и его технологический аудит
Объектом исследования является система распознавание колес с помощью лазера для вычисления деформации шин.
Основной проблематикой данного исследования, для решения которой необходимо распознавание колес транспортного средства с помощью лазерного освещения, с последующим восстановлением их трехмерных поверхностей - это вычисление коэффициента деформации колес транспортного средства.
Приложение для исследования реализовано на языке программирования C# в среде Microsoft Visual Studio 2017, с использованием библиотеки EmguCV (OpenCV для .NET). Данная библиотека очень популярна за счёт своей открытости
и возможности бесплатно использовать как в учебных, так и в коммерческих целях. На данный момент работа с библиотекой OpenCV хорошо документирована, имеется много примеров и практических советов [4-6], следование которым значительно ускоряет процесс программной реализации.
Практическая ценность данного исследования состоит в том, что его результаты могут быть применены в реальных условиях, для чего необходимо наличие инфракрасной камеры, лазера, а также радара, определяющего скорость движения транспортного средства. Полученные таким образом результаты могут быть интегрированы с информацией системы контроля давления в шинах - TPMS (Tire Pressure Monitoring System), для определения загруженности транспортных средств.
3. Цель и задачи исследования
Цель исследования - решение проблемы восстановления трехмерных поверхностей колес транспортного средства, с последующим решением задачи вычисления коэффициентов их деформации.
Для достижения поставленной цели необходимо решить следующие задачи:
1. Рассмотреть составляющие для построения алгоритма восстановления трехмерных поверхностей, используемых в компьютерном зрении.
2. Осуществить распознавание колес с помощью лазера для вычисления деформации шин.
4. Исследование существующих решений проблемы
Одна из наиболее распространенных задач компьютерного зрения - задача классификации. В рамках этой задачи требуется определить, принадлежит ли некоторое изображение, или его часть, к определенному классу. Примером такой задачи является задача автоматического поиска и локализации объектов [7-11], в том числе, колес транспортных средств, на изображение или в видео потоке.
Подобная задача решается с использованием разнообразных алгоритмов, используемых в компьютерном зрении [12-14].
Метод Виолы-Джонса имеет огромные преимущества в скорости распознавания машин на изображении, но недостатками этого алгоритма являются долгое время обучения классификатора и невозможность распознавания машин с углом наклона более 30 градусов. Также можно сказать, что данный метод является одним из лучших по соотношению показателей эффективности распознавания и скорости работы [15].
Как показал проведенный анализ, изображение колес автомобилей не содержат достаточного количества устойчивых контрастных областей предопределенного размера. Казалось бы, что центр образа колеса должен быть светлее шин, но это далеко не всегда так. То же самое и с фоном - асфальт может быть как темнее шин, так и светлее их. Такая ситуация определяется не только различными видами колес, кузовов автомобилей, но и условиями освещенности.
Изображение одного и того же колеса может кардинально поменяться при смене условий освещенности.
Признаками цифрового изображения, используемыми в распознавании образов, являются признаки Хаара. Своим названием они обязаны интуитивным сходством с вейвлетами Хаара. Признаки Хаара дают значение перепада яркости между темной и светлой частью признака. Так, например, в следующих изображениях значение признака будет положительным, так как области светлой части признака светлее, чем темной части, а, следовательно, A-область черного цвета больше B-область белого цвета.
Классификатор Виолы-Джонса с использованием признаков Хаара, построенных по яркостному изображению, чувствителен к характерным перепадам яркости, когда одна часть изображения всегда темнее другой.
В силу этих обстоятельств, неудовлетворительными, для решения проблемы максимально точного распознавания колес, являются и детектор Канни, контурный анализ, метод SURF и другие, используемые на начальных этапах решения поставленной задачи. Были предприняты попытки вычисления коэффициента деформации колес по полученному, с помощью видеокамеры, изображению, однако, в силу указанных выше причин, такой подход не обеспечивал необходимой точности.
Поэтому, в ходе исследования была принята идея использования лазерного освещения колеса с последующей реконструкцией трехмерной его модели, которая была реализована ранее [16].
Именно такой подход и позволил обеспечить необходимую точность вычисления коэффициента деформации.
5. Методы исследования
В работе использовались методы теоретического (абстрагирование, анализ и синтез) и эмпирического исследования.
Эмпирическое исследование заключалось в наблюдении за качеством детектирования луча лазера на изображении, что позволило выбрать оптимальные параметры для используемых библиотечных методов, описанных ниже.
Важное место в методологии проведенного исследования занимал метод обобщения научной литературы, список которой прилагается, особенно в контексте использования инструментария библиотеки OpenCV, что значительно ускорило программную реализацию приложения.
Примененные методы соответствовали логике исследования и были комплексно взаимосвязанными.
Отметим также, что, моделируя реальные процессы с необходимой точностью, исследуемый подход не требует наличия дорогостоящего оборудования. В проведенном исследовании, для распознавания колес в реальных условиях, использовались вертикальный лазер и фотоаппарат.
6. Результаты исследования
В системе Unity 3D была разработана оригинальная модель транспортного средства, с возможностью ее освещения лазерным лучом различного цвета в процессе движения, изображенная на рис. 1.
Модель соответствует автомобилю КамАЗ-53215, колеса выполнены отдельно в соответствии с этим автомобилем.
В этой же системе получен набор изображений этого процесса через равные интервалы времени в виде графических файлов для их обработки C#-приложением. При этом, в приложении имеется режим визуализации процесса детектирования луча лазера в ROI выбранным цветом и в реальном времени. Результатом такой обработки является генерация двумерных координат лазерного луча в области колес транспортного средства.
Ввиду того, что предполагалось детектировать только вертикальный луч определенного цвета (красный, зеленый), средствами библиотеки OpenCV детектированы вертикальные линии, с использованием преобразования Хафа (HoughTransform) - метода поиска линий (кругов и других простых форм) на изображении [16]. Этому предшествовала стандартная предварительная обработка изображения с последовательным использованием сглаживания/размытия изображения, с помощью вычисления свертки изображения с дискретным ядром Гаусса, со стандартными отклонениями по осям Ox и Oy соответственно [17], и
размытие посредством применения медианного фильтра.
После выполнения операций фильтрации, к полученному изображению был применен оператор Собеля - дискретный дифференциальный оператор, вычисляющий приближенные значения производных разного порядка для функции яркости пикселей [17].
Применение горизонтального оператора Собеля позволило отчетливо выделить вертикальные ребра (применена первая частная производная по оси Ox).
Далее был применен детектор ребер Канни [18], предназначенный для поиска границ объектов на изображении. По найденным граням и было проведено построение сегментов Хафа (библиотечная функция HoughLinesP) для получения необходимого набора пикселей, для восстановления трехмерного изображения всех колес транспортного средства.
Следует отметить, что эффективность использования описанных выше функций из библиотеки OpenCV, в большой степени, зависит от эмпирически подобранных параметров, и с этой целью был выполнен целый ряд экспериментов по их оптимальному выбору.
В ходе таких экспериментов была реализована возможность детектирования максимального количества отрезков Хафа в ROI (собственно, области колеса).
При этом учитывалась возможность использования, как красного, так и зеленого лазеров. Фрагмент работы приложения по определению линий Хафа (отрезки желтого цвета) на траектории зеленого лазерного луча в ROI приведен на рис. 2.
Рис. 2. Определение отрезков Хафа на траектории лазера
Заметим, что приложением обработано реальное изображение из
видеокамеры. Процесс такой предобработки изображений может быть иллюстрирован следующей блок-схемой (рис. 3).
Рис. 3. Предобработка изображений
Однако при таком детектировании линий на траектории луча лазера не удается получить непрерывный линейный сплайн. Обработка изображений была реализована отдельным методом приложения, вычисляющим недостающие сегменты сплайна с их проверкой на принадлежность лазерному лучу в цветовых (для красного и зеленого лазеров) и пространственных диапазонах.
Все распознанные подобным образом сегменты Хафа на исходном изображении выделяются определенным «чистым» цветом (например, красным), для повышения точности дальнейшей обработки изображения.
В ходе исследования для всех полученных линий выполнено их попиксельное покрытие точками. Таким образом, была решена принципиальная проблема нахождения точек, принадлежащих лучу лазера.
Дальше решалась проблема минимизации точек на луче в ROI. На рис. 4 приведен полный их набор.
Рис. 4. Детектирование всех точек на луче лазера
Необходимо оставить одно пиксельное их множество на луче лазера в пределах ROI, также убрать мусор, оставленный после цветового детектирования. Такая задача решена дополнительными методами, вызываемыми последовательно над имеющимся списком точек (пикселов), принимающими его в качестве параметра и возвращающими обновленный список. Для обработки таких коллекций использовались лямбда-выражения для сортировки, фильтрации, поиска экстремальных значений и прочее.
Таким образом, была проведена очистка мусора, удаление верхних и нижних точек вне ROI и их минимизация - оставлен только левый пиксель на луче для каждого уровня y=const.
Результат последовательности таких действий, приводит к полной идентификации лазерных точек только в области колеса на всем наборе изображений, что видно на рис. 5.
Рис. 5. Минимизация точек на луче лазера
Весь процесс обработки набора изображений транспортного средства представлен блок-схемой на рис. 6, где набору операторов «Предобработка изображений» соответствует блок-схеме (рис. 3).
Рис. 6. Полный цикл обработки изображений
Полученный набор точек всего сеанса движения транспортного средства был записан в CSV-файл, ' ^ор^ ' использовался для восстановления трехмерного изображения колес по ранее реализованному алгоритму [16].
Для вычисления коэффициента, учитывающего деформацию шины при приложении к ней вертикальной нагрузки, используется информация в виде трехмерного облака точек, визуализация которого в системе MeshLab представлена на рис. 7.
Рис. 7. Визуализация облака точек в системе MeshLab
Отметим, что радиальная деформация шины измеряется её нормальным
прогибом, равным разности свободного (R0) и статического (Rem) радиусов колеса:
HH=R0-Rem, (1)
где R0 - свободный радиус колеса; Rem - статический радиус колеса.
Свободный радиус - это радиус колеса, находящегося в свободном (не нагруженном) состоянии.
Под действием статической вертикальной нагрузки (веса неподвижной машины), в результате деформации эластичной конструкции шины, уменьшается расстояние от оси колеса до опорной поверхности. Это расстояние называется статическим радиусом Rem колеса:
Rem=R0(1-X), (2)
где X - коэффициент, учитывающий деформацию шины при приложении к ней вертикальной нагрузки, который и вычисляется в приложении.
Такой расчет выполняется отдельным методом специального класса приложения, возвращающим значение коэффициента деформации для детектированного колеса.
Список точек входного файла передается к конструктору этого класса. В методе определяются координаты «критических» точек, необходимых для дальнейших вычислений. Это, собственно, точки с минимальным и максимальным значениями х и у координат. При этом точка с минимальной х-координатой выбирается с минимальной координатой 2 и наоборот, что необходимо для более точного определения радиуса колеса. Вычисление всего набора коэффициентов деформации (по всем колесам) выполняется циклически.
Фрагмент разработанного приложения с рассчитанными коэффициентами деформации для всех трех колес показан на рис. 8.
Рис. 8. Расчет коэффициентов деформации
Следует отметить, что в упомянутом выше методе, вычисляется отношение расстояния от точки с минимальной у-координатой до центра колеса (окружности) к радиусу колеса, причем последний вычисляется с учетом 2-координат его крайних точек.
Таким образом, числитель представляет собой статический радиус колеса, знаменателем является свободный радиус. Полученное значение вычитается из единицы и равно коэффициенту X. Для облака точек используемой модели он находится в пределах 0,1, что соответствует норме для грузовых автомобилей, согласно правилам ЕЭК ООН № 30.
В результате проведенных исследований решена поставленная задача по вычислению коэффициента деформации шин (колес) транспортного средства. Проведенное моделирование позволило приблизить модель транспортного средства к реальным условиям и получить значения этих коэффициентов, соответствующих нормам для грузовых автомобилей.
Следует отметить, что кроме этого результата, достижение которого и было целью проведенного исследования, получена возможность трехмерного восстановления колес транспортного средства. Такая возможность представляет практический интерес для полного и всестороннего изучения состояния шин и, в целом, колес транспортного средства.
7. SWOT-анализ результатов исследований
Strengths. Реализованный метод определения распознавания колес транспортного средства с помощью их освещения лазерным лучом определения деформации шин, позволяет выполнить эту операцию с высокой степенью достоверности. Сам же метод распознавания с помощью лазерного освещения имеет самостоятельную ценность и может быть применен к любым объектам. Результаты вычисления деформации могут быть интегрированы с информацией системы контроля давления в шинах, что повышает практическую ценность проведенных исследований. К несомненным преимуществам данного подхода следует отнести и сравнительно невысокую стоимость оборудования, состоящего из бытовых приборов.
Weaknesses. К недостаткам данного подхода можно отнести тот факт, что на практике не всегда удается получить приемлемое качество результата, связанное с возможной запыленностью дороги и неблагоприятными погодными условиями. Однако, как показал эксперимент, улучшение качества распознавания достижимо за счет улучшения программного обеспечения.
Opportunities. На данный момент, вполне возможно практическое применение данного метода, как для непосредственного вычисления деформаций, так и для решения более сложных задач путем интеграции с системой TPMS (Tire Pressure Monitoring System).
Threats. В настоящее время аналогов использования данной модели на практике не найдено, а разработанный метод не вызывает особых проблем для его практического применения.
8. Выводы
1. Выполнен обзор существующих комплексов теоретических и эмпирических методов, сочетание которых дает возможность с наибольшей достоверностью исследовать изучаемый объект путем использования лазерного освещения колеса, с последующей реконструкцией трехмерной модели. Реализованный алгоритм распознавания луча лазера в области колеса транспортного средства имеет самостоятельную ценность, поскольку его можно применить для детектирования любых объектов с использованием вертикального или горизонтального лазера разных цветов. В разработанном приложении имеется возможность выбора красного и зеленого лазера. Получено и минимизировано множество пикселей в ROI для дальнейшего восстановления SD-модели колес. Этот алгоритм, основан на последовательном вызове методов с использованием
лямбда-выражений, также имеет универсальный характер, и применим к любым объектам.
2. В ходе исследования по полученной модели, произведено вычисление коэффициентов деформации колес. Данный показатель характеризует относительное изменение основных геометрических размеров обрабатываемого изображения (длины, ширины, высоты) при деформировании. Полученные значения этих коэффициентов, согласно правилам ЕЭК ООН № 30, соответствуют нормам для грузовых автомобилей.
В реальных условиях мог быть применен следующий алгоритм: возле, например, блокпоста устанавливается инфракрасная камера и лазер, а также радар, определяющий скорость движения транспортного средства, которое, проезжая вдоль блокпоста, будет засвечено лазером и сфотографировано камерой n раз. Зная скорость и время снимка, можно точно определить смещение автомобиля от начала трекинга. Из каждого полученного снимка, можно рассчитать набор 3D точек, смещая их по оси X на значение смещения автомобиля, и добавить в общий набор. Из полученного набора точек можно выбрать колеса и определить деформацию шин, как это и было сделано, с использованием компьютерного моделирования.
Практическая ценность данного исследования состоит также в том, что для определения нагруженности транспортных средств, представляет интерес интеграция полученных результатов с информацией системы контроля давления в шинах - TPMS.
Благодарности
Работа выполнена в рамках комплексной научно-исследовательской темы Запорожского национального технического университета «Развитие современных методов компьютерного моделирования» (номер гос. регистрации 25-1ДВ/04) при поддержке кафедры программного обеспечения автоматизированных систем Запорожской государственной инженерной академии (Украина).
Литература
1. Sonka M., Hlavac V., Boyler R. Image Processing, Analysis, and Machine Vision. Stamford: Cengage Learning, 2014. URL: https://www.researchgate.net/profile/Roger Boyle/publication/220695728 Image proce ssing_analysis_and_and_machine_vision_3_ed/links/5553203108ae980ca606d93c/Imag e-processing-analysis-and-and-machine-vision-3-ed.pdf
2. Szeliski R. Computer Vision Algorithms and Applications. London: SpringerVerlag, 2010. URL: http://szeliski.org/Book/drafts/SzeliskiBook 20100903 draft.pdf
3. Wang J., ^Wen M. F. Image and Video Matting: A Survey // Foundations and Trends in Computer Graphics and Vision. 2007. Vol. 3, No. 2. P. 97-175. doi:10.1561/0600000019
4. OpenCV 2.4.13.4 documentation. 2017. URL:
https://docs.opencv.Org/2.4/doc/tutorials/imgproc/imgtrans/hough lines/hough lines.html
5. Zeeshan A. A. A Quick Introduction To Computer Vision Using C#. 2016. URL: http://www.c-sharpcorner.com/article/a-quick-introduction-to-computer-vision-using-c-sharp
6. Bradski G., Kaehler A. Learning OpenCV: Computer Vision with the OpenCV Library. O'Reilly Media, 2008. P. 580.
7. Christoudias C. M., Georgescu B., Meer P. Synergism in low level vision // Proceedings of 16th International Conference on Pattern Recognition. IEEE, 2002. Vol. 4. P. 150-155. doi: 10.1109/icpr.2002.1047421
8. Fergus R., Perona P., Zisserman A. Object class recognition by unsupervised scale-invariant learning // Proceedings of Computer Society Conference on Computer Vision and Pattern Recognition. IEEE, 2003. Vol. 2. P. 256-264. doi: 10.1109/cvpr.2003.1211479
9. Harzallah H., Jurie F., Schmid C. Combining efficient object localization and image classification. 12th International Conference on Computer Vision. IEEE, 2009. P. 237-244. doi: 10.1109/iccv.2009.5459257
10. Kim S., Yoon K. J., Kweon I. S. Object recognition using a generalized robust invariant feature and Gestalt's law of proximity and similarity // Pattern Recognition. 2008. Vol. 41, No. 2. P. 726-741. doi:10.1016/j.patcog.2007.05.014
11. Kulkarni S. R., Harman G. Statistical learning theory: a tutorial // Wiley Interdisciplinary Reviews: Computational Statistics. 2011. Vol. 3, No. 6. P. 543-556. doi: 10.1002/wics.179
12. Modeling and recognition of landmark image collections using iconic scene graphs / Li X. et al. // Computer Vision. ECCV, Springer Berlin Heidelberg, 2008. P. 427-440. doi: 10.1007/978-3-540-88682-2 33
13. Achler O., Trivedi M. Vehicle Wheel Detector using 2D Filter Banks, Accepted // International Conference on Intelligent Vehicles. 2004. doi: 10.1109/ivs.2004.1336350
14. Viola P., Jones M. J., Snow D. Detecting Pedestrians Using Patterns of Motion and Appearance // International Journal of Computer Vision. 2005. Vol. 63, No. 2. P. 153-161. doi: 10.1007/s11263-005-6644-8
15. Sun Z., Bebis G., Miller R. On-road vehicle detection using gab or filters and support vector machines // International Conference on Digital Signal Processing. 2002. Vol. 2. P. 1019-1022. doi:10.1109/icdsp.2002.1028263
16. Lymarenko Y., Tatievskyi D. Development of the computer model of three dimensional surfaces reconstruction system // Technology audit and production reserves. 2017. Vol. 5, No. 2 (37). P. 11-16. doi: 10.15587/2312-8372.2017.111233
17. Degtiareva A., Vezhnevec V. Preobrazovanie Hafa // Komp'iuternaia grafika i mul'timedia. 2003. No. 1 (1). URL: http://ict.informika.ru/ft/002407/num1degt.pdf
18. Bradski G., Kaehler A. Learning OpenCV Computer Vision with OpenCV // Library. O'Reilly Media Publishers, 2008. URL: http://www.bogotobogo.com/cplusplus/files/OReilly%20Learning%20OpenCV.pdf
