CC BY
37
УДК 519.713
DOI: 10.17586/0021-3454-2021-64-2-104-108
АЛГОРИТМ ОБНАРУЖЕНИЯ ПОЛОСЫ ДВИЖЕНИЯ
Мохамед Селим Кориум, Ахмед Али Абдельсалям, С. Ю. Перепелкина
Университет ИТМО, 197101, Санкт-Петербург, Россия E-mail: sker@mail.ifmo.ru
Решение задачи управления беспилотным автомобилем основывается на использовании теоретико-технических разработок в сфере технического зрения и траекторного управления. Методы технического зрения использованы для анализа окрестности движения транспортного средства. В основу разработки алгоритма положен глобальный анализ геометрических связей между элементами изображения: дорожной полосой и движущимся автомобилем. Этот алгоритм представлен как часть системы управления беспилотным автомобилем с использованием языка Lua, а также обобщенного преобразования Хафа. Приведены примеры реализации алгоритма.
Ключевые слова: транспортное средство, полоса движения, распознавание образов, техническое зрение
Особенности автономного управления транспортным средством в условиях различной видимости на данный момент изучены не в полной мере. Здесь важно обоснованно использовать метод получения и обработки изображений, потому что от скорости работы алгоритма распознавания изображений зависит безопасность движения беспилотного автомобиля. Для решения этой задачи выбран язык программирования Lua, отличающийся быстродействием и возможностями взаимодействия со сторонним программным обеспечением.
Для создания алгоритма распознавания авторами использовано программное обеспечение: по планированию пути (Path Planning); локализации (Localization); компьютерному зрению (Computer Vision) [1, 2]; сенсорному синтезу (Sensor Fusion) [3, 4]; машинному обучению (Deep Learning) — глубинное обучение используется в семействах машинных методов обучения, основанных на представлении данных. Обучение может быть контролируемым, частично контролируемым или неконтролируемым [5, 6].
Известно много работ по обработке изображений [7—10]. Алгоритмы обработки изображений используются в целях интеллектуализации транспортных средств, которая позволяет беспилотному автомобилю идентифицировать сцену (полосу движения) и управляемые объекты. Интеллектуальная система особенно необходима, когда карта окружающей среды не обеспечивает локализацию объекта.
В большинстве работ различные задачи распознавания решаются с использованием обнаружения 3D-объекта [11, 12] и обнаружения одномерной структуры (линии) [13, 14]. В работах [15, 16] используется семантическая сегментация, а в [17, 18] выявляются подвижные зоны.
Необходимо понимать, что область захвата движения должна быть локализована. Например, на рис. 1, a показано, что область полосы движения с большей вероятностью может содержать множество обнаруженных автомобилей. Нами решена задача локализации и унификации алгоритма сбора и обработки информации, которая позволяет задействовать меньшие вычислительные мощности, что делает целесообразным применение такого алгоритма на бортовых системах автомобиля с автоматическим управлением.
Результаты использования этой методики показаны на рис. 1, б, где объект локализован относительно полосы движения.
а) б)
Рис. 1
Обнаружение полосы движения (Lane Line Detection) является основной задачей автономного управления транспортом, для ее решения успешно применяются многие традиционные методы [19, 20]. В [21] предлагаются подходы к сегментации изображения для обнаружения полосы движения. В [22] предложен пространственный вариант CNN (SCNN), который обобщает традиционные построения линий „слой к слою" и линий „срез на срезе" на картах объектов, что позволяет передавать сообщения между пикселами строк и столбцами в слое (в тесте TuSimple эти методы показали превосходные результаты). Обнаружение автомобилей (Vehicle Detection) [23, 24] является важной задачей транспортных средств с автоматическим управлением, систем помощи водителю, интеллектуальных систем парковки или измерения параметров движения. В работах [25, 26] использовался метод вычитания фона.
Образ транспортного средства меняется в зависимости от ракурса, условий освещения и фона. Все вариации будут увеличивать множество проблем при выборе общего подхода к идентификации транспортных средств. Язык Lua может быть успешно применен для распознавания заданных объектов при разном освещении и погодных условиях. Рассмотрим работу алгоритма на примере распознавания полосы движения.
Преобразование Хафа — метод выделения признаков, используемый при анализе изображений, компьютерном зрении и цифровой обработке изображений [27—30]. Классический метод обеспечивает идентификацию линий на изображении с представлением прямой нормалью.
В компьютерном зрении и обработке изображений обнаружение признаков относится к методам анализа информации и принятия локальных решений в каждой точке изображения, независимо от того, существует ли особенность изображения заданного типа в этой точке или нет. На этом этапе выполняются захват изображения, затем выбор цвета. В ряде случаев производится сегментация изображений [21, 31—33].
На рис. 2, а представлено исходное изображение перед обработкой. На рис. 2, б показан результат реализации алгоритма захвата изображения при дневном освещении (скорость движения транспорта 40 км/ч).
а) _ б) _ _
Рис. 2
Исследование показывает, что синтез языка программирования Lua и преобразования Хафа может использоваться для распознавания полосы движения движущегося беспилотного автомобиля.
список литературы
1. BallardD. H., Brown Ch. M. Computer Vision. Prentice Hall, 1982. ISBN 0-13-165316-4.
2. Huang T. Computer Vision: Evolution and Promise // 19th CERN School of Computing / Ed. by C. E. Vandoni. Geneva, CERN. 1996-11-19. P. 21—25. ISBN 978-9290830955. DOI:10.5170/CERN-1996-008.21.
3. Elmenreich W. Sensor Fusion in Time-Triggered Systems: PhD Thesis. Vienna, Austria: Vienna University of Technology, 2002. 173 p.
4. HaghighatM. B. A., Aghagolzadeh A., & Seyedarabi H. Multi-focus image fusion for visual sensor networks in DCT domain // Computers & Electrical Engineering. 2011. Vol. 37, N 5. P. 789—797.
5. Bengio Y., Courville A., Vincent P. Representation Learning: A Review and New Perspectives // IEEE Transactions on Pattern Analysis and Machine Intelligence.2013. Vol. 35, N 8. P. 1798—1828.
6. Schmidhuber J. Deep Learning in Neural Networks: An Overview // Neural Networks. 2015. Vol. 61. P. 85—117. PMID 25462637. arXiv:1404.7828. D0I:10.1016/j.neunet.2014.09.003.
7. Umbaugh S. E. Digital image processing and analysis: human and computer vision applications with CVIPtools. Boca Raton, FL: CRC Press, 2010. ISBN 978-1-4398-0205-2.
8. Barrow H. G. and Tenenbaum J. M. Interpreting line drawings as three-dimensional surfaces // Artificial Intelligence. 1981. Vol. 17, N 1-3. P. 75—116.
9. Lindeberg T. Edge detection // Encyclopedia of Mathematics / Ed. by M. Hazewinkel. Springer Science+Business Media B.V., Kluwer Academic Publishers, 2001. ISBN 978-1-55608-010-44.
10. Lindeberg T. Edge detection and ridge detection with automatic scale selection // Intern. J. of Computer Vision. 1998. Vol. 30, N 2. P. 117—154.
11. Wang Q., Zheng J., Xu H., Xu B., and Chen R. Roadside magnetic sensor system for vehicle detection in urban environments // IEEE Trans. Intel. Transp. Syst. 2018. Vol. 19, N 5. P. 1365—1374.
12. Qian Y., Yang M., Wang C., and Wang B. Pedestrian feature generation in fish-eye images via adversary // Proc. IEEE Intern. Conf. Robot. Automat. 2018. May. P. 2007—2012.
13. Pan X., Shi J., Luo P., Wang X., and Tang X. Spatial as deep: Spatial CNN for traffic scene understanding // Proc. 32nd AAAI Conf. Artif. Intel. 2018. P. 1—8.
14. Wang Z., Ren W., and Qiu Q. LaneNet: Real-time lane detection networks for autonomous driving // arXiv:1807.01726. Jul. 2018 [Электронный ресурс]: <https://arxiv.org/abs/1807.01726>.
15. Ronneberger O., Fischer P., and Brox T. U-Net: Convolutional networks for biomedical image segmentation // Proc. Intern. Conf. Med. Image Comput. Comput.-Assist. Intervent. NY, USA: Springer, 2015. P. 234—241.
16. Fu C., Hu P., Dong C., Mertz C., andDolan J. M. Camera-based semantic enhanced vehicle segmentation for planar LIDAR // Proc. 21st Intern. Conf. Intel. Transp. Syst. 2018. Nov. P. 3805—3810.
17. Caltagirone L., Scheidegger S., Svensson L., and Wahde M. Fast LIDAR-based road detection using fully convolutional neural networks // arXiv:1703.03613. 2017. Mar. [Электронный ресурс]: <https://arxiv.org/abs/1703.03613>.
18. Oliveira L., Burgard W., and Brox T. Efficient deep models for monocular road segmentation // Proc. IEEE/RSJ Intern. Conf. Intel. Robots Syst. 2016. Oct. P. 4885—4891.
19. Aly M. Real time detection of lane markers in urban streets // Proc. IEEE Intel. Veh. Symp. 2008. Jun. P. 7—12.
20. Deusch J. W., Reuter S., Szczot M., Konrad M., and Dietmayer K. A random finite set approach to multiple lane detection // Proc. 15th Intern. IEEE Conf. Intel. Transp. Syst. 2012. Sep. P. 270—275.
21. Jiang Y., Gao F., and Xu G. Computer vision-based multiple-lane detection on straight road and in a curve // Proc. Intern. Conf. Image Anal. Signal Process. 2010. Apr. P. 114—117.
22. De Brabandere N. B., Georgoulis S., Proesmans M., and Van Gool L. Towards end-to-end lane detection: An instance segmentation approach // Proc. IEEE Intel. Veh. Symp. 2018. Jun. P. 286—291.
23. Sun Z., Bebis G., and Miller R. On-road vehicle detection: A review // IEEE Trans. Pattern Anal. Mach. Intel. 2006. Vol. 28, N 5. P. 694—711.
24. Tzomakas C. and Seelen W. Vehicle detection in traffic scenes using shadow. Tech. Rep. 98-06 Inst. fur neuroinformatik. Ruhtuniversitat, Germany, 1998.
25. Kastrinaki V., Zervakis M., Kalaitzakis K. A survey of video processing techniques for traffic applications // Image, Vis., Comput. 2003. Vol. 21, N 4. P. 359—381.
26. Foresti L., Murino V., andRegazzoni C. Vehicle recognition and tracking from road image sequences // IEEE Trans. Veh. Technol. 1999. Vol. 48, N 1. P. 301—318.
27. Pat. US3069654. Method and means for recognizing complex patterns / P. V. C. Hough. Dec. 18, 1962.
28. Hough P. V. C. Machine Analysis of Bubble Chamber Pictures // Proc. Intern. Conf. High Energy Accelerators and Instrumentation. 1959. Р. 554—558.
29. Lucas B. D. and Kanade T. An iterative image registration technique with an application to stereo vision // IJCAI81. 1981. P. 674—679.
30. Chiu C., Ku M., and Wang C. Automatic Traffic Sur veillance System for Vision-Based Vehicle Recognition and Tracking // J. of Information Science and Engineering. 2010. Vol. 26, N 2. March. P. 611—629.
31. Трамбицкий К. В., Андинг К., Польше Г. А., Гартен Д., Мусалимов В. М. Сегментация несфокусированных областей на 2D-изображениях поверхностей с использованием текстурных признаков // Науч.-техн. вестн. информационных технологий, механики и оптики. 2015. Т. 15, № 5(99). С. 796—802.
32. Trambitckii K., Anding K., Polte G., Garten D., Musalimov V., Kuritcyn P. The application of texture features to quality control of metal surfaces // Acta IMEKO. 2016. Vol. 5, N 4. P. 19—23.
33. Trambitckii K. S., Anding K., Musalimov V. M., Linss G. Colour based fire detection method with temporal intensity variation filtration // J. of Physics: Conf. Ser. 2015. Vol. 588, N 1. P. 012038.
Сведения об авторах
Мохамед Селим Кориум — аспирант; Университет ИТМО; факультет систем управления и робо-
тотехники; E-mail: Mohamed.Korium@yandex.ru
Ахмед Али Абдельсалам — аспирант; Университет ИТМО; факультет систем управления и робо-
тотехники; E-mail: Ahmed.ali.abdelsalam@outlook.com
Светлана Юрьевна Перепелкина — канд. техн. наук, доцент; факультет систем управления и робототехники; E-mail: sker@mail.ifmo.ru
Поступила в редакцию 19.12.2020 г.
Ссылка для цитирования: Кориум Мохамед Селим, Абдельсалям Ахмед Али, Перепелкина С. Ю. Алгоритм обнаружения полосы движения // Изв. вузов. Приборостроение. 2021. Т. 64, № 2. С. 104—108.
LANE DETECTION ALGORITHM Mohamed Selim Korium, Ahmed Ali Abdelsalam, S. Yu. Perepelkina
ITMO University, 197101, St. Petersburg, Russia E-mail: sker@mail.ifmo.ru
The solution to the problem of unmanned vehicle control is based on the use of theoretical and practical developments in the field of technical vision and trajectory control. Technical vision methods are used to analyze the surroundings of vehicle movement. The proposed algorithm development applies a global analysis of geometric relationships between image elements: a road lane and a moving car. This algorithm is presented as part of an autonomous vehicle control system using the Lua language and exploiting the generalized Hough transform. Examples of the algorithm implementation are presented.
Keywords: vehicle, lane, pattern recognition, technical vision
REFERENCES
1. Ballard D.H., Brown C.M. Computer Vision, Prentice Hall, 1982. ISBN 0-13-165316-4.
2. Huang T. 19th CERN School of Computing, Vandoni C.E, ed., Geneva, CERN, 1996-11-19, pp. 21-25. ISBN 978-9290830955. DOI:10.5170/CERN-1996-008.21.
3. Elmenreich W. Sensor Fusion in Time-Triggered Systems, PhD Thesis, Vienna, Austria, Vienna University of Technology, 2002. 173 p.
108
Мохамед CenuM KopuyM, AxMed Anu AôdenbcanHM, C. W. nepenenKuna
4. Haghighat M.B.A., Aghagolzadeh A., & Seyedarabi H. Computers & Electrical Engineering, 2011, no. 5(37), pp. 789-797.
5. Bengio Y., Courville A., Vincent P. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, no. 8(35), pp. 1798-1828.
6. Schmidhuber J. Neural Networks, 2015, no. 61, pp. 85-117. PMID 25462637. arXiv:1404.7828. D0l:10.1016/j.neunet.2014.09.003.
7. Umbaugh S.E. Digital image processing and analysis: human and computer vision applications with CVIPtools, Boca Raton, FL, CRC Press, 2010. ISBN 978-1-4398-0205-2.
8. Barrow H.G. and Tenenbaum J.M. Artificial Intelligence, 1981, no. 1-3(17), pp. 75-116.
9. Lindeberg T. Encyclopedia of Mathematics, Hazewinkel M., ed., Springer Science+Business Media B.V., Kluwer Academic Publishers, 2001. ISBN 978-1-55608-010-44.
10. Lindeberg T. International Journal of Computer Vision, 1998, no. 2(30), pp. 117-154.
11. Wang Q., Zheng J., Xu H., Xu B., and Chen R. IEEE Trans. Intel. Transp. Syst., 2018, no. 5(19), pp. 1365-1374.
12. Qian Y., Yang M., Wang C., and Wang B. Proc. IEEE Int. Conf. Robot. Automat., May, 2018, pp. 2007-2012.
13. Pan X., Shi J., Luo P., Wang X., and Tang X. Proc. 32nd AAAI Conf. Artif. Intel., 2018, pp. 1-8.
14. Wang Z., Ren W., and Qiu Q., arXiv:1807.01726, Jul. 2018, https://arxiv.org/abs/1807.01726.
15. Ronneberger O., Fischer P., and Brox T. Proc. Int. Conf. Med. Image Comput. Comput.-Assist. Intervent, NY, USA, Springer, 2015, pp. 234-241.
16. Fu C., Hu P., Dong C., Mertz C., and Dolan J.M. Proc. 21st Int. Conf. Intel. Transp. Syst., Nov. 2018, pp. 3805-3810.
17. Caltagirone L., Scheidegger S., Svensson L., and Wahde M. arXiv:1703.03613, Mar. 2017, https://arxiv.org/abs/1703.03613.
18. Oliveira L., Burgard W., and Brox T. Proc. IEEE/RSJ Int. Conf. Intel. Robots Syst., Oct. 2016, pp. 4885-4891.
19. Aly M. Proc. IEEE Intel. Veh. Symp., Jun. 2008, pp. 7-12.
20. Wiest D.J., Reuter S., Szczot M., Konrad M., and Dietmayer K. Proc. 15th Int. IEEE Conf. Intel. Transp. Syst., Sep. 2012, pp. 270-275.
21. Jiang Y., Gao F., and Xu G. Proc. Int. Conf. Image Anal. Signal Process., Apr. 2010, pp. 114-117.
22. De Brabandere N. B., Georgoulis S., Proesmans M., and Van Gool L. Proc. IEEE Intell. Veh. Symp., Jun. 2018, pp. 286-291.
23. Sun Z., Bebis G., and Miller R. IEEE Trans. Pattern Anal. Mach. Intell., vol. 28, no. 5, pp. 694-711, May 2006
24. Tzomakas C. and Seelen W. Tech. Rep. 98-06 Inst. fur neuroinformatik, Ruhtuniversitat, Germany, 1998.
25. Kastrinaki V., Zervakis M., Kalaitzakis K. Image, Vis., Comput., 2003, no. 4(21), pp. 359-381.
26. Foresti L., Murino V., and Regazzoni C. IEEE Trans. Veh. Technol., 1999, no. 1(48), pp. 301-318.
27. Patent U.S. 3,069,654, Method and means for recognizing complex patterns, Hough P.V.C., Dec. 18, 1962.
28. Hough P.V.C. Proc. Int. Conf. High Energy Accelerators and Instrumentation, 1959, pp. 554-558.
29. Lucas B.D. and Kanade T. IJCAI81, 1981, pp. 674-679.
30. Chiu C., Ku M., and Wang C. Journal of Information Science and Engineering, 2010, no. 2(26), pp. 611-629.
31. Trambitckii K.V., Anding K., Polte G.A., Garten D., Musalimov V.M. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2015, no. 5(15), pp. 796-802. (in Russ.)
32. Trambitckii K., Anding K., Polte G., Garten D., Musalimov V., Kuritcyn P. Acta IMEKO, 2016, no. 4(5), pp. 19-23.
33. Trambitckii K.S., Anding K., Musalimov V.M., Linss G. Journal of Physics: Conference Series, 2015, no. 1(588), pp. 012038.
Data on authors
Mohamed Selim Korium — Post-Graduate Student; ITMO University, Faculty of Control Systems and Robotics; E-mail: Mohamed.Korium@yandex.ru
Ahmed Ali Abdelsalam — Post-Graduate Student; ITMO University, Faculty of Control Sys-
tems and Robotics; E-mail: Ahmed.ali.abdelsalam@outlook.com
Svetlana Yu. Perepelkina — PhD, Associate Professor; ITMO University, Faculty of Control Systems and Robotics; E-mail: sker@mail.ifmo.ru
For citation: Korium Mohamed Selim, Abdelsalam Ahmed Ali, Perepelkina S. Yu. Lane detection algorithm.
Journal of Instrument Engineering. 2021. Vol. 64, N 2. P. 104—108 (in Russian).
DOI: 10.17586/0021-3454-2021-64-2-104-108
