13Известия Кабардино-Балкарского научного центра РАН № 5(115) 2023
СИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИ
УДК QQ4.89
Обзорная статья
В01: 10.35330/1991-6639-2023-5-115-25-31 ББ№ ИБИС
Машинное зрение в условиях плохой видимости
С. Ю. Власов, М. Х. Кипов
Институт информатики и проблем регионального управления -филиал Кабардино-Балкарского научного центра Российской академии наук 360000, Россия, г. Нальчик, ул. И. Арманд, 37-а
Аннотация. Машинное зрение представляет собой научное цифровизационное направление в области искусственного интеллекта, которое позволяет технологиям различных категорий получать изображения реальных объектов, обрабатывать их и использовать в решении прикладных задач различного уровня. Особенностью данной технологии является возможность распознавания объектов полностью или частично без участия человека. Машинное зрение в условиях плохой видимости - относительно новая область исследований и разработок. Она стала особенно актуальной в последние годы с развитием автономных транспортных средств, уличного видеонаблюдения и других сфер, где низкая видимость может представлять серьезные проблемы для безопасности и эффективности работы систем. В статье рассматриваются особенности использования машинного зрения на основе камерных и лидарных технологий. Применение машинного зрения на основе камер и лидарной технологии продолжает свое развитие, что обусловливает научную новизну данной статьи. Целью исследования является изучение использования технологий машинного зрения в условиях плохой видимости. Методика научного исследования строится на анализе научных данных, сравнительном анализе, синтезе данных, графической интерпретации. Результатом исследования является выявление особенностей внедрения лидаров в технологию машинного зрения. В работе также определены перспективы развития и рассмотрены исследования в данной области.
Ключевые слова: машинное зрение, камера, радар, лидар, облако, изображение, распознавание объектов, область искусственного интеллекта
Поступила 30.05.2023, одобрена после рецензирования 10.09.2023, принята к публикации 18.09.2023
Для цитирования. Власов С. Ю., Кипов М. Х. Машинное зрение в условиях плохой видимости // Известия Кабардино-Балкарского научного центра РАН. 2023. №№ 5(115). С. 25-31. БСЯ: 10.35330/1991-6639-2023-5-115-25-31
Machine vision in poor visibility conditions S.Yu. Vlasov, M.Kh. Kipov
Institute of Computer Science and Problems of Regional Management -branch of Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences 360000, Russia, Nalchik, 37-a I. Armand street
Abstract. Machine vision is a scientific digitization direction in the field of artificial intelligence, which allows technologies of various categories to obtain images of real objects, process them and use them in solving applied problems of various levels. A feature of this technology is the possibility of complete or partial object recognition without human participation. Machine vision in poor visibility conditions is a relatively new area of research and development. It has become especially relevant in recent years with the development of autonomous vehicles, outdoor video surveillance and other areas where poor visibility can cause serious problems for the safety and efficiency of systems. The article
© Власов С. Ю., Кипов М. Х., 2G23
MSC: 68-Q2
Review article
discusses the features of using machine vision based on camera and lidar technologies. The use of camera-based machine vision and lidar technology continues to develop, which determines the scientific novelty of this article. The purpose of the study is to study the use of machine vision technologies in conditions of poor visibility. The methodology of scientific research is based on the analysis of scientific data, comparative analysis, data synthesis, graphical interpretation. The result of the study is the identification of the features of the introduction of lidars into machine vision technology. In the article the prospects for development are determined and researches in this area are overviewed.
Keywords: machine vision, camera, radar, lidar, cloud, image, object recognition, field of artificial intelligence
Submitted 30.05.2023, approved after reviewing 10.09.2023, accepted for publication 18.09.2023
For citation. Vlasov S.Yu., Kipov M.Kh. Machine vision in poor visibility conditions. News of the Kabardino-Balkarian Scientific Center of RAS. 2023. No. 5(115). Pp. 25-31. DOI: 10.35330/1991-6639-2023-5-115-25-31
Введение
В области машинного зрения в условиях плохой видимости все еще существует много нерешенных проблем. Исследователи продолжают работать над разработкой новых алгоритмов и методов. Новизна этой области исследований заключается в поиске способов улучшить качество и эффективность систем компьютерного зрения в условиях ограниченной видимости, что может иметь значительные применения в различных областях.
Машинное зрение в условиях плохой видимости можно рассматривать как область исследования, посвященную разработке методов и алгоритмов компьютерного зрения, способных работать в условиях ограниченной видимости.
Плохая видимость может быть вызвана различными факторами, такими как низкое освещение, туман, дым, дождь или снег. В таких условиях классические методы компьютерного зрения могут оказаться неэффективными или даже невозможными.
Одним из подходов к решению этой проблемы является применение методов машинного обучения. Путем предварительной обработки изображений с использованием фильтров и алгоритмов улучшения изображения, а также применения глубоких нейронных сетей можно достичь улучшения качества изображений и установить соответствие между смазанными или искаженными объектами и их реальными формами.
Несмотря на то, что некоторые алгоритмы и методы машинного зрения могут быть применены и в условиях плохой видимости, специфические проблемы, такие как ограниченное освещение, искажение и смазывание изображений, создают новые проблемы.
Для решения этих проблем используют фильтры и алгоритмы улучшения изображения, которые могут устранять шум, увеличивать контрастность и восстанавливать детали в плохо видимых изображениях. Также используются техники компенсации тумана и дыма.
Кроме того, глубокое обучение и нейронные сети доказали свою эффективность в задачах машинного зрения в условиях плохой видимости. Они способны извлекать признаки изображения даже из искаженных или смазанных изображений и классифицировать их.
В последние десятилетия технологии искусственного интеллекта и робототехники, в том числе машинное зрение, остаются в числе наиболее развивающихся информационных систем. Различные статистические и экономические данные свидетельствуют о включении данной системы в категорию пятнадцати самых востребованных информационных технологий.
Рынок систем компьютерного зрения в Российской Федерации имеет огромную значимость и оценивается в сумму более 7 миллиардов рублей [1, c. 114]. Как отмечают
исследователи, одним из мегатрендов будущего будет изменение физического мира посредством беспилотных транспортных средств на суше, в воздухе и воде [2]. Перемещение людей и грузов станет более эффективным и безопасным с применением современных технологий слежения и распознавания с помощью машинного зрения в разных условиях видимости. Машинное зрение представляет собой набор алгоритмических подходов, которые позволяют решать задачи распознавания объектов. Технология прочно закрепилась во многих отраслях промышленности нашей страны. Распознаваемые объекты могут иметь статический и динамический вид. В настоящее время машинное зрение имеет достаточную мощность и может использоваться без участия человека в различных областях нашей жизни.
Целью исследования является изучение использования технологий машинного зрения в условиях плохой видимости.
Материалы и методы исследования. Методика научного исследования строится на анализе научных данных, сравнительном анализе, синтезе данных, графической интерпретации.
Результаты исследования. Согласно статистике использования машинного зрения в соответствии с годами, предоставленной компанией Тгасйса, рынок применения машинного зрения имеет стремительный рост [3, с. 342].
Рынок розничной торговли за последние годы вырос в деле производства систем камер видеонаблюдения, которые могут работать в условиях различной видимости и проходимости. Кроме того, эти камеры позволяют собирать аналитические данные о нахождении людей в помещении, автомобилей на дорогах либо о видимости дорожной разметки, пешеходного перехода и другие.
Выделим основные компоненты машинного зрения современного типа:
1. Оснащение одной или несколькими цифровыми или аналоговыми камерами (черно-белого или цветного разрешения). Они имеют подходящее оптическое содержание для получения корректных изображений.
2. Оснащение встроенным программным обеспечением для обработки полученного изображения. Аналоговые камеры имеют оцифровщик изображений.
3. Оснащение передовым процессором многоядерного или встроенного характера. Оно предполагает наличие инструментов для разработки приложения.
4. Оснащение возможностью ввода и вывода данных, передачи полученных результатов и изображений по связным каналам.
5. Оснащение камерой умного типа.
6. Оснащение лампами люминесцентного и галогенного типа.
7. Оснащение светодиодами.
8. Оснащение встроенными приложениями, которые позволяют обрабатывать изображения и находить определенные свойства и данные.
9. Оснащение датчиком обнаружения магнитного или оптического характера. Он позволяет захватывать и обрабатывать необходимые изображения.
10. Утилизирующие приводы для выброса бракованных деталей1.
Совокупность основных компонентов машинного зрения не всегда дает высокие результаты без слаженного алгоритма управления их действиями. Алгоритм автономного управления подразумевает самостоятельное движение беспилотных машин по маршруту, заранее
1 Машинное зрение. Что это и как им пользоваться? Обработка изображений оптического источника // URL: https://habr.com/ru/articles/350918/ (дата обращения: 27.05.2023).
разработанному и одобренному верхним уровнем роботизированной системы, гармонизированному с маршрутами других таких машин [4].
По отношению к получению изображений объектов в условиях плохой видимости машинное зрение без оснащения дополнительными технологиями имеет малую эффективность. Благодаря последним технологическим достижениям транспортное средство начинает рассматриваться, скорее, как система, чем как машина; следовательно, роль машинного зрения возрастает. Для успешного внедрения автоматизированных транспортных средств и обеспечения надежности некоторых современных систем помощи водителю необходимо обеспечить инфраструктуру, которую машинное зрение сможет надежно считывать и использовать для безопасного управления. В то же время водители также должны получать пользу от той же инфраструктуры.
При совмещении с лидарными установками оно позволяет распознавать темные объекты даже в пределах плохой досягаемости. Глубокое обучение распознаванию точечного темного изображения использует нейронные сети для изучения полезных представлений объектов непосредственно из данных [5]. Имеющиеся в настоящий момент беспилотные системы оснащены радарными датчиками, что снижает их способность к видимости в темное время суток. Использование лидаров, по мнению специалистов из различных стран, позволит решить данную проблему. К примеру, специалисты Израиля опубликовали научное исследование с предложением объединить лидары и машинное зрение. Технология будет построена на преобразовании облаков точек лидара в фотореалистичные изображения с помощью генеративно-состязательной сети (GAN) [5].
Лидары имеют оптический диапазон, рассчитанный на высокую дальность. В составе машинного зрения они способны формировать двухмерное и трехмерное изображение [6, с. 163]. Отличие их принципа действия от устройств радарного типа заключается в использовании лазерных лучей когерентного излучения. Радиоволны радаров способны отражать только крупные, четко видимые металлические объекты. Лидары способны рассеивать световую волну в любых условиях видимости. В настоящее время они являются современным устройством, которое позволяет беспилотным системам ориентироваться в пространстве без участия водителя. Они используются повсеместно на роботизированных автомобилях Google и гонках DARPA.
Поэтому мы считаем, что проблема обнаружения объектов в условиях различной видимости в настоящее время решается путем улучшения машинного зрения, внедрения новых технологий и обучения в целом. На наш взгляд, развитие данной информационной системы сосредотачивается на интересных темах, таких как передача нейронного стиля, сегментация, отслеживание и, конечно же, обнаружение объектов [7].
Особенности работы машинного зрения на основе камер и лидара связаны с динамичным сбором необходимых данных на датчики мобильного робота. Это позволяет изменять угол камерного обзора и уровень изображения, обновлять данные трехмерного изображения, а также ограничивать возможности применения сканерной системы2.
Планирование маршрута мобильного наземного робота требует картирования видимой области с разделением ее на зоны хорошей или условной проходимости и непроходимости. Зоны условной проходимости - это такие участки подстилающей поверхности, где движение возможно только с ограничениями по скорости или направлению. Получить полную
2 Компьютерное зрение и лидары помогут автопилоту лучше видеть. Подробнее: https:// www.securitylab.ru/ news/528069.php // URL: https://www.securitylab.ru/news/528069.php (дата обращения: 27.05.2023).
информацию о координатах позволяет измерение трехмерного изображения с разных точек зрения. Если необходимые объекты непрозрачны, то получится одна сторона изображения, которая будет направлена в сторону наблюдателя. Внедрение трехмерных оптических камер и лидаров позволяет решать проблему измерения и отображения зон условной непроходимости и плохой видимости [8]. Обработка данных, полученных с помощью лидара и видеокамеры, возможна посредством соответствующего программного обеспечения и библиотек OpenCV. Библиотека OpenCV широко реализуется в исследованиях по реализации машинного зрения [9].
Среди основных преимуществ использования лидара - его способность преодолевать проблему бликов. Светочувствительный сенсор в камере легко может перенасытиться (слишком много энергии передается соседним пикселям), из -за чего черты объектов становятся неразличимыми. Поскольку датчик лидар способен хранить гораздо больший заряд и чувствителен ко времени сигнала, данные становятся намного чище. Тем не менее, хотя лидар является надежным решением в условиях яркого света, у него есть свои недостатки: в основном довольно низкое разрешение и тип данных, которые он выдает. Следовательно, хотя либо камера сама по себе, либо только лидар могут обеспечить достаточные входные данные для транспортных алгоритмов, их комбинация кажется предпочтительным решением, поскольку входные данные от каждого датчика данных могут использоваться для проверки и дополнения других данных и предоставления другой точки зрения. Эта избыточность необходима для минимизации риска несчастных случаев, связанных с транспортными средствами из-за неправильных или отсутствующих данных [10].
Заключение
Таким образом, мы считаем, что применение лидар -технологии в условиях плохой видимости позволяет получать корректное изображение, которое можно преобразовать. Устройство способно получать пространственно-организованные данные с облака точек. Облако точек может улавливать необработанные изображения, сканировать определенные объекты, внешние и внутренние элементы окружающей среды. Методом отбора необработанных изображений на выходе лидар способен преобразовать их в пригодные для чтения файлы.
Израильские специалисты сообщают, что созданные технологичные модели способны даже создавать прогноз видимых признаков определенных объектов, что создается при помощи облака точек. Таким путем возможно получение изображений темных машин, которые можно обнаружить только вышеуказанным способом. Это связано с их плохой способностью к отражению света, что не позволяет радарам фиксировать данные объекты. В будущем данная технология может быть использована для визуального распознавания объектов на фотореалистичных изображениях, сгенерированных из облаков точек лидаров.
Проанализировав имеющиеся современные исследования в данной области, можно сделать вывод, что внедрение вышеуказанной технологии имеет огромную перспективу. Необходимо выявление имеющихся недостатков, повышение технологического прогресса и дальнейшее развитие данной идеи во всем мире. Ведется разработка единых стандартов для систем машинного зрения, что приведет к стабилизации рынка данной технологии и значительно увеличит продажи.
СПИСОК ЛИТЕРАТУРЫ
1. Захаров В. С. Технологии компьютерного зрения на российском и мировых рынках и их перспективы // Вестник Таганрогского института управления и экономики. 2022. № 1. С.114-115.
2. Шумский С. Машинный интеллект. Очерки по теории машинного обучения и искусственного интеллекта. Москва: Издательство РИОР, 2022. 340 с.
3. Горячкин Б. С., КитовМ. А. Компьютерное зрение // E-Scio. 2020. № 9(48). С. 317-345. EDN: EBYPIO.
4. Орлов С. П., Сусарев С. В., Морев А. С. Система технического зрения автономного сельскохозяйственного автомобиля. Материалы VI Всероссийской научно-технической конференции. Челябинск, 2020.
5. Силюнин В. А., Смыцко М. В. Использование компьютерного зрения в автоматизированной робототехнике для охраны здоровья // Молодой ученый. 2021. № 22(364). С. 121-123.
6. Крейман Г. Биологическое и компьютерное зрение / пер. с англ. И. Л. Люско; под ред. Т. Б. Киселевой, Т. И. Люско. Москва: ДМК Пресс, 2022. 314 с.
7. КристоферМ. Бишоп. Распознавание образов и машинное обучение. Москва: Диалектика, 2020. 962 с.
8. Бакшанский Р. Ю. Визуализация быстропротекающих процессов с использованием камеры машинного зрения // Избранные доклады 67-й Университетской научно-технической конференции студентов и молодых ученых. 19-23 апреля 2021 года. Томск: Томский государственный архитектурно-строительный университет, 2021. С. 327-328. EDN: KRVIBP.
9. Искров Н. С., Буряк Д. В., Касимов Г. Э. О Библиотеке OpenCV для реализации системы машинного зрения в условиях плохой видимости под водой // Материалы XXVI Международной научно-практической конференции, посвященной памяти генерального конструктора ракетно-космических систем академика М. Ф. Решетнева. В 2-х частях. Часть 2 / под общей редакцией Ю. Ю. Логинова. Красноярск, 2022.
10. Куутти С., Фаллах С., Катсарос K. B. и др. Обзор современных методов локализации и их потенциала для применения в беспилотных транспортных средствах // Избранные доклады 4-й Азиатско-Тихоокеанской конференции по интеллектуальным роботизированным системам. 2022. С. 829-846.
REFERENCES
1. Zakharov V.S. Computer vision technologies in the Russian and world market and their prospects. Vestnik Taganrogskogo instituía upravleniya i ekonomiki [Bulletin of the Taganrog Institute of Management and Economics]. 2022. No. 1. Pp. 114-115. (In Russian)
2. Shumsky S. Mashinnyy intellekt. Ocherki po teorii mashinnogo obucheniya i iskusstvennogo intellekta [Machine intelligence. Essays on the theory of machine learning and artificial intelligence]. Moscow: RIOR, 2022. 340 p. (In Russian)
3. Goryachkin B.S., Kitov M.A. Computer vision // E-Scio. 2020. No. 9(48). Pp. 317-345. EDN EBYPIO. (in Russian)
4. Orlov S.P., Susarev S.V., Morev A.S. Technical vision system for an autonomous agricultural vehicle. Materialy VI Vserossiyskoy nauchno-tekhnicheskoy konferentsii [VI All-Russian Scientific and Technical Conference]. Chelyabinsk, 2020. (In Russian)
5. Silyunin V.A., Smytsko M.V. The use of computer vision in automated robotics for health protection. Molodoy uchenyy [Young scientist]. 2021. No. 22(364). Pp. 121-123. (In Russian)
6. Kreyman G. Biologicheskoye i komp'yuternoye zreniye [Biological and computer vision]: trans. from English. I. L. Lyusko; edited by T. B. Kiseleva, T.I. Lyusko. Moscow: DMK Press, 2022. 314 p. (In Russian)
7. Christopher M. Bishop. Raspoznavaniye obrazov i mashinnoye obucheniye [Bishop image Recognition and Machine Learning]. Moscow: Dialektika, 2020. 962 p. (In Russian)
8. Bakshansky R.Yu. Visualization of fast processes using a machine vision camera. Izbrannyye doklady 67-y Universitetskoy nauchno-tekhnicheskoy konferentsii studentov i molodykh uchenykh. Tomsk, 19-23 April, 2021. Pp. 327-328. EDN: KRVIBP. (In Russian)
9. Iskrov N.S., Buryak D.V., Kasimov G.E. About the OpenCV Library for the implementation of a machine vision system in conditions of poor visibility under water. Materialy XXVI Mezhdunarodnoy nauchno-prakticheskoy konferentsii, posvyashchennoy pamyati general'nogo konstruktora raketno-kosmicheskikh sistem akademika M.F. Reshetneva. Part 2, ed. Yu.Yu. Loginova. Krasnoyarsk, 2022. (In Russian)
10. Kuutti S., Fallah S., Katsaros K., et al. Review of modern methods of localization and their potential for application in unmanned vehicles. Izbrannyye doklady 4-oy Aziatsko-Tikhookeanskaoy konferentsii po intellektual'nym robotizirovannym sistemam. 2022. Pp. 829-846. (In Russian)
Информация об авторах
Власов Сергей Юрьевич, аспирант, Институт информатики и проблем регионального управления - филиал Кабардино-Балкарского научного центра РАН;
360000, Россия, г. Нальчик, ул. И. Арманд, 37-а;
SergeoVlasov@gmail.com
Кипов Мухамед Хусенович, аспирант, Институт информатики и проблем регионального управления - филиал Кабардино-Балкарского научного центра РАН;
360000, Россия, г. Нальчик, ул. И. Арманд, 37-а;
muhamed .kipov@icloud.com
Information about the authors
Vlasov Sergey Yurevich, postgraduate student, Institute of Computer Science and Problems of Regional Management - branch of Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences;
360000, Russia, Nalchik, 37-a I. Armand street;
SergeoVlasov@gmail .com
Kipov Mukhamed Khusenovich, postgraduate student, Institute of Computer Science and Problems of Regional Management - branch of Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences;
360000, Russia, Nalchik, 37-a I. Armand street;
muhamed .kipov@icloud.com
