Научная статья на тему 'МЕТОД РЕКОНСТРУКЦИИ ТРЕХМЕРНЫХ СЦЕН, ОСНОВАННЫЙ НА ПРИМЕНЕНИИ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ, ФИЛЬТРАЦИИ ПО ДИСТАНЦИИ И С ПОМОЩЬЮ "ОКТОДЕРЕВА"'

МЕТОД РЕКОНСТРУКЦИИ ТРЕХМЕРНЫХ СЦЕН, ОСНОВАННЫЙ НА ПРИМЕНЕНИИ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ, ФИЛЬТРАЦИИ ПО ДИСТАНЦИИ И С ПОМОЩЬЮ "ОКТОДЕРЕВА" Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
194
40
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ТРЕХМЕРНАЯ СЦЕНА / РЕКОНСТРУКЦИЯ / СЕГМЕНТАЦИЯ / ФИЛЬТРАЦИЯ / РАСПОЗНАВАНИЕ / СВЕРТОЧНАЯ НЕЙРОННАЯ СЕТЬ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Дубенко Юрий Владимирович, Дышкант Евгений Евгеньевич, Тимченко Николай Николаевич, Рудешко Никита Андреевич

Актуальность и цели. Объектом исследования являются системы машинного зрения. Предметом исследования являются методы реконструкции трехмерных сцен. Цель исследования - разработка метода реконструкции трехмерных сцен, включающего этапы идентификации трехмерных объектов, сегментации (выделения) и фильтрации составляющих их точек в исходном облаке. Материалы и методы. Использованы метод Block-Matching Algorithm, применяемый для формирования карты глубины; сверточная нейронная сеть Mask R-CNN - для идентификации и сегментации объектов внешней среды; метод OctTree - для выполнения фильтрации облака точек; метод триангуляции Делоне - для формирования трехмерной модели. Результаты. На основе предложенного метода реконструкции трехмерных сцен был разработан программный продукт на языках программирования Python (виртуальное окружение TensorFlow для реализации сверточной сети Mask RCNN) и C#, реализующий формирование трехмерной модели дорожного покрытия. Выводы. Полученная трехмерная модель дорожного покрытия в дальнейшем может быть использована для определения следующих параметров: границы, ось дорожного покрытия, геометрические размеры дефектов (выбоины, волны, впадины, выкрашивания, выпотевания, выступы, трещины), показатель продольной ровности (IRI).

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Дубенко Юрий Владимирович, Дышкант Евгений Евгеньевич, Тимченко Николай Николаевич, Рудешко Никита Андреевич

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

A METHOD FOR RECONSTRUCTING 3D SCENES BASED ON THE USE OF CONVOLUTIONAL NEURAL NETWORKS, FILTERING BY DISTANCE AND USING AN “OCTREE”

Background. The object of research is machine vision systems. The subject of research is the methods of reconstruction of three-dimensional scenes. The aim of the work is to develop a method for reconstruction of three-dimensional scenes, including the stages of identification of three-dimensional objects, segmentation (selection) and filtering of their constituent points in the original cloud. Materials and methods. The Block-Matching Algorithm method used to generate a depth map, the Mask R-CNN convolutional neural network - to identify and segment objects in the external environment, the OctTree method - to filter the point cloud, the Delaunay triangulation method - to generate a three-dimensional model. Results. Based on the proposed method for reconstructing three-dimensional scenes, a software product was developed in the python programming languages (TensorFlow virtual environment for implementing the Mask RCNN convolutional network) and C #, which implements the formation of a three-dimensional model of the road surface. Conclusions. The resulting three-dimensional model of the road surface can then be used to determine the following parameters: boundaries, axis of the road surface, geometric dimensions of defects (potholes, waves, depressions, chipping, sweating, protrusions, cracks), longitudinal evenness index (IRI).

Текст научной работы на тему «МЕТОД РЕКОНСТРУКЦИИ ТРЕХМЕРНЫХ СЦЕН, ОСНОВАННЫЙ НА ПРИМЕНЕНИИ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ, ФИЛЬТРАЦИИ ПО ДИСТАНЦИИ И С ПОМОЩЬЮ "ОКТОДЕРЕВА"»

УДК 004.932.72'1 doi:10.21685/2072-3059-2021-4-4

Метод реконструкции трехмерных сцен, основанный на применении сверточных нейронных сетей, фильтрации по дистанции и с помощью «октодерева»

Ю. В. Дубенко1, Е. Е. Дышкант2, Н. Н. Тимченко3, Н. А. Рудешко4

1,2,з,4кубанский государственный технологический университет, Краснодар, Россия

[email protected], [email protected], [email protected], [email protected]

Аннотация. Актуальность и цели. Объектом исследования являются системы машинного зрения. Предметом исследования являются методы реконструкции трехмерных сцен. Цель исследования - разработка метода реконструкции трехмерных сцен, включающего этапы идентификации трехмерных объектов, сегментации (выделения) и фильтрации составляющих их точек в исходном облаке. Материалы и методы. Использованы метод Block-Matching Algorithm, применяемый для формирования карты глубины; сверточная нейронная сеть Mask R-CNN - для идентификации и сегментации объектов внешней среды; метод OctTree - для выполнения фильтрации облака точек; метод триангуляции Делоне - для формирования трехмерной модели. Результаты. На основе предложенного метода реконструкции трехмерных сцен был разработан программный продукт на языках программирования Python (виртуальное окружение TensorFlow для реализации сверточной сети Mask RCNN) и C#, реализующий формирование трехмерной модели дорожного покрытия. Выводы. Полученная трехмерная модель дорожного покрытия в дальнейшем может быть использована для определения следующих параметров: границы, ось дорожного покрытия, геометрические размеры дефектов (выбоины, волны, впадины, выкрашивания, выпотевания, выступы, трещины), показатель продольной ровности (IRI).

Ключевые слова: трехмерная сцена, реконструкция, сегментация, фильтрация, распознавание, сверточная нейронная сеть

Для цитирования: Дубенко Ю. В., Дышкант Е. Е., Тимченко Н. Н., Рудешко Н. А. Метод реконструкции трехмерных сцен, основанный на применении сверточных нейронных сетей, фильтрации по дистанции и с помощью «октодерева» // Известия высших учебных заведений. Поволжский регион. Технические науки. 2021. № 4. С. 4354. doi:10.21685/2072-3059-2021-4-4

A method for reconstructing 3D scenes based on the use of convolutional neural networks, filtering by distance and using an "octree"

Yu.V. Dubenko1, E.E. Dyshkant2, N.N. Timchenko3, N.A. Rudeshko4

1234Kuban state Technological University, Krasnodar, Russia

[email protected], [email protected], [email protected], [email protected]

Abstract. Background. The object of research is machine vision systems. The subject of research is the methods of reconstruction of three-dimensional scenes. The aim of the work

© Дубенко Ю. В., Дышкант Е. Е., Тимченко Н. Н., Рудешко Н. А., 2021. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.

is to develop a method for reconstruction of three-dimensional scenes, including the stages of identification of three-dimensional objects, segmentation (selection) and filtering of their constituent points in the original cloud. Materials and methods. The Block-Matching Algorithm method used to generate a depth map, the Mask R-CNN convolutional neural network - to identify and segment objects in the external environment, the OctTree method - to filter the point cloud, the Delaunay triangulation method - to generate a three-dimensional model. Results. Based on the proposed method for reconstructing three-dimensional scenes, a software product was developed in the python programming languages (TensorFlow virtual environment for implementing the Mask RCNN convolutional network) and C #, which implements the formation of a three-dimensional model of the road surface. Conclusions. The resulting three-dimensional model of the road surface can then be used to determine the following parameters: boundaries, axis of the road surface, geometric dimensions of defects (potholes, waves, depressions, chipping, sweating, protrusions, cracks), longitudinal evenness index (IRI).

Keywords: three-dimensional scene, reconstruction, segmentation, filtering, recognition, convolutional neural network

For citation: Dubenko Yu.V., Dyshkant E.E., Timchenko N.N., Rudeshko N.A. A method for reconstructing 3D scenes based on the use of convolutional neural networks, filtering by distance and using an "octree". Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki = University proceedings. Volga region. Engineering sciences. 2021;(4):43-54. (In Russ.). doi:10.21685/2072-3059-2021-4-4

Введение

Одним из вариантов применения многоагентных систем является осуществление мониторинга состояния инфраструктурных объектов. При этом одним из основных источников данных являются устройства для осуществления визуального восприятия внешней среды, например: лазерные сканеры (лидары), камеры фото и видеофиксации. Решение данной задачи основывается на глубоком анализе данных (изображения, облако точек) о компонентах инфраструктурных объектов с целью выявления признаков, характеризующих их текущее состояние. В качестве примера задачи мониторинга состояния инфраструктурного объекта может быть рассмотрена диагностика состояния дорожного покрытия. Существующие решения [1-4] предполагают автоматизацию процедуры сбора информации, а также идентификацию дефектов дорожного покрытия (выбоины, волны, впадины, выкрашивания, выпоте-вания, выступы, трещины) без определения их геометрических характеристик. При этом определение специальных параметров, таких как показатель продольной ровности (IRI), осуществляется в ручном режиме. Характерной особенностью решений, предложенных в [1-4], также является низкая чувствительность предлагаемых решений к внешним возмущениям (климатические явления, освещенность, мусор). Следовательно, существует проблема автоматизации процесса анализа визуальной информации (например, формализованной в виде облака точек) с целью определения параметров, характеризующих состояние инфраструктурного объекта.

Для определения некоторых параметров инфраструктурного объекта (например, показатель IRI, геометрические параметры дефектов дорожного покрытия) необходимо восстановление реальной формы его компонентов путем выполнения трехмерной реконструкции на основании полученной визуальной информации, которая может быть формализована в виде облака точек,

получаемого как в результате лазерного сканирования, так и на основании стереопары. Реализации различных этапов реконструкции трехмерных сцен посвящены работы [5-10]. Общими недостатками рассмотренных работ являются:

- слабая проработка вопросов автоматического распознавания трехмерных объектов (например, в работе [5] выполняется выделение геометрических примитивов без осуществления непосредственного распознавания объекта), а также выделения составляющих их точек в исходном облаке;

- не рассматриваются вопросы, связанные с фильтрацией облака точек трехмерной модели (например, для исключения шумов).

Цель настоящего исследования: разработка метода реконструкции трехмерных сцен, включающего этапы идентификации трехмерных объектов, сегментации (выделения) и фильтрации составляющих их точек в исходном облаке.

Основные задачи, решаемые в рамках данной работы:

- реализация автоматической сегментации отдельных компонентов инфраструктурного объекта из облака точек;

- реализация этапа фильтрации облака точек;

- реализация этапа выполнения триангуляции и трехмерной реконструкции отдельных компонентов инфраструктурного объекта;

- тестирование разработанного метода путем его применения для конкретного инфраструктурного объекта.

Материалы и методы

Диаграмма, иллюстрирующая последовательность действий, выполняемых в рамках разработанного метода реконструкции трехмерных сцен, представлена на рис. 1.

Разработанный метод реконструкции трехмерных сцен основан на применении метода Block-Matching Algorithm [9] для формирования карты глубины, сверточной нейронной сети Mask R-CNN [11] для идентификации и сегментации объектов внешней среды, метода OctTree [12] для выполнения фильтрации облака точек, метода триангуляции Делоне для формирования трехмерной модели.

На рис. 1 представлены следующие элементы:

1. Стрелки «входы»:

- стереопара - пара двумерных изображений одного объекта;

- параметры искусственной нейронной сети (ИНС) - описание структуры ИНС (число входов, выходов, слоев, функции активации), весовые коэффициенты нейронов;

- обучающее множество - множество Ls ={p, clj} , используемое для обучения ИНС, где p - множество параметров, описывающих некоторый класс cl, i = 1, LsN , LsN e N ;

- облако точек, полученное в результате лазерного сканирования - некоторый набор точек в трехмерной системе координат, формализованных в виде кортежей x, y, z, c, где x, y, z - пространственные координаты точки, c - цветовая характеристика.

СП

Методы формирования карты «глубины»

!

Стереопара -Э Получение облака точек на основе стереопары

инс

Облакотсиек, полученное /на основе стереопары

/

Параметры ИНС

Обучающее множество

Методы формирования проекций

Обученная ИНС

ОбучениеИНС

Облакоточек, полученное в результате ла5ерн ого скан и рован и я

Методы фильтрации облака точек

Идентификация объектов

Множества облаков точек идентифицированных объектов

Методы три ангуляции

Отфильтрованное облакотсчек

Триангуляция и трехмерная реконсгрукция

Трехмерная модель инфраструктурного объекта

Рис. 1. Последовательность действий, выполняемых для получения трехмерной модели путем применения разработанного метода реконструкции трехмерных сцен

2. Стрелки «управление»:

- методы формирования карты «глубины» - множество применяемых методов формирования карты «глубины» (в работе применен Block-Matching Algorithm [9]). Под «глубиной» понимается расстояние от точки до камеры;

- ИНС - искусственная нейронная сеть. В данном случае применяется Mask RCNN - одна из разновидностей сверточных нейронных сетей, предполагает возможность выделения маски, покрывающей найденный объект [11];

- методы формирования проекций - множество применяемых методов формирования проекций облака точек x, y, z, c на плоскости Ozx, Ozy, Oxy;

- методы фильтрации облака точек - множество применяемых методов фильтрации облака точек: метод фильтрации по дистанции, с помощью OctTree [12];

- методы триангуляции - множество применяемых методов триангуляции (в данной работе применяется триангуляция Делоне [13]).

3. Стрелки «выходы»:

- трехмерная модель инфраструктурного объекта - сетка поверхности инфраструктурного объекта из распознанных и отфильтрованных ранее точек.

4. Работы:

а) получение облака точек на основе стереопары. Данная работа предполагает выполнение следующих действий: получение ключевых точек, калибровка камер, ректификация, получение карты глубины и получение проекций точек в трехмерном пространстве [14]. Данная работа неактивна в случае, если входной набор визуальной информации представлен в виде облака точек;

б) обучение ИНС. В рамках данной работы на основании обучающего множества Ls выполняется обучение ИНС (в данной работе используется разновидность сверточной ИНС - Mask R-CNN [11]), используемой для идентификации и сегментации объектов внешней среды. Архитектура используемой Mask R-CNN представлена в [15];

в) идентификация объектов. Данная работа предполагает выполнение следующих этапов:

- формирование проекций; данный этап заключается в получении двумерных проекций точек pti e Pt на плоскости Ozx, Ozy, Oxy (точки ptOzx, ptOzy, pt<O'xy ), где Pt - облако точек, полученное на основании карты глубины, pti = x, y, z, clr , x, y, z - пространственные координаты точки pti ; clr - цветовая характеристика точки pti, i = 1, PtN , PtN e N ;

- идентификация объектов и наложение масок. Для реализации данного этапа используется ранее обученная ИНС Mask R-CNN [15]. В результате

формируются кортежи Pt°zx, PtOzy, PtOxy, clj, где cli - класс i-го идентифицированного объекта; Pt°zx, PtOzy, PtOxy - множества точек i-го идентифицированного объекта, выделенные на проекциях множества точек Pt на плоскости Ozx, Ozy, Oxy, i = 1, N, N e N ;

- формирование облака точек в трехмерном пространстве. Для каждого

кортежа PtOzx, Pt<Oz-y, PtOxy, clj формируется множество точек в трехмерном

/

пространстве Р^ : Р^гх, , ^Pti, где / - отображение двумерных

проекций на плоскости Охх, Огу, Оху в трехмерное пространство;

г) фильтрация облака точек. Данная работа предполагает выполнение следующих этапов:

- фильтрация облака точек по дистанции. В результате выполнения данного этапа осуществляется фильтрация «шумов» или отсечение точек, не имеющих достаточного количества близкорасположенных других точек.

Для этого для каждой точки ptj е Р^ вычисляется величина d (ptj,ptfc) -расстояние до точки ptfc , при этом ptj е Surrpt,, где Surrpt, - множество

точек, ближайших к ptj . Каждая точка ptk , для которой d (ptj, ptk) <0, записывается во множество 8^^t,, где 0 - некоторое пороговое значение.

Если

SurrP tj

чек, где

SurrP t}

<8, то точка ptj исключается из результирующего облака то- количество элементов во множестве 8^^t,; 8 - мини-

мальное количество точек, которое должно содержаться во множестве

SurrP tj;

- фильтрация облака точек с помощью OctTree. Для выделения участков, неотфильтрованных по дистанции из-за достаточной плотности точек, но не связанных с общими точками (это могут быть группы точек от движущихся объектов или части объектов не достаточно хорошо отсканированных), формируется «октодерево» [12] (OctTree), представляющее древовидную структуру, для каждого узла которой определено восемь потомков. Далее точки в блоках дерева разбиваются по группам плотности и затем отсекаются те, что меньше требуемого размера;

д) триангуляция и трехмерная реконструкция. Для выполнения данного этапа применяется триангуляция Делоне [13]. В результате получаем множество Model ={ptt, lstpt , Clrpt , clpt j }, где ptj - некоторая точка трехмерного

пространства; lstpt - множество точек, смежных с точкой ptj; Clrpt, = {clrk } -множество цветовых характеристик точки pti; clpt е Ls - класс, к которому

принадлежит объект, частью которого является точка ptj, i = 1, ptn ,

ptN е N, j = 1, coordff , coordff е N, k = 1, clrN , clrN е N .

Результаты

На основе предложенного метода реконструкции трехмерных сцен был разработан программный продукт на языках программирования Python (виртуальное окружение TensorFlow для реализации сверточной сети Mask RCNN) и C# (свидетельство о регистрации программы для ЭВМ № 2021616674 от 26.04.2021). На рис. 2-7 приводятся результаты применения разработанного программного обеспечения для сегментации и трехмерной реконструкции дорожного покрытия.

Рис. 2. Результат распознавания дорожного покрытия с помощью Mask RCNN

б)

Рис. 3. Формирование облака точек дорожного покрытия: а - исходное облако точек, б - точки двумерных проекций исходного облака точек, на которые была наложена маска с помощью Mask RCNN

I Ор» . и*»-™«-"«» г* -Г

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Рис. 4. Облако точек дорожного покрытия, полученное после удаления точек, на которые не была наложена маска

■ «им» '.п|5цйа|| »имя ,д|5|

Рис. 5. Результат выполнения фильтрации облака точек по дистанции, а - исходное облако точек; б - отфильтрованное облако точек

Рис. 6. Результат фильтрации облака точек с помощью «окто дерева»

I w™ l.q|5|rik|i Und» oi5|ü

а) б)

Рис. 7. Исходное облако точек (а), а также полученная трехмерная модель дорожного покрытия (б)

Обсуждение

Основные отличия разработанного метода трехмерной реконструкции от аналогов [1-10] заключаются в повышении точности трехмерной модели путем фильтрации облака точек, а также идентификации и сегментации (выделении) объектов (как статических и динамических), что позволит в дальнейшем осуществлять анализ их динамических характеристик, а также поведения.

В дальнейшем на основании построенной трехмерной модели (рис. 7) могут быть определены следующие параметры дорожного покрытия: границы, ось дорожного покрытия, геометрические размеры дефектов (выбоины, волны, впадины, выкрашивания, выпотевания, выступы, трещины), показатель продольной ровности (ГИ).

Заключение

В результате был разработан метод реконструкции трехмерных сцен, основанный на применении сверточных нейронных сетей для распознавания инфраструктурных объектов по двумерным проекциям облака точек, его фильтрации по дистанции и с помощью «октодерева», а также на выполнении трехмерной реконструкции с помощью триангуляции Делоне.

Список литературы

1. Нгуен Тху Хыонг, Нгуен Тхе Лонг. Алгоритмическое и программное обеспечение автоматического обнаружения и классификации дефектов дорожного покрытия с помощью метода разреза графов и алгоритма случайных лесов // Вестник Иркутского государственного технического университета. 2016. № 10 (117). С. 111-118.

2. Соболь Б. В., Соловьев А. Н., Васильев П. В., Подколзина Л. А. Модель глубокой сверточной нейронной сети в задаче сегментации трещин на изображениях ас-

фальта // Вестник Донского государственного технического университета. 2019. № 1. C. 63-73.

3. Майсурадзе Ш. Г., Майсурадзе И. Г. Решение инженерных дорожных задач на основе данных мобильного лазерного сканирования // САПР и ГИС автомобильных дорог. 2016. № 2 (7). С. 50-53.

4. Система видеодефектации покрытий автомобильных дорог (Росдортех). URL: https://www.rosdorteh.ru/catalog/27/

5. Казьмин В. Н., Носков В. П. Выделение геометрических и семантических объектов в дальнометрических изображениях для навигации роботов и реконструкции внешней среды // Известия ЮФУ. Технические науки. 2015. № 10 (171). C. 71-83.

6. Горитов А. Н., Яковченко С. И. Построение модели внешней среды робота на основе стереозрения // Динамика систем, механизмов и машин. 2017. № 1. C. 121-125.

7. Чугунов Р. А., Кульневич А. Д., Аксенов С. В. Методика построения карт глубины стереоизображения с помощью капсульной нейронной сети // Доклады Томского государственного университета систем управления и радиоэлектроники. 2019. № 1. С. 83-86.

8. Mohan D., Ram Dr. A. R. A Review on Depth Estimation for Computer Vision Applications // International Journal of Engineering and Innovative Technology (IJEIT), 2015. Vol. 4, iss. 11. URL: https://pdfs.semanticscholar.org/f75b/2030713b 36addde9b9d551ee003c20bac3ca.pdf

9. Barjayta A. Block matching algorithms for motion estimation // IEEE Transactions Evolution Computation. 2004. Vol. 8, № 3. P. 225-239.

10. Медведев М. В., Кирпичников А. П. Трехмерная реконструкция объектов в системе технического зрения мобильного робота // Вестник Казанского технологического университета. 2014. Т. 15, № 15. C. 326-330.

11. Kaiming He, Gkioxari G., Dollar P., Girshick R. Mask R-CNN / Computer Vision and Pattern Recognition (cs.CV) // arXiv:1703.06870 - Submitted on 20 Mar 2017 (v1), last revised 24 Jan 2018 (this version, v3)

12. Liu J. et al. RocNet: Recursive Octree Network for Efficient 3D Deep Representation arXiv:2008.03875 [cs.CV].

13. Скворцов А. В. Триангуляция Делоне и ее применение. Томск : Изд-во Том. ун-та, 2002. 128 с.

14. Патент RU 2650857 C1. Система определения геометрических параметров трехмерных объектов / Дубенко Ю. В., Тимченко Н. Н. № 2017111746 ; заявл. 06.04.2017 ; опубл. 17.04.2018.

15. Дубенко Ю. В., Дышкант Е. Е., Рудешко Н. А., Тимченко Н. Н. Научно-технический отчет по результатам выполнения этапа по договору № 3617ГС1/60550 (код 0060550) от 20.07.2020 «Разработка цифровой платформы для обеспечения безопасности дорожной инфраструктуры с применением трехмерного лазерного сканирования», регистрационный номер ИКРБС: АААА-Б20-220122990242-9, за-рег. 29.12.2020, 64 с.

References

1. Nguen Tkhu Khyong, Nguen Tkhe Long. Algorithmic and software for automatic detection and classification of pavement defects using the graph cutting method and the random forest algorithm. Vestnik Irkutskogo gosudarstvennogo tekhnicheskogo univer-siteta = Bulletin of Irkutsk State Technical University. 2016;(10):111-118. (In Russ.)

2. Sobol' B.V., Solov'ev A.N., Vasil'ev P.V., Podkolzina L.A. Deep convolutional neural network model in the problem of crack segmentation on asphalt images. Vestnik Donskogo gosudarstvennogo tekhnicheskogo universiteta = Bulletin of Don State Technical University. 2019;(1):63-73. (In Russ.)

3. Maysuradze Sh.G., Maysuradze I.G. Solution of engineering road problems based on mobile laser scanning data. SAPR i GIS avtomobil'nykh dorog = CAD and GIS of highways. 2016;(2):50-53. (In Russ.)

4. Sistema videodefektatsii pokrytiy avtomobil'nykh dorog (Rosdortekh) = Video detection system for road surfaces. (In Russ.). Available at: https://www.rosdorteh.ru/catalog/27/

5. Kaz'min V.N., Noskov V.P. Isolation of geometric and semantic objects in ranging images for robot navigation and environment reconstruction. Izvestiya YuFU. Tekhniches-kie nauki = Proceedings of the Southern Federal University. Engineering sciences. 2015;(10):71-83. (In Russ.)

6. Goritov A.N., Yakovchenko S.I. Building a model of the robot's environment based on stereo vision. Dinamika sistem, mekhanizmov i mashin = Dynamics of systems, mechanisms and machines. 2017;(1):121-125. (In Russ.)

7. Chugunov R.A., Kul'nevich A.D., Aksenov S.V. A technique for constructing stereo image depth maps using a capsular neural network. Doklady Tomskogo gosudarstven-nogo universiteta sistem upravleniya i radioelektroniki = Reports of Tomsk State University of Control Systems and Radioelectronics. 2019;(1):83-86. (In Russ.)

8. Mohan D., Ram Dr. A.R. A Review on Depth Estimation for Computer Vision Applications. International Journal of Engineering and Innovative Technology (IJEIT), 2015;4(11). Available at: https://pdfs.semanticscholar.org/f75b/2030713b36addde9b9d 551ee003c20bac3ca.pdf

9. Barjayta A. Block matching algorithms for motion estimation. IEEE Transactions Evolution Computation. 2004;8(3):225-239.

10. Medvedev M.V., Kirpichnikov A.P. 3D reconstruction of objects in the technical vision system of a mobile robot. Vestnik Kazanskogo tekhnologicheskogo universiteta = Bulletin of Kazan Technological University. 2014;15(15):326-330. (In Russ.)

11. Kaiming He, Gkioxari G., Dollar P., Girshick R. Mask R-CNN. Computer Vision and Pattern Recognition (cs.CV). arXiv:1703.06870 - Submitted on 20 Mar 2017 (v1), last revised 24 Jan 2018 (this version, v3)

12. Liu J. [et al.]. RocNet: Recursive Octree Network for Efficient 3D Deep Representation. arXiv:2008.03875 [cs.CV].

13. Skvortsov A.V. Triangulyatsiya Delone i ee primenenie = Delaunay triangulation and its application. Tomsk: Izd-vo Tom. un-ta, 2002:128. (In Russ.)

14. Patent RU 2650857 C1. System for determining the geometric parameters of 3D objects. Dubenko Yu.V., Timchenko N.N. No. 2017111746; appl. 06.04.2017; publ. 17.04.2018. (In Russ.)

15. Dubenko Yu.V., Dyshkant E.E., Rudeshko N.A., Timchenko N.N. Nauchno-tekhni-cheskiy otchet po rezul'tatam vypolneniya etapa po dogovoru № 3617GS1/60550 (kod 0060550) ot 20.07.2020 «Razrabotka tsifrovoy platformy dlya obespecheniya bezopas-nosti dorozhnoy infrastruktury s primeneniem trekhmernogo lazernogo skanirovaniya», registratsionnyy nomer IKRBS: AAAA-B20-220122990242-9, zareg. 29.12.2020, 64 s = Scientific and technical report on the results of the stage under the contract No. 3617GS1/60550 (code 0060550) from July 20, 2020 "Development of a digital platform for ensuring the safety of road infrastructure using 3D laser scanning", registration number IKRBS: AAAA-B20-220122990242-9, registrated on December 29, 2020, 64 pages. (In Russ.)

Информация об авторах / Information about the authors

Юрий Владимирович Дубенко

кандидат технических наук, доцент, доцент кафедры информатики и вычислительной техники, Кубанский государственный технологический университет (Россия, г. Краснодар, ул. Московская, 2)

E-mail: [email protected]

Yuriy V. Dubenko Candidate of engineering sciences, associate professor, associate professor of the sub-department of informatics and computer engineering, Kuban State Technological University (2 Moskovskaya street, Krasnodar, Russia)

Евгений Евгеньевич Дышкант кандидат технических наук, старший преподаватель кафедры внутризаводского электрооборудования и автоматики, Кубанский государственный технологический университет (Россия, г. Краснодар, ул. Московская, 2)

E-mail: [email protected]

Николай Николаевич Тимченко

соискатель, Кубанский государственный технологический университет (Россия, г. Краснодар, ул. Московская, 2)

E-mail: [email protected]

Никита Андреевич Рудешко аспирант, Кубанский государственный технологический университет (Россия, г. Краснодар, ул. Московская, 2)

E-mail: [email protected]

Evgeniy E. Dyshkant Candidate of engineering sciences, senior lecturer of the sub-department of in-plant electrical equipment and automation, Kuban State Technological University (2 Moskovskaya street, Krasnodar, Russia)

Nikolay N. Timchenko Applicant, Kuban State Technological University (2 Moskovskaya street, Krasnodar, Russia)

Nikita A. Rudeshko Postgraduate student, Kuban State Technological University (2 Moskovskaya street, Krasnodar, Russia)

Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.

Поступила в редакцию / Received 10.09.2021

Поступила после рецензирования и доработки / Revised 12.11.2021 Принята к публикации / Accepted 26.11.2021

i Надоели баннеры? Вы всегда можете отключить рекламу.