Научная статья на тему 'СИСТЕМА 3D-ЗРЕНИЯ ДЛЯ ПОДВОДНОГО РОБОТОТЕХНИЧЕСКОГО КОМПЛЕКСА'

СИСТЕМА 3D-ЗРЕНИЯ ДЛЯ ПОДВОДНОГО РОБОТОТЕХНИЧЕСКОГО КОМПЛЕКСА Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
310
56
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
СИСТЕМА ТЕХНИЧЕСКОГО ЗРЕНИЯ / ПОДВОДНЫЙ РОБОТОТЕХНИЧЕСКИЙ КОМПЛЕКС / СТЕРЕОЗРЕНИЕ / СЕНСОРНАЯ ПОДСИСТЕМА

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Кабанов Алексей Александрович, Крамарь Вадим Александрович, Крамарь Олег Александрович

В статье рассматриваются вопросы разработки комплексной системы 3D-зрения высокого разрешения для удаленно управляемых и автономных подводных робототехнических комплексов (РТК). Приведена задача разработки системы 3D-зрения как сенсорной подсистемы подводного робота. Типичными примерами задач, решаемых с помощью РТК данного класса, являются поиск и обследование подводных объектов, мониторинг окружающей среды, выполнение манипуляционных действий с объектами интереса и др. Представлена структура комплексной системы 3D-зрения. Приведено описание конструкции основных структурных элементов системы, описан основной функционал разработанного тестового программного обеспечения. Приведены технические характеристики подсистем, таких как модуль ближнего обзора системы 3D-зрения, модуль дополнительного освещения, модуль дальнего обзора. Приведено описание разработанного программного обеспечения обработки видеоданных стереокамеры (стереомодуля) в реальном времени. В работе приведены результаты тестовой апробации программного обеспечения, реализующего ряд алгоритмов 3D-реконструкции рабочего пространства подводного робота по информации, поступающей с модуля стереозрения. Апробация проводилась на действующем макете подводного модуля стереозрения соединенного с разработанным подводным роботом. Исследование характеристик комплексной системы 3D-зрения, выполнялось в аквариуме и бассейне. Проведенные эксперименты показали эффективность разработанной системы при ее совместном использовании с подводным роботом.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Кабанов Алексей Александрович, Крамарь Вадим Александрович, Крамарь Олег Александрович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

3D VISION SYSTEM FOR UNDERWATER ROBOT

The article deals with the development of an integrated high-resolution 3D vision system for remotely controlled and autonomous underwater robotic systems. The problem of developing a 3D vision system as a sensor subsystem of an underwater robot is presented. Typical examples of tasks solved with the help of such robotic systems are environmental monitoring; detection of objects and obstacles, their localization; convergence of the CRS with the object; performing operations with objects. The structure of a complex 3D vision system is presented. The description of the design of the main structural elements of the system is given, the main functionality of the developed test software is described. The technical characteristics of the subsystems are given, such as the module for the near-vision of the 3D vision system, the module for additional lighting, and the module for far vision. The description of the developed software for processing video data of a stereo camera (stereo module) in real-time is given. The paper presents the results of the test approbation of software that implements many algorithms for 3D reconstruction of the working space of an underwater robot based on information received from the stereo vision module. The approbation was carried out on the operating model of the underwater stereo vision module connected to the developed underwater robot. The study of the characteristics of a complex 3D vision system was carried out in an aquarium. The effectiveness of the developed system was shown by the experiments with the underwater robot.

Текст научной работы на тему «СИСТЕМА 3D-ЗРЕНИЯ ДЛЯ ПОДВОДНОГО РОБОТОТЕХНИЧЕСКОГО КОМПЛЕКСА»

DOI 10.21672/2074-1707.2021.53.1.113-125 УДК 004.001

СИСТЕМА 3D-ЗРЕНИЯ ДЛЯ ПОДВОДНОГО РОБОТОТЕХНИЧЕСКОГО КОМПЛЕКСА 1

Статья поступила в редакцию 06.05.2021, в окончательном варианте — 18.05.2021.

Кабанов Алексей Александрович, Севастопольский государственный университет, 299053, Российская Федерация, г. Севастополь, ул. Университетская, 33,

кандидат технических наук, доцент, ORCID 0000-0002-3105-7283, e-mail: [email protected] Крамарь Вадим Александрович, Севастопольский государственный университет, 299053, Российская Федерация, г. Севастополь, ул. Университетская, 33,

доктор технических наук, профессор, ORCID 0000-0002-0528-1978, e-mail: [email protected] Крамарь Олег Александрович, Севастопольский государственный университет, 299053, Российская Федерация, г. Севастополь, ул. Университетская, 33,

младший научный сотрудник, ORCID 0000-0001-6215-5591, e-mail: [email protected]

В статье рассматриваются вопросы разработки комплексной системы 3Б-зрения высокого разрешения для удаленно управляемых и автономных подводных робототехнических комплексов (РТК). Приведена задача разработки системы 3Б-зрения как сенсорной подсистемы подводного робота. Типичными примерами задач, решаемых с помощью РТК данного класса, являются поиск и обследование подводных объектов, мониторинг окружающей среды, выполнение манипуляционных действий с объектами интереса и др. Представлена структура комплексной системы 3Б-зрения. Приведено описание конструкции основных структурных элементов системы, описан основной функционал разработанного тестового программного обеспечения. Приведены технические характеристики подсистем, таких как модуль ближнего обзора системы 3Б-зрения, модуль дополнительного освещения, модуль дальнего обзора. Приведено описание разработанного программного обеспечения обработки видеоданных стереокамеры (стереомодуля) в реальном времени. В работе приведены результаты тестовой апробации программного обеспечения, реализующего ряд алгоритмов 3Б-реконструкции рабочего пространства подводного робота по информации, поступающей с модуля стереозрения. Апробация проводилась на действующем макете подводного модуля стереозрения соединенного с разработанным подводным роботом. Исследование характеристик комплексной системы 3Б-зрения, выполнялось в аквариуме и бассейне. Проведенные эксперименты показали эффективность разработанной системы при ее совместном использовании с подводным роботом.

Ключевые слова: система технического зрения, подводный робототехнический комплекс, сте-реозрение, сенсорная подсистема

3D VISION SYSTEM FOR UNDERWATER ROBOT

The article was received by the editorial board on 06.05.2021, in the final version — 18.05.2021.

Kabanov Aleksey A., Sevastopol State University, 33 Universitetskaya St., Sevastopol, 299053, Russian Federation,

Cand. Sci. (Engineering), ORCID 0000-0002-3105-7283, e-mail: [email protected] Kramar Vadim A., Sevastopol State University, 33 Universitetskaya St., Sevastopol, 299053, Russian Federation,

Doct. Sci. (Engineering), professor, ORCID 0000-0002-0528-1978, e-mail: [email protected] Kramar Oleg A., Sevastopol State University, 33 Universitetskaya St., Sevastopol, 299053, Russian Federation,

junior researcher, e-mail: [email protected]

The article deals with the development of an integrated high-resolution 3D vision system for remotely controlled and autonomous underwater robotic systems. The problem of developing a 3D vision system as a sensor subsystem of an underwater robot is presented. Typical examples of tasks solved with the help of such robotic systems are environmental monitoring; detection of objects and obstacles, their localization; convergence of the CRS with the object; performing operations with objects. The structure of a complex 3D vision system is presented. The description of the design of the main structural elements of the system is given, the main functionality of the developed test software is described. The technical characteristics of the subsystems are given, such as the module for the near-vision of the 3D vision system, the module for additional lighting, and the module for far vision. The description of the developed software for processing video data of a stereo camera (stereo module) in real-time is given. The paper

1 Исследование частично выполнено при финансовой поддержке РФФИ и города Севастополь в рамках научного гранта № 18-48-920022 р_а.

presents the results of the test approbation of software that implements many algorithms for 3D reconstruction of the working space of an underwater robot based on information received from the stereo vision module. The approbation was carried out on the operating model of the underwater stereo vision module connected to the developed underwater robot. The study of the characteristics of a complex 3D vision system was carried out in an aquarium. The effectiveness of the developed system was shown by the experiments with the underwater robot.

Keywords: computer vision system, underwater robot, stereo vision, sensor subsystem

Графическая аннотация (Graphical annotation)

Введение. Применение подводных роботов и робототехнических систем является устойчивым трендом последних лет. Подводные роботы являются частью обширного семейства промышленных роботов. Многозвенные манипуляторные комплексы подводного исполнения могут обеспечить выполнения широкого спектра манипуляционных работ. Например, манипуляторные роботы могут выполнять аккуратные действия и операции с тонкой моторикой, что особенно важно при работе с хрупкими или биологическими объектами [1]. Благодаря современным алгоритмам, построенным на базе технологий машинного обучения и искусственного интеллекта, подводные манипуля-торные роботы могут выполнять операции, выполняемые, как правило, исключительно силами водолазов (хотя, как правило, для этого требуется четкое понимание сценария действия).

Среди множества приложений следует выделить два основных вида работ, которые могут быть выполнены подводными роботами с максимальной эффективностью. В первую очередь это работы исследовательского характера, направленные на решение проблем современной океанологии - сбор информации о физических параметрах водной среды (температура, соленость и прочие). Другая группа касается подводно-технических работ, таких как обслуживание донных станций и измерительных систем, обеспечение прокладки и регламентное обслуживание подводных кабелей и трубопроводов, участие в аварийно-спасательных операциях.

По данным MarketsandMarkets порядка 85 % операций, выполняемых подводными роботами, осуществляются в телеуправляемом режиме [2]. При этом необходимость работы в неструктурированном подводном окружении требует совершенствования систем управления подводных роботов в плане повышения их автономности и функциональности за счет технологий искусственного интеллекта. В этом направлении ведется множество работ различными исследователями, некоторые их которых представлены в [3-5].

Задача такого класса выполняется в настоящей работе, которая выполнена при реализации проекта по созданию подводного робототехнического комплекса, предназначенного для выполнения работ на малых глубинах. Внешний вид созданного экспериментального образца подводного робота показан на рисунке 1.

Предварительные исследования методов и алгоритмов управления [6, 7] производились с использованием антропоморфного манипуляторного робота SAR-400, являющегося прообразом и, по сути, первым прототипом, демонстрирующим технологии, реализованные в широко известном отечественном антропоморфном роботе FEDOR [8]. В [6] выполнен подробный обзор существующих подходов к построению манипуляторов различного типа, в том числе подводных [9-12]. В работах [13-16] описаны способы управления подводными роботами.

В целом подводный робот состоит из трех основных подсистем: сенсорной, исполнительной (эндэффекторной) и управляющей [1].

Сенсорная система подводного робота является «органом чувств», предназначенным для сбора информации о внешнем мире и работе комплекса. Благодаря этой системе у подводного робота в процессе взаимодействия с окружающей обстановкой создается внутренняя модель внешнего мира.

Рисунок 1 - Внешний вид разрабатываемого подводного робота

Наряду с разработкой, исполнительной и управляющей систем робота, одной из важнейших задач проектирования подводного РТК является задача разработки сенсорной системы в виде системы технического зрения. При использовании в качестве сенсорной системы - системы 3D-зрения необходимо разрабатывать новые алгоритмы, т.к. алгоритмы обработки изображений (в т.ч. сте-реозрения), применяемых в воздушной среде не всегда будут работоспособны в подводных условиях. Это связано с проблемой робастности алгоритмов. Большие теоретические исследования по разработке алгоритмов обработки изображений в системе 3D-зрения были выполнены в работе [17].

Разработка необходимых составляющих трех основных подсистем подводного робота ведет к достижению поставленной цели и позволит в будущем перейти к проведению исследований в области совершенствования методов комплексирования информации об окружающей обстановке и методов управления движениями РТК.

В работе приводится описание структуры и функционала системы 3D-зрения разработанного подводного РКТ. Описаны основные характеристики системы, а также перспективы ее развития и применения.

Состав системы 3D-зрения. Как указано выше, комплексная система 3D-зрения является составной частью подводного РТК. Разрабатываемая системы 3D-зрения системы управления состоит из: модуля дальнего обзора, модуля ближнего обзора, модулей основного и дополнительного освещения; опорно-поворотного устройства; программного модуля обработки видеоинформации, установленного на управляющую ЭВМ.

Функциональная схема разрабатываемой системы зрения приведена на рисунке 2. Отметим, что, согласно схеме, модули ближнего обзора располагаются на манипуляторах РТК. Рабочая зона манипуляторов разрабатываемого подводного РТК составляет 1,2 м.

Разработанная комплексная система 3D-зрения подводного РТК позволяет в рабочем пространстве РТК получить оптическую информацию, 3D-изображения объектов и 3D-изображения самого рабочего пространства РТК. Кроме этого, система позволяет распознать выделенные объекты.

Каждый модуль основного освещения включает один светильник с постоянной яркостью свечения. Каждый модуль дополнительного освещения включает один светильник с постоянной яркостью свечения. Модули дополнительного освещения устанавливаются на модули ближнего обзора. Управление светильниками осуществляется оператором путем подачи напряжения питания с блока автоматики. Основные технические характеристики комплексной системы 3D-зрения приведены в таблице.

Комплексная система 3D-зрения идентифицирует объекты в секторе с радиусом до 5 м; определение их координат в пространстве относительно левой камеры модуля дальнего обзора; определение расстояний между точками интереса на изображении.

Погружаемый комплекс

Рисунок 2 - Функциональная схема системы 3Б-зрения подводного РТК

Таблица 1 - Основные технические характеристики комплексной системы 3D-зрения

№ Характеристики Параметр

1 Зона работы комплексной системы 3Б-зрения, не менее Сектор с радиусом не более 5 м; телесным углом не более 2п ср;

2 Глубина погружения, м, не более 10

3 Напряжение электропитания, В +24±20%

4 Температура, °С 35

5 Степень защиты конструкции к воздействию воды по ГОСТ 14254-96 1Р 68

6 Устойчивость к воздействию соляного (морского) тумана

6.1 Дисперсность, мкм 1-10

6.2 Водность, г/м3 2-3

6.3 Температура, °С 35

6 Показатели надежности

6.1 Непрерывная работа, час., не менее 16

6.2 Вероятность безотказной работы в течение заданного периода непрерывной работы с коэффициентом доверия 70%, час., не менее 5000

6.3 Средняя наработка на отказ, час., не менее 1000

7 Время приведения комплексной системы 3Б-зрения в готовность к применению из режима технического обслуживания, час., не более 1

8 Масса, кг, не более 30

Описание и обоснование выбранной конструкции комплексной системы 3D-зрения.

Рассмотрим конструкцию модулей системы зрения.

Модуль (подсистема) ближнего обзора. Модули ближнего обзора закреплены на манипуляторах и представляют из себя отдельные конструкции в герметичных корпусах с герметичными разъемами.

На каждом манипуляторе размещается по одному элементу модулю ближнего обзора (рис. 3). На каждый модуль ближнего обзора через соединительный интерфейс подается питание постоянного тока, напряжение 12В и канал управления ЕШег№1 Модуль ближнего обзора регистрирует цветное изображение на расстоянии до 1 м с разрешением не менее 800 ТВЛ. При этом угол обзора установлен равным ± 0,1п рад. Модули ближнего обзора оснащены модулем дополнительного освещения, который исполнен в герметичном корпусе и предназначен для дополнительной подсветки рабочей области.

Рисунок 3 - Модуль ближнего обзора

Модуль (подсистема) дальнего обзора. Модуль дальнего обзора регистрирует цветное изображение на глубину до 5 м с разрешением больше 500 ТВЛ, с частотой достаточной для построения траектории движения объекта со скоростью 0,05 м/с. При этом угол обзора устанавливается в диапазоне ± 0,2п рад (от продольной оси базового модуля).

В состав модуля дальнего обзора входят: жестко закрепленные относительно друг друга видеокамеры Basler acA1920-50gc, образующие стереопару; два элемента модуля основного освещения; коммутатор 1000 Мбит/с; преобразователи электропитания 24В-12В и 24В-9В. На рисунке 4 приведен вид модуля дальнего обзора.

Рисунок 4 - Конструкция модуля дальнего обзора

По бокам модуля дальнего обзора размещаются модули основного освещения. Модуль основного освещения предназначен для подсветки рабочей зоны. Модуль основного освещения состоит из двух осветительных приборов, размещенных в герметичном корпусе.

Модуль дальнего обзора реализован в герметичном корпусе с герметичными разъемами. Модули основного освещения могут быть реализованы в отдельных герметичных корпусах, жестко фиксируемых к корпусу модуля дальнего обзора, или могут быть установлены в корпус

дальнего обзора с установкой теплоизолирующей перегородки внутри корпуса модуля дальнего обзора с целью недопущения перегрева видеокамер, коммутатора и периферии.

На рисунке 5 приведено изображение экспериментального образца модуля дальнего обзора, изготовленного для отработки технических вопросов конструкции модуля и разработки и отладки программно-математического обеспечения системы 3D-зрения.

Рисунок 5 -Экспериментальный образец модуля дальнего обзора

Опорно-поворотное устройство. Модуль дальнего обзора устанавливается на опорно-поворотном устройстве (ОПУ). ОПУ обеспечивает вращение модуля дальнего обзора по углам азимута и места. ОПУ имеет два режима работы. Первый (основной) режим используется для выполнения операций в рабочем пространстве РТК и предполагает, что положение ОПУ зафиксировано относительно продольной оси модуля. Второй режим предназначен для построения панорамного изображения с помощью сканирования изображений в горизонтальной и вертикальной плоскостях. После окончания полного цикла обзора строится панорамное 3D-изображение, которое должно обеспечивать выполнение требований к геометрии оптики модуля обзора.

Углы обзора камеры в вертикальной и горизонтальной плоскостях в воздушной среде определяются выражением:

где I - размер матрицы камеры (11.3 х 7,1 мм), /- фокусное расстояние объектива (8 мм).

Для имеющихся камер и объективов, углы обзора по горизонтали и вертикали, рассчитанные по этой формуле, составляют 70.46 и 47.86 градусов, соответственно. Углы обзора для подводной среды определяются по формуле:

где п = 1.33 - коэффициент преломления, а - угол обзора в воздушной среде.

Угол обзора в водной среде по горизонтали составил 51.13 градусов, по вертикали - 35.14.

Рабочее пространство составляет ±65 градусов в горизонтальной плоскости, и -45°...+75° в вертикальной плоскости. Указанные углы представлены на рисунках 6 и 7.

Соединительный интерфейс. Соединительный интерфейс включает два преобразователя электропитания 24 В - 12 В и 24 В - 9 В и коммутатор ЕШег№1 1000 Мбит. К коммутатору ЕШег№1 соединительного интерфейса подключены базовый модуль (два канала), модуль дальнего обзора, два модуля ближнего обзора, устройство копирующего типа и ЭВМ рабочего места оператора. Соединительный интерфейс реализован в герметичном корпусе с герметичными разъемами (рис. 7).

Рисунок 6 - Область наведения модуля обзора (а - вертикальная плоскость; б - горизонтальная плоскость)

Рисунок 7 - Соединительный интерфейс

Программное обеспечение обработки видеоданных стереокамеры (стереомодуля) в реальном времени. В ходе создания комплексной системы 3D-зрения для экспериментального образца подводного робототехнического комплекса была разработана программа, обрабатывающая данные, получаемые со стереокамеры в реальном масштабе времени. Разработанная программа определяет координаты обнаруженных в рабочей области подводного манипуляторного РТК объектов и определяет расстояния между точками интереса. С этой целью в программе осуществляется предобработка изображений; настройка параметров алгоритмов идентификации объектов.

Абсолютная система координат стереомодуля привязана к левой камере, т.е. начало системы координат располагается в точке полюса камеры, которая удалена от диафрагмы объектива в отрицательном направлении на расстояние, которое равно фокусному расстоянию камеры.

Программа выполнена на языке C# и предназначена для работы под управлением платформы .NET Framework операционной системы Windows.

Программное обеспечение поддерживает пользовательский интерактивный интерфейс с возможностью обработки видеоизображений, полученных со стереомодуля в реальном времени.

Для получения видео потока программное обеспечение получает изображение с двух камер Basler acA1920-50gc, образующих стереопару и подключенных по интерфейсу GigE. Цифровой интерфейс GigE имеет большую скорость передачи данных, что позволяет передавать несжатые данные от видеокамер в реальном времени. Также благодаря использованию интерфейса GigE имеется возможность получать данные и управлять камерами на расстоянии до 100 метров. Изображение экрана графического интерфейса программы приведено на рисунке 8. Для подключения к камерам используется программный пакет pylon API для языков .NET.

' Смотреть Пауза Стоп Сделать скриншот Получить кадр

| Получить длину объекта |

Рисунок 8 - Экран программы обработки данных от стереокамеры (стереомодуля) в реальном времени

Программа имеет возможность подключаться не только к камерам семейства Basler с интерфейсом GigE, но и к любым другим камерам по интерфейсам USB или TCP. В качестве примера приведен рисунок 9, на котором подключены IP камеры симулятора РТК передающие данные по протоколу TCP.

Левая камера Правая камера

Рисунок 9 - Окно вывода графических данных полученных от IP камер симулятора РТК

Видеопоток выводится в два специальных графических окна (для левой и правой камер соответственно), на которых по результатам работы алгоритмов наносятся специальные графические метки (рис. 10). Графические метки выделяют границы объектов и выводят числовые данные координаты центра объекта на систему координат стереомодуля.

Для обработки кадров стереокамеры используется кроссплатформенная оболочка Emgu CV для библиотеки обработки изображений OpenCV. В этой библиотеке были использованы алгоритмы для калибровки оптической системы, нахождения оптического потока и триангуляции точек. В процессе триангуляции вычисляются координаты точки в трехмерном пространстве на основе координат ее проекций на стереокадре. В качестве базовой принимается модель стереокаме-ры, приведенная на рисунке 11.

Для определения контуров объектов в программе предусмотрен этап предварительной обработки изображений, в котором используется несколько алгоритмов: размытие, пороговое и морфологическое преобразование. На первом шаге осуществляется приведение изображения в оттенки серого. Это делается с целью максимально упростить изображение. Цвет увеличивает отношение сигнала к коэффициенту шума, поэтому сохранять цвета нет необходимости. Далее, для удаления шумов используется алгоритм размытия по Гауссу. Этот алгоритм удаляет из изображения высокочастотный контент (например, шум, края). На следующем шаге используется пороговая функция фиксированного уровня. Используется функция threshold для получения двоичного изображения из изображения в градациях серого. Фрагмент реализованного кода на С# приведен ниже. Как результат мы получаем изображение, в котором выделены отдельные объекты (рис. 12).

Левап камера

Рисунок 10 - Окно вывода графических данных

Фрагмент кода на С# реализации алгоритма для поиска объектов на изображении:

CvInvoke.CvtColor(inputImageL, binlMat, Emgu.CV.CvEnum.ColorConversion.Bgr2Gray); CvInvoke.AdaptiveThreshold(bin1Mat, binNewMat, 249 + 0.0,

Emgu.CV.CvEnum.AdaptiveThresholdType.GaussianC, Emgu.CV.CvEnum.ThresholdType.Binarylnv, 15, 5 + 0.0);

CvInvoke.GaussianBlur(bin1Mat, bin2Mat, new Size(0, 0), 6);

CvInvoke.Threshold(bin2Mat, bin3Mat, gr1, gr2, Emgu.CV.CvEnum.ThresholdType.Binary); CvInvoke.Threshold(bin3Mat, grayImage, gr1, gr2, Emgu.CV.CvEnum.ThresholdType.BinaryInv);

Рисунок 11 - Модель стереокамеры

. езап камера

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

I

Рисунок 12 - Результат работы алгоритмов для поиска объектов на изображении

После проведенных преобразований изображения, с помощью функций CvInvoke.FindContours и CvInvoke.Moments из пакета Emgu.CV находим контуры объектов и их геометрические центры. Фрагмент кода на С# приведен далее:

CvInvoke.FindContours(bin3Mat, controls, hierarchy, Emgu.CV.CvEnum.RetrType.Ccomp, Emgu.CV.CvEnum.ChainApproxMethod.LinkRuns);

MCvMoments moments = CvInvoke.Moments(controls[i]); // координаты центра var nm = moments.GravityCenter;

Реализованная программа обладает следующими функциональными возможностями: 1. Получение координат и расстояния до объекта для автоматически определенных предметов. В указанном режиме программа автоматически находит контуры объектов на изображениях и определяет геометрические центры плоской фигуры (центроид), по которым

с помощью триангуляции находятся 3D-координаты объекта. Для определения расстояния необходимо выбрать интересующий объект и получить координаты. Соответствующий пункт меню приведен на рисунке 8.

2. Получение координаты и расстояния по точкам на изображении установленным оператором вручную. При необходимости оператор может самостоятельно определить расстояние до любого интересующего его объекта. Для этого необходимо двойным нажатием мыши определить координаты на плоскости изображения отдельно для левой и правой камеры и получить координаты. Координаты отобразятся в соответствующих окнах (см. рис. 8).

3. Измерение длины объекта. Оператор имеет возможность определить длину интересующего его объекта. Для этого необходимо отметить координаты на изображении с обеих камер. Для этого, по событию MouseDown отмечается начало предмета, а по событию Мошеир - его конец. Результат будет отображен в соответствующем окне (см. рис. 8).

4. Получение расстояния между объектами. Оператор имеет возможность определить расстояние между объектами. Алгоритм аналогичен предыдущему. Оператор отмечает точки между интересующими объектами.

Заключение. В результате выполнения работ, разработана эскизная конструкторская документация на комплексную систему 3D-зрения, по которой с целью отработки технических решений изготовлен и отлажен экспериментальный образец системы. Были проведены испытания разработанной системы 3D-зрения в составе разработанного подводного робота (рис. 13) [18]. Исследование характеристик комплексной системы 3D-зрения, выполнялось в аквариуме и на симуляторе.

Рисунок 13 - Подводные испытания подводного робота с системой 3D-зрения

Проведенные испытания показали эффективность разработанных алгоритмов подводного стереозрения на дистанциях до 5 метров. Это позволит использовать разработанную аппаратно-программную систему стереозрения как в качестве элемента сенсорной системы робототехниче-ского комплекса, так и в качестве системы целеуказания для подводных манипуляторов и автономных и телеуправляемых подводных аппаратов. Разработанная система может использоваться как составляющая интеллектуальной системы распознавания и идентификации объектов, в том числе и объектов, динамически изменяющих свое положение.

Библиографический список

1. Ястребова В. С. Подводные роботы / В. С. Ястребова. - Ленинград : Судостроение, 1977. - 368 с.

2. Unmanned Underwater Vehicles (UUV) Market worth 5.20 Billion USD by 2022 // MarketsandMarkets. -Режим доступа: https://www.marketsandmarkets.com/ PressReleases/unmanned-underwater-vehicles.asp, свободный. - Заглавие с экрана. - Яз. англ.

3. Casalino G. MARIS: A National Project on Marine Robotics for Interventions. 2014 22nd Mediterranean Conference on Control and Automation (MED) / G. Casalino, M. Caccia, A. Caiti, G. Antonelli, G. Indiveri, C. Mel-chiorri, S. Caselli // University of Palermo. June, 16-19, 2014, Palermo, Italy.

4. Lane D. M. PANDORA: Persistent Autonomy through Learning, Adaptation, Observation and Replanning / D. M. Lane, F. Maurelli, T. Larkworthy, D. Caldwell, J. Salvi, M. Fox, K. Kyriakopoulosy // IFACPaper-sOnLine. - 2015. - Vol. 48, iss. 2. - P. 238-243.

5. Sanz P. J. TRIDENT: An European Project Targeted to Increase the Autonomy Levels for Underwater Intervention Missions / P. J. Sanz, P. Ridao, G. Oliver, G. Casalino, Y. Petillot, C. Silvestre, C. Melchiorri, A. Turetta // OCEANS. - San Diego, September, 2013. - P. 23-27.

6. Кабанов A. A. Разработка и исследование робототехнического комплекса для выполнения под-водно-технических работ в условиях ограниченной видимости с использованием комплексной системы 3D-зрения высокого разрешения / А. А. Кабанов, В. А. Крамарь, Б. А. Скороход и др. // Отчет о НИР (г/б №АААА-А18-11812259008). - Севастополь : СевГУ, 2018. - 403 с.

7. Kabanov A. A. The modeling of an anthropomorphic robot arm / A. A. Kabanov, A. N. Balabanov // MATEC Web of Conferences 224 (Proceedings of International Conference on Modern Trends in Manufacturing Technologies and Equipment (ICMTMTE 2018). Sevastopol, Russia, September, 2018. - Vol. 224. - P. 10-14. -DOI https://doi.org/10.1051/matecconf/201822404024.

8. FEDOR: Final Experimental Demonstration Object Research // Новый оборонный заказ. Стратегии. -Санкт-Петербург : ООО «Дифанс-Медиа», 2019. - № 5 (58).

9. Подводные манипуляторы. - Режим доступа: http://www.oceanos.ru/s1/files/File/2017_LFL_manip.pdf, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 03.07.2018 г.).

10. Автономный подводный робот-краб. - Режим доступа: https://ria.ru/science/20180419/1518950715.html, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 04.07.2018).

11. Облегченный подводный пятистепенной электроманипулятор. - Режим доступа: http://www.tetis-pro.ru/news/803/, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 04.07.2018).

12. Подводный робот политехников «Одиссей». - Режим доступа: https://news.tpu.ru/news/2016/11/11/26198/?title=podvodnyy_robot_politehnikov_pozvolit_o&print=1, свободный. -Заглавие с экрана. - Яз. рус. (дата обращения: 05.09.2018).

13. Crenganiu M. The Inverse Kinematics Solutions of a 7 DOF Robotic Arm Using Fuzzy Logic / M. Crenganiu, R. Breaz, G. Racz, O. Bologa // 7th IEEE Conference on Industrial Electronics and Applications (ICIEA). - 2012. - P. 518-523.

14. Shahinpoor M. A Robot Engineering : textbook / M. Shahinpoor. - New York : Harper & Row Publishers, Inc., 1987.

15. Fu K. S. ROBOTICS: Control, Sensing, Vision and Intelligence / K. S. Fu, R. C. Gonzalez, C. S. G. Lee. - McGraw-Hill, 1987.

16. Kramar V. A. The method for predicting self-collisions of multi-link manipulators / V. A. Kramar // Journal of Physics : Conference Series. - 2020. - Vol. 1661, iss. 1. - 012052 p.

17. Skorohod B. A. Accuracy analysis of 3D points reconstructed from workspace of underwater robot / B. A. Skorohod, A. V. Statsenko, S. I. Fateev, P. V. Zhilyakov // Journal of Physics: Conference Series. - 2020. -Vol. 1661, iss. 1. - 012124 p.

18. Kramar V. Modeling and testing of control system for an underwater dual-arm robot / V. Kramar, A. Kabanov, O. Kramar, A. Putin // IOP Conference Series: Materials Science and Engineering. - 2020. - Vol. 971, iss. 4. - 042076 p.

References

1. Yastrebova V S. Podvodnyye roboty [Underwater robots]. Leningrad, Sudostroenie Publ., 1977. 368 p.

2. Unmanned Underwater Vehicles (UUV) Market worth 5.20 Billion USD by 2022. MarketsandMarkets. Available at: https://www.marketsandmarkets.com/ PressReleases/unmanned-underwater-vehicles.asp.

3. Casalino G., Caccia M., Caiti A., Antonelli G., Indiveri G., Melchiorri C., Caselli S. MARIS: A National Project on Marine Robotics for Interventions. 2014 22nd Mediterranean Conference on Control and Automation (MED), University of Palermo. June, 16-19, 2014, Palermo, Italy.

4. Lane D. M., Maurelli F., Larkworthy T., Caldwell D., Salvi J., Fox M., Kyriakopoulosy K. PANDORA: Persistent Autonomy through Learning, Adaptation, Observation and Re-planning. IFACPapersOnLine, 2015, vol. 48, iss. 2, pp. 238-243.

5. Sanz P. J., Ridao P., Oliver G., Casalino G., Petillot Y., Silvestre C., Melchiorri C., Turetta A. TRIDENT An European Project Targeted to Increase the Autonomy Levels for Underwater Intervention Missions. OCEANS. San Diego, September, 2013, pp. 23-27.

6. Kabanov А. А., Kramar V. А., Skorokhod B. А. Razrabotka I issledovanie robototehnicheskogo kom-pleksa dlya vipolneniya podvodno-tehnicheskih rabot v usloviyah ogranichennoi vidimosti s ispolsovaniem kom-pleksnoi systemi 3D zreniya visokogo raresheniya [Development and research of a robotic complex for performing underwater technical work in conditions of limited visibility using an integrated high-resolution 3D vision system]. Otchet o NIR [Report on NIR (g/b №АААА-А18-11812259008)]. Sevastopol, SevSU, 2018, 403 p.

7. Kabanov A. A., Balabanov A. N. The modeling of an anthropomorphic robot arm. MATEC Web of Conferences 224, (Proceedings of International Conference on Modern Trends in Manufacturing Technologies and Equipment (ICMTMTE 2018). Sevastopol, Russia, September, 2018, vol. 224, pp. 10-14. DOI https://doi.org/10.1051/matecconf/201822404024.

8. FEDOR: Final Experimental Demonstration Object Research. Novyy oboronnyy zakaz. Strategies [New defense order. Stratedies], 2019, no. 5 (58).

9. Podvodnyye manipulatory [Underwater manipulators]. Available at: http://www.oceanos.ru/s1/files/File /2017_LFL_manip.pdf.

10. Avtonomnyy podvodnyy robot-krab [Autonomous underwater robot-crab]. Available at: https://ria.ru/science/20180419/1518950715.html.

11. Oblegchennyy podvodnyy pyatistepennoy elektromanipulator [Lightweight underwater five-degree electric manipulator]. Available at: http://www.tetis-pro.ru/news/803/.

12. Podvodnyy robot polyehnikov «Odyssey» [Underwater robot polytechnic "Odyssey"]. Available at: https://news.tpu.ru/news/2016/11/11/26198/?title=podvodnyy_robot_politehnikov_pozvolit_o&print=1.

13. Crenganiu M., Breaz R., Racz G., Bologa O. The Inverse Kinematics Solutions of a 7 DOF Robotic Arm Using Fuzzy Logic. 2012 7th IEEE Conference on Industrial Electronics and Applications (ICIEA), 2012, pp. 518-523.

14. Shahinpoor M. A Robot Engineering: textbook. New York, Harper & Row Publishers, Inc., 1987.

15. Fu K. S., Gonzalez R. C., Lee C. S. G. ROBOTICS: Control, Sensing, Vision and Intelligence. McGraw-Hill, 1987.

16. Kramar V. A. The method for predicting self-collisions of multi-link manipulators. Journal of Physics: Conference Series, 2020, vol. 1661, iss. 1. 012052 p.

17. Skorohod B. A., Statsenko A. V., Fateev S. I., Zhilyakov P. V. Accuracy analysis of 3D points reconstructed from workspace of underwater robot. Journal of Physics: Conference Series, 2020, vol. 1661, iss. 1. 012124 p.

18. Kramar V., Kabanov A., Kramar O., Putin A. Modeling and testing of control system for an underwater dual-arm robot, IOP Conference Series: Materials Science and Engineering, 2020, vol. 971, iss. 4. 042076 p.

i Надоели баннеры? Вы всегда можете отключить рекламу.