Комплексированная система технического зрения в системе управления робота с навесным оборудованием Текст научной статьи по специальности «Строительство и архитектура»

Skorohod Boris Arkadievich, doctor of technical sciences, professor, boris. skorohodamail. ru, Russia, Sevastopol, Sevastopol State University,

Statsenko Aleksey Vladimirovich, postgraduate, [email protected], Russia, Sevastopol, Sevastopol State University,

Fateev Sergey Igorevich, postgraduate, fateev-siaya. ru, Russia, Sevastopol, Sevastopol State University

УДК 007; 621.865.8

КОМПЛЕКСИРОВАННАЯ СИСТЕМА ТЕХНИЧЕСКОГО ЗРЕНИЯ В СИСТЕМЕ УПРАВЛЕНИЯ РОБОТА С НАВЕСНЫМ ОБОРУДОВАНИЕМ

А.В. Вазаев, В.П. Носков, И.В. Рубцов

Показано, что для повышения автономности мобильных роботов, оснащенных навесным оборудованием, ключевыми являются задачи создания бортовых средств формирования моделей среды маневрирования робота и рабочей зоны навесного оборудования по данным комплексированных систем технического зрения (СТЗ), объединяющих датчики и сенсоры различной физической природы. Описаны принципы построения таких моделей по данным бортовых СТЗ и приведены примеры их использования для решения навигационных задач, планирования и управления движением пожарного робота и его навесного оборудования в автономном режиме, а также для повышения информативной осведомленности и снижения нагрузки на оператора при дистанционном управлении.

Ключевые слова: мобильный робот, автономная система управления, комплек-сированная СТЗ, модель внешней среды, распознавание, классификация.

В последнее время все большее развитие и применение получают роботизированные средства, в том числе средства пожаротушения и разведки, позволяющие вывести оперативных работников из опасных зон. Известны пожарные стационарные (например, отечественной компании ЭФЭР) и позиционно-мобильные (например, рельсовые голландской компании IFEX NEDERLAND BV) робототехнические комплексы с дистанционными и автоматическими системами управления.

Стационарные и позиционно-мобильные роботизированные комплексы требуют создания соответствующей инфраструктуры и имеют ограниченное применение в связи с привязкой к конкретному объекту (например, могут быть использованы на пожароопасных дорогостоящих объектах). Наиболее востребованы и интенсивно развиваются мобильные робототехнические комплексы (МРК).

Практически все принятые на вооружение образцы пожарных МРК являются дистанционно управляемыми. На рис. 1 приведены некоторые принятые на вооружение МЧС России пожарные дистанционно управляемые МРК различных весовых категорий с различным навесным оборудованием пожаротушения и разведки (разработанный в МГТУ им. Н.Э. Баумана МРК-РП легкого класса (рис. 1, а), разработанные во ВНИИПО МЧС России и хорватской компанией БОК-Ш^ с участием МГТУ им. Н.Э. Баумана, соответственно МРК среднего (Ель-4) и тяжелого классов (Ель-10) (рис. 1, б, в).

а б в

Рис. 1. Принятые на вооружение МЧС России образцы пожарных МРК: а - МРК-РП легкого класса; б - МРК среднего (Ель-4) и в - тяжелого (Ель-10) классов

Как показал практический опыт, дистанционно управляемые МРК имеют принципиальные недостатки и ограничения, обусловленные необходимостью постоянного двухстороннего информационного обмена: повышенные требования к каналу связи и ограниченный радиус действия. Особенно остро перечисленные недостатки и ограничения проявляются в изобилующих экранированными зонами индустриально-городских территориях с плотной застройкой и в зданиях, где и проводятся в подавляющем большинстве случаев спецоперации, в том числе и операции разведки и пожаротушения с применением робототехнических средств. Кроме того, как показала практика использования робототехнических средств, вести разведку обстановки, поиск и выбор очагов возгорания, принимать тактические решения, управлять одновременно движением МРК и навесным оборудованием в одиночку практически невозможно. Поэтому остро стоит проблема снижения нагрузки на оператора. Таким образом, дальнейшее развитие роботизированных средств пожаротушения должно быть связано с повышением их автономности за счет передачи функций, выполняемых человеком-оператором, бортовым средствам, что позволит снизить нагрузку на оператора, интенсивность информационного обмена между пунктом управления и объектом управления и полностью без него обойтись при движении в экранированных зонах.

К настоящему времени по заказу различных министерств и ведомств (в том числе и МЧС России) в МГТУ им. Н.Э. Баумана выполнено и выполняется ряд НИОКР по робототехнической тематике, которые посвящены созданию дистанционно и автономно управляемых МРК. Созданные программно-аппаратные средства автономного управления движением МРК экспериментально проверены в составе роботов различного назначения в реальных средах (помещения, многоэтажные здания, индустриально-городская среда, пересеченная местность) [1 - 7]. В том числе в рамках ОКР «ОРИЕНТИР», выполненной по заказу МЧС России, были созданы программно-аппаратные средства, обеспечивающие автоматический возврат МРК-РП (рис. 1, а) в точку старта или в зону уверенного радиообмена при потере связи.

Если при создании средств автономного управления движением МРК достигнут уровень ОКР по интеграции в серийные образцы, то в части создания средств автономного управления навесным оборудованием МРК требуется проведение НИР. Как показал опыт предварительных исследований, при повышении автономности систем управления навесным оборудованием центральной задачей, как и при повышении автономности систем управления движением МРК [8 - 11], является формирование модели внешней среды по данным бортовой СТЗ. При этом необходимо строить более полные и подробные модели рабочей зоны путем комплексной обработки дальнометрических, телевизионных и тепловизионных данных [11].

Опыт комплексирования дальнометрических, телевизионных и тепловизионных данных был получен при распознавании типов грунтов для классификации зоны маневрирования на проходимые и непроходимые участки по критерию опорной проходимости [11] (классификация по критерию профильной проходимости известна давно [8]). Для получения ком-плексированных данных создан действующий макет комплексированной СТЗ (рис. 2).

Взаимная юстировка сенсоров позволяет совмещать в единой системе координат дальнометрические, видео- и тепловизионные изображения, в результате чего получается геометрия рельефа опорной поверхности в виде облака точек с распределением на нем цветового и температурного полей:

Т = = [< а0р0(1010Я0С0В0У1 >], 1 = 1,2, ...,п,

где п - число точек; ^ - углы соответственно горизонтальной и вертикальной развёртки ЗБ-лазерного сенсора; с^ - измеренная дальность; -измеренная интенсивность отражённого зондирующего сигнала; В^ -три компоненты цвета пиксела, полученные с телевизионной камеры; У; -температура пиксела, полученная с тепловизионной камеры.

Рис. 2. Макет комплексированной СТЗ: 1 - сканирующий Ю-лазерный сенсор Sick LMS291 на опорно-поворотном устройстве; 2 - телевизионная камера GoPro Него 4; 3 - тепловизионная камера FLIR Lepton; 4 -устройства

сопряжения с ЭВМ

По дальнометрическим данным (a^ß^di) могут быть сформированы ЗО-геометрические и формальные модели [8,10] рабочих зон для планирования траекторий движения и решения навигационных задач МРК. При использовании дополнительно телевизионных данных (Ri, Gi, Bi) могут быть сформированы цветные ЗО-геометрические модели, их различные проекции и сечения, а также визуально-подобные изображения рабочей зоны для произвольных позиций виртуального наблюдателя [9], что существенно повышает информированность оператора и снижает вероятность его ошибочных действий при дистанционном управлении. Использование полного комплексированного изображения обеспечивает достоверное распознавание не только типов опорной поверхности, но и объектов типа «вода» и «очаг возгорания» [11], что дает возможность приступить к автоматизации процесса управления навесным оборудованием пожаротушения типа «лафет с брандспойтом».

Известные координаты очага возгорания и текущие координаты МРК позволяют после пересчета в систему координат, связанную с лафетом и приведённую к местной вертикали, определить (по аналогии со стационарными системами на базе лафетных стволов [12]) сферические координаты (Rn, ß, у) от насадки до центра очага возгорания (точка А) и углы ориентации лафетного стола (а, у) в указанной системе координат (рис. 3).

Как показано в [12], значение угла а зависит от многих факторов: радиуса Яп и угла Р, давления, расхода и угла распыления струи, а также конструкции насадки брандспойта. Для решения задачи автоматического наведения струи лафетного ствола по данным комплексной модели необходимо:

- на модели сцены выделить точки, принадлежащие струе;

- аппроксимировать траекторию струи кривой и найти ее параметры;

- определить ошибки наведения струи на очаг возгорания и ошибки по углам наведения лафетного ствола для формирования управляющих воздействий на следящие привода наведения.

Рис. 3. Траектория струи в пространстве и её параметры

Для выделения точек, принадлежащих струе, сначала выполняется их кластеризация по расстоянию с учетом температуры и цвета. Затем определяется кластер, точки которого принадлежат струе. Поскольку положение лафетного ствола и углы его наведения известны, то можно выделить точки на начальном отрезке струи, что позволяет однозначно искомый кластер.

Определение параметров траектории струи заключается в нахождении уравнения пространственной кривой, аппроксимирующей выделенный кластер точек. В общем виде кривая описывается уравнениями:

х = х(0,у = у(г), 2 = £ (а, Ь),

где а и Ь - точки расположения лафетного ствола и очага возгорания.

В качестве критерия близости используется минимум суммы квадратов расстояний от точек до кривой [13, 14]:

где = гшпс||Р(0 — - расстояние от точки облака до кри-

Полученное уравнение кривой позволяет найти ошибки наведения струи на очаг возгорания и ошибки по углам наведения лафетного ствола. Введём вспомогательную систему координат ОХ1У1Е1, получаемую из

114

ОХУЕ серией последовательных поворотов: вокруг оси 2 на угол у (первая угловая координата очага возгорания) и вокруг оси Хг на угол /? (вторая угловая координата очага возгорания) (рис. 4).

Рис. 4. Схема определения ошибок по углам наведения лафетного ствола

Ошибка по углу ориентации лафетного ствола в горизонтальной плоскости определяется как разница угловых координат уА (азимутальная координата очага возгорания) и ув (азимутальная координата точки пересечения траектории струи и плоскости 0Хх1^):

Ау = уА-ув.

Ошибка по углу ориентации в вертикальной плоскости пропорциональна разнице между расстояниями от начала координат до центра очага возгорания (точка А) и до точки В:

Аа = Ка(ЯА-Яв), где Ка - коэффициент (подбирается экспериментально).

Следует отметить, что зависимость угла наклона ствола а от дальности до целевой точки А нелинейная. Экспериментально установлено, что наибольшая дальность получается при угле наклона ствола примерно 30 - 32° [12]. Для определения ошибок наведения лафетного ствола полученные ошибки по углам ориентации необходимо преобразовать в систему координат, связанную с лафетным стволом с учётом текущих углов курса, крена и дифферента МРК.

Результаты экспериментальных исследований приведены на рис. 5, где представлены фотопанорама сцены (рис. 5, а) и расцвеченная ЗБ-модель (рис. 5, б) с распознанным очагом возгорания и струёй огнетуша-щего состава. Такая комплексная модель содержит данные, достаточные для автономного планирования и отработки всех возможных траекторий движения в рабочей зоне (может быть построена формальная модель [8,10], определены текущие координаты МРК [3,10], спланирована и отработана любая допустимая траектория [2]). Модель также позволяет установить участки рабочей зоны, из которых возможно применение бортовых

средств пожаротушения (известны координаты очага возгорания [11], геометрия рабочей зоны и может быть определена траектория струи между любой точкой рабочей зоны и очагом возгорания).

б

Рис. 5. Пример формирования комплексной модели реальной рабочей

зоны: а - фотопанорама сцены, б - расцвеченная ЗБ-модель с распознанным очагом возгорания и струёй огнетушащего состава

Таким образом, задача выхода МРК на боевую позицию может быть решена по данным комплексной модели, так как сводится к задаче поиска и отработке кратчайшей траектории из текущего положения МРК к зоне применения средств пожаротушения.

На рис. 6 приведены результаты работы созданного прикладного программного обеспечения, решающего задачи определения параметров траектории струи для управления лафетом по азимуту с использованием горизонтальной проекции ЗБ-модели (рис. 6, а) и возвышению с использованием вертикального сечения ЗБ-модели (рис. 6, б). Здесь в горизонтальной проекции приведены углы уА и ув, по которым вычисляется ошибка наведения лафета в горизонтальной плоскости.

Комплексная модель рабочей зоны может быть использована также для предоставления человеку-оператору следующей дополнительной информации:

- текущее положение робота;

- обнаруженные проходимые и непроходимые участки;

- выделенные типовые объекты (здания, водоёмы, дороги, типы опорной поверхности и т.д.);

- расположение очагов возгорания;

- участки рабочей зоны, с которых возможно применение установленных на МРК средств пожаротушения;

- реальная траектория струи и рекомендации по её наведению.

а

б

Рис. 6. Результат работы прикладного программного обеспечения: а - горизонтальная проекция ЗБ-модели; б - возвышение с использованием вертикального сечения ЗБ-модели

При этом дополнительная информация может быть представлена оператору в виде наложений на видеоизображение (рис. 7) или на план рабочей зоны (рис. 8).

■

Очаг возгорания

Рекомендации по наведению струи

Рис. 7. Наложение дополнительной информации на видеоизображение

Рис. 8. Наложение дополнительной информации на план рабочей зоны

Оператору также могут быть предоставлены различные сечения и проекции рабочей зоны, а также ее визуально-подобные изображения для различных точек виртуального наблюдателя, что дает возможность более детально рассмотреть и проанализировать как всю рабочую зону, так и ее фрагменты (рис. 9).

Рис. 9. Визуально-подобные изображения рабочей зоны, сформированные по комплексной модели для трех различных точек

виртуального наблюдателя

118

Приведенные результаты экспериментальных исследований с действующим полнофункциональным макетом комплексированной СТЗ в реальных средах показывают, что предлагаемые методы и средства формирования комплексных моделей внешних сред и их использования для повышения автономности робототехнических средств разведки и пожаротушения позволяют повысить информативную осведомленность и снизить нагрузку на оператора, а также обеспечить автоматическое (без участия оператора) управление МРК и его навесным оборудованием в экранированных зонах. Данные интеллектуальные способности обеспечивают повышение эффективности и расширение области использования МРК и его средств разведки и пожаротушения. Для создания соответствующих программно-аппаратных средств, пригодных для интеграции в серийные образцы МРК, требуется проведение НИОКР, и в первую очередь - в области комплексированных СТЗ [15].

Работа выполнена при поддержке гранта РФФИ №16-29-04178

офи_м.

Список литературы

1. Опыт использования элементов искусственного интеллекта в системе управления цехового транспортного робота / Н.А. Лакота,

B.П. Носков, И.В. Рубцов, Я.-О. Лундгрен, Ф. Моор // Мехатроника. 2000. №4. С. 44 - 47.

2. Однородные управляющие структуры адаптивных роботов / А.В. Каляев, В.П. Носков, Ю.В. Чернухин, И.А. Каляев. М.: Наука, 1990. 147 с.

3. Носков В.П., Носков А.В. Навигация мобильных роботов по дальнометрическим изображениям // Новые технологии. Мехатроника, автоматизация, управление. 2005. № 12. С. 16 - 21.

4. Носков В.П., Рубцов И.В. Опыт решения задачи автономного управления движением мобильных роботов // Мехатроника, автоматизация, управление. 2005. № 12. С. 21 - 24.

5. Интеллектуализация мобильных пожарно-спасательных роботизированных комплексов / В.П. Дементей, Н.Ю. Леткина, В.П. Носков,

C.Г. Цариченко // Труды ХХ1 Международной научно-технической конференции «Экстремальная робототехника». СПб.: Изд-во «Политехника-сервис». 2010. С. 40 - 46.

6. Калинин А.В., Носков В.П., Рубцов И.В. Система автовождения танка Т-72Б // Вестник МГТУ им. Н.Э. Баумана. Серия «Машиностроение». Спец. выпуск «Специальная робототехника и мехатроника». 2012. С.134 - 148.

7. Носков В.П., Рубцов И.В. Ключевые вопросы создания интеллектуальных мобильных роботов // Вестник МГТУ им. Н.Э. Баумана. Серия «Машиностроение». 2013. С. 34 - 35.

8. Аппаратно-алгоритмические средства формирования модели проблемной среды в условиях пересеченной местности / Г.А. Буйволов,

B.П. Носков, А.А. Руренко, А.Н. Распопин // Сб. науч. тр. «Управление движением и техническое зрение автономных транспортных роботов». М.: ИФТП, 1989. С. 61 - 69.

9. Носков А.В., Рубцов И.В., Романов А.Ю. Формирование объединенной модели внешней среды на основе информации видеокамеры и дальномера // Мехатроника, автоматизация, управление. 2007. № 8. С. 2 - 5.

10. Казьмин В.Н., Носков В.П. Выделение геометрических и семантических объектов в дальнометрических изображениях для навигации роботов и реконструкции внешней среды // Известия ЮФУ. Технические науки. 2015. №10 (171). С. 71 - 83.

11. Распознавание объектов и типов опорной поверхности по данным комплексированной СТЗ / А.В. Вазаев, В.П. Носков, И.В. Рубцов,

C.Г. Цариченко // Известия Южного федерального университета. Технические науки. 2016. №2 (175). С. 127 - 139.

12. Горбань Ю.И. Пожарные роботы и ствольная техника в пожарной автоматике и пожарной охране. М.: Пожнаука, 2013. 352 с.

13. Wang W., Pottmann H., Liu Y. Fitting B-spline Curves to Point Clouds by Curvature-based Squared Distance Minimization // ACM Trans. Graph. 2006. Vol. 25. № 2. C. 214 - 238.

14. Dimitrov A., Gu R., Golparvar-Fard M. Non-Uniform B-Spline Surface Fitting from Unordered 3D Point Clouds for As-Built Modeling // Computer-Aided Civil and Infrastructure Engineering. 2016. Vol. 31. № 7. C. 483498.

15. Комплексированная СТЗ в системе управления пожарного робота / А.В. Вазаев, В.П. Носков, И.В. Рубцов, С.Г. Цариченко // Известия ЮФУ. Технические науки. 2017. № 1-2. С. 140-154.

Вазаев Александр Викторович, асп., инж., vazaev@bmstu. ru, Россия, Москва, Московский государственный технический университет им. Н.Э. Баумана,

Носков Владимир Петрович, канд. техн. наук, доц., njskov_mstu@,maij.ru, Россия, Москва, Московский государственный технический университет им. Н. Э. Баумана,

Рубцов Иван Васильевич, канд. техн. наук, доц., нач. отдела НИИСМ, [email protected], Россия, Москва, Московский государственный технический университет им. Н.Э. Баумана

COMPLEXIONAL VISION SYSTEM IN THE CONTROL SYSTEM OF THE ROBOT WITH

ATTACHED EQUIPMENT

A. V. Vazaev, V.P. Noskov, I. V. Rubtsov

It is shown that to improve the autonomy of mobile robots, the key tasks are the creation of the on-board equipment used to generate models of the environment maneuvering the robot and a working zone of attachment according complexioned vision systems, combining sensors of different physical nature. Describes the principles of constructing such models according to the flight vision systems and examples of their use to solve navigation tasks, scheduling, and traffic control fire of the robot and its attachments offline, and also to improve the information awareness and reduce the load on the operator at the remote control.

Key words: mobile robot, autonomous control system, combined computer vision system, environment model, recognition, classification.

Vazaev Alexander Viktorovich, postgraduate, engineer, [email protected], Russia, Moscow, Moscow State Technical University. N.E. Bauman,

Noskov Vladimir Petrovich, candidate of technical sciences, docent, njskov_mstu@,maij. ru, Russia, Moscow, Moscow State Technical University. N.E. Bauman,

Rubtsov Ivan Vasilievich, candidate of technical sciences, docent, Head of NIISM Department, rubt-sov@,mail. ru, Russia, Moscow, Moscow State Technical University. N.E. Bauman