CC BY
17Программные редктва и информационные технологии
УДК 004.9
РАЗРАБОТКА ПОЛУАВТОНОМНОЙ ИССЛЕДОВАТЕЛЬСКОЙ СИСТЕМЫ С ИСПОЛЬЗОВАНИЕМ ВИДЕОДАННЫХ И СЕНСОРНЫХ УСТРОЙСТВ
А. Г. Зотин, А. В. Саяпин
Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Россия, 660014, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31 Е-mail: [email protected], [email protected]
Представлено описание системы управления полуавтономной исследовательской колесной платформой. Описывается процесс управления системой, аппаратные и программные решения. Предложена модульная реализация программного комплекса, который может быть использован для решения различных практических задач, таких как патрулирование, исследования и т. д.
Ключевые слова: обработка изображений, анализ изображений, обработка данных, нейронные сети, нечеткая логика, автономные системы.
DEVELOPMENT OF SEMIAUTONOMOUS RESEARCH SYSTEM BASED ON VIDEO AND SENSOR DATA
A. G. Zotin, A. V. Sayapin
Siberian State Aerospace University named after academician M. F. Reshetnev 31, "Krasnoyarsky Rabochy" Av., Krasnoyarsk, 660014, Russia Е-mail: [email protected], [email protected]
A description of a semiautonomous research wheeled platform is presented. The control process and software as well as hardware are described. Some modular implementation of the complex is proposed. The whole complex may be used in different fields such as patrol, exploration and so on.
Keywords: image processing, image analysis, data processing, neural networks, fuzzy logic, autonomous system.
В настоящее время все большее распространение получают автономные системы, предназначенные для решения различных задач, таких как патрулирование местности, исследование поверхности иных планет, оценка экологического состояния территории и др. Для решения этих задач автономная платформа нуждается в системе управления, способной к ориентированию на местности, следованию заданному маршруту, уклонению от препятствий. В некоторых случаях проблемой является невозможность использования активного приводного оборудования, такого как радиомаяки, световые маяки и т. д. Для анализа эффективности различных подходов, отработки методов использования была разработана следующая программно-аппаратная платформа.
Данная аппаратная платформа выполнена в трехколесной реализации c двумя моторизированными колесами и одним подруливающим. За управление платформой отвечает микроконтроллер Arduino Duemilanove [1], который получает команды с управляющего компьютера через bluetooth-модуль. Для определения направления на точку назначения на платформе размещена IP-камера с модулем Wi-Fi, определение препятствий происходит на основе ультразвуковых и инфракрасного датчиков, за ориентировку на местности отвечают магнетометр и акселерометр. Основное управление мобильной платформой возложено на специализированное программное
обеспечение, принимающее информацию от всех датчиков платформы, передающее ее на базовый управляющий компьютер и при получении команд от компьютера управляющее работой ведущих двигателей.
Для выбора направления движения платформы, а также анализа данных, полученных с датчиков платформы, используется программный комплекс, запущенный на базовом управляющем персональном компьютере. Это комплекс включает в себя сервер обработки изображения, полученного с IP-камеры (возможен выбор и настройка фильтров для обработки), нейронную сеть, распознающую маркер точки назначения платформы, и модуль нечеткой логики, принимающий решение о направлении движения на основе информации результатов работы нейронной сети, а также данных, полученных с датчиков платформы.
Взаимодействие компонентов программного комплекса на базовом управляющем персональном компьютере осуществляется с использованием сетевых протоколов, в частности, через сетевые сокеты и с использованием технологии Windows Communication Foundation. Функционирование комплекса по управлению мобильной платформой можно представить в виде следующих шагов:
Шаг 1. Получение изображения с IP-камеры и локализация в кадре объекта интереса.
Шаг 2. Выделение на изображении маркера, по направлению к которому должна двигаться платформа,
Решетневскуе чтения. 2013
при помощи нейронной сети на основе цветовых или структурных характеристик объекта.
Шаг 3. Расчет параметров движения на основе выходов нейронной сети и показаний датчиков с использованием нечеткой логики.
Шаг 4. Формирование команд управления мобильной платформой.
За подготовку изображения к анализу нейронной сетью отвечает сервер обработки изображения. Для тонкой настройки процесса локализации объекта предусмотрено формирование цепочки команд для обработки входных данных. Так, в системе реализованы основные фильтры, предоставляющие возможность выполнения цветовой коррекции и шумоподавления, а для непосредственной локализации объекта - набор методов бинаризации и пороговая сегментация в цветовых моделях RGB, HSV, YUV [2]. С целью повышения эффективности сегментации предложен набор алгоритмов изменения значений компонентов цветовых моделей (RGB, HSV).
Разработанная программная реализация позволяет обучать нейронную сеть в виде многослойного пер-септрона [3]. Количество скрытых слоев и нейронов персептрона определяется условиями задачи и ограничениями оборудования. В качестве основных параметров выступают объем доступной оперативной памяти компьютера, размер исходного изображения, сложность маркера (выделен он цветом, формой либо тем и другим одновременно). Например, при реализации трехслойного персептрона для выделения маркера с использованием цветовой информации было выбрано число нейронов входного слоя, равное 8 100 (60^45 пикселей для 3-х цветовых компонент модели RGB). Количество нейронов в выходном слое выбрано равным двум (маркер находится слева либо маркер находится справа). Количество нейронов в скрытом слое определяется сложностью маркера.
Система нечеткой логики представляет собой набор правил, определяющих поведение платформы в различных ситуациях. Правила в ней представляются в стандартном виде «ЕСЛИ-ТО». Входной информацией для системы нечеткой логики является информация датчиков платформы и значения выходов нейронной сети. Базовым механизмом вывода в данной системе является механизм вывода Ларсена [4], однако дизайн программы предполагает возможность замены механизма вывода. В качестве механизма де-фаззификации используется метод центра тяжести, при этом предоставлена возможность заменены на другой. На выходе системы нечеткой логики формируются угол поворота платформы и расстояние, на которое платформа должна переместиться на данном шаге.
Предложенная структура программного комплекса обеспечивает высокую гибкость системы. В частности, каждый из программных продуктов способен работать независимо, с использованием универсальных сетевых протоколов. Это позволяет как создать распределенную систему (например, для повышения общего быстродействия системы), где каждый программный продукт работает на специально выделен-
ном компьютере, так и легко заменить любой из компонентов системы. Например, в случае необходимости, нейронная сеть, визуально определяющая необходимое направление движения, может быть заменена на модуль, определяющий направление движения с использованием GPS-технологий и сигналов от магнетометра (компаса). Также система управления на основе нечеткой логики может быть заменена на любую другую систему, например, на основе конечных автоматов.
Предложенная мобильная платформа и программный комплекс могут быть использованы как для проведения исследований и опытно-конструкторских работ в области обработки и анализа изображений, нейронных сетей, нечеткой логики и систем автоматического управления, так и для обучения студентов, бакалавров и магистров. Описываемая система была реализована в феврале-августе 2013 г. и была использована при проведении Международной летней технической школы «Автономные системы для исследования поверхности иных планет». Использование показало высокую эффективность предложенной системы и заинтересованность студентов в процессе обучения.
В качестве дальнейшего развития системы предусматривается переход к полной автономности системы, а так же расширение функционала системы, связанное с использованием более широкого круга датчиков для ориентации на местности.
Библиографические ссылки
1. Mellis D., Buechley L. Collaboration in open-source hardware: third-party variations on the arduino duemilanove // Proceedings of the ACM 2012 Conf. on Computer Supported Cooperative Work (CSCW '12). New York : ACM, 2012. P. 1175-1178.
2. Зотин А. Г., Носов А. В., Бузаев Д. В. Анализ пригодности методов сегментации для локализации объектов на основе цветовых и структурных признаков // Вестник СибГАУ. 2012. № 1 (41). С. 23-28.
3. Ben Krose, Patrick van der Smagt An introduction to Neural networks. University of Amsterdam, 1996.
4. Новак В., Перфильева И., Мочкрож И. Математические принципы нечёткой логики. М. : Физматлит, 2006. 352 с.
References
1. Mellis D and Buechley L. 2012. Collaboration in open-source hardware: third-party variations on the arduino duemilanove. In Proceedings of the ACM 2012 Conf. on Computer Supported Cooperative Work (CSCW '12). ACM, New York, NY, USA, 1175-1178.
2. Zotin A. G., Nosov A. V., Buzaev D. V. Vestnik SibGAU. 2012, № 1 (41), pр. 23-28.
3. Ben Krose, Patrick van der Smagt An introduction to Neural networks. University of Amsterdam, 1996.
4. Novak V., Perfielieva I., Mochkrozh I. Mathematical Principles of Fuzzy Logic. М. : Fizmatlit, 2006. 352 с.
© Зотин А. Г., Саяпин А. В., 2013
