CC BY
54
УДК 621.396.969.181.34
ИСПОЛЬЗОВАНИЕ ОПТИЧЕСКИХ МАРКЕРОВ В СИСТЕМЕ УПРАВЛЕНИЯ УГЛОВЫМ ПОЛОЖЕНИЕМ ОБЪЕКТА
П. В. Быков, Ф. Н. Абу-Абед
THE USE OF OPTICAL MARKERS IN THE ANGULAR POSITION OF CONTROL OBJECT SYSTEM
P. V. Bykov, F. N. Abu-Abed
Аннотация. Актуальность и цели. Системы распознавания образов все чаще находят применение в современной технике. Развитие теоретической базы обработки изображений и широкое использование свободных библиотек с открытым кодом делает возможным применение новых решений в разнообразных прикладных задачах. Одной из таких задач является определение углового положения объекта при исследовании его радиолокационного отклика. Особенностью задачи является невозможность прямого контроля положения объекта через механизм его привода, а использование дополнительных датчиков положения также недопустимо. Цель данного исследования - определение возможности практического использования оптических маркеров для решения задачи, а также оценка качественных характеристик распознавания маркеров различного типа. Материалы и методы. Решение задачи было достигнуто использованием методов контроля положения объекта по оптическим маркерам путем анализа изображения объекта. При этом использованы адаптированные под задачу функции библиотеки машинного зрения OpenCV и общие элементы теории машинного зрения. Также выбрана аппаратная платформа, обеспечивающая автономное исполнение устройства с учетом необходимой производительности. Результаты. В ходе работы произведен выбор пригодных к использованию типов оптических маркеров и получены качественные характеристики определения координат маркеров в разных условиях наблюдения. Проведена адаптация функций библиотеки для работы с выбранными маркерами. Проведен анализ скоростных характеристик системы при работе на выбранной аппаратной платформе. Выводы. Проведенные исследования доказали возможность практического использования оптических маркеров для решения задачи, а также позволили выбрать наиболее подходящий тип маркеров. Выбранная аппаратная и программная платформа обеспечивает возможность решения задачи в реальном времени.
Ключевые слова: оптические маркеры, распознавание образов, угловое положение, радиолокация, веб-камера, реальное время, центр масс оптического маркера, алгоритмы слежения, библиотека OpenCV.
Abstract. Background. Pattern recognition systems are increasingly being used in modern technology. Development of theoretical basis of image processing and the widespread use of free and open source libraries makes possible the use of new solutions in a variety of applied problems. One of these tasks is to determine the angular position of the object in the study of his radar response. A feature of the problem is the impossibility of direct control of the position of the object through its drive mechanism, and the use of additional position sensors are also unacceptable. The purpose of this study - the definition of the possibility of practical use of optical markers to solve the problem, as well as the evaluation of the qualitative characteristics of the recognition of different types of markers. Materials and methods. Solution of the problem was achieved using the methods of control of the object on the optical markers by analyzing the image of the object. This used adapted
to the task of computer vision library OpenCV functions and common elements of machine vision theory. Also selected a hardware platform that provides a standalone performance of the device taking into account the required performance. Results. The work produced by the choice of usable types of optical markers and obtained quality characteristics determine the coordinates of the markers in different viewing conditions. Spend a library of functions for adapting the selected markers. The analysis of high-speed system performance when running on the selected hardware. Conclusions. Studies have demonstrated the possibility of the practical use of optical markers to solve the problem, but also allowed to choose the most suitable type of markers. A selected hardware and software platform provides the ability to solve problems in real time.
Key words: optical markers, pattern recognition, angular position, radar, webcam, real time, the center of mass of optical marker, tracking algorithms, OpenCV library.
Актуальность задач распознавания образов не вызывает сомнения. Современные технические средства уже широко используют подобные технологии в рамках классификации изображений, слежения за объектами, распознавания образов и т.д. Однако практические аспекты реализации подобных задач зачастую являются интеллектуальной собственностью фирм-разработчиков этих устройств.
Традиционно задачи распознавания образов относят к области искусственного интеллекта. Основным направлением разработки систем распознавания образов (СРО) является развитие теории и методов построения устройств, предназначенных для решения отдельных задач в прикладных целях.
Одной из задач является юстировка видеокамеры угловой поправки радиолокационного комплекса (рис. 1) [1]. В рамках рассмотренной в [1] и [2] задачи уже решался вопрос начального позиционирования видеокамеры по известному азимутальному углу троса подвеса.
Введение
1. Юстировка видеокамеры угловой поправки радиолокационного комплекса
Рис. 1. Исследуемый объект на тросе подвеса
Объект или его модель подвешивается к тросу, натянутому между опорами, и может вращаться за счет растяжек, прикрепленных к поворотному диску, установленному внизу объекта. Задачей разрабатываемой системы является определение углового положения объекта в пространстве в процессе его вращения с помощью поворотной платформы. Учитывая отсутствие жесткости подвеса объекта и особенности измерительного комплекса, заметим, что не существует иной возможности определения этого параметра, чем визуальное наблюдение и распознавание положения объекта в потоке видеоданных в реальном времени.
Подобные задачи весьма часто встречаются и в специализированных установках, например в установках определения развала-схождения колес автомобиля [3, 4]. Причем каждая задача имеет собственную специфику и зачастую требует индивидуального подхода в реализации, что подтверждается наличием множества электронных площадок для обмена опытом, открытыми проектами и разработками (например, http://recog.ru/).
2. Определение углового положения объекта по его изображению
Для определения углового положения произвольного объекта по его изображению с видеокамеры возможны различные варианты. Например, возможна фиксация оптического образа некоторого конструктивного элемента объекта с последующим слежением за ним. Такие решения набирают популярность вследствие их универсальности. Однако реализация в этом случае значительно усложняется из-за наличия множества возмущающих факторов [5]. Недостатком данного решения является к тому же вариабельность выбора элементов слежения и, как следствие, влияние на точность результата. Это приводит также к усложнению программного обеспечения системы.
Наиболее приемлемым вариантом видится использование специализированных оптических маркеров, позволяющих унифицировать алгоритмы слежения за объектом и повысить точность измерения. Возможность их использования подтверждается и в работах авторов [6]. Маркеры не вносят изменения в исследуемые характеристики объекта и могут быть расположены в наиболее характерных точках объекта. Для определения углового положения объекта используются два маркера, через которые строится прямая, угол которой определяется в системе координат изображения камеры. Размеры маркеров должны быть минимально достаточными для устойчивого распознавания и снижения влияния геометрии объекта.
Очевидно, что характеристики системы в этом случае будут определяться выбранным типом маркеров и алгоритмами их выделения на изображении. Выбор точек проведения прямой через маркеры также может значительно повлиять на точность результата. Искривление поверхности объекта может в свою очередь приводить к искажению изображения маркера, что требует дополнительной оценки влияния этого параметра. Также при выборе типа маркеров необходимо учитывать допустимое разрешение изображения с видеокамеры для обеспечения обработки информации в реальном времени. Надо отметить, что требование реального времени может привести к значительному ограничению методов выделения и слежения за маркерами. В работах [7] и [8] показаны варианты снижения вычислительной трудоемкости операций сопровождения объектов на изображениях.
В связи с высокими требованиями к точности измерения углового положения объекта были проведены эксперименты, которые позволили определить качественные характеристики применения различных маркеров и выявить проблемные места системы.
3. Распознавание маркеров
Для распознавания маркеров и определения угла положения объекта использовалась бесплатная библиотека OpenCV. OpenCV - это библиотека алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего назначения с открытым кодом, реализованная на C/C++ и позволяющая функционировать на различных аппаратных платформах [9]. В качестве аппаратной платформы была выбрана связка из видеокамеры Logitech HDPro Webcam C920 (разрешение HD720) и платы OdroidX2 с установленной операционной системой lubuntu 12.10. Выбор платформы OdroidX2 обусловлен требованием мобильности реализации системы. Плата укомплектована четырехядерным процессором Samsung Exynos 4412 1.7GHz (ARM Cortex-A9), видеоакселератором Mali-400 (Quad-core, 440MHz, поддержка декодирования видео 1080p) и 2 Гб ОЗУ. Связь видеокамеры с платой обработки осуществлялась по интерфейсу USB 2.0.
В качестве исследуемых были выбраны следующие типы маркеров (рис. 2):
1) aztec-маркер;
2) графический черно-белый маркер (предложен заказчиком);
3) цветные маркеры (HSV).
а) б) в)
Рис. 2. Исследуемые виды маркеров: а - aztec; б - графический черно-белый; в - цветные маркеры HSV
Учитывая опыт трекинга объектов [10, 11], а также общие элементы теории машинного зрения [12], для каждого типа маркеров были адаптированы алгоритмы распознавания библиотеки OpenCV. После чего проведено исследование точности определения центра маркера при воздействии различных возмущающих факторов (освещение, удаленность от камеры, цвет основного объекта и др.), а также проведен ряд экспериментов для определения углового положения объекта с измерением производительности системы распознавания.
При экспериментах используемая веб-камера была закреплена на штативе и направлена на вращающийся диск с угловой разметкой, расположенный внизу. Цвет диска - белый. На диск наклеены маркеры с расстоянием
между центрами 20 см. Расстояние от диска до камеры варьируется от 60 до 150 см. Использовалось светодиодное освещение. Результаты экспериментов приведены в табл. 1.
Таблица 1
Параметр/маркер Aztec Черно-белый HSV
Размер маркера [см] / цвет 3x3 / черный 3x3 / черно-белый 3x3 / салатовый и синий
Точность определения центра маркера в статическом состоянии («дрожание»), проценты к размеру маркера 0 0,5 % 9 %-14 %*
Погрешность определения угла объекта, град 0,01-0,05 0,005-0,01 0,2-0,7
Чувствительность к освещенности (уменьшение освещения / процент нахождения маркера в кадре) в 2 раза в 3 раза в 4 раза 97 % 80 % 52 % 98 % 87 % 64 % 70 %** 41 %** 24 %**
Расстояние до маркера, см / процент нахождения маркера в кадре 30 / 100 % 40 / 90 % >50 / 1-5 % 30 / 100 % 40 / 100 % >100 / 100 % 30 / 100 % 40 / 100 % >100 / 90 %***
Влияние фона объекта (темный / светлый, %) 50 /100 80 /100 100 /100
Максимальная производительность слежения при разрешении ИБ 720 (кадр/с) до 23 до 30 до 30
Примечания:
* - необходимо подстраивать или освещать маркеры;
** - необходима коррекция по HSV-параметрам для стабилизации;
*** - используется настройка цвета искомых маркеров.
Aztec-маркер состоит из QR-кода с зашифрованным символом. Данный маркер хорошо распознается тестовой системой и имеет довольно высокие качественные показатели. Кодирование символа маркера позволяет работать по всей окружности на 360°, т.к. маркер является несимметричным. Aztec-маркер имеет следующие недостатки:
- не допускает сильного искажения изображения, т.е. его деформацию (например при изгибе), т.к. происходит сбой распознавания; имеются варианты коррекции данных искажений [13], применение которых несколько увеличит сложность реализации;
- работает на небольшом расстоянии, порядка 50-80 см с учетом хорошей видимости и четкости маркера; данный маркер требует весьма высокого оптического разрешения, что может привести к недопустимо высокой вычислительной нагрузке с учетом обработки в реальном времени.
Графический черно-белый маркер представляет собой окружность с черно-белыми секторами по 90°. Отсутствие мелких элементов позволяет
увеличить дальность обнаружения. В то же время при определении центра масс необходимо учитывать наличие геометрических искажений окружности, что может привести к существенной погрешности определения углового положения. Снизить данную погрешность возможно реализацией специального алгоритма нахождения центра окружности.
Цветовой маркер HSV представляет собой окружность, залитую однотонным цветом. Отсутствие каких-либо элементов внутри маркера позволяет сделать его минимально возможного размера, что позволит избежать деформации маркера при наклеивании на изогнутые объекты. Центр распознаваемого маркера определяется как центр масс распознанных точек и находится стандартными функциями, предоставляемыми библиотекой OpenCV. Использование разных цветов позволит работать в диапазоне 360° измерения углового положения.
Важным требованием к устойчивости распознавания данного вида маркеров является сбалансированность светового освещения.
Анализ результатов показывает, что необходимыми условиями для успешного решения задачи являются:
- контрастный фон маркера по отношению к цвету объекта;
- качественное освещение (желательно без мерцания 50 Гц) - рекомендуется светодиодное освещение;
- предварительная настройка системы на используемый маркер и условия измерений;
- качественный объектив камеры (или камера с лучшими характеристиками).
Заключение
На основе проведенных исследований можно сделать вывод о том, что использование маркеров является возможным и наиболее простым методом определения положения объекта в рамках поставленной задачи. Однако с учетом имеющихся ограничений целесообразно применять черно-белые маркеры с несложной внутренней структурой, позволяющей однозначно определить точку для построения прямой. Из исследованных маркеров этому условию удовлетворяет второй тип маркера (рис. 2,6). Тем не менее Aztec-маркеры или их производные также могут быть использованы при условии снижения требований оптического разрешения и вычислительной сложности алгоритмов.
Список литературы
1. Быков, П. В. Задача юстировки видеокамеры угловой поправки радиолокационного комплекса / П. В. Быков, С. С. Драньков, А. Р. Хабаров, Д. А. Лапшинов // Современные информационные технологии в управлении качеством : сб. ст. II Меж-дунар. науч.-приклад. конф. - Пенза, 2013. - С. 24-25.
2. Быков, П. В. Способы решения задачи юстировки видеокамеры угловой поправки радиолокационного комплекса / П. В. Быков, С. С. Драньков, А. Р. Хабаров, Д. А. Лапшинов // Современные информационные технологии в управлении качеством : сб. ст. II Междунар. науч.-приклад. конф. - Пенза, 2013. - С. 25-28.
3. Смеян, А. Трехмерная технология. Ч. 1 / А. Смеян // Автомобиль и Сервис. - 2007. -№ 5 - С. 56-57.
4. Смеян, А. Трехмерная технология. Ч. 2 // Автомобиль и Сервис. - 2007. - № 7. -С. 16-18.
5. Захаров, А. А. Алгоритм определения положения и ориентации трехмерных объектов по видеоизображениям на основе вероятностного подхода / А. А. Захаров, А. Ю. Тужилкин, А. С. Веденин // Фундаментальные исследования. - 2014. -№ 11-8. - С. 1683-1687.
6. Тымкович, М. Ю. Проблемы оптической регистрации положения маркеров в хирургической навигационной системе / М. Ю. Тымкович, О. Г. Аврунин, А. И. Бых // Функциональная база наноэлектроники : сб. науч. тр. V Междунар. науч. конф. (30 сент. - 5 окт. 2012 г.). - Кацивели : ХНУРЭ, 2012. - С. 298-301.
7. Титов, И. О. Выделение контуров изображения движущегося объекта / И. О. Титов, Г. М. Емельянов // Вестник Новгородского государственного университета. -2010. - № 55. - URL: http://cyberleninka.ru/article/n/vydelenie-konturov-izobrazheniya-dvizhuschegosya-obekta (дата обращения: 07.04.2015).
8. Сакович, И. О. Обзор основных методов контурного анализа для выделения контуров движущихся объектов / И. О. Сакович, Ю. С. Белов // Инженерный журнал: наука и инновации. - 2014. - Вып. 12. - URL: http://engjournal.ru/ catalog/it/hidden/1280.html
9. Baggio, D. L. Mastering OpenCV with practical computer vision projects / D. L. Bag-gio. - Packt Publishing Ltd, 2012.
10. Захват и отслеживание удаленных объектов в видеопотоке / А. Н. Алфимцев, Н. А. Демин // Инженерный журнал: наука и инновации. - 2013. - Вып. 11. - URL: http:// engjournal.ru/catalog/it/hidden/1049.html
11. Müller, M. Motion templates for automatic classification and retrieval of motion capture data / M. Müller, T. Röder // Symposium on Computer Animation - SCA. - Vienna, Austria, 2006. - P. 137-146.
12. Snyder, W. E. Machine Vision / Wesley E. Snyder, Hairong Qi. - Cambridge University Press, 2004.
13. Кручинин, А. Ю. Распознавание 2D бар-кодов с видеокамеры на мобильном устройстве на примере Aztec Code / А. Ю. Кручинин // Материалы Международной научной конференции, посвященной 55-летию Оренбургского государственного университета (14-15 октября 2010 г., Оренбург) / Оренбург. гос. ун-т. -Оренбург : ГОУ ОГУ, 2010. - URL: http://vidikon.com/doc/text1009.pdf
Быков Павел Викторович
кандидат технических наук, доцент, кафедра электронных вычислительных машин,
Тверской государственный технический университет
E-mail: pavel.bykov73@yandex.ru
Bykov Pavel Victorovich candidate of technical sciences, associate professor, sub-department of computer, Tver State Technical University
Абу-Абед Фарес Надимович
кандидат технических наук, доцент, кафедра электронных вычислительных машин,
Тверской государственный технический
университет
E-mail: aafares@mail.ru
Abu-Abed Fares Nadimovich candidate of technical sciences, associate professor, sub-department of computer, Tver State Technical University
УДК 621.396.969.181.34 Быков, П. В.
Использование оптических маркеров в системе управления угловым положением объекта / П. В. Быков, Ф. Н. Абу-Абед // Модели, системы, сети в экономике, технике, природе и обществе. - 2016. - № 2 (18). - С. 128-135.
