CC BY
58
Laptev Konstantin Zoteevich, deputy director for innovative questions, [email protected]. ru, Russia, Vladivostok, Far Eastern of Russian Academy of Sciences Institute of Marine Technology Problems,
Babak Alexander Vladimirovich, leading engineer, [email protected]. ru, Russia, Vladivostok, Far Eastern of Russian Academy of Sciences Institute of Marine Technology Problems
УДК 629.584, 004.932.2
СОЗДАНИЕ АППАРАТНО-ПРОГРАММНОГО КОМПЛЕКСА ДЛЯ ПОДВОДНОЙ НАВИГАЦИИ С ИСПОЛЬЗОВАНИЕМ
МАШИННОГО ЗРЕНИЯ
М.С. Катулин, Л.Л. Перевощиков, С.Г. Шумков
Разработан прототип аппаратно-программного комплекса для навигации автономного необитаемого подводного аппарата в терминал с использованием системы машинного зрения. В рамках первого этапа демонстрируется принципиальная возможность реализации такого подхода на примере работы с синтетическим изображением терминала в виде эллиптического объекта. Обнаружение в кадре и определение параметров эллиптических объектов являются важной задачей как машинного, так и компьютерного зрения, находящей широкое практическое применение. Важной составляющей разработки был отказ от использования сторонних библиотек компьютерного зрения в пользу собственных алгоритмов.
Ключевые слова: аппаратно-программный комплекс, навигация, автономный необитаемый подводный аппарат, машинное зрение.
Работа проводилась в рамках разработки аппаратно-программного комплекса (АПК) для навигации в терминал автономного необитаемого подводного аппарата (АНПА) с помощью машинного зрения. Разрабатываемый АПК, состоящий из электронных средств передачи изображения и запрограммированного вычислительного устройства, предназначен для интеграции в системы АНПА, осуществляющие расчет траектории и управление механикой при маневрировании. Движение АНПА к терминалу до его полного появления в области видимости осуществляется при помощи специальных средств наведения. Когда терминал в кадре может быть достоверно обнаружен и идентифицирован, наведение на терминал производится по результатам работы машинного зрения. Дистанция до терминала при наведении по зрению изменяется от нескольких метров до нескольких десятков сантиметров. Известно, что для такого диапазона расстояний прозрачность морской воды практически не влияет на качество получаемого
90
изображения. После отработки алгоритма наведения на терминал с использованием машинного зрения АНПА входит в него самостоятельно по направляющему конусу.
Для надежной работы алгоритмов машинного зрения удобно на изображении объекта выбрать некоторый простой графический примитив, допускающий однозначную идентификацию и достоверное восстановление параметров объекта по его изображению. В данном случае в качестве такого простого графического примитива может служить круглое основание конуса терминала. При этом при попадании терминала в поле зрения телекамеры под углом перспективная проекция на плоскость изображения будет представлять собой плоскую фигуру, состоящую из двух неконцентрических эллипсов.
Обнаружение в кадре и определение параметров эллиптических объектов являются важной задачей как машинного, так и компьютерного зрения, находящей практическое применение, например, для определения положения и ориентации объектов, имеющих круглые особенности в задачах робототехники [1], для калибровки телекамер [2]. Для определения параметров эллипса на изображении существует и продолжает развиваться целый ряд методов. Методы, основанные на преобразовании Хафа [3], использующие представление пикселей контура объекта в пятимерном пространстве параметров эллипса, требовательны как к вычислительным ресурсам, так и к ресурсам памяти. В большинстве реализаций эти методы не устойчивы к шумам и не исключают ложные срабатывания. Методы, основанные на фитировании контура объекта методом наименьших квадратов [4], требуют для надежной работы тщательной подготовки массива пикселей [5], что сильно сказывается на времени расчета. Помимо того, что обе группы методов для работы требуют выделения контура объекта, основанного на расчете градиентов яркости в каждом пикселе изображения, их работа зависит от настройки некоторого числа параметров.
Важной составляющей данной разработки стал отказ от использования сторонних библиотек компьютерного зрения (например ОрепСУ, включающей реализации методов вышеперечисленных групп) в пользу собственных алгоритмов, что позволит оптимизировать точность и время обработки изображения под конкретный процессор АПК. Поскольку целью данной работы является демонстрация принципиальной возможности применения методов машинного зрения для навигации АНПА, вопросы обнаружения терминала в кадре в данной статье не рассматриваются и предполагается, что терминал в кадре найден и идентифицирован. В статье предложен метод определения параметров эллипса на основе выборки пикселей по яркости и обсуждается точность определения параметров изображения терминала. Сходный алгоритм был предложен М. Хаттером и др. для решения задачи восстановления ориентации колес транспортных средств [6].
На данном этапе работы было необходимо разработать комплексное программное обеспечение, состоящее из:
- интерфейса пользователя, предназначенного для демонстрации;
- модуля построения синтетического изображения терминала;
- модуля, реализующего алгоритмы обработки изображения.
Ширина кольца терминала была принята равной 10 % от его внешнего радиуса.
Интерфейс пользователя должен содержать исходное синтетическое изображение терминала, результат работы машинного зрения и элементы управления, позволяющие задавать ориентацию и положение терминала относительно АНПА и скорость движения АНПА к терминалу по рассчитанной траектории.
Для модуля обработки кадров требовалась разработка алгоритма, обладающего простотой и легкостью переноса на платформу целевого вычислительного устройства. Вместе с этим, алгоритм должен обладать достаточным быстродействием и точностью определения параметров положения терминала относительно АНПА не хуже 20 % для дистанции и не более 2 градусов для ориентации в основных рабочих диапазонах.
Расчет траектории движения АППА является сильно упрощенным и служит только для демонстрационных целей. В расчете не учитываются изменения скорости, протяженность АНПА и гидродинамические и механические особенности его управления, поскольку все это выполняется в системах управления АНПА, в которую будет интегрироваться разрабатываемый АПК. Расчет основан на применении кубических сплайнов Эрми-та, позволяющих провести кривую между двумя точками, в которых заданы направления вектора скорости.
Изображение терминала синтезируется в градациях серого цвета (черно-белое изображение) в кадре размером 768х576 пикселей, что соответствует разрешению выдаваемого видеоизображения большинства типов промышленных телекамер. Масштаб был выбран таким образом, чтобы изображение терминала, удаленного на 8 м, имело на изображении форму кольца с внешним диаметром, равным 30 пикселям, а удаленного на 60 см, - 400 пикселям.
Для построения изображения использовалась pinhole модель камеры, позволяющая построить проективную проекцию объекта в трехмерном пространстве на плоскость изображения.
Программная отрисовка изображения терминала выполнялась средствами GDI+, позволяющими использовать возможности сглаживания для устранения эффекта ступенчатости.
После построения изображения терминала для проверки устойчивости алгоритмов к цифровому шуму на кадр может быть наложен шум, изменяющий яркость пикселей по нормальному закону, с величиной, задаваемой через элементы управления интерфейса. Для того, чтобы шум из-
менял яркость пикселей объекта и фона как в большую, так и в меньшую сторону, яркости пикселей объекта и фона были выбраны равными 210 и 150 соответственно.
На случай использования цветной телекамеры перед запуском процедуры определения параметров терминала кадр переводится в градации серого цвета для оптимизации быстродействия, поскольку в этом случае вся работа выполняется в одном цветовом канале. В данной работе выбрана модель PAL, в которой яркость пикселя вычисляется как 0.299R + 0.587G + 0.114B, где R, G, B - красный, зеленый и синий цветовые каналы соответственно.
В условиях задачи изображение терминала представляет собой плоскую фигуру, ограничиваемую двумя неконцентрическими эллипсами. Из-за эффекта перспективы при расположении терминала под углом относительно телекамеры, ширина кольца на изображении не будет одинаковой по всему периметру. В силу малости ширины кольца по отношению к его внешнему радиусу использование методов, основанных на раздельном определении параметров каждого эллипса, является затруднительным. Кроме этого, в конфигурациях, при которых «дальняя» часть кольца терминала изображается в виде тонкой линии, наличие цифрового шума может значительно затруднить расчет параметров (рис. 1).
Рис. 1. Изображение терминала с наложенным шумом
Предлагаемый алгоритм определения параметров изображения терминала основан на идее использования большого числа пикселей, заполняющих площадь внешнего эллипса. На первом этапе изображение разбивается на квадратную сетку со стороной ячейки, равной 6 пикселям, и вычисляются среднее значение и стандартное отклонение яркости пикселей всего изображения. После этого ячейки, средняя яркость пикселей которых
превышает одно стандартное отклонение, помечаются как принадлежащие объекту, а остальные - как не принадлежащие. При этом, используя яркость пикселей ячеек, не отнесенных к объекту, вычисляются среднее значение и стандартное отклонение яркости пикселей фона. Полученное значение яркости пикселей фона позволяет повторно рассмотреть ячейки и пометить как принадлежащие объекту ячейки, не помеченные ранее при использовании яркости всего изображения. Таким образом получается основной набор ячеек, содержащих пиксели объекта. На последующем этапе выполняется заполнение внутренности полученной фигуры из ячеек дополнительными ячейками.
Для выполнения расчетов параметров эллипса используются пиксели основных ячеек, яркость которых превышает среднюю яркость фона на одно стандартное отклонение, и все пиксели дополнительных ячеек. Такой подход с некоторой точностью позволяет свести задачу определения параметров кольца к задаче определения параметров заполненного эллипса. При этом положение центра эллипса может быть вычислено как среднее значение координат отобранных пикселей, а угол наклона и размеры осей - с использованием ковариационной матрицы, составленной из этих же координат.
На последнем этапе по полученным значениям параметров эллипса производится расчет положения и ориентации терминала относительно камеры.
Точность определения параметров расположения терминала определяется точностью расчета параметров эллипса на изображении. Поскольку в применяемом методе определение параметров эллипса в первую очередь зависит от числа принадлежащих ему пикселей, основными источниками погрешностей являются:
- пиксельная дискретизация, проявляющаяся в том, что число пикселей, которые содержит эллипс, не точно соответствует площади эллипса и изменяется при изменении угла наклона эллипса в плоскости кадра;
- при наличии шума число пикселей основных ячеек может отличаться от числа пикселей в них без наличия шума;
- заполнение внутренней области объекта зависит от конфигурации расположения основных ячеек таким образом, что если основные ячейки не полностью охватывают периметр объекта, возможно неполное покрытие площади эллипса дополнительными ячейками.
Погрешности, обусловленные последними двумя источниками, указанными в п.4, зависят от способа выбора пикселей в основных ячейках и от алгоритма построения дополнительных ячеек, в то время как погрешности, обусловленные пиксельной дискретизацией, носят неустранимый систематический характер. По этой причине на данном этапе работы выполнялся анализ точности работы алгоритма только с учетом влияния пиксельной дискретизации. При этом в процедуру обработки передавалось
изображение сплошного эллипса, соответствующего внешнему эллипсу кольца. Изменение положения терминала с произвольной ориентацией в пространстве приводит к тому, что с учетом проективной проекции, кроме положения в плоскости кадра, меняется также эксцентриситет эллипса. Поскольку точность и скорость работы алгоритма не зависят от положения эллипса в кадре, для тестирования была разработана специальная процедура, позволяющая генерировать изображение терминала в произвольной ориентации с центром, совпадающим с центром кадра. В качестве анализируемых параметров эллипса были выбраны размер большой оси, характеризующий расстояние до терминала, угол наклона большой оси эллипса к горизонту и арксинус отношения размеров малой оси к большой, характеризующие ориентацию терминала (при значении арксинуса указанного отношения, равном нулю, плоскость терминала параллельна плоскости изображения, представляющего собой в этом случае круглое кольцо). Тестирование работы алгоритма проводилось для разных значений размеров осей и углов наклона эллипса к горизонтальной оси, что соответствует различным расстояниям до терминала и углам его ориентации.
Определяемыми параметрами тестирования были:
- относительная величина отклонения размера большой оси от исходного;
- отклонение угла наклона изображения терминала к горизонтальной оси от исходного;
- отклонение значения арксинуса отношения размеров малой оси к большой от исходного;
- среднее время обработки кадра.
Результатами тестирования являлись отклонения значений параметров эллипса от исходных и среднее время обработки кадра в зависимости от:
- размера большой оси изображения терминала;
- отношения малой оси к большой;
За отклонение была принята разность между исходным значением параметра и расчетным.
При тестировании размер большой оси изображения терминала задавался значениями 20, 40, 70, 100, 250 и 400 пикселей, что соответствует расстоянию до терминала соответственно 60, 96, 240, 343, 480 и 800 см.
Учитывая тот факт, что эллипс с большим эксцентриситетом может быть обнаружен в кадре только при больших расстояниях до терминала, для каждого значения размера большой оси выполнялось построение эллипсов с фиксированными отношениями малой оси к большой, равными 0,1; 0,5 и 1,0 (круг).
Вследствие влияния эффекта пиксельной дискретизации при построении эллипса в кадре на точность работы алгоритма для каждой пары значений параметров большая ось - отношение размеров малой оси к
большой - была составлена выборка объемом 1000 с углами наклона большой оси к горизонту, выбранными из диапазона от -90 до +90 градусов случайным образом по равномерному распределению.
Тестирование проводилось на ПК с процессором Intel Core i7 с максимальной частотой 3.9 ГГц и оперативной памятью 8 Гб.
Результаты тестирования работы алгоритма показаны на рис. 2-5. Вдоль горизонтальной оси отложен размер большой оси изображения объекта в пикселях. Цветами обозначены результаты для разных отношений размеров малой оси внешнего эллипса к большой: синим, зеленым и красным для отношений осей, равных соответственно ОД; 0,5 и 1,0 (круг). На рис. 2-4 для каждого размера большой оси показаны наибольшие и наименьшие из выборки отклонения значений параметров от исходных в соответствии с определением отклонения.
—1—1—1—1—1—1—1—1—1—1—1—1—1—1—1—1—1—1—1— О 20 40 60 80 100 120 14D 160 180 20D 220 240 26D 280 300 320 340 360 380 400
Размер большой оси, пиксели
Рис. 2. Зависимость относительного отклонения размера большой оси от размера большой оси: 1 - отношение размера малой оси внешнего эллипса к большой, равное 0,1; 2 - равное 0,5; 3 - равное 1 (круг); кривые без штриха соответствуют наименьшему отклонению; со штрихом - наибольшему
Отрицательные значения наибольших отклонений размера большой оси (рис. 2) отражают тот факт, что сглаживание, выполняемое на этапе построения изображения, приводит к избытку пикселей, участвующих в оценке параметров изображения терминала. Для круга диаметром 20 пикселей наибольшее отклонение, равное -5,7 %, соответствует 1.1 пикселям. Для эллипса с отношением осей, равным 0,1, наибольшее отклонение, равное -16,8 %, соответствует 3,4 пикселям.
96
Размер большой оси, пиксели
Рис. 3. Зависимость отклонения угла наклона большой оси к горизонту от размера большой оси: 1 - отношение размера малой оси внешнего эллипса к большей, равное 0,1; 2 - равное 0,5; кривые без штриха соответствуют наименьшему отклонению; со штрихом - наибольшему
Рис. 3, на котором приведены зависимости наибольших отклонений угла наклона большой оси к горизонту, не содержит данных для отношения осей, равного 1,0 (круг), поскольку для крута угол наклона не может быть определен.
О 20 40 во 80 100 120 140 1вО 193 200 220 240 2в0 280 ЗСО 320 340 360 330 400
Размер большой оси. пиксели
Рис. 4. Зависимость отклонения арксинуса отношения размеров малой оси к большой от размера большой оси: 1 - отношение размера малой оси внешнего эллипса к большой, равное 0,1; 2 - равное 0,5; 3 - равное 1 (круг); кривые без штриха соответствуют наименьшему отклонению; со штрихом - наибольшему 97
Рис. 4 показывает, что самые большие отклонения соответствуют кругу. При этом для круга диаметром 20 пикселей наибольшее отклонение в 11,8 градуса соответствует отличию размера малой оси от большой на 0,4 пикселя.
На рис. 5 показаны зависимости среднего времени обработки кадра от размера большой оси и от отношения осей. Приведенное время включает в себя время на преобразование кадра в градации серого цвета. Поскольку работа алгоритма основана на обработке пикселей, принадлежащих изображению терминала, скорость работы должна зависеть от размеров эллипса. Рис. 5 отражает ожидаемое поведение средней скорости обработки, при котором время обработки увеличивается при увеличении числа пикселей, принадлежащих объекту, либо за счет увеличения размера большой оси при постоянном эксцентриситете, либо при уменьшении эксцентриситета при постоянном значении размера большой оси.
Размер большой оси, пиксели
Рис. 5. Зависимость среднего времени обработки кадра от размера большой оси: 1 - отношение размера малой оси внешнего эллипса к большой, равное 0,1; 2 - равное 0,5;
3 - равное 1 (круг)
Приведенные результаты тестирования позволяют сделать следующие выводы:
- точность работы алгоритма уменьшается при уменьшении размера большой оси при постоянном эксцентриситете и при увеличении эксцентриситета при постоянном размере большой оси;
- среднее время расчета кадра зависит от эксцентриситета и от размера большой оси.
Из графиков видно, что при отсутствии шума погрешности определения параметров изображения терминала удовлетворяют заявленным требованиям постановки задачи.
Данная работа показывает принципиальную возможность применения методов машинного зрения для задачи навигации АНПА. Предложенный в работе алгоритм определения параметров эллипса, представляющего собой изображение перспективной проекции терминала с одной стороны, обладает вычислительной простотой и, с другой стороны, достаточной точностью и быстродействием для применения в системах реального времени.
Список литературы.
1. A hierarchical 3D circle detection algorithm applied in a grasping scenario / E. Baseski [et al.] // Proceedings of the 4th International Conference on Computer Vision Theory and Applications. 2009. V. 2. P. 496-502.
2. Direct camera calibration using two concentric circles from a single view / V. Fremont [et al.] // Proceedings of ICAT. 2002. P. 93-98.
3. Patent 3.069.654. US. Method and means for recognizing complex patterns / P.V.C. Hough. 1962.
4. Direct least squares fitting of ellipses / A.W. Fitzgibbon [et al.] // IEEE Transaction on Pattern Analysis and Machine Intelligence. 1998. V. 21. No. 5. P. 476-480.
5. A parameterless line segment and elliptical arc detector with enhanced ellipse fitting / V. Patraucean [et al.] // ECCV(2), Lecture Notes in Computer Science. V. 7573. 2012. P. 572-585.
6. Matching 2-D ellipses to 3-D circles with application to vehicle pose identification / M. Hutter [et al.] // 24th International Conference Image and Vision Computing. 2009. P. 153-158.
Катулин Михаил Сергеевич, инженер, katulm_m@,atommtelmash. ru, Россия, Санкт-Петербург, ООО «Конструкторское бюро «Кибершельф»,
Перевощиков Лев Леонидович, инженер, lev.perev@yandex. ru, Россия, Санкт-Петербург, ООО «Конструкторское бюро «Кибершельф»,
Шумков Сергей Григорьевич, нач. отдела исследований и разработок, ssg. cbsh@,gmail. com, Россия, Санкт-Петербург, ООО «Конструкторское бюро «Кибершельф»
PROTOTYPING OF HARDWARE AND SOFTWARE APPLICATION TO UNDERWATER NAVIGATION USING COMPUTER VISION
M.S. Katulin, L.L. Perevosshikov, S.G. Shumkov
99
The work focuses on prototyping hardware and software application to navigate unmanned underwater vehicle into a port terminal using computer vision system. Within the scope offirst stage, the potential realization of such an approach is demonstrated by working with synthetic image of port terminal in form of ellipsoidal object. Detection in picture and parameter identification of ellipsoidal object are important tasks in computer vision and have wide practical application. The essential outcome of this work is the decision to use our own algorithms instead of external libraries.
Key words: hardware and software application, navigation, unmanned underwater vehicle, computer vision.
Katulin Mikhail Sergeevich, engineer, katulin m a atomintelmash. ru, Russia, Saint Petersburg, LLC "Design-engineering department "Cybershelf",
Perevosshikov Lev Leonidovich, engineer, lev.perevayandex.ru, Russia, Saint Petersburg, LLC "Design-engineering department "Cybershelf",
Shumkov Sergei Grigorevich, chief of researches and developments department, ssg. cbshagmail. com, Russia, Saint Petersburg, LLC "Design-engineering department "Cy-bershelf"
УДК 629.78
ОЦЕНКА ЭФФЕКТИВНОСТИ ВАРИАНТОВ ПОСТРОЕНИЯ СИСТЕМ ЦЕЛЕУКАЗАНИЯ В УСЛОВИЯХ ВОЗДЕЙСТВИЯ ПОМЕХ СПЕЦИАЛЬНОГО ВИДА
С.Б. Беркович, В.Е. Аксенов, Н.И. Котов, Г. А. Мартынюк, Д.В. Смирнов, Д.В. Шолохов, А.Ю.Махаев
Целью статьи является решение задачи формирования уводящих траекторий в структуре спутникового радионавигационного сигнала для интегрированных комплексов целеуказания, обеспечивающих минимальные значения вероятности их распознавания алгоритмами контроля целостности навигационных данных. Представлены механизм формирования структуры и параметров помехи, показатели эффективности их реализации, номограммы для их оперативного расчета при различных условиях и конфигурациях интегрированного комплекса целеуказания. Решения обоснованы методами математического и полунатурного моделирования.
Ключевые слова: интегрированные комплексы, навигация, наведение, целеуказание, вероятность распознавания, алгоритмы контроля целостности навигационных данных.
Технологические возможности повышения точности навигационных датчиков и приборов, обеспечивающих высокоточное автономное позиционирование объектов при безостановочном автономном движении по протяженным маршрутам, на основе реализации методов счисления пути, в настоящее время и на далекую перспективу исчерпаны.
