CC BY
34
Pavlova Valeria Anatolyevna - e-mail: [email protected]; cand. of eng. sc.; Deputy Director of research at Research and production complex of special purpose robotic systems.
Bondarenko Vladimir Alexandrovich - e-mail: [email protected]; Deputy Chief of intellectual image processing center.
Kaplinskiy Gleb Eduardovich - e-mail: [email protected]; chief of applied programming department.
УДК 004.932.72 DOI 10.23683/2311-3103-2019-1-293-306
К.И. Морев
МЕТОД СОПОСТАВЛЕНИЯ ОБЛАКОВ ОСОБЫХ ТОЧЕК ИЗОБРАЖЕНИЙ ДЛЯ ЗАДАЧ ТРЕКИНГА, ОСНОВАННЫЙ НА ИНТУИЦИОНИСТСКОЙ НЕЧЕТКОЙ ЛОГИКЕ
Работа посвящена повышению качества выполнения задачи сопровождения объектов современными робототехническими комплексами. Рассматривается метод сопровождения объектов, основанный на представлении изображений в виде облаков особых точек (далее - ОТ), с применением интуинистически нечеткой логики. Работа с изображениями, представленными в виде облаков ОТ, обусловлена стремлением повысить скорость обработки оптической информации, а использование интуинистически нечетких множеств (далее - ИНМ) призвано приблизить поведение комплекса к мышлению человеческими категориями. Приведен анализ современных методов выделения ОТ на изображениях, их описания и сопоставления, реализованных в библиотеке OpenCV. Даны сравнительные характеристики рассмотренных методов, выбраны наиболее подходящие для поиска и описания ОТ на низкокачественных, зашумленных изображениях. Указаны недостатки рассмотренных методов сопоставления облаков ОТ. Разработанный метод учитывает геометрическую структуру сопровождаемого объекта. А истинность найденных сопоставлений особых точек изображений оценивается категориями близкими к «не совсем точно», «почти точно», «абсолютно точно». Приведены продукции, используемые для осуществления нечеткого вывода. Разработанный метод сопровождения разделен на три этапа. Первый - выделение особых точек на изображениях сопровождаемого объекта и окна поиска. Затем описание окрестностей найденных особых точек для создания уникальных, устойчивых к изменениям угла поворота и масштаба описаний ОТ. И заключительный этап -сопоставление облаков ОТ для определения однозначных соответствий между ОТ изображения объекта и окна поиска. Приведенные результаты экспериментов с предлагаемым методом, а также оценки его устойчивости и скорости работы демонстрируют высокое качество выполнения задачи сопровождения объектов в видеопоследовательности. Разработанный метод обладает высокими показателями устойчивости к изменениям размера объекта, угла его поворота и положения в кадре. Однако метод слабо устойчив к перспективным или проективным изменениям объекта, что компенсируется своевременным обновлением шаблона объекта. В целом приведенный метод призван повысить эффективность применения современных робототехнических комплексов.
Трекинг; сопровождение объектов; особые точки изображения; сопоставление особых точек; интуинистически нечеткая логика.
K.I. Morev
THE METHOD OF FEATURE MATCHING FOR TRACKING TASKS BASED ON INTUITIONISTICS FUZZY SETS
The work is devoted to improving the quality of the solving tracking tasks by modern robotic systems. Considering method of tracking objects based on the representation of images in the features form, and using intuitionistic fuzzy logic. Work with images presented in the form offeatures clouds, due to desire to increase the speed of optical information processing, and the use of intui-
tionistic fuzzy sets (IFS) is trying to make the behavior of the complex similarity to the thinking of human. Presents the analysis of modern methods of detection features, their description and matching, implemented in the OpenCV library. The comparative characteristics of the considered methods are given. The most suitable methods for the detection and description features on the low quality and noisy images selected. The disadvantages of the considered methods of matching presented. The developing method takes into account the geometric structure of the tracked object. The truth feature matches estimated by categories close to "not absolutely correct", "almost correct ", "absolutely correct ". The rules used for fuzzy inference presented. The developing method divided into three stages. The first is the features detection on the images of the tracked object and the search window. Then compute the description of the neighborhoods founded features to create unique, robust to changes in the rotation and scale descriptors of features. The final stage is a feature matching to determine an unequivocal correspondence between features of the object image and the search window. The results of experiments with the proposed method, as well as estimates of its stability and speed demonstrate the high quality tracking objects in video sequence. The developed method has a high robust to the size of the object changes, its rotation and position in the frame. However, the method is weakly robust to perspective or projective changes of the object, which compensated by timely updating of the object template. In general, this method designed to improve the efficiency of modern robotic systems.
Tracking of objects; image features; feature matching; intuitively fuzzy logic.
Введение. Сегодня компьютерное зрение, как область научного знания, активно развивается и предоставляет исследователям большие возможности по реализации их инноваторских идей. Разработка новых методов компьютерного зрения и их внедрение является основным направлением развития современных интеллектуальных комплексов технического зрения. Способность современных робото-технических систем выполнять такие задачи как автоматическое обнаружение, сопровождение, классификация, преодоление препятствий, выбор модели поведения и т.д. является следствием попыток исследователей воспроизвести естественный интеллект на борту машины. Однако для выполнения этих нетривиальных задач компьютеру необходимо анализировать огромное количество информации в режиме реального времени, что накладывает существенные ограничения на возможности по реализации интеллектуального поведения комплексов. Один из методов обработки оптической информации, позволяющий представить изображение в более компактной форме - представление этого изображения в виде облака ОТ. Однако, для наделения системы умным поведением недостаточно одной лишь скорости обработки информации, необходима и интеллектуальная составляющая.
Так автор ИНМ, Казимир Атанасов, разработал богатую математическую базу, позволяющую наделить машину способностью мыслить человеческими категориями. Ведь когда мы хотим поймать брошенный нам мяч, мы не решаем в голове квадратных уравнений для предсказания траектории полета мяча, а только мыслим категориями «дальше - ближе», «левее - правее». От обычных нечетких множеств ИНМ отличаются наличием степени неопределенности, которая позволяет проводить более детальный анализ в сложных условиях.
Решаемая задача трекинга, т.е. сопровождения объекта в видеопоследовательности, заключается в поиске известного шаблона искомого объекта в кадре видеопоследовательности и локализации его центра [1].
1. Современные инструменты работы с ОТ изображений. Особая точка -уникальная, точно локализованная область изображения, обладающая высокой информативностью и уникальностью [2]. Как правило, это углы объектов на изображении, постоянные по яркости пятна (от англ. blob - капля) или области (от англ. region - область) [3-6]. На рис. 1 приведены примеры ОТ разных типов [7].
1
I_I_I_I I
Рис. 1. Пример ОТ изображения. 1 - оригинальное изображение, 2 - уголки,
3 - границы, 4 - регионы
В общем случае, задача сопоставления двух облаков ОТ сводится к нахождению наиболее точных соответствий между описаниями окрестностей (направление градиента яркости, гистограмма яркости и т.д.) двух точек, принадлежащих различным изображениям (рис. 2) [7, 8].
Рис. 2. Пример сопоставления ОТ двух изображений
Весь процесс сопоставления ОТ двух изображений разделяется на три основных этапа:
1) выделение ОТ на изображениях;
2) вычисление описаний этих ОТ;
3) поиск соответствий между ОТ.
Выделение ОТ. В функционале наиболее популярной, по праву занимающей первое место среди исследователей в области компьютерного зрения по многим показателям, открытой библиотеки инструментов компьютерного зрения OpenCV версии 4.0.0 имеются следующие методы выделения ОТ:
1. AGAST 4. FAST 7. MSER 10. SIFT
2. AKAZE 5. GoodFeaturesToTrack 8. ORB 11. STAR
3. BRISK 6. HarrisLaplace 9. SimpleBlob 12. SURF
В целях определения наиболее оптимальных методов выделения и описания ОТ были изучены алгоритмы работы перечисленных методов, а также проанализирована скорость обнаружения ОТ, их количество и устойчивость путем оптического сравнения двух обработанных изображений одного объекта с разных точек наблюдения. Исследование проводилось на платформе с процессором Intel Core i7-920 тактовой частоты 2,66 ГГц и объемом оперативной памяти 4 Гб. На рис. 3 и 4 приведены результаты исследования.
f- -+- + -+- -4 + + 4 *
-+■ -+- + -t
Рис. 3. Время обнаружения одной ОТ, в микросекундах
AG AST AKAZE BRISK FAST GFTT HL MSER ORB SB SIFT STAR SURF
Рис. 4. Повторяемость обнаруженных ключевых точек, указана доля сохранивших
положение точек
Наиболее быстро работающими оказались: FAST, AGAST, STAR, GFTT, BRISK, а самым медленным - MSER.
Устойчивыми к изменению поворота: ORB, BRISK, AGAST, AKAZE, SIFT, STAR, SURF, а наименее инвариантными к повороту: FAST и HL.
Устойчивыми к изменениям масштаба оказались: SIFT, SURF, BRISK, и наиболее чувствительным к изменениям масштаба: FAST.
Описание ОТ. За редким исключением, каждый описанный в OpenCV метод обнаружения ОТ имеет свой собственный метод описания найденной точки. Для описания окрестностей ОТ изображения существуют два основных подхода: выполнение прямого описания окрестности точки или создание бинарного дескриптора. Суть процесса описания особой точки заключается в создании уникального описания окрестности точки, которое позволит найти эту точку на другом изображении исследуемой 3Д обстановки при изменениях ракурса, угла поворота или масштаба. Наиболее быстрыми к вычислению и последующему сравнению являются бинарные дескрипторы, состоящие из набора тестов, сравнивающих яркость пары пикселей в окрестности центра особой точки. Результат сравнения может принимать два значения: 0 или 1, в зависимости от яркостей сравниваемых точек. Таким образом, бинарный дескриптор - строка нулей и единиц конечной размерности (за правило взята размерность 512 бит). Сравнение двух дескрипторов сводится к вычислению операции XOR для двух строк-дескрипторов. Современные процессоры способны выполнить эту операцию в один такт, что значительно ускоряет процесс сравнения бинарных дескрипторов.
Дескриптор с прямым описанием предоставляет более высокую надежность, относительно бинарного дескриптора, однако значительно проигрывает ему в скорости работы.
Сопоставление ОТ. Сопоставление ключевых точек или матчинг (от англ. match - сопоставление) заключается в нахождении пар взаимосоответствующих точек из двух наборов. Соответствие определяется путем сравнения описаний то-
чек (соответствие есть пара точки объекта и точки окна поиска). В библиотеке OpenCV реализованы два различных способа сопоставления: полным перебором и быстрый поиск по индексированному дереву.
Быстрый поиск по индексированному дереву помогает ускорить работу при наличии информации о предполагаемом местонахождении пары для анализируемой точки, т.е. при наличии верной модели движения объекта. Иначе все сводится к поиску методом грубого перебора, когда для каждой точки после сравнения со всеми другими назначается соответствие по принципу минимальной разницы.
Необходимость в новом методе нахождения соответствий возникает в случае решения нетривиальных задач. Например, поиск образа объекта на изображении при больших изменениях масштаба этого объекта, его угла поворота или перспективных изменений (изменений ракурса наблюдения). В результате работы стандартных методов библиотеки OpenCV множество итоговых пар соответствий имеет чрезмерно много ложных соответствий (рис. 5), что не соответствует запросам пользователя [9, 10]. Истинным называется соответствие, назначающее точке из одного изображения эту же точку в другом изображении, вне зависимости от ее смещения в пространстве, изменения яркости или размеров. Ложным же сопоставлением является противоположность истинного.
На рис. 5 обнаружено большое количество ложных соответствий. Каждая желтая линия соединяет две точки разных изображений одного объекта и является соответствием. Присутствуют линии, соединяющие совершенно различные точки 3Д сцены, например, нос кошки и фон. Это вызвано особенностью обычных методов сопоставления - они учитывают только окрестность точки, описание которой создает дескриптор (от англ. description - описывать) и ищут соответствие путем только сравнения окрестностей различных точек. Подобный путь скуден по количеству используемой информации: не учитывается ни взаимное расположение ключевых точек (структура), ни оценка их ожидаемого перемещения, ни информация о принадлежности точек отдельных сегментам на изображении (эти точки находятся на стене, эти на шкафу и т.д.) [11, 12].
Вдохновение к созданию нового метода сопоставления появилось при изучении результатов сопоставления, подобных рис. 5. Изучая соответствия, основанные лишь на описаниях окрестностей точек, часто возникали оценки подобные следующим: «не совсем правильно», «нужно бы немного левее», «чуть ниже - и прямо в точку». В стремлении воссоздать именно человеческие возможности предлагается использование инструментов интуинистически нечеткой логики.
s
Рис. 5. Пример нахождения ложных сопоставлений
2. Интуинистически нечеткие множества. В начале прошлого века Брауэр положил начало направлению интуиционизма [13]. Он предложил математикам отойти от закона исключенного третьего, предложенного Аристотелем. Так, имея предположение А, можно утверждать, что А - истина, А - ложь или что не известно истина А или ложь. По законам логики первого порядка выражение «А V -А» всегда истинно или в рамках Булевой алгебры это выражение всегда «1». В классической нечеткой логике Заде значение истины может принимать значение на отрезке [0,1]. Основное отличие ИНМ от обычных нечетких множеств - наличие степени неопределенности, помимо известных степеней принадлежности и непри-надлежности[13]. Таким образом, ИНМ можно представить в виде [14]:
{ < X,(U (х) ,v (х) ,7Г (х) > | х 6 Е},
где х - элемент множества E, ^ (x) - степень принадлежности элемента ко множеству, v (x) - степень непринадлежности, п(х) - степень неопределенности. Причем:
7г(х) = 1 — (U(x) — v(x). Основное условие ИНМ:
ц (х) + v (х) < 1 , (1)
и если
ц (х) + v (х) = 1 ,
то мы имеем дело с классическим нечетким множеством - частным случаем ИНМ.
Для удобства восприятия ниже приводится геометрическая интерпретация ИНМ [15].
Дано множество E. Рассмотрим треугольник F в декартовой системе координат с вершинами ABC и координатами (0,0), (1,0), (0,1), соответственно. Треугольник F и есть геометрическая интерпретация ИНМ. Пусть А £ Е - фиксированное множество. Тогда мы можем построить функцию fa : Е — F такую, что если х 6 Е, то
р = fA(x) 6 F,
и точка p имеет координаты <a,b> для которых соблюдается 0 < a + b < 1. Тогда координаты <a,b> будут эквивалентны степени принадлежности и степени непринадлежности a = /uA(x), b = vA(x).
Заметим, что два различных элемента х, у 6 Е, х Ф у, для которых ¡iA(x) = pA(y) и vA(x) = vA(y) будут иметь одинаковое значение функции fA(x) = fA(y).
На рис. 6 приведена предлагаемая Атаносовым К. в [13] интерпретация ИНМ в виде равнобедренного прямоугольного треугольника.
С (ОД) Е \
/л
F /\
•
Ых)
А (0,0) ^(х) В (1,0)
Рис. 6. Геометрическая интерпретация ИНМ
3. Предлагаемый подход. Далее будет рассматриваться устойчивый к изменениям угла поворота и изменениям масштаба алгоритм обнаружения искомого объекта в окне поиска (кадре видеопоследовательности) при помощи инструментов интуинистически нечеткой логики. Традиционно, задача сопровождения объекта с использованием ОТ изображений разделяется на три этапа, освященных в разделе 1.
На первом этапе находятся ОТ. Результат выполнения этапа - положения ОТ и их размеры на изображениях эталона объекта и окна поиска.
На втором этапе выполняется описание окрестностей каждой из ОТ и вычисление их ориентации (направления изменения яркости). Результат выполнения этапа - описание окрестности каждой точки инвариантное к изменениям масштаба и угла поворота.
Выбор детектора и дескриптора. По результатам анализа инструментов библиотеки OpenCV, освещенном в разделе 1 данной работы, алгоритм BRISK был выбран как наиболее подходящий для работы при значительных изменениях масштаба, поворота и проекционных изменений в режиме реального времени на зашумленных изображениях.
Метод BRISK предполагает работу с бинарным дескриптором - что значительно ускоряет его работу, а специальная детерминированная структура шаблона для проведения тестов наделяет его высокими показателями устойчивости к изменениям угла поворота и масштаба наблюдаемой сцены.
Третий этап - сопоставление особых точек двух изображений, поиск соответствий. В новом методе предлагается использовать структуру ОТ изображения объекта (расстояния и углы между всеми ОТ изображения) и искать на другом изображении ОТ, расположенные в такой же структуре. Подобный подход значительно повышает устойчивость.
Так, пользуясь методом полного перебора, сравниваются описания окрестностей всех точек. Получаем количественную оценку разницы окрестностей для всех ОТ двух изображений. Полученное множество пар соответствий фильтруется по относительному порогу:
где dif - величина разницы описаний, descjen - длина декскиптора, a match -проверяемое соответствие. Таким образом из всего множества соответствий выбираются пары, различающиеся не более чем на 20% своими описаниями.
Значение разности описаний точек принимается за функцию непринадлежности точек друг ко другу в паре (чем больше значение метрики - тем больше степень несоответствия) и считается степенью ложности соответствия. Вид функции непринадлежности приведен на рис. 7, максимальное значение разницы между описаниями составляет 512 (длина используемого дескриптора). Функция непринадлежности:
где a - дескриптор ОТ в шаблоне объекта из соответствия х, Ь - дескриптор ОТ в окне поиска из того же соответствия, х - оцениваемое сопоставление.
I
' match = true, когда f(dif) > 0,8 ;match = false, когда f(dif) < 0,8'
Далее, для прошедших порог соответствий, вычисляется структура сопоставленных точек: случайно взятое соответствие назначается опорным и каждой точке шаблона и окна поиска назначается расстояние и ориентация (угол) от соответствующей опорной точки.
Расстояние между точками определяется как Эвклидово:
о= ^(ъ-ъУ + съ-ц)2,
где D - величина расстояния, i и) - индексы различных точек, а X и Y - координаты центров ОТ в пиксельном представлении изображений.
Угол между точками определяется как угол между вектором, соединяющим две точки (оцениваемую и опорную) и положительным направлением оси Ox. За начало вектора принимается опорная точка.
На рис. 8 отображен процесс определения структуры. Желтыми линиями изображены соответствия, прошедшие фильтрацию по порогу. Красными - линии определения структуры. Желтыми окружностями изображены центры ОТ. Структура определяется от опорной точки, отмеченной синей звездой, путем определения расстояния и углов ко всем другим точкам, прошедшим фильтрацию по порогу.
Окно поиска Объект
Рис. 8. Пример определения структуры ОТ объекта и окна поиска
Так для обеих точек каждого прошедшего фильтрацию соответствия имеется расстояние и ориентация. Исходя из предположения, что истинное соответствие соединяет одну и ту же точку одного объекта на двух различных сценах, справедливо предположить, что при перемещении объекта в окне поиска, изменении его масштаба и угла поворота, все истинные соответствия образуют кластер одинаково перемещающихся в пространстве точек. Структура точек не нарушится и, следовательно, дистанции и ориентации точек истинных соответствий будут изменяться прямо пропорционально. В идеальном случае истинные соответствия образуют кластер, для которого будет справедливо:
M^istobj M2distobj Mndistobj
Midistnin M2distwin Mndistwin
jangleobj - M^ngle^ = ■■■ = Mnangleobj - Mncmglewin где M^dist0bj и M^distwin - значения дистанций ОТ объекта и окна поиска соответственно из i-го сопоставления, а Mtangle0bj и MtangIе0bj - значения ориента-ций ОТ.
Таким образом, оценивая изменения ориентации и дистанции для истинных соответствий, определяется изменение угла поворота объекта и его масштаба. Изменение дистанции ОТ определяется как отношение ее дистанции в шаблоне к дистанции в окне поиска. А поворот как разница между ориентацией точки в шаблоне и окне поиска. После нахождения истинных соответствий и определения параметров изменения объекта, локализация его центра в окне поиска не составляет особого труда.
Однако, в реальных условиях работы приходится работать с сильно зашум-ленными данными. Шум обусловлен особенностями работы детекторов системы, погрешностями суб-пиксельной локализации центра ОТ и ошибками при сравнении окрестностей ОТ. Исходя из предположения о нормальном распределении шума, истинными будут считаться соответствия, для которых изменения масштаба и ориентации будут находится в пределах:
( &dist ± adist V^angle i ^angle
где 5 - среднее значение, а а - среднеквадратичное отклонение (далее - СКО) для распределения изменений дистанций (dist) и угла поворота (angle).
Т.е. получив изменения дистанции и угла поворота для всех проверяемых соответствий, считается среднее значение 5 и СКО для распределения. При отклонении изменения масштаба или ориентации соответствия от среднего значения более чем на , соответствие считается ложным. А относительное отклонение меньшее а считается степенью принадлежности. Таким образом функция принадлежности или степень истинности имеет вид:
Л \dist-8dist\ \angle - 8апд1е ц(х) = max 1--, 1 -
adist
где dist - изменение дистанции ОТ, angle - изменение ее угла поворота, и
- средние значения распределения изменение масштаба и угла поворота соответственно, а аdi st и aangi е - соответствующие СКО. На рисунке 9 отображена функция принадлежности.
Степень истинности ц(х)
О 0,2 0,4 0,6 0,8 1 1,2
Рис. 9. Функция принадлежности, р.(х)
И так для каждого соответствия определяется степень истинности и ложности.
Однако, согласно свойству (1) интуинистичеки нечеткого множества, значения степени принадлежности и непринадлежности в сумме не должны превышать единицу. А при использовании приведенных выше функций соответствия и несоответствия возможны случаи нарушения упомянутого условия (см. рис. 10 слева).
Рис. 10. (слева) Интерпретация ИНМ при заданных нам функциях ц (х) и v(x). (справа) Преобразованное в корректную форму ИНМ
Для решения этой проблемы использовался подход, предлагаемый Атанасо-вым К., описанный в [17]. Подход заключается в переходе от единичного квадрата, изображенного на рис. 10 слева, к классической треугольной интерпретации ин-туинистически нечеткого множества (см. рис. 10 справа).
Переход осуществляется при помощи непрерывного биективного преобразования:
< 0,0 > , при п = т = 0
F(m,n) =
ттп
<-,-> ,при п,т 6 [0,11 и п>т и п + тф 0
т + п т + п
тп т2
<-,-> ,при п, т 6 [0,11 и п <т и п + т Ф 0
т+пт+п
Далее, применяя приведенное выше преобразование к полученным значениям степени принадлежности и непринадлежности, вычисляются оценки соответствий между парами точек. В конечном итоге, итеративно назначая опорным каждое соответствие, определяются пары взаимосоответствующих точек, сохранивших структуру в наибольшем количестве итераций. Так определяются истинные соответствия, а также параметры изменения масштаба, угла поворота и смещения объекта.
Следующим шагом, для осуществления нечеткого вывода, необходимо обработать полученные оценки соответствий для определения их истинности и ложности [18, 19]. Для этого вводятся следующие правила:
A) Если р,(х) > v(x) + п(х), то соответствие истинно;
Б) Если v(x) > д(х) + п(х), то соответствие ложно;
B) Если д(х) + п(х) > v(x), то проводить дополнительную проверку.
Дополнительная проверка. При выполнении правила «В», из вышеприведенного списка, необходимо провести дополнительное исследование окрестности точки окна поиска из проверяемой пары. Причем здесь рассматриваются два различных случая.
Случай 1:
ц(х) + V (х) < л (х) ,
т.е., значения степеней и соответствия, и несоответствия одновременно стремятся к 0, а значение степени неопределенности стремится к 1. Это говорит о том, что структура особых точек сохраняется слабо, а окрестности совпадают сильно. Что,
в свою очередь, указывает либо на ложность соответствия, либо на изменение формы объекта, нарушившее структуру точек (например, аффинное преобразование с изменением направлений осей). Для устранения неопределенности проверяются особые точки в окружении точек исследуемой пары. Рассматриваются все точки в радиусе Я = 0.25т, где т - наибольший габарит объекта (с применением масштаба, полученного после оценки сохранения структуры особых точек). Если больше половины особых точек, находящихся в оцениваемых областях, соответствуют друг другу - совпадение считается истинным, а объект измененным в окне поиска.
Случай 2:
ц (х) +у (х) > л (х) ,
т.е., значение степени соответствия стремится к 1, а значение степени несоответствия одновременно со значением степени неопределенности стремятся к 0. Что указывает на сохранение структуры объекта при разности окрестностей точек из оцениваемой пары. Подобная ситуация возникает при перекрытии объекта преградами (кроны деревьев, стены, элементы ландшафта и т.д.). В этом случае, для устранения неопределенности, в окрестности особой точки окна поиска производится повторный поиск точки объекта из оцениваемой пары. Радиус области поиска назначается Я = 0.1т, где т - так же наибольший габарит объекта. Если в указанной окрестности обнаружится особая точка, соответствующая точке объекта не менее чем на 80 % - заменить точку объекта из оцениваемой пары новой, только что найденной точкой. Иначе - соответствие считать ложным.
Результаты экспериментов. Разработанный метод сопровождения объектов был реализован на языке программирования С++. С целью оценки устойчивости и скорости работы предлагаемого метода проводились эксперименты. Использовалась платформа, описанная в разделе 1, пункт «Выделение ОТ», данной работы. Экспериментальное видео состояло из вращающегося по часовой стрелке изображения с шагом 5 град./кадр и увеличивался в масштабе на 16 % за кадр. Размер сопровождаемого объекта составлял 150 пикселей в ширину и 100 в высоту. А размеры окна поиска 768х768 пикселей. В ходе экспериментов установлено, что средняя скорость поиска объекта по всему кадру составляет 0,2 сек. Однако при уменьшении окна поиска до 300х300 пикселей достигается работа со скоростью 0,05 сек, что соответствует скорости обработки 25 кад./сек.
Таблица 1
Характеристики устойчивости метода сопровождения
Параметр Оценка
Допустимые изменения угла поворота объекта 0° - 360°
Допустимые изменения масштаба объекта Уменьшение и увеличение более чем в 2 раза
Допустимые изменения положения объекта В пределах всего кадра
На рис. 11 и 12 приведены примеры работы метода сопровождения, основанного на структуре ОТ сопровождаемого объекта. Устойчивость метода к проективным и перспективным изменениям низка, однако может быть повышена путем своевременного обновления шаблона объекта при детектировании малейших искажений.
Окно поиска Объект
Рис. 11. Ложные соответствия и оценка геометрии точек. Красные линии указывают на непрошедшие проверку на сохранение структуры соответствия
Окно поиска Объект
Рис. 12. Результаты фильтрации ложных соответствий, указанных на рис. 11
Заключение. Представленный метод сопоставления облаков ОТ не требует высоких вычислительных мощностей, что позволяет обеспечить его работу в режиме реального времени. А качественная работа метода на зашумленных, низкокачественных изображениях подтверждает возможность его использования в современных системах технического зрения.
Метод слабоустойчив к перспективным и проективным искажениям объекта в окне поиска. Однако регулярное обновление шаблона объекта позволяет устранить эту слабость.
Работа метода основана на оценке истинности соответствий при помощи ин-туинистичеки нечеткой логики. Используемый нечеткий вывод позволяет определить истинность и ложность соответствий с высокой надежностью. Таким образом, использование ИНМ открывает большие возможности по развитию интеллектуальности современных робототехнических комплексов.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Тассов К.Л., Бекасов Д.Е. Обработка перекрытий в задачах отслеживания объектов в видеопотоке // Инженерный журнал: наука и инновации. - 2013. - № 6 (18). - С. 1-18.
2. Kaehler A., Bradski G. Learning OpenCV 3: Computer Vision in C++ with the OpenCV Library // O'Reilly Media. - 2017. - 1024 с.
3. Rublee E., Rabaud V., Konolige K., Bradski G. ORB: an efficient alternative to SIFT or SURF // IEEE International Conference. - 2011. - P. 2564-2571.
4. Leutenegger S., Chli M., Siegwart R. BRISK: Binary Robust Invariant Scalable Keypoints // Computer Vision (ICCV). - 2011. - P. 2548-2555.
5. Calonder M., Lepetit V., Strecha C., Fua P. BRIEF: Binary Robust Independent Elementary Features // 11th European Conference on Computer Vision (ECCV). - 2010. - P. 778-792.
6. David L., Object recognition from local scale-invariant features // Proceedings of the International Conference on Computer Vision. - 1999. - P. 1150-1157.
7. Salahat E., Qasaimeh M., Recent advances in feature extraction and description algorithms: Hardware designs and algorithmic derivatives // Computer Vision: Concepts, Methodologies, Tools, and Applications. - 2018. - 33 p.
8. Bay H., Tuytelaars T., Gool L. SURF: Speeded up robust features // European Conference on Computer Vision. - 2006. - P. 404-417.
9. Bian Lin, Matsushita Yeung, Nguyen Cheng. GMS: Grid-based Motion Statistics for Fast, Ultra-Robust Feature Correspondence // CVPR. - 2017. - 10 c.
10. YangM., Wu Y., Hua G. Context-aware visual tracking // IEEE transactions on pattern analysis and machine intelligence. - 2006. - No. 31. - P. 1195-1209.
11. Stauffer C., Grimson W. Learning patterns of activity using real-time tracking // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2000. - P. 747-757.
12. Sundaresan A., Chellappa R. Multi-camera tracking of articulated human motion using shape and motion cues // IEEE Transactions on Image Processing. - 2009. - P. 2114-2126.
13. Atanasov K. On intuitionistic fuzzy sets theory. - Springer, 2012. - 323 p.
14. Atanassov K. Intuitionistic fuzzy sets // Fuzzy Sets and Systems. - 1986. - No. 20 (1). - P. 87-96.
15. Atanassov K. More on intuitionistic fuzzy sets // Fuzzy Sets and Systems. - 1989. - No. 33 (1). - P. 37-45.
16. Atanassov K. Intuitionistic fuzzy sets and expert estimations // Busefal. - 1993. - No. 55. - P. 67-71.
17. Atanassov K. Remark on a property of the intuitionistic fuzzy interpretation triangle // Notes on Intuitionistic Fuzzy Sets. - 2002. - No. 8 (1). - P. 34-36.
18. Atanassov K. 25 years of intuitionistic fuzzy sets or the most interesting results and the most important mistakes of mine // Advances in Fuzzy Sets Intuitionistic Fuzzy Sets, Generalized Nets and Related Topics. - 2008. - No. 1. - P. 1-35.
19. Atanassov, K. Remark on equalities between intuitionistic fuzzy sets // Notes on Intuitionistic Fuzzy Sets. - 2010. - No. 16 (3). - P. 40-41.
20. Вражнов Д.А., Шаповалов А.В., Николаев В.В. О качестве работы алгоритмов слежения за объектами на видео // Компьютерные исследования и моделирование. - 2012. - No. 2 (4). - P. 303-313.
REFERENCES
1. Tassov K.L., Bekasov D.E. Obrabotka perekrytiy v zadachakh otslezhivaniya ob"ektov v videopotoke [Overlapping solving in tracking tasks], Inzhenernyy zhurnal: nauka i innovatsii [Engineer magazine: science and innovations], 2013, No. 6 (18), pp. 1-18.
2. Kaehler A., Bradski G. Learning OpenCV 3: Computer Vision in C++ with the OpenCV Library, O'Reilly Media, 2017, 1024 p.
3. Rublee E., Rabaud V., Konolige K., Bradski G. ORB: an efficient alternative to SIFT or SURF, IEEE International Conference, 2011, pp. 2564-2571.
4. Leutenegger S., Chli M., Siegwart R. BRISK: Binary Robust Invariant Scalable Keypoints, Computer Vision (ICCV), 2011, pp. 2548-2555.
5. Calonder M., Lepetit V., Strecha C., Fua P. BRIEF: Binary Robust Independent Elementary Features, 11th European Conference on Computer Vision (ECCV), 2010, pp. 778-792.
6. David L., Object recognition from local scale-invariant features, Proceedings of the International Conference on Computer Vision, 1999, pp. 1150-1157.
7. Salahat E., Qasaimeh M., Recent advances in feature extraction and description algorithms: Hardware designs and algorithmic derivatives, Computer Vision: Concepts, Methodologies, Tools, and Applications, 2018, 33 p.
8. Bay H., Tuytelaars T., Gool L. SURF: Speeded up robust features, European Conference on Computer Vision, 2006, pp. 404-417.
9. Bian Lin, Matsushita Yeung, Nguyen Cheng. GMS: Grid-based Motion Statistics for Fast, Ultra-Robust Feature Correspondence, CVPR, 2017, 10 p.
10. Yang M., Wu Y., Hua G. Context-aware visual tracking, IEEE transactions on pattern analysis and machine intelligence, 2006, No. 31, pp. 1195-1209.
11. Stauffer C., Grimson W. Learning patterns of activity using real-time tracking, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, pp. 747-757.
12. Sundaresan A., Chellappa R. Multi-camera tracking of articulated human motion using shape and motion cues, IEEE Transactions on Image Processing, 2009, pp. 2114-2126.
13. Atanasov K. On intuitionistic fuzzy sets theory. - Springer, 2012. - 323 p.
14. Atanassov K. Intuitionistic fuzzy sets, Fuzzy Sets and Systems, 1986, No. 20 (1), pp. 87-96.
15. Atanassov K. More on intuitionistic fuzzy sets, Fuzzy Sets and Systems, 1989, No. 33 (1), pp. 37-45.
16. Atanassov K. Intuitionistic fuzzy sets and expert estimations, Busefal, 1993, No. 55, pp. 67-71.
17. Atanassov K. Remark on a property of the intuitionistic fuzzy interpretation triangle, Notes on Intuitionistic Fuzzy Sets, 2002, No. 8 (1), pp. 34-36.
18. Atanassov K. 25 years of intuitionistic fuzzy sets or the most interesting results and the most important mistakes of mine ,Advances in Fuzzy Sets Intuitionistic Fuzzy Sets, Generalized Nets and Related Topics, 2008, No. 1, pp. 1-35.
19. Atanassov, K. Remark on equalities between intuitionistic fuzzy sets, Notes on Intuitionistic Fuzzy Sets, 2010, No. 16 (3), pp. 40-41.
20. Vrazhnov D.A., Shapovalov A.V., Nikolaev V.V. O kachestve raboty algoritmov slezheniya za ob"ektami na video [About quality of tracking algorithms in video], Komp'yuternye issledovaniya i modelirovanie [Computer investigation and modeling], 2012, No. 2 (4), pp. 303-313.
Статью рекомендовал к опубликованию д.т.н., профессор А.В. Бюженюк.
Морев Кирилл Иванович - Акционерное общество «Научно-конструкторское бюро вычислительных систем» (АО НКБ ВС); e-mail: [email protected]; г. Таганрог, ул. 1-я Линия, 144А; магистрант; программист.
Morev Kirill Ivanovich - Joint Stock Company "Scientific Design Bureau of Computing Systems" (JSC SDB CS); e-mail:[email protected]; Taganrog, street 1 Line, 144A; magister; programmer.
УДК 681.518.22 Б01 10.23683/2311-3103-2019-1-306-316
М.Ю. Бутенко
МЕТОД АППРОКСИМАЦИИ ОБЛАКА ТОЧЕК СТЗ ДЛЯ СТАЦИОНАРНОЙ 2Б СЦЕНЫ
Рассматривается задача кластеризации препятствий по облаку точек лазерного сканера и задача оценки сложности среды мобильным роботом. Разрабатываемый метод использует данные лазерного сканера, потому что такие сканеры позволяют получить информацию об окружающей среде в виде облака точек, используя небольшое количество ресурсов. В данной работе предлагается метод определения контуров препятствий по облаку точек с использованием аппроксимирующих окружностей. Для оценки сложности среды используются метод на основе триангуляции Делоне. В ведении рассмотрены существующие методы для аппроксимации окружностями облака точек и приводятся аргументы доказывающие нецелесообразность их использования. В работе приведена структурная схема системы оценки сложности среды. Приводятся случаи и их характеристики, в которых аппроксимация одной окружностью невозможна, потому что повлечет за собой ряд ошибок и предлагается решение для подобных случаев - постройка по контору препятствия множество окружностей одного радиуса. Так же в статье приводится алгоритм и блок схема разработанного метода аппроксимации облака точек полученной с системы технического зрения для стационарной 2D сцены. Приведены примеры применения метода, подтверждающие его эффективность. Для проверки метода было проведено моделирование в пакете МайаЬ R2017Ь. Моделирование приводится для сцен с препятст-
