CC BY
17
УДК 004.93*11 РС! 10.21661/Г-559453
Алексей И.Т.,Корсунов Н.И.
Метод распознавания объектов в системах технического зрения роботов
В статье предлагается метод, обеспечивающий минимизацию затрат ресурсов, имеющий инвариантность к поворотам, так как объекты могут находиться в случайном положении. Для сокращения временных и аппаратных затрат при обеспечении инвариантности к положению объекта прилагается для задания контура использовать особые ключевые точки. Линия, связывающая две соседние особые ключевые точки задает ось автономной декартовой системы координат, в которых определяется точки экстремумов. Количество сегментов, координат и положение в них точек экстремумов представляется решающим правилом распознавания объекта. Эти архитектуры являются универсальными, поэтому их можно использовать для создания ряда модулей для более крупной системы (например, для распознавания объектов, ключевых точек и модулей обнаружения объектов в системе технического зрения роботов). По мере того, как все больше и больше используются мобильные роботы и, как правило, самоуправляемые машины, такие как квадрокоптеры или дроны системы распознавания объектов становятся все более важными.
■ Ключевые слова: распознавание объекта, ключевые точки, сегментация, классификация, кластеризация.
Введение. Задача распознавания объектов является актуальной [1; 2]. Широко известные методы распознавания (классификации и кластеризации), имеют несколько подходов: метод ключевых точек; аппроксимация контуров; распознавание по контуру. Все методы объединены существенными недостатками: чувствительны к поворотам объекта, в реальном мире объекты могут находиться в случайном положении [3]. Глобальные нейросети требуют при реализации большого количества вычислительных мощностей или времени [4; 5]. С целью оптимизации процесса вычислений и сокращения требований к вычислительным системам, применяемым в робототехнике, позволяющим в реальном времени распознавать объекты, предлагается применение особых ключевых точек, расположенных на контуре изображения объекта.
Основная задача, которую необходимо решить, это задача кластеризации объектов по контурам изображений. Выработать меру близости объектов, для отнесения анализируемого объекта к тому или иному образу базы данных объектов. Провести анализ известных методов и выделить критерии методов, которые возможно оптимизировать, с целью повышения производительности системы или снижения времени вычислений. Проведение параллельных вычисления в данном процессе является ключевым показателей эффективности метода распознавания, что должно учитываться в процессе оценки существующих методов и разработки новых. Объекты и методы исследования Целью исследования изложенного в статье, являлось обоснование метода распознавания объектов по контурам их изображений, обеспечивающего простую реализацию в системах технического зрения роботов.
Метод основан на введении сегментов контуров изображений и использовании в сегментах минимального числа точек для классификации объектов.
Сегментация контура связана с построением его сегментной схемы, представляемой замену ей кусочно-линейной ломаной. Точки через которые осуществляется сопряжение двух соседних прямых назовем особыми ключевыми точками, а линию контура, проходящую через две соседние особые ключевые точки назовем сегментом контура.
В методе ключевых точек сегментов не выделяется [6], так как линия контура должна проходить через все точки с наибольшим количеством пикселей в некоторой ее окрестности [7], что приводит к чрезвычайно длинному вектору задания контура, учитывающем направление линии контура в каждой из точек [8; 9]. В отличии от этого метода предлагается определять особые ключевые точки по смене направления линии контура относительно оси абсцисс декартовой прямоугольной системы координат, то есть при переходах из правой в левую систему координат и наоборот.
Сегментация линии контура на основе выделения особых ключевых точек обеспечивает инвариантность к аффинным преобразованиям изображения получаемого при случайных положениях объекта в пространстве, в следствии независимости расположения особых ключевых точек относительно друг друга.
Результаты и их обсуждение
Определение особых ключевых точек выполняется при шаговом обходе контура, например, в правой прямоугольной декартовой системе координат, по часовой стрелке. На каждом шаге вычисляется приращение аргумента и знак приращения.
ДХ, = Хм - X, > О + Е (1)
здесь Хг+1, X, - значение аргумента на i+1и ьм шагах, Е - нами заданная малая величина, соответствующая ширине окна, измеряемая в пикселях,
ДХ, - приращение аргумента.
Если для i=k, L выполняется (1), то внутри и на границах интервала нет особый ключевой точки и выполняется переход к следующему шагу.
А так как по определению особая ключевая точка соответствует переходу из правой системы координат в левую и наоборот, то она фиксируется значением (Х,У)
по изменению знака АХ, в (1) так что если
АХ, = X+1 - X < О - Е (2)
После фиксации особой ключевой точки по переходу из правой в левую систему координат, в последней продолжается обход контура и как только выполняется (1) фиксируется следующая особая точка. Процесс продолжается до тех пор, пока на очередном шаге выполнится возврат в точку контура с которой начался обход.
Для определения множества особых точек на контуре используется алгоритм «Жука» [10].
После того как «Жук» вернулся в начальную точку контура, из которой он начал обход соседних особых ключевых точек соединяются прямыми, каждая из которых принимается за ось абсцисс автономной декартовой прямоугольной системы координат.
Так как часть контура, между соседними особыми ключевыми точками представляется сегментом, то контур можно характеризовать точками экстремумов в сегменте. Это позволяет наиболее просто решить задачу кластеризации объектов по контурам изображений. Контуры, содержащие одинаковые количество сегментов с одинаковым количеством экстремумов в соответствующих сегментах, будем относить к одному классу. Тогда контуры объекта можно представить последовательностью сегментов в виде множества
£ = {я1, ^2, 5з,---, Ят }
элементы которого описываются отношением порядка, а каждый из сегментов характеризуется числом экстремумов так, что множество
N = {^ п^ nз,..., пт }
элементы которого п, представляются целыми числами. При этом элементы множества S и N связаны друг с другом отношением импликации я, ^ п,
£ ]
Объекты с контурами изображений ° > ° относятся к одному классу, если для пары ( £ , Ni ) из множества £ существует эквивалентная пара ( £]2, ^ ) для всех I
В соответствии с изложенным, метод кластеризации объектов включает:
1) определение особых ключевых точек на контуре изображения в порядке их следования;
2) определение количества сегментов на контуре;
3) задание автономных декартовых координат в каждом сегменте;
4) определение количества точек экстремумов линии контура в каждом отдельном сегменте;
5) кодирование множества пар , Nj )количества сегментов и в нем количества экстремумов линии контура;
6) создание базы данных контуров изображений заданных объектов;
В соответствии с выбранной мерой близости отнесение объекта к тому или иному объекту базы данных.
В качестве меры близости можно принять минимум количества сегментов, в которых число точек экстремумов отличается от одного из эталонных при одном и том же количестве сегментов. Очевидно, два контура изображения объекта с разным количеством сегментов не могут принадлежать одному классу. Количество экстремумов всегда целое число, поэтому в каждом из сегментов число экстремумов определяется из сравнения N¿ по модулю N,J число экстремумов в контуре в j-сегменте классифицируемого изображения к, число экстремумов контура заданного изображения в j-м сегменте из базы данных.
В отличие от кластеризации аналогичных правилам Хэбба [11] или сетями Хопфилда [12] представленный методом позволяет уменьшить количество нейронов за счет упрощения модели объекта без потери информативности.
Заключение
Предложенный метод кластеризации объектов является достаточно простым по сравнению с известными и позволяет значительно сократить время поиска объекта в базе данных наиболее близкого к рассматриваемому за счет выполнения параллельного действия во всех сегментах. Поток не зависит от выбора начального сегмента, что является существенным достоинством данного метода кластеризации.
Задача кластеризации является первым этапом распознавания объекта по контурам изображений в робототехнических системах. Следующим этапом является решение задачи классификации [13].
Если при кластеризации показателями контура изображения объекта служили количество сегментов и количество экстремумов точек на линии контура в каждом из сегментов, то в задаче классификации необходимо в качестве характеристик контура изображения объекта пользоваться количественными характеристиками экстремальных точек. Такими характеристиками могут служить координаты экстремальных точек в автономных системах координат отдельных сегментов. Если принять, что классифицируемые объекты одинаковы и имеют одни и те же координаты экстремальных точек в сегментах для всех объектов одного из классов, то для классификации объекта по контуру изображения достаточно сравнить множества векторов, элементами которых служат координаты по оси абсцисс каждого отдельно сегмента. Решение об отнесении объекта к одному из базы данных принимается по оценке меры близости аналогичных координат экстремальных точек. В качестве меры близости можно воспользоваться Евклидовым расстоянием сравниваемых контуров по оси абсцисс в каждом из сегментов, а затем построить двоичный вектор, еди-
ничные компоненты которого определятся соответствием точек экстремумов в рассматриваемых сегментах и, пользуясь расстоянием Хэмминга, отнести объект к соответствующему из базы данных.
Если же сравниваемые объекты имеют разное количественные данные о положении экстремальных точек в соответствующих сегментах, то сравниваются пары (х1 , у1 ) координат в j-ом сегменте для точки i. Для сравнения для векторов X1 в сравниваемых объектах выбирается отображение этого вектора векторами у1 и определяется сходство объектов по векторам У1 Затем для векторов У1 выбираются соответствующие отображения X1 и определяется сходство объектов по векторам X1 Если в соответствии с выбранной матрицей вектора эквивалентны, то объекты относят к соответствующему объекту из базы данных.
При использовании ассоциативной памяти потеря части информации или ее информационное зашумле-
ние не приводит к катастрофическому ограничению, если оставшейся информации достаточно для извлечения поиска эквивалентного образа в базе данных [14].
Таким образом, предложенный метод распознавания объектов по контурам изображения, включает два этапа: кластеризация и классификация, использующим разные признаки контуров изображений, является достаточно простым и быстродействующим, что позволяет использовать его в системах технического зрения роботов.
Наконец, мы должны иметь в виду, что системы обнаружения объектов потребуются для дронов или роботов, которые исследуют ранее неисследованные регионы, такие как глубокие океаны или другие планеты, и что эти системы должны будут подбирать новые классы предметов, ранее не наблюдавшиеся в лабораторных условиях, при их обнаружении.
Литература
1. Jiang X. A review of multimodal image matching: Methods and applications / X. Jiang, J. Ma, G. Xiao [et al.] //Information Fusion. - 2021. - Т. 73. - P. 22-71.
2. Leng C. Local feature descriptor for image matching: A survey / C. Leng, H. Zhang, B. Li [et al.] // IEEE Access. - 2018. - Т. 7. -P. 6424-6434.
3. Павельева Е.А. Обработка и анализ изображений на основе использования информации о фазе / Е.А. Павельева // Компьютерная оптика. - 2018. - Т. 42. №6. - С. 1022-1034.
4. Biryukov A. Neural network clustering methods to evaluate the totality of taxpayers according to their degree of creditworthiness // Artificial societies. - 2017. - V. 12. Issue 1-2 [Electronic resource]. - Access mode: https://artsoc.jes.su/s207751800000103-2-1/ - DOI 10.18254/S0000103-2-1 (accessed 03.04.2023).
5. Cui S. A Novel Robust Feature Descriptor for Multi-Source Remote Sensing Image Registration / S. Cui, Y. Zhong, A. Ma [et al.] // IEEE International Geoscience and Remote Sensing Symposium (IGARSS). - 2019. - P. 919-922.
6. Barroso-Laguna A. Key.Net: Keypoint detection by handcrafted and learned CNN filters / A. Barroso-Laguna, E. Riba, D. Ponsa, K. Mikolajczyk // Proceedings of the IEEE/CVF International Conference on Computer Vision. - 2019. - P. 5836-5844.
7. Tikhonova V.A. Hybrid Iris Segmentation Method Based on CNN and Principal Curvatures / V.A. Tikhonova, E.A. Pavelyeva // CEUR Workshop Proceedings. - 2020. - Vol. 2744. P. 31. - P. 1-10.
8. Protsenko M.A. Iris Image Key Points Descriptors Based on Phase Congruency / M.A. Protsenko, E.A. Pavelyeva // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. - 2019. - Т. 42. №2/W12. - С. 167-171.
9. Райченко Б.В. Практическое применение методов ключевых точек на примере сопоставления снимков со спутника «Ка-нопус-В» / Б.В. Райченко, В.В. Некрасов // Геоматика. - 2013. - №2.
10. Андреев А.Ю. Сегментация символов в изображении модифицированным методом жука / А.Ю. Андреев, С.П. Бобков // Современные наукоемкие технологии. Региональное приложение. - 2014. - №1 (37).
11. Hebb D.O. The Organization of Behavior, Wiley / D.O. Hebb. - New York, 1949.
12. Aggarwal C.C. Neural Networks and Deep Learning. A Textbook / C.C. Aggarwal // Springer International Publishing AG. -2018. - DOI 10.1007/978-3-319-94463-0. - ISBN 978-3-319-94462-3.
13. Haykin S. Neural Networks and Learning Machines / S. Haykin. - 3rd Edition. - Pearson, 2018.
14. Жээнбеков А.А. Метод распознавания изображений на принципах двунаправленной ассоциативной памяти / А.А. Жээн-беков, А.А. Сарыбаева // Евразийский Союз Ученых (ЕСУ). - 2016. - №1 (22). - С. 148-151.
