CC BY
16
КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНИЕ COMPUTER SIMULATION HISTORY
УДК: 004.93'11
DOI 10.52575/2687-0932-2022-49-4-782-787
Метод распознавания объектов в системах технического зрения роботов
1 Титов А.И., 2 Корсунов Н.И.
1 Общество с Ограниченной Ответственностью «Единая Транспортная Компания» Россия, 308519, Белгородская область, Белгородский район, поселок городского типа Северный,
тер. АТП, зд. 2
2 Белгородский государственный национальный исследовательский университет,
Россия, 308015, г. Белгород, ул. Победы, 85 E-mail: titov@programist.ru, korsunov@intbel.ru
Аннотация. Предлагается метод, обеспечивающий минимизацию затрат ресурсов, имеющий инвариантность к поворотам, так как объекты могут находиться в случайном положении. Для сокращения временных и аппаратных затрат при обеспечении инвариантности к положению объекта предлагается для задания контура использовать особые ключевые точки. Линия, связывающая две соседние особые ключевые точки, задает ось автономной декартовой системы координат, в которых определяется точки экстремумов. Количество сегментов, координат и положение в них точек экстремумов представляется решающим правилом распознавания объекта. Эти архитектуры являются универсальными, поэтому их можно использовать для создания ряда модулей для более крупной системы (например, для распознавания объектов, ключевых точек и модулей обнаружения объектов в системе технического зрения роботов). По мере того, как все больше и больше используются мобильные роботы и, как правило, самоуправляемые машины такие как квадрокоптеры или дроны, системы распознавания объектов становятся все более важными.
Ключевые слова: распознавание объекта, ключевые точки, сегментация, классификация, кластеризация.
Для цитирования: Титов А.И., Корсунов Н.И. 2022. Метод распознавания объектов в системах технического зрения роботов. Экономика. Информатика, 49(4): 782-787. DOI 10.52575/2687-09322022-49-4-782-787
Object Identification Method in Robot Vision Systems
1 Alexey I. Titov, 2 Nikolay I. Korsunov
1 Limited Liability Company "United Transport Company" Russia, 308519, Belgorod region, Belgorod district, urban-type settlement Severny, ter. ATP, bld. 2
2 Belgorod National Research University 85 Pobedy St, Belgorod, 308015, Russia E-mail: titov@programist.ru, korsunov@intbel.ru
Abstract. It is proposed a method object recognition that ensures the minimization of overheads, that has the rotation invariance since objects can be in a random position. To reduce the time and hardware overheads while ensuring object position invariance, it is proposed to use special cue points to define the contour. One could hypothesize that through the application of motion imaging and the availability of
multiple views, recognition of certain objects could become easier. The line connecting two nearly points defines the axis of the autonomous Cartesian coordinate system, in which the extreme points are determined. The number of coordinates and the extreme points position in them seems to be the decisive rule for object identification. These architectures are general-purpose, so they can be used to create a number of modules for a bigger system (e.g., object recognition, key points, and object detection modules of a robot vision system). As mobile robots and generally self-driving machines like quad-copters, drones, and soon service robots, are used more and more, object detection systems are becoming more important.
Keywords: object identification, cue points, segmentation, classification, clustering.
For citation: Titov A.I., Korsunov N.I. 2022. Object Identification Method in Robot Vision Systems. Economics. Information technologies, 49(4): 782-787. DOI 10.52575/2687-0932-2022-49-4-782-787
Введение
Задача распознавания объектов является актуальной [ Leng, at al., 2018; Jiang, at al., 2021]. Широко известные методы распознавания (классификации и кластеризации), имеют несколько подходов: метод ключевых точек, аппроксимация контуров, распознавание по контуру. Все методы объединены существенными недостатками: чувствительны к поворотам объекта, в реальном мире объекты могут находиться в случайном положении [Павельева, 2018]. Глобальные нейросети требуют при работе большого количества вычислительных мощностей или времени [ Biryukov, 2017; Cui, at al., 2019]. С целью оптимизации процесса вычислений и сокращения требований к вычислительным системам, применяемым в робототехнике, позволяющим в реальном времени распознавать объекты, предлагается применение особых ключевых точек, расположенных на контуре изображения объекта.
Основная задача, которую необходимо решить, это задача кластеризации объектов по контурам изображений. Выработать меру близости объектов для отнесения анализируемого объекта к тому или иному образу базы данных объектов. Провести анализ известных методов и выделить критерии методов, которые возможно оптимизировать с целью повышения производительности системы или снижения времени вычислений. Проведение параллельных вычислений в данном процессе является ключевым показателей эффективности метода распознавания, что должно учитываться в процессе оценки существующих методов и разработки новых.
Объекты и методы исследования
Целью исследования, изложенного в статье, являлось обоснование метода распознавания объектов по контурам их изображений, обеспечивающего простую реализацию в системах технического зрения роботов.
Метод основан на введении сегментов контуров изображений и использовании в сегментах минимального числа точек для классификации объектов.
Сегментация контура связана с построением его сегментной схемы, представляемой замену ей кусочно-линейной ломаной. Точки, через которые осуществляется сопряжение двух соседних прямых, назовем особыми ключевыми точками, а линию контура, проходящую через две соседние особые ключевые точки, назовем сегментом контура.
В методе ключевых точек сегментов не выделяется [ Barroso-Laguna, at al., 2019], так как линия контура должна проходить через все точки с наибольшим количеством пикселей в некоторой ее окрестности [ Tikhonova, Pavelyeva, 2020], что приводит к чрезвычайно длинному вектору задания контура, учитывающем направление линии контура в каждой из точек [Райченко, Некрасов, 2013; Protsenko, 2019]. В отличие от этого метода предлагается определять особые ключевые точки по смене направления линии контура
относительно оси абсцисс декартовой прямоугольной системы координат, то есть при переходах из правой в левую систему координат и наоборот.
Сегментация линии контура, на основе выделения особых ключевых точек, обеспечивает инвариантность к аффинным преобразованиям изображения, получаемого при случайных положениях объекта в пространстве, в следствии независимости расположения особых ключевых точек относительно друг друга.
Результаты и их обсуждение
Определение особых ключевых точек выполняется при шаговом обходе контура, например, в правой прямоугольной декартовой системе координат, по часовой стрелке. На каждом шаге вычисляется приращение аргумента и знак приращения.
здесь Х^+1,Х^ -значение аргумента на i+1 и ьм шагах, E - нами заданная малая величина, соответствующая ширине окна, измеряемая в пикселях, АХ^-приращение аргумента.
Если для i=k,L выполняется (1), то внутри и на границах интервала нет особый ключевой точки и выполняется переход к следующему шагу.
А так как по определению особая ключевая точка соответствует переходу из правой системы координат в левую и наоборот, то она фиксируется значением (Х^У^) по изменению знака АХ^ в (1) так что если
после фиксации особой ключевой точки по переходу из правой в левую систему координат, в последней продолжается обход контура и как только выполняется (1) фиксируется следующая особая точка. Процесс продолжается до тех пор, пока на очередном шаге выполнится возврат в точку контура, с которой начался обход.
Для определения множества особых точек на контуре используется алгоритм «Жука» [Андреев, Бобков, 2014].
После того как «Жук» вернулся в начальную точку контура, из которой он начал обход, соседние особые ключевые точки соединяются прямыми, каждая из которых принимается за ось абсцисс автономной декартовой прямоугольной системы координат.
Так как часть контура между соседними особыми ключевыми точками представляется сегментом, то контур можно характеризовать точками экстремумов в сегменте. Это позволяет наиболее просто решить задачу кластеризации объектов по контурам изображений. Контуры, содержащие одинаковые количество сегментов с одинаковым количеством экстремумов в соответствующих сегментах, будем относить к одному классу. Тогда контуры объекта можно представить последовательностью сегментов в виде множества Б = [$1,$2,$3, ...,$т}, элементы которого описываются отношением порядка, а каждый из сегментов характеризуется числом экстремумов так, что множество N = {п1,п2,п3, ...,пт}, элементы которого щ представляются целыми числами. При этом элементы множества S и N связаны друг с другом отношением импликации ^ щ.
Объекты с контурами изображений Б1,Б] относятся к одному классу, если для пары (Б1, И1) из множества 51 существует эквивалентная пара (51, Ы2) для всех ь
В соответствии с изложенным, метод кластеризации объектов включает:
1. Определение особых ключевых точек на контуре изображения в порядке их следования;
2. Определение количества сегментов на контуре;
3. Задание автономных декартовых координат в каждом сегменте;
AXi=Xi+i-Xi>0+E;
(1)
AXi=Xi+i-Xi<0-E;
(2)
4. Определение количества точек экстремумов линии контура в каждом отдельном сегменте;
5. Кодирование множества пар (5^ , ^ ) количества сегментов и в нем количества экстремумов линии контура;
6. Создание базы данных контуров изображений заданных объектов;
В соответствии с выбранной мерой близости отнесем объект к тому или иному объекту базы данных.
В качестве меры близости можно принять минимум количества сегментов, в которых число точек экстремумов отличается от одного из эталонных при одном и том же количестве сегментов. Очевидно, что два контура изображения объекта с разным количеством сегментов не могут принадлежать одному классу. Количество экстремумов всегда целое число, поэтому в каждом из сегментов число экстремумов определяется из сравнения по модулю Ы? число экстремумов в контуре в ]-сегменте классифицируемого изображения к, число экстремумов контура заданного изображения в ]-м сегменте из базы данных.
В отличие от кластеризации аналогичной правилам Хэбба [ИеЬЬ, 1949] или сетями Хопфилда [А§§ата1, 2018] представленный метод позволяет уменьшить количество нейронов за счет упрощения модели объекта без потери информативности.
Заключение
Предложенный метод кластеризации объектов является достаточно простым по сравнению с известными и позволяет значительно сократить время поиска объекта в базе данных за счет выполнения параллельного действия во всех сегментах. Поток не зависит от выбора начального сегмента, что является существенным достоинством данного метода кластеризации.
Задача кластеризации является первым этапом распознавания объекта по контурам изображений в робототехнических системах. Следующим этапом является решение задачи классификации [Наукт, 2018].
Если при кластеризации показателями контура изображения объекта служили количество сегментов и количество экстремумов точек на линии контура в каждом из сегментов, то в задаче классификации необходимо в качестве характеристик контура изображения объекта пользоваться количественными характеристиками экстремальных точек. Такими характеристиками могут служить координаты экстремальных точек в автономных системах координат отдельных сегментов. Если принять, что классифицируемые объекты одинаковы и имеют одни и те же координаты экстремальных точек в сегментах для всех объектов одного из классов, то для классификации объекта по контуру изображения достаточно сравнить множества векторов, элементами которых служат координаты по оси абсцисс каждого отдельно сегмента. Решение об отнесении объекта к одному из базы данных принимается по оценке меры близости аналогичных координат экстремальных точек. В качестве меры близости можно воспользоваться Евклидовым расстоянием сравниваемых контуров по оси абсцисс в каждом из сегментов, а затем построить двоичный вектор, единичные компоненты которого определятся соответствием точек экстремумов в рассматриваемых сегментах и, пользуясь расстоянием Хэмминга, отнести объект к соответствующему из базы данных.
Если же сравниваемые объекты имеют разное количественные данные о положении экстремальных точек в соответствующих сегментах, то сравниваются пары (*/,у/) координат в j-ом сегменте для точки ь Для сравнения векторов Х] в сопоставляемых объектах выбирается отображение этого вектора векторами У1 и определяется сходство объектов по векторам У1. Затем для векторов У1 выбирается соответствующие отображения Х] и определяется сходство объектов по векторам Х}. Если в соответствии с выбранной матрицей вектора эквивалентны, то объекты относят к соответствующему объекту из базы данных.
При использовании ассоциативной памяти потеря части информации или ее информационное зашумление не приводит к катастрофическому ограничению, если оставшейся информации достаточно для извлечения поиска эквивалентного образа в базе данных [Жэ-энбеков, Сарыбаева, 2016].
Таким образом, предложенный метод распознавания объектов по контурам изображения включает два этапа: кластеризация и классификация, использующая разные признаки контуров изображений. Он является достаточно простым и быстрым, что позволяет использовать его в системах технического зрения роботов.
Наконец, мы должны иметь в виду, что системы обнаружения объектов потребуются для дронов или роботов, которые исследуют ранее неисследованные регионы: глубокие океаны или другие планеты. Эти системы должны будут подбирать новые классы предметов, ранее не наблюдавшиеся в лабораторных условиях при их обнаружении.
Список литературы
Aggarwal C.C. 2018. Neural Networks and Deep Learning. A Textbook. Springer International Publishing
AG, DOI 10.1007/978-3-319-94463-0 ISBN 978-3-319-94462-3. Barroso-Laguna A., Riba E., Ponsa D., Mikolajczyk K. 2019. Key.Net: Keypoint detection by handcrafted and learned CNN filters //Proceedings of the IEEE/CVF International Conference on Computer Vision, 5836-5844.
Biryukov A. 2017. Neural network clustering methods to evaluate the totality of taxpayers according to their degree of creditworthiness. Artificial societies. 12(1-2). URL: https://art-soc.jes.su/s207751800000103-2-1/ DOI: 10.18254/S0000103-2-1 Cui S., Zhong Y., Ma A., Zhang L. 2019. A Novel Robust Feature Descriptor for Multi-Source Remote Sensing Image Registration. IEEE International Geoscience and Remote Sensing Symposium (IGARSS), 919-922. Haykin S. 2018. Neural Networks and Learning Machines. 3rd Edition. Pearson. Hebb D.O. 1949. The Organization of Behavior, Wiley. New York.
Jiang X., Ma J., Xiao G., Shao Z., Guo X. 2021. A review of multimodal image matching: Methods and
applications //Information Fusion, Т. 73, 22-71. Leng C., Zhang H., Li B., Cai G., Pei Z., He L. 2018. Local feature descriptor for image matching: A
survey. IEEE Access, Т. 7, 6424-6434. Protsenko M.A., Pavelyeva E.A. 2019. Iris Image Key Points Descriptors Based on Phase Congruency. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 42(2/W12). 167-171.
Tikhonova V.A., Pavelyeva E.A. 2020. Hybrid Iris Segmentation Method Based on CNN and Principal
Curvatures. CEUR Workshop Proceedings, Vol. 2744, Paper 31, 1-10. Андреев А.Ю., Бобков С.П. 2014. Сегментация символов в изображении модифицированным методом жука. Современные наукоемкие технологии. Региональное приложение. 1(37). 85-88. Жээнбеков А.А., Сарыбаева А.А. 2016. Метод распознавания изображений на принципах двунаправленной ассоциативной памяти. Евразийский Союз Ученых (ЕСУ). 1(22), 148-151. Павельева Е.А. 2018. Обработка и анализ изображений на основе использования информации о
фазе. Компьютерная оптика, 42(6), 1022-1034. Райченко Б.В., Некрасов В.В. 2013. Практическое применение методов ключевых точек на примере сопоставления снимков со спутника «Канопус-В». ГЕОМАТИКА №2.
References
Aggarwal C.C. 2018. Neural Networks and Deep Learning. A Textbook. Springer International Publishing
AG, DOI 10.1007/978-3-319-94463-0 ISBN 978-3-319-94462-3. Barroso-Laguna A., Riba E., Ponsa D., Mikolajczyk K. 2019. Key.Net: Keypoint detection by handcrafted and learned CNN filters //Proceedings of the IEEE/CVF International Conference on Computer Vision, 5836-5844.
Biryukov A. 2017. Neural network clustering methods to evaluate the totality of taxpayers according to their degree of creditworthiness. Artificial societies. 12(1-2). URL: https://art-soc.jes.su/s207751800000103-2-1/ DOI: 10.18254/S0000103-2-1
Cui S., Zhong Y., Ma A., Zhang L. 2019. A Novel Robust Feature Descriptor for Multi-Source Remote Sensing Image Registration. IEEE International Geoscience and Remote Sensing Symposium (IGARSS), 919-922.
Haykin S. 2018. Neural Networks and Learning Machines. 3rd Edition. Pearson.
Hebb D.O. 1949. The Organization of Behavior, Wiley. New York.
Jiang X., Ma J., Xiao G., Shao Z., Guo X. 2021. A review of multimodal image matching: Methods and applications //Information Fusion, Т. 73, 22-71.
Leng C., Zhang H., Li B., Cai G., Pei Z., He L. 2018. Local feature descriptor for image matching: A survey. IEEE Access, Т. 7, 6424-6434.
Protsenko M.A., Pavelyeva E.A. 2019. Iris Image Key Points Descriptors Based on Phase Congruency. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 42(2/W12). 167-171.
Tikhonova V.A., Pavelyeva E.A. 2020. Hybrid Iris Segmentation Method Based on CNN and Principal Curvatures. CEUR Workshop Proceedings, Vol. 2744, Paper 31, 1-10.
Andreev A., Bobkov S. 2014. Symbols segmentation in picture by modificated beetle method. Sovremen-nyye naukoyemkiye tekhnologii. Regional'noye prilozheniye [Modern high-tech technologies. Regional application] 1(37). 85-88.
Zheenbekov A.A., Sarybayeva A.A. 2016. Metod raspoznavaniya izobrazheniy na printsipakh dvunaprav-lennoy assotsiativnoy pamyati [An image recognition method based on the principles of bidirectional associative memory]. Yevraziyskiy Soyuz Uchenykh (YESU) [Eurasian Union of Scientists (ESU)]. 1(22), 148-151.
Paveleva E.A. 2018. Obrabotka i analiz izobrazheniy na osnove ispol'zovaniya informatsii o faze [Image processing and analysis based on the use of phase information]. Komp'yuternaya optika [Computer Optics], 42(6), 1022-1034.
Raychenko B.V., Nekrasov V.V. 2013. Prakticheskoye primeneniye metodov klyuchevykh tochek na pri-mere sopostavleniya snimkov so sputnika «Kanopus-V» [Practical application of key point methods on the example of comparison of images from the Kanopus-V satellite]. GEOMATIKA [GEOMATICS]. №2.
Конфликт интересов: о потенциальном конфликте интересов не сообщалось. Conflict of interest: no potential conflict of interest related to this article was reported.
ИНФОРМАЦИЯ ОБ АВТОРАХ
Титов Алексей Иванович, к.т.н., Руководитель отдела информационных технологий и защиты информации, Общество с Ограниченной Ответственностью «Единая Транспортная Компания», г. Белгород, Россия
INFORMATION ABOUT THE AUTHORS
Alexey I. Titov, Candidate of Technical Sciences, Head of the Information Technology and Information Security Department, Limited Liability Company "United Transport Company", Belgorod, Russia
Корсунов Николай Иванович, д.т.н., профессор, профессор кафедры математического и программного обеспечения информационных систем, Белгородский государственный национальный исследовательский университет, г. Белгород, Россия
Nikolay I. Korsunov, Doctor of Technical Sciences, Professor, Professor of the Department of Mathematical and Software Support of Information Systems, Belgorod State National Research University, Belgorod, Russia
