CC BY
2
УДК 681.518.3
DOI: 10.24412/2071-6168-2024-5-482-483
СРАВНИТЕЛЬНЫЙ АНАЛИЗ СПОСОБОВ ПОСТРОЕНИЯ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ: НЕПОДВИЖНАЯ, ШИРОКОУГОЛЬНАЯ И ПОДВИЖНАЯ КАМЕРЫ
С.Н. Огурцов, Д.А. Бушуев, Н.С. Краснопёров
В работе проводится сравнение различных систем технического зрения для подсчета объектов на конвейере, включая неподвижные, неподвижные широкоугольные и подвижные камеры. Авторы рассматривают факторы, которые следует учитывать при выборе и установке камеры, а также методы повышения производительности системы подсчета объектов. Исследование выявляет преимущества и недостатки каждого подхода, подчеркивая, что оптимальный выбор зависит от конкретных требований производства. Неподвижные камеры подходят для задач, требующих точности в условиях ограниченного поля зрения, а неподвижные широкоугольные камеры — для задач, требующих более широкого поля зрения, но с меньшей точностью. Подвижные камеры обеспечивают точность и широкий охват, но могут быть более сложными в реализации. Авторы также подчеркивают важность учета точности, стоимости, сложности и вычислительных требований при выборе системы технического зрения. Понимание преимуществ и недостатков различных подходов позволяет разработчикам выбирать систему, которая наилучшим образом соответствует их потребностям. Статья завершается обсуждением будущих направлений исследований в области технического зрения, сосредоточенных на повышении точности, надежности и универсальности систем для удовлетворения растущих требований различных производственных процессов.
Ключевые слова: техническое зрение, конвейер, подсчёт объектов, моделирование.
Подсчет объектов на конвейере является критически важной задачей во многих промышленных процессах. Традиционные методы подсчета, такие как использование датчиков или ручной подсчет, могут быть неточными, медленными и подверженными ошибкам [1-7]. Системы технического зрения на основе камер предлагают наиболее точное и эффективное решение для этой задачи [8].
В данной статье будут сравнены различные типы камер, которые можно использовать, а также рассмотрены факторы, которые следует учитывать при выборе и установке камеры, и передовые методы, которые могут улучшить производительность системы подсчета объектов.
Существует несколько способов построения систем технического зрения, каждый из которых имеет свои преимущества и недостатки. В этой статье производится сравнение трёх подходов:
- неподвижная камера с соотношением сторон 1 к 1, которая фиксируется в одном положении и ориентирована на определенную область;
- неподвижная широкоугольная камера с соотношением сторон 2 к 1, которая имеет широкий угол обзора и фиксируется в одном положении, обеспечивая обзор более широкой области;
- подвижная камера, которая может перемещаться, обеспечивая гибкость и возможность осмотра более широкой области.
Данное сопоставление нацелено на то, чтобы дать всестороннее понимание существующих подходов к построению систем технического зрения. В работе будут проанализированы преимущества, недостатки, и область применимости каждого из подходов. Кроме того, будут рассмотрены критические факторы, которые необходимо учитывать при выборе системы технического зрения. Это позволит быстро найти требуемый подход для своих требований, избежать дорогостоящих ошибок и задержек при реализации проектов.
Современные системы обнаружения и классификации объектов на основе компьютерного зрения требуют обширных наборов данных для эффективной работы. Разметка этих изображений является трудоемким и длительным процессом и в настоящее время в основном выполняется вручную. Однако уже существуют определенные автоматизированные подходы к решению этой задачи.
Для обнаружения объектов будет использоваться сверточная нейронная сеть VGG16, которая обладает высокой эффективностью в выделении признаков изображений. Это глубокая нейронная сеть, состоящая из 16 свёр-точных слоев, 3 полностью связанных слоев и одного выходного слоя. Её архитектура относительно проста и состоит из чередующихся свёрточных и пулинговых слоев, за которыми следуют полностью связанные слои. Данная нейронная сеть была выбрана вследствие её преимуществ: высокая точность на задачах классификации изображений, относительно простая и понятная архитектура, хорошо изученная и подробно задокументированная. Обучение модели производилось на наборе изображений объектов разрешением 640х640 в различных световых условиях. В работе был использован набор данных "Egg Classification and Counting", который содержит 867 изображений, на которых представлены 2747 объектов трех типов [9]. К каждому изображению прилагается xml-файл с координатами объектов на картинке и их типов. Перед обучением модели исходные данные были преобразованы в формат, удобный для обработки нейронной сетью. Архитектура нейронной сети VGG16 подразумевает использование изображений 224 на 224 пикселя. Координаты объекта, указанные в исходных данных, были получены с учетом критерия Intersection over Union (IoU). Для определения соответствия между исходными рамками и предсказанными рамками использовался метод косинусного расстояния. Тестирование работы нейронной сети производится на видеоролике, моделирующем работу конвейера с расположенными на нём объектами, разработанном в программном обеспечении MSC ADAMS. Модель системы представляет собой конвейер, который движется с постоянной скоростью и перевозит случайно расположенные объекты.
Первой будет рассмотрена система с неподвижной камерой с соотношением сторон 1 к 1. Камеры технического зрения с таким, или схожим соотношением сторон являются наиболее распространёнными и доступными [10-13]. Пример работы системы представлен на рис. 1. Среднее время распознавания одного кадра - 1117 мс. Максимальное время распознавания одного кадра - 1910 мс. Минимальное время распознавания одного кадра - 938 мс.
Frame: Ё. Count: 3, Time: 0.9931590557098Э89
Рис. 1. Пример работы системы с неподвижной камерой с соотношением сторон 1 к 1
Преимущества использования такой системы:
- доступность и распространённость матричных камер с соотношением сторон 1 к 1, или схожим;
- нейронные сети, которые обычно используются для распознавания объектов, лучше работают с квадратными изображениями. Квадратные изображения обеспечивают одинаковое количество информации по обеим осям, что упрощает обработку и обучение сети. Следовательно, формат 1:1 устраняет необходимость обрезки или масштабирования изображений, что может привести к потере информации и снижению точности распознавания.
Тем не менее, существуют также нейронные сети, которые могут обрабатывать изображения произвольного размера и соотношения сторон. Однако использование квадратных изображений по-прежнему является наиболее распространенной практикой для многих задач компьютерного зрения;
- необходимость захватить более детальные изображения объектов.
Следующей будет рассмотрена система с неподвижной камерой с соотношением сторон 2 к 1. Система технического зрения с таким, или схожим соотношением сторон может захватить больше контекста вокруг объекта, что является несравненным преимуществом. Пример работы системы представлен на рис. 2. Среднее время распознавания одного кадра - 1999 мс. Максимальное время распознавания одного кадра - 3984 мс. Минимальное время распознавания одного кадра - 1676 мс.
Frame: 5, Count: 6, Time: 1.97476601Б0064697 О ■
О 50 100 150 200 250
Рис. 2. Пример работы системы с неподвижной камерой с соотношением сторон 2 к 1
Исходя из результатов, можно сделать выводы:
- среднее время распознавания одного изображения ниже, чем время распознавания двух изображений с соотношением сторон 1 к 1, следовательно, данная система более быстродействующая. Это объясняется тем, что для обработки двух изображений нейронной сети необходимо переключаться между обработкой двух изображений;
483
- конвейеры обычно имеют вытянутую форму. Формат 1:2 обеспечивает более широкое поле зрения, позволяя захватить больше объектов за один снимок. Большее поле зрения уменьшает вероятность того, что объекты будут перекрываться или выходить из поля зрения камеры;
- формат 1:2 лучше подходит для алгоритмов подсчета объектов, которые работают путем сканирования изображения слева направо, или сверху вниз.
Исходя из этого, можно сделать вывод, что данная система является лучшим выбором для подсчета объектов на конвейере.
Заключительной будет рассмотрена система технического зрения, построенная на основе подвижных камер. Одним из способов реализации данной системы является установка кривошипного механизма, к ползуну которого закрепляется камера. Для предотвращения появления слепых зон, необходима установка дополнительной камеры, которая будет двигаться в противоположном направлении. При этом, скорость движения камер должна совпадать, или быть больше скорости конвейера, поскольку в противном случае неизбежно появление слепых зон при любом взаимном расположении крайних позиций обеих камер без перекрытия. Если скорость конвейера равна скорости движения ползуна, тогда крайние положения камер должны быть подобраны таким образом, чтобы области покрытия каждой камеры примыкали друг к другу. В случае, когда скорость движения ползуна выше скорости конвейера, расстояние между крайними положениями камер может быть увеличено. Также, необходимо обеспечить линейность движения самого механизма для недопущения потерь и ошибок повторного подсчёта. Переключение между камерами позволяет наблюдать за объектами с учетом движения ползуна. Момент переключения может определяться показаниями энкодера, расположенного на валу двигателя, либо дискретного датчика. Модель системы представлена на рис. 3. Поскольку используются камеры разрешения 1 к 1, общее время распознавания является таким же, как в случае с одной неподвижной камерой.
Рис. 3. Модель системы с подвижными камерами в MSC Adams
Благодаря одновременному встречному движению камер, одна из них будет всегда двигаться сонаправле-но потоку, что в некоторых ситуациях может увеличить пропускную способность системы. Такая система позволяет увеличить размеры исходного изображения за счёт объединения изображений с подвижной камеры. Результат работы системы представлен на рис. 4.
Frame 14, Count 3, Time 1 0017671585033008
О 50 100 150 ¿00 250
Рис. 4. Пример работы системы с подвижной камерой с соотношением сторон 1 к 1
Преимущества подвижной системы технического зрения с кривошипным механизмом по сравнению с классической системой с одной неподвижной камерой:
- возможность снимать объекты в высоком качестве без размывания, если скорость движения камеры будет равна скорости конвейера;
- расширенное поле зрения: движение камер на кривошипе расширяет поле зрения системы, позволяя ей охватывать более широкую область, что полезно для задач, требующих обзора большой площади.
Недостатки системы технического зрения с кривошипным механизмом по сравнению с классической системой с одной неподвижной камерой:
- увеличенная стоимость и сложность: данная система требует наличия двух камер, кривошипного механизма, датчиков контроля крайних позиций, и более сложных алгоритмов обработки изображений, что увеличивает ее стоимость и сложность по сравнению с системой с одной камерой, во многих случаях использование одной линейной камеры будет более предпочтительным вариантом;
- требования к вычислительным ресурсам: Обработка изображений с двух камер требует больших вычислительных ресурсов, что может быть проблемой для систем с ограниченными возможностями;
- потенциальные проблемы с синхронизацией: важно обеспечить точную синхронизацию между двумя камерами, чтобы избежать появления повторных подсчётов объектов, либо потерь, что может быть сложной задачей, особенно при движении камер.
В данной статье было рассмотрено использование различных камер для подсчета объектов на конвейере. Также были рассмотрены факторы, которые следует учитывать при выборе и установке камеры, а также методы, которые могут улучшить производительность системы подсчета объектов.
Каждая рассмотренная система имеет свои преимущества и недостатки, и выбор подходящей системы зависит от конкретных требований производства.
Неподвижные камеры подходят для задач, требующих охвата ограниченной области и высокой точности. Неподвижные широкоугольные камеры подходят для задач, требующих охвата более широкой области, но с меньшей точностью. Подвижные камеры обеспечивают точность и возможность осмотра более широкой области, но они могут быть более сложными в реализации и использовании.
При выборе системы технического зрения важно учитывать факторы, такие как точность, стоимость, сложность и вычислительные требования. Понимание преимуществ и недостатков различных подходов поможет разработчикам выбрать систему, которая наилучшим образом соответствует их потребностям.
По мере развития технологий технического зрения новые разработки и инновации продолжают появляться. Дальнейшие исследования в этой области будут сосредоточены на улучшении точности, надежности и универсальности систем технического зрения для удовлетворения растущих требований различных производств. Одним из вариантов улучшения работы данных систем является модернизация алгоритма распознавания: разделение изображения на несколько частей, и обработка их нейросетью независимо друг от друга. После этого, размеченные данные обрабатываются и объединяются в случае, когда объект оказался разделённым между несколькими частями изображения. Это позволит меньше зависеть от времени обработки каждого кадра, и повысит общую скорость распознавания системы. Также, для данных систем могут использоваться камеры специального назначения: 3D камеры, линейные камеры.
Работа выполнена в рамках реализации федеральной программы поддержки университетов «Приоритет 2030» с использованием оборудования на базе Центра высоких технологий БГТУ им. В.Г. Шухова
Список литературы
I.Огурцов С.Н. Обзор методов построения систем автоматической сортировки объектов на конвейере с использованием экстремального и нейросетевого управления / С. Н. Огурцов, Д. А. Бушуев // Уральский научный вестник. 2023. Т. 8, № 6. С. 3-12.
2.Патент СССР 3416205/18-24, 30.07.1983. Устройство для подсчёта яиц, перемещаемых конвейером // Патент СССР № 1032464. 1983. Бюл. № 28. / Р. М. Славин, С. П. Пулях, В. И. Жильцов, В. А. Панин.
3.Robert J. Kniskern, Fort Wayne; Timothy W. Dygert / Reflected light detecting apparatus and method // Sci-Agra, Inc., Fort Wayne, Ind. 1987.
4.Патент РФ 2007117866/09, 14.05.2007. Датчик подсчёта яиц // Патент России № 2369902. 2008. Бюл. № 28./. Калькхофф К.
5.Патент США 10/562683, 11.08.2009. Egg counter for counting eggs whichare conveyed on an egg collection conveyer // United States Patent №7573567B2 / J. Hershtik.
6.Патент СССР 3905561/24-24, 26.04.85. Устройство для счета предметов, переносимых конвейером // Патент СССР №1305739. 1987. Бюл. №15. / Н.М. Затолокин, Е. И.Батаев., Ю.Г. Митрофанов.
7.B.V. Fancom Holding, Infrared egg counting [Электронный ресурс] URL: https://www.fancom.com/system/eitelling (дата обращения: 10.03.24).
8.Bülbül V., Goularas D. A real time vision system for estimation of size distribution and count of eggs [Электронный ресурс] URL: https://cse.yeditepe.edu.tr/wp-content/uploads/proje/size-and-count-egg.pdf (дата обращения: 10.03.24).
9.Egg-count-detection - 1 [Электронный ресурс] URL: https://universe.roboflow.com/data-science-devhu/egg-count-detection-1 (дата обращения: 18.04.24).
10. Isoon Kanjanasurat, Woranidtha Krungseanmuang, Vasutorn Chaowalittawin, Boonchana Purahong. Egg-Counting System Using Image Processing and a Website for Monitoring. International Conference on Engineering Applied Sciences and Technology (ICEAST), 2021. P. 101-104.
II. Sahar Zafari, Tuomas Eerola, Jouni Sampo, Heikki Kälviäinen, Heikki Haario. 2015. Segmentation of Overlapping Elliptical Objects in Silhouette Images. In IEEE Transactions on Image Processing. P. 5942-5952.
12. Tong Zou, Tianyu Pan, Michael Taylor and Hal Stern. Recognition of overlapping elliptical objects in a binary image. Pattern Anal Applic, 2021. P. 1193-1206.
13. Огурцов С.Н. Автоматизация подсчёта яиц птицы при помощи системы технического зрения / С.Н. Огурцов, Д.А. Бушуев // Наукоемкие технологии и инновации (XXV научные чтения): Сборник докладов Международной научно-практической конференции. Белгород: Белгородский государственный технологический университет им. В.Г. Шухова, 2023. С. 843-847.
Огурцов Сергей Николаевич, аспирант, clockyouu@gmail. com, Россия, Белгород, Белгородский государственный технологический университет им. В.Г. Шухова,
Бушуев Дмитрий Александрович, канд. техн. наук, доцент, заведующий кафедрой, [email protected], Россия, Белгород, Белгородский государственный технологический университет им. В.Г. Шухова,
Краснопёров Никита Сергеевич, аспирант, [email protected], Россия, Белгород, Белгородский государственный технологический университет им. В.Г. Шухова
COMPARATIVE ANALYSIS OF MACHINE VISION SYSTEM ARCHITECTURES: STATIONARY, WIDE-ANGLE, AND
MOVING CAMERAS
S.N. Ogurtsov, N.S. Krashopeorov, D.A. Bushuev
This paper presents a comparative analysis of different machine vision systems for object counting on a conveyor, including stationary, stationary wide-angle, and moving cameras. The authors consider the factors that should be taken into account when selecting and installing a camera, as well as methods to improve the performance of the object counting system. The study reveals the advantages and disadvantages of each approach, emphasizing that the optimal choice depends on the specific requirements of the production process. Stationary cameras are suitable for tasks requiring accuracy within a limited field of view, while stationary wide-angle cameras are suitable for tasks requiring a wider field of view but with lower accuracy. Moving cameras provide both accuracy and a wide field of view, but they can be more complex to implement. The authors also highlight the importance of considering accuracy, cost, complexity, and computational requirements when selecting a machine vision system. Understanding the advantages and disadvantages of different approaches enables developers to choose the system that best meets their needs. The paper concludes by discussing future research directions in machine vision, focusing on improving the accuracy, reliability, and versatility of systems to meet the growing demands of various manufacturing processes.
Key words: machine vision, conveyor, object counting, modeling.
Ogurtsov Sergey Nikolaevich, postgraduate, [email protected]. Russia, Belgorod, Belgorod State Technological University named after V.G. Shukhov,
Bushuev Dmitry Aleksandrovich, candidate of technical sciences, docent, head of department, [email protected], Russia, Belgorod, Belgorod State Technological University named after V.G. Shukhov,
Krasnopeorov Nikita Sergeevich, postgraduate, [email protected], Russia, Belgorod, Belgorod State Technological University named after V.G. Shukhov
УДК 621.3.087.45
Б01: 10.24412/2071-6168-2024-5-486-487
ИССЛЕДОВАНИЕ ПРОЦЕССОВ ЭНЕРГОПОТРЕБЛЕНИЯ ПРОМЫШЛЕННОГО РОБОТА-МАНИПУЛЯТОРА С ПОМОЩЬЮ СИСТЕМ ВНЕШНЕЙ СЕНСОРИКИ
М.А. Горькавый, М.А. Мельниченко, Р.Д. Григорец, Н.С. Шушарин
В данной работе исследуется проблема увеличения затрат электрической энергии в условиях повышения уровня автоматизации/роботизации промышленных предприятий. Рассмотрены основные пути повышения энергетической эффективности роботизированных технологических процессов, среди которых, одним из наиболее перспективных является разработка имитационных моделей энергопотребления промышленных роботов с целью апробации существующих алгоритмов повышения энергетической эффективности и формирования обоснованных заключений по результатам моделирования. Для обеспечения имитационных моделей необходимым объемом данных, характеризующих переходные процессы, происходящие в СУЭП осей промышленного робота разработана система мониторинга угловых скоростей перемещения и энергетических затрат СУЭП на основе датчиков переменного тока и напряжения, а также шестиосевого гироскопа и акселерометра. По результатам натурного эксперимента, проведенного на промышленном роботе КиКА КК10 R1100 sixx, сделан вывод о том, что зависимость между углом поворота осей промышленного робота и энергопотреблением на поворот имеет нелинейный характер. При этом значения угловой скорости, полученные с помощью разработанной системы мониторинга, позволяют точно определить изменение величин положения и углового ускорения оси (в результате интегрирования и дифференцирования, соответственно). Результаты представленного исследования могут быть использованы для формирования имитационных моделей промышленных роботов и разработки рекомендаций по оптимизации энергопотребления роботизированных систем без ухудшения интегральных показателей качества конечного продукта.
Ключевые слова: мониторинг энергопотребления, система сенсорики, управляющая программа, промышленный робот-манипулятор, обучающая выборка, нейро-нечёткая имитационная модель.
Одним из ключевых направлений развития современного производства является автоматизация/роботизация промышленных предприятий для повышения качества и скорости изготовления продукции. В результате применения широкого инструментария автоматизации к массовым производствам наблюдается значительное увеличение производительности и качества выпускаемой продукции [1]. Однако, данные положительные
