CC BY
21
ТЕХНИЧЕСКИЕ НАУКИ TECHNICAL SCIENCES
Научная статья
УДК 004.896
ББК 32.813
Б 94
DOI: 10.53598/2410-3225-2022-3-306-57-62
Разработка метода определения геометрических параметров объектов на изображении на основе нейросетевого подхода
(Рецензирована)
1 2
Павел Юрьевич Бучацкий , Стефан Владимирович Онищенко ,
Семен Васильевич Теплоухов3
1 2' 3 Адыгейский государственный университет, Майкоп, Россия
1 buch@adygnet.ru
2 osv@adygnet.ru
3 tepl_sv@adygnet.ru
Аннотация. Рассмотрен процесс разработки метода определения геометрических параметров объектов, расположенных на изображении для задачи подсчета круглых лесоматериалов, размещенных в штабелях. С целью реализации метода используется нейросетевой подход с применением архитектуры сверточной нейронной сети YOLOv5. Разработанный метод был осуществлен на серии экспериментальных измерений с использованием специальных изготовленных моделей объектов с определенными размерами, в результате чего была определена точность измерения предложенного метода определения геометрических параметров объектов на изображении.
Ключевые слова: бесконтактные методы измерения объектов, геометрические параметры объектов, нейронные сети, YOLOv5, фотограмметрия
Original Research Paper
Development of a method for determining the geometric parameters of objects in an image based on a neural network approach
1 2 3
Pavel Yu. Buchatskiy , Stefan V. Onishchenko , Semen V. Teploukhov
1 2' 3 Adyghe State University, Maikop, Russia
1 buch@adygnet.ru
2 osv@adygnet.ru
3 tepl_sv@adygnet.ru
Abstract. In this paper, we consider the process of developing a method for determining the geometric parameters of objects located in the image for the task of counting round timber located in stacks. To implement the method, a neural network approach is used with application of the YOLOv5 convolutional neural network architecture. For the developed method, a series of experimental measurements was carried out using special manufactured models of objects with certain dimensions, as a result of which the measurement accuracy of the proposed method for determining the geometric parameters of objects in the image was determined.
Keywords: contactless methods of measuring objects, geometric parameters of objects, neural networks, YOLOv5, photogrammetry
Введение
Поскольку в настоящее время все большее распространение получают разнообразные системы автоматизации производства, появляется необходимость разработки соответствующего алгоритмического обеспечения, необходимого для работы автоматизированных систем в определенной предметной области. Создание таких автоматизированных интеллектуальных систем позволяет в большей степени повысить производительность любого технологического процесса, а также сократить количество необходимого обслуживающего персонала на определенном этапе производственного процесса [1].
Одной из сфер применения автоматизированных систем является область, связанная с определением количества различных материалов и товаров производства, а также вычисления их габаритных параметров, поскольку применение таких измерительных комплексов позволяет оптимизировать процесс осуществления перевозок и прозводить корректное определение стоимости товаров. Для решения подобной задачи существуют различные измерительные комплексы и подходы [2, 3], недостатком которых является возможность применения их в узкой направленности и области. Одной из задач, при решении которой необходимо использование измерительных систем подобного рода, является задача подсчета количества и определения геометрических параметров круглых лесоматериалов, уложенных в штабели, что было описано в предшествующих работах [4, 5].
В связи с этим предлагается произвести разработку метода на основе нейросете-вого подхода для решения задачи подсчета количества объектов и определения их геометрических параметров на цифровом изображении.
Материалы и методы
В общем понимании под геометрическими параметрами какого-либо объекта в геометрии принимаются такие признаки, как положение в пространстве, форма и величина, совокупность которых позволяет выделять различные множества объектов одного типа или конкретный исследуемый объект [6].
Описанные признаки могут быть выделены в две группы:
■ параметры формы - позволяют определить геометрическую форму объекта и осуществить его классификацию по данному признаку;
■ параметры положения - параметры, позволяющие однозначно определить положение объекта в пространстве.
Наибольший интерес для нас представляют параметры формы, на основе которых можно будет классифицировать объект, произвести подсчет объектов одного класса и осуществить дальнейшее вычисление площади торцевой части объекта и его объема.
Первым этапом при реализации метода на основе нейросетевого подхода является выбор архитектуры нейронной сети, наиболее подходящей для решения поставленной задачи. Среди большого количества архитектур выделим архитектуру сверточных нейронных сетей, позволяющую производить комплексную обработку поступающих изображений с помощью операций: сегментация, классификация и детекция, что представлено на рисунке 1.
Однако существуют различные архитектуры сверточных нейронных сетей, среди которых мы остановим свой выбор на YOLOv5 [7]. (YOLO - современный алгоритм глубокого обучения, который широко используется для обнаружения объектов.) YOLOv5 относится к архитектуре One-Stage detector - подход, который предсказывает координаты определенного количества bounding Ьох'ов (ограничивающие параллелепипеды) с результатами классификации и вероятности нахождения объекта, в дальнейшем корректируя их местоположение.
При использовании данного алгоритма можно будет не только произвести клас-
сификацию объектов, но также провести подсчет объектов и найти площадь их сечения. Поскольку в качестве объектов измерения выбраны круглые лесоматериалы, расположенные в штабелях, задача определения площади может быть сведена к нахождению радиуса каждого из бревен, после чего будет необходимо вычислить площадь каждого из сечений торцов бревен, форма которых с некоторой погрешностью может быть интерпретирована как круг.
|э) classification (Ь) detection (с) segmentation
Рис. 1. Задачи, решаемые за счет использования архитектуры сверточных нейронных сетей Fig. 1. Problems solved through the use of convolutional neural network architecture
Для более точных результатов необходимо учитывать коэффициент сбежности леса, в результате чего форма бревна представляет собой усеченный конус, и для получения результата требуется выполнение двух снимков (с передней и задней части штабеля), что в значительной степени усложнит алгоритм предлагаемого метода.
В целом подход для определения геометрических параметров объектов по изображениям можно представить в виде последовательности действий:
- организация обучающей выборки;
- производство обучения нейронной сети;
- определение объектов, то есть осуществление их детекции;
- подсчет количества объектов данного типа (класса);
- определение площади каждого из распознанных объектов (площади торцов бревен);
- определение объема каждого из бревен (при известной их длине);
- расчет общего объема измеряемых круглых лесоматериалов.
На рисунке 2 представлена блок-схема алгоритма нейросетевого метода.
После разработки метода проводились его экспериментальные исследования с использованием изображений лесоматериалов из сети Интернет и изображения специально изготовленных брусков, размер которых известен для дальнейшего определения точности полученных результатов. Бруски были изготовлены на ЭБ-принтере и имели форму цилиндра с различными диаметрами (1 и 2 сантиметра соответственно) и длиной каждого бруска 2 сантиметра.
На рисунке Э представлены результаты программной реализации предлагаемого метода для определения геометрических параметров объектов на изображении.
На следующем рисунке 4 представлены результаты расчета радиуса площади и объема для каждого из объектов, расположенных изображении.
В результате проведенных экспериментальных исследований, в том числе и на примере специально подготовленных моделей брусков, распечатанных на ЭБ-принтере, установлено, что погрешность при вычислении радиуса измеряемого объекта с использованием заранее известного значения радиуса самого большого объекта не превышает значения в 8-10%, которое теоретически может быть улучшено за счет использования различных коэффициентов, учитывающих такие особенности, как пустоты между бревнами. Еще одним решением, направленным на повышение точности, может стать увеличение объема обучающей выборки для предоставления большего числа исходных данных нейронной сети.
Начало
/Исходное изображение
Конец
Рис. 2. Алгоритм метода определения геометрических параметров на изображении Fig. 2. Algorithm for determining geometric parameters in an image
Касательно значений определяемого объема, то погрешность при его измерении оказалась больше и составила порядка 10-15% для отдельных случаев, что может следовать из погрешности определения радиуса, а также того факта, что реальное бревно не имеет форму идеального цилиндра и может интерпретироваться как усеченный конус, что повысит точность, но усложнит процесс обучения нейронной сети и алгоритм нахождения параметров объектов. Данный показатель точности определения параметра объема бревна превосходит результаты, полученные в исследовании [8], что продемонстрировано в таблице 1.
Рис. 3. Экспериментальные исследования предлагаемого метода Fig. 3. Experimental studies of the proposed method
МАХ: 179.63800048828125
Радиус: 0.8920426109230498 ач |Площадь: 2.4998916000644936смЛ2 |Объем: 4.999782000128987 смл3
Радиус: 0.4447126908941288 СМ |Площадь: 0.621310823277747СМЛ2 |Объем: 1.242621646555494 СМА3
Радиус: 1.0 см |Площадь: 3.141592653589793смЛ2 |Объем: 6.283185307179586 смА3
Радиус: 0.89454941561687 СМ |Площадь: 2.513961054035377бСМл2 |Объем: 5.027922108070755 СМЛ3
Радиус: 0.9039869678773602 СМ |Площадь: 2.5672857б0079284смл2 |Объем: 5.134571520158568 СМЛ3
Радиус: 0.9458261090266374 СМ ¡Площадь: 2.810428636784060бСМА2 |Объем: 5.620856073568121 СМА3
Радиус: 0.46564950466993454 СМ |Площадь: 0,681189842385728смА2 ¡объем: 1.362379684771456 СМА3
Радиус: 0.3928500684121883 СМ |Площадь: 0.48484568953146145смА2 Iобъем: 0.9696913790629229 СМЛ3
Радиус: 0.40835501899470267 СМ |Площадь: 0.5238725807623193СМА2 ¡объем: 1.0477451614046387 СМА3
Радиус: 0.42511669606421264 СМ ¡Площадь: 0.5677б621б9325483смЛ2 ¡объем: 1.1355264338650966 СМЛ3
Рис. 4. Результаты подсчета объемов и площадей торцов каждого из объектов, расположенных на изображении Fig. 4. The results of counting the volumes and areas of the ends of each of the objects,
located on the image
Таблица 1
Точность определения объемов бревен круговым преобразованием Хафа и методом меры локальных окружностей
Table 1. Accuracy of determination of wood log volumes by circular Hough Transform and by the measure method of local circles
Метод средняя погрешность %
CHT+LCM [34] 14,22
С'НТ [34] 29,06
LCM [34] 21,42
Заключение
В данной работе был описан метод определения геометрических параметров объектов на изображении, таких как площадь, объем и общее количество объектов одного класса. В ходе проведения экспериментальных исследований было выяснено, что метод обладает достаточной большой точностью, превосходящей метод на основе алгоритма Хафа и метод локальных окружностей. В дальнейшем точность может быть улучшена за счет организации процедуры предварительной обработки изображений и учета коэффициента сбежности лесоматериалов.
Примечания
1. Аппаратная реализация интеллектуального многоточечного датчика температуры на платформе Arduino / С.В. Теплоухов, А.А. Черненко, С.В. Онищенко, А.А. Авджиян // Вестник Адыгейского государственного университета. Сер.: Естественно-математические и технические науки. 2021. Вып. 1 (276). С. 33-39. URL: http://vestnik.adygnet.ru
2. Лыжин С.А., Шобанов Л.Н., Шургин А.И. Способ бесконтактного измерения и расчета параметров объекта. Патент 2012 104 304 РФ, G01B 11/24 (2006.01).
3. Метод фотограмметрического измерения геометрических параметров объектов, инвариантный к фоторегистрирующим устройствам / А.Н. Самойлов, Н.Е. Сергеев, А.В. Волошин, А.В. Козловский // Вестник Адыгейского государственного университета. Сер.: Естественно-математические и технические науки. 2021. Вып. 4 (291). С. 58-69. URL: http://vestnik.adygnet.ru
4. Козловский А. В., Онищенко С. В., Авдеев В. Е. Исследование методов измерения круглых лесоматериалов // Фундаментальные и прикладные аспекты компьютерных технологий и информационной безопасности. Таганрог: Южный федеральный университет, 2021. С. 357-360.
5. Онищенко С.В., Козловский А.В. Исследование метода определения геометрических параметров объектов по предварительно обработанным цифровым изображениям // ИТСАУ-2021. Ростов-на-Дону; Таганрог: Южный федеральный университет, 2020. С. 59-62.
6. Антипов В. А. Начертательная геометрия: курс лекций. Самара: СамГАПС, 2005. 64 с.
7. Redmon J., Farhadi A. YOLOv3: An incremental improvement // Tech. report, arXiv: 1804.02767. 2018. 6 p.
8. Herbon C., Tаnnies K., Stock B. Detection and segmentation of clustered objects by using iterative classification, segmentation and Gaussian mixture models and application to wood log detection // Pattern Recognition. Springer International Publishing, 2014. P. 354-364.
References
1. Hardware implementation of an intelligent multipoint temperature sensor on the Arduino platform / S.V. Teploukhov, A.A. Chernenko, S.V. Onishchenko, A.A. Avdzhan // Bulletin of the Adyghe State University. Ser.: Natural-Mathematical and Technical Sciences. 2021. Iss. 1 (276). P. 33-39. URL: http://vestnik.adygnet.ru
2. Lyzhin S.A., Shobanov L.N., Shurgin A.I. Method of non-contact measurement and calculation of object parameters. Patent 2012 104 304 Russian Federation, G01B 11/24 (2006.01).
3. Method of photogrammetric measurement of geometric parameters of objects, invariant to photorecording devices / A.N. Samoylov, N.E. Sergeev, A.V. Voloshin, A.V. Kozlovsky // Bulletin of the Adyghe State University. Ser.: Natural-Mathematical and Technical Sciences. 2021. Iss. 4 (291). P. 58-69. URL: http://vestnik.adygnet.ru
4. Kozlovsky A.V., Onishchenko S.V., Avdeev V.E. Research of measurement methods of round timber // Fundamental and applied aspects of computer technologies and information security. Taganrog: Southern Federal University, 2021. P. 357-360.
5. Onishchenko S.V., Kozlovsky A.V. Investigation of the method for determination of geometric parameters of objects from preprocessed digital images // ITSAU-2021. Rostov-on-Don, Taganrog: Southern Federal University, 2020. P. 59-62.
6. Antipov V.A. Descriptive geometry: a course of lectures. Samara: SamGAPS, 2005. 64 p.
7. Redmon J., Farhadi A. YOLOv3: An incremental improvement // Tech report, ar-Xiv:1804.02767. 2018. 6 p.
8. Herbon C., Tаnnies K., Stock B. Detection and segmentation of clustered objects by using iterative classification, segmentation and Gaussian mixture models and application to wood log detection // Pattern Recognition. Springer International Publishing, 2014. P. 354-364.
Авторы заявляют об отсутствии конфликта интересов. The authors declare no conflicts of interests.
Статья поступила в редакцию 10.08.2022; одобрена после рецензирования 11.09.2022; принята к публикации 12.09.2022.
The article was submitted 10.08.2022; approved after reviewing 11.09.2022; accepted for publication 12.09.2022.
© П.Ю. Бучацкий, С.В. Онищенко, С.В. Теплоухов, 2022
