CC BY
8УДК: 004.896 MSC2010: XXAXX
КОМБИНАЦИЯ МОРФОЛОГИЧЕСКОГО И НЕЙРОСЕТЕВОГО ПОДХОДОВ ДЛЯ РЕШЕНИЯ ЗАДАЧИ ПОДСЧЕТА КРУГЛЫХ ЛЕСОМАТЕРИАЛОВ НА ЦИФРОВОМ ИЗОБРАЖЕНИИ
© П. Ю. Бучацкий, С. В. Теплоухов, С. В. Онищенко
адыгейский ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ИНЖЕНЕРНО-ФИЗИЧЕСКИЙ ФАКУЛЬТЕТ
ул. Первомайская, 208, Майкоп, 385000, Российская Федерация e-mail: buch@adygnet.ru, tepl_sv@adygnet.ru, osv@adygnet.ru
Synthesis of morphological and neural network approaches for solving the problem of counting round timber on a digital image.
Buchatsky P. Yu., Teploukhov S. V., Onishchenko S. V.
Abstract. Due to the rapid growth in the development of various automation systems of production processes, an increasing number of areas are experiencing the process of introducing automated systems that significantly increase labor productivity and reduce the burden on staff. In this regard, the task of creating and developing various methods of software and hardware for the designed automated systems arises. One of the industries where the growing demand for the introduction of automation systems is manifested is the area associated with measuring the geometric characteristics of various objects. There are a large number of approaches aimed at organizing the process of measuring objects, among which we can single out the contactless approach, characterized by its versatility.
As a task, we can consider the task of determining the geometric parameters of round timber in stacks intended for transportation. To solve this problem, it is proposed to consider an approach based on the synthesis of a method based on a morphological approach implemented using the Canny detector and the Haaf algorithm and a neural network approach based on the use of the YOLOv5 convolutional neural network architecture.
As a result of the work, these methods were developed and their synthesis was carried out, as a result of which an approach was developed that ensures high accuracy of the measurements. During the experimental studies, images of round timber obtained from the Internet were used, and to verify this approach, models of logs made using a 3d printer with predefined characteristics were used. As a result of the experiments, the accuracy of the proposed synthesized approach was estimated, exceeding the indicator of 85-90%.
Keywords: morphological approach, neural networks, convolutional neural networks, Haaf algorithm, canny detector, geometric parameters, round timber.
Введение
В настоящее время в мире наблюдается тенденция к автоматизации различных отраслей промышленности и экономического хозяйства. В качестве проблемной области можно выделить область организации измерения геометрических параметров объектов, которые могут быть расположены в труднодоступных местах, что делает недоступным измерение их ручным способом. Еще одной проблемой при измерении объектов может стать их количество, в результате чего классический подход к измерению становится чрезвычайно трудозатратным [1]. Хорошей иллюстрацией подобной ситуации является задача измерения геометрических параметров круглых необработанных лесоматериалов, предназначенных для транспортировки [2]. В настоящее время отрасль деревообрабатывающей промышленности в нашей стране занимает достаточно большую нишу в общем объеме ВВП. По состоянию на 2019 год, экспорт российского круглого леса составил порядка 11% от общего объема мирового экспорта круглых лесоматериалов [3]. Учитывая такие большие объемы поставки, возникает задача осуществления весьма точного учета экспортируемого сырья, с целью минимизации финансовых потерь, возникающих за счет некорректного определения объема перевозимого сырья.
Учет размеров и объемов лесоматериалов является мало механизированным и автоматизированным процессом, а трудоемкость этих процессов вызвана большим количеством ручных измерений. В настоящее время в России до сих пор широко используется метод определения объемов по специализированным таблицам объема, что вызывает большие потребности в привлечении дополнительной рабочей силы. Для его реализации необходимо произвести всего два измерения: длину бревна и его диаметр, для чего приходится производить многократные измерения и при этом останется достаточно большая ошибка в вычислениях.
Данный подход не является единственным, поскольку существует большое количество способов измерения лесоматериалов [4], что проиллюстрированно на рисунке 1.
Эта классификация содержит различные способы измерения, среди которых можно выделить отдельную группу, основанную на геометрическом принципе измерения, что показано на рисунке 2.
Существует еще одна классификация, отражающая принадлежность методов в зависимости от способа взаимодействия на объекты измерения [5], согласно которой групповые методы, представляющие для нас наибольший интерес могут быть реализованы с использованием бесконтактного подхода к измерению объектов.
Рис. 1. Классификация методов измерения круглых лесоматериалов по их количеству.
Геометрический принцип измерения
Штучные методы Групповые методы
Метод верхнего диаметра и среднего сбега Метод Грубера Секционный метод
Штабельный метод Счетный метод
Рис. 2. Методы, использующие геометрический принцип измерения.
Применение бесконтактного подхода позволяет производить измерения больших объемов лесоматериалов без непосредственного взаимодействия с ними, что приводит к значительному снижению трудозатрат на организацию процесса измерения [6]. В целом, данный подход можно разделить на два больших направления, включающие в себя активный и пассивный способы получения информации об объекте измерения. Поскольку организация активных способов требует приобретения специализированных устройств, например таких как PMD-камеры [7, 8], наиболее же оптимальным будет использовать пассивные способы, позволяющие ограничиться лишь изображениями измеряемых объектов, что позволяет использовать методы из теории распознавания образов [9].
В связи с этим предлагается реализовать подход, позволяющий производить вычисление геометрических параметров круглых лесоматериалов, уложенных в штабели с использованием их цифровых изображений.
1. Реализация морфологического подхода
В общем случае, под параметрами объектов можно определить такие признаки как: положение объекта в пространстве, форма и величина измеряемого объекта. Для выбранной задачи наибольший интерес представляет объем измеряемого объекта, причем не каждого в отдельности, а всей совокупности измеряемых объектов. Для нахождения данного параметра необходимо определить количество измеряемых объектов, расположенных на изображении, вычислить объем каждого из них при помощи вычисления площади торца каждого из измеряемых бревен (мы полагаем что длина штабеля нам известна, поскольку она имеет стандартное значение) и произвести расчет суммарного объема измеряемой пачки лесоматериалов. Для этого предлагается использовать комбинацию методов, основанных на операциях математической морфологии и метода на основе нейронных сетей, которые и будут рассмотрены ниже.
В основе данного метода лежит использование операций математической морфологии, в сочетании с применением детектора Канни и алгоритма Хаафа. Для реализации данного подхода будем применять библиотеку OpenCV. При этом имеется необходимость производить дополнительную подготовку изображения для повышения его качества и удаления различных шумов, однако мы рассматриваем случай, когда мы получаем уже предварительно обработанное изображение, поэтому эти процедуры для нас являются необязательными. Обязательным этапом является конвертация изображения в черно-белый формат, поскольку работа детектора Канни возможно только в таком виде, и сам результат работы будет представлен в виде бинарного изображения.
Метод cvCanny() основываясь на пороговой фильтрации изображения производит операцию по определению границ контуров объектов, в результате чего получается бинарное изображение, где белыми пикселами выделяются детектированные границы изображения, что позволяет производить его дальнейшую классификацию в соответствии с заданными классами объектов. При необходимости следующим этапом организуется этап, позволяющий за счет применения операций математической морфологии устранить прерывистость контуров объектов, полученных при помощи использования детектора Канни [10]. Основными параметрами являются параметры
пороговых значений, изменение величины которых позволяет определить, насколько точно будут идентифицироваться границы исследуемых объектов.
После происходит процесс реализации процедуры, которая позволяет произвести подсчет объектов одного типа, для чего необходимо использовать подход с применением алгоритма Хафа [11]. Одним из недостатков данного метода является то, что для работы с новым изображением может потребоваться калибровка предустановленных параметров, что снижает его универсальность даже при работе с одним исследуемым классом объектов, в связи с чем и предлагается использование комбинированного подхода на основе данного метода и нейросетевого подхода. На рисунке 3 представлена блок схема алгоритма предлагаемого метода для определения геометрических параметров использованием операций математической морфологии.
Не будем останавливаться на данном этапе, поскольку более подробно реализация указанного метода рассмотрена в работе [12]. Поскольку данный алгоритм позволяет нам произвести только определение принадлежности объекта к заданному классу, необходимо реализовать возможность организации вычисления необходимых нам геометрических параметров для чего и предлагается реализовать алгоритм, основанный на нейросетевом подходе.
2. Реализация нейросетевого подхода
Первым этапом при реализации метода на основе нейросетевого подхода является выбор архитектуры нейронной сети, наиболее подходящей для решения поставленной задачи. Среди большого количества архитектур выделим архитектуру сверточных нейронных сетей, позволяющую производить комплексную обработку поступающих изображений, с помощью реализации таких операций как сегментация, классификация и детекция [13].
Существует огромное количество архитектур нейронных сетей, но поскольку мы определили, что наиболее подходящей для нашего случая является сверточная архитектура нейронных сетей, мы остановили свой выбор на YOLOv5 [14].
Поскольку разработанный ранее подход на основе операций математической морфологии, позволяет нам определить классы объектов и произвести подсчет количества элементов заданного класса, при реализации нейросетевого подхода необходимо выполнить следующие задачи, необходимые для нахождения интересующих нас параметров:
• площадь торца каждого бревна;
• объем каждого измеряемого объекта;
• суммарный объем измеряемой партии лесоматериалов.
Начало
Предварительно обработанные изображения
Правильно ли были детектированы объекты на изображении
Произвести ручное изменение параметров
Получение результата
Конец
Рис. 3. Алгоритм для определения геометрических параметров объектов на основе операций математической морфологии.
Блок-схема алгоритма представлена на рисунке 4.
Подробная реализация этого алгоритма описана в работах [15, 16].
Получение изображений после применения метода на осонове математической
Конец
Рис. 4. Блок-схема подхода на основе нейросетевого подхода.
3. Комбинация двух методов и экспериментальные
ИССЛЕДОВАНИЯ ПРЕДЛОЖЕННОГО АЛГОРиТМА
Данный алгоритм предполагает совместное использование двух ранее описанных подходов, в результате чего удается получить искомое значение объема измеряемой партии лесоматериалов.
Таким образом, используя комбинацию двух рассмотренных подходов, представим общий алгоритм функционирования цифровой бесконтактной измерительной системы, представленный на рисунке 5.
Последним этапом является тестирование предложенного подхода, для осуществления оценки точности измерений. Были использованы изображения из сети Интернет и специально изготовленные модели, с известными заранее характеристиками (рисунок 6).
Рис. 5. Использование комбинированного подхода на основе математической морфологии и нейронных сетей для определения суммарного объема штабеля лесоматериалов.
Рис. 6. Исходные изображения.
Первым этапом является применение алгоритма на основе морфологического подхода, в результате чего удается классифицировать объекты на изображении и произвести их подсчет (рисунок 7).
После этого шага включается в работу вторая часть алгоритма, где при помощи нейронной сети определяется наибольший из объектов, при помощи которого происходит вычисление площадей торцов остальных объектов исходя из метрики соответствия.
Дальнейшая работа алгоритма позволяет определить суммарный объем измеряемых объектов, что продемонстрирована на рисунке 8.
Рис. 7. Результат классификации объектов и выделение их границ.
МАХ: 56.23030090332631
Радиус: 46.204401280939645 см ¡Площадь: 6766.818702129129см" 2 |Обьем: 1207227.3663832431 01"3
Радиус: 38.209564493207665 см ¡Площадь: 4586.633598673763см"2 ¡Обьем: 825594.0477612774 СМ"3
Радиус: 42.566306722541995 см ¡Площадь: 5692.2217833703935см'2 IОбъем: 1624599.9216666768 см"3
Радиус: 39.248335666597654 см ¡Площадь: 4839.409391477346см"2 |Обьем: 871693.6904659222 см"3 Радиус: 51.493139068913985 см ¡Площадь: 8330.06915613155см'2 IОбьем: 1499412.448103679 СМ"3
Радиус: 56.5548139824358 СМ |ШкиаДь: 8629.248627618765СМА2 |Объем: 1445264.7529713777 СМ"3 Радиус: 46.673606445848416 см |Площадь: 5197.114626571178см"2 |Обьем: 935486.632782812 СМ*3 Радиус: 42.91802494851577 см |Площадь: 5786.678156825719см" 2 Iобъем: 1041602.0682286294 СМ"3
Радиус: 36.88863234856825 СМ ¡Площадь: 4274.8497285545840^2 ¡Объем: 769472.951139825 см"3
Радиус: 46.45352416984138 см ¡Площадь: 6779.336745306614см"2 ¡Объем: 1226286.6141540624 СМ*3
Радиус: 26.289431330253734 см |Площадь: 2171.262124322048смя2 |Обьем: 390827.1823779686 смл3 Радиус: 31.421029879984555 СМ ¡Площадь: 3101.6351095951527СМ"2 |Объем: 558294.3197271274 СМЛ3
Радиус: 55.63301248348421 СМ |Площадь: 9723.330038830312СМ"2 |Объем: 1756199.4669894562 СМ"3 Радиус: 32.75759821486963 см ¡Площадь: 3371.1181693786320«"2 ¡Объем: 606861.2704880458 см»3
Радиус: 24.870868134429674 см |Площадь: 1943.2638086617128см"2 |Обьем: 349787.4855591083 о»"3
Радиус: 66.6 см ¡Площадь: 11369.733552923255СМ"2 IОбьем: 2635752.639526186 см"3
Радиус: 12.776402271954508 см |Площадь: 512.8224478725499см"2 |Обьем: 92368.64661765898 см"3
МАХ: 179.63800048828125
Радиус: 0.8920426109230498 СМ |ПЛ0«ИДь: 2.4998910000644936см"2 |Обьем: 4.999782000128987 см"3 Радиус: 0.4447126908941288 см ¡Площадь: 0.621310823277747см"2 Iобъем: 1.242621646555494 см"3 Радиус: 1.0 см |Площадь: 3.14159265358979Зсм"2 |0бьем: 6.283185307179586 см"3 Радиус: 0.89454941561687 СМ | Площадь: 2.5139610540353776см"2 | Объем: 5.027922108070755 СМ*3 Радиус: 0.9039869678773602 СМ |ПЛОЩаДь: 2.567285760079284см"2 |Обьем: 5.134571520158568 СМ"3 Радиус: 0.9458261090266374 СМ ¡Площадь: 2.8104280367840606СМ"2 Iобъем: 5.620856073568121 см"3 Радиус: 0.46564950466993454 см |ПлощаДь: 0.681189842385728см"2 ¡Объем: 1.362379684771456 СМ"3 Радиус: 0.3928500684121883 СМ |ПЛОщаДь: 0.48484568953146145СМ"2 |Объем: 0.9696913790629229 СМ"3 Радиус: 0.40835501899470267 СМ |ПЛОЩадь: 0.523872580702319ЗСМ"2 ¡Объем: 1.6477451614646387 СМ"3 Радиус: 6.42511669666421264 СМ ¡Площадь: 6.5677662169325483см"2 ¡Объем: 1.1355264338656966 СМ"3
Рис. 8. Результаты вычисления параметров для исследуемых изображений (а - пример для изображения из интернета, б - расчет параметров для тестовых экземпляров).
Поскольку имелась контрольная группа объектов с известными параметрами удалось сравнить полученные значения с расчитаными значениями, в результате чего было установлено, что точность измерения превышает отметку в 85-90%, что является хорошим результатом.
В работе [17], решалась подобная задача, для чего применялись методы основанные на применении алгоритма Хаафа (СНТ) и метод меры локальных окружностей
(ЬСМ), в результате чего были получены такие результаты точности, представленные в таблице 1.
Таблица 1. Сравнение результатов точности измерения различных методов.
Метод Средняя погрешность, %
СНТ 29.06
ЬСМ 21.42
ЬСМ+СИТ 14.22
Комбинированный метод 10-15
Заключение
В работе была рассмотрена реализация комбинированного метода на основе применения морфологического подхода и нейронных сетей, для решения задачи определения геометрических параметров круглых лесоматериалов, расположенных в штабелях. Был разработан алгоритм и проведена его реализация, в результате которой удалось установить, что данный алгоритм позволяет добиться высокой точности, превосходящей другие подобные подходы.
Данный алгоритм может быть использован для реализации фотограмметрических программных комплексов, предназначенных для измерения партий круглых лесоматериалов, что позволит снизить транспортно-логистические затраты и снизить количество финансовых потерь из-за неправильного расчета стоимости перевозимого сырья.
СПИСОК ЛИТЕРАТУРЫ
1. Самойлов, А. Н., Сергеев, Н. Е., Волошин, А. В., Козловский, А. В. Метод фотограмметрического измерения геометрических параметров объектов, инвариантный к фоторегистрирующим устройствам // Вестник Адыгейского государственного университета. Серия 4: Естественно-математические и технические науки. — Майкоп: Адыгейский государственный университет, 2021. — Т. 4(291). — С. 58-69.
2. Онищенко, С. В., Козловский, А. В. Исследование метода определения геометрических параметров объектов по предварительно обработанным цифровым изображениям // ИТСАУ-2021. — 2020. — С. 59-62.
3. Статистика по лесной продукции [Электронный ресурс] — Режим доступа: http://www.fao.Org/forestry/statistics/80938@180724/ru/
4. Козловский, А. В.. Онищенко, С. В., Авдеев, В. Е. Исследование методов измерения круглых лесоматериалов / / Фундаментальные и прикладные аспекты компьютерных технологий и информационной безопасности Южный федеральный университет. — 2021. — C. 357-360.
5. Самойлов, А. Н. Классификация и определение основных направлений развития методов измерения объема круглого лесоматериала // Научный журнал Куб-ГАУ. — 2006. — №24. — C. 1-7.
6. Peter Katuch, Miroslav Dovica, Stanislav Slosarc'k, JozefKovac (2012) Comparision of Contact and Contactless Measuring Methods for Form Evaluation. Procedia Engineering. 48. p. 273-279.
7. Adam, D., Nissan, S., B., Friedman, Z., Behar, V. (2006) Combined effect of spatial compounding and nonlinear filtration for speckle reduction in ultrasonic images. Ultrasound. 44. p. 166-181.
8. Beder, Ch. R., Bartchak, B., Koch, R. (2007) Comparison of PMD cameras and stereo vision for the task of surface reconstruction using patchlets. Computer vision and pattern recognition. IEEE. p. 1-8.
9. Chaban, L. N. (2004) Theory and algorithms of pattern recognition. Textbook.. M.: MIIGAiK. p. 70.
10. Власов, А. В., Цапко, И. В. Модификация алгоритма Канни применительно к обработке рентгенографических изображений // Векторы благополучия: экономика и социум. — 2013. — №4(10). — C. 120-127.
11. Кудрина, М. А. Использование преобразования Хафа для обнаружения прямых линий и окружностей на изображении // Известия Самарского научного центра РАН. — 2014. — №4(2). — C. 476-478.
12. Бучацкий, П. Ю., Онищенко, С. В., Теплоухов, С. В. Разработка метода подсчета количества объектов на цифровом изображении на оснофе морфологического подхода // Дистанционные образовательные технологии / Материалы VII международной научно-практической конференции, Ялта, 20-22 сентября 2022 года. — Симферополь: Общество с ограниченной ответственностью «Издательство Типография «Ариал», 2022. — C. 120-123.
13. Голубинский, А. Н., Толстых, А. А. Гибридный метод обучения сверточных нейронных сетей // Информатика и автоматизация. — 2021. — №20(2). — C. 463-490.
14. Redmon, J., Farhadi, A. (2018) An incremental improvement. Tech report. https://arxiv.org/abs/1804.02767. p. 6.
15. Онищенко, С. В., Козловский, А. В., Мельник, Э. В. Разработка бесконтактной системы измерения геометрических параметров объектов на изображении // Известия Тульского государственного университета. Технические науки. — 2022. — C. 177-181.
16. Бучацкий, П. Ю., Онищенко, С. В., Теплоухов, С. В. Разработка метода определения геометрических параметров объектов на изображении на основе нейросетевого подхода / / Вестник Адыгейского государственного университета. Серия 4: Естественно-математические и технические науки. — Майкоп: Адыгейский государственный университет, 2022. — Т. 3. — C. 20-27.
17. Herbon, C., Tаnnies, K., Stock, B. (2014) Detection and segmentation of clustered objects by using iterative classification, segmentation and Gaussian mixture models and application to wood log detection. Pattern Recognition. Springer International Publishing. p. 354-364.
