CC BY
4CLASSIFICATION OF UNLABELED BATTERY ON X-RAY IMAGES USING MACHINE LEARNING METHODS
A.A. Korotysheva*, S.N. Zhukov*, V.R. Milov**, Y.S. Yegorov**, A.Y. Chekusheva**, M.S. Dubov***
+Lobachevsky State University of Xizhny Novgorod, 603022, Xizhny Novgorod, Russia ++Xizhny Xovgorod State Technical University n. a. R. E. Alekseev, 603950, Xizhny Xovgorod, Russia
'"'"'"LLC "Mabex", 603122, Xizhny Xovgorod, Russia
DOI: 10.24412/2073-0667-2023-2-34-44 EDX: ACWWCK
The problem of identifying and classifying hazardous and valuable species of municipal solid waste (MSW), especially unlabeled cell batteries, has become increasingly important in the light of current global environmental policies, which emphasize the need for increased recycling and utilization of waste. With the introduction of a variety of environmental initiatives, it is essential to ensure that proper identification and classification of MSW is carried out in order to reduce the environmental impact of MSW. This includes identifying and classifying hazardous and valuable materials, such as cell batteries, to ensure they are reused and recycled rather than disposed of in landfills. Furthermore, the development of effective strategies for the detection and classification of MSW is essential in order to maximize the economic and environmental benefits associated with the recycling and utilization of waste. This article describes an approach to the standard-size, unlabeled cylindrical cell batteries identification, powered by computer vision. To achieve this goal, a video camera and an X-ray machine are used to analyze and process images. The images captured by the video camera are first processed by a series of steps involving data preprocessing, feature extraction and model training. All the extracted features are then combined to form a model which can be used to accurately detect and recognize the cell batteries in the MSW stream on the conveyor belt. The developed procedures ensure a sufficiently high-quality classification of intact label batteries, and thus can be used to effectively identify the batteries in multiple scenarios. An extra step of digital radiography image processing is proposed, which allows for recognition even when the marking is significantly damaged. This novel approach to image processing offers a dependable and accurate method for the classification of batteries, even when their markings are no longer clearly visible or are completely obscured. This is a great benefit, as previous techniques relied on the clarity of the markings, which created difficulties when those markings were faint or absent. The core of the batteries identification system is a neural network, trained on a data set containing X-ray images of various types of batteries along with the associated classes. This neural network MobilcNctV2 is used to extract features from the images, allowing it to correctly classify the batteries for further sorting. The proposed method of batteries neural network classification, including the optical images and X-ray images processing, thus forms the backbone of a
This work was funded by the Fund for the Development of Small Forms of Enterprises in the Scientific and Technical Sphere (Agreement No. 57GS1IIS12-D7/72200 of 21.12.2021)
(c) A. A. Korotysheva, S. X. Zhukov, V. R. Milov, Y. S. Yegorov, A. Y. Chekusheva, M. S. Dubov, 2023
software and hardware complex for automated MSW sorting lines. The use of this system to identify and sort batteries would greatly reduce manual labor, improve accuracy and increase the efficiency of the sorting process. Additionally, the use of this system could also potentially reduce the amount of time required to sort the batteries, as the neural network can process the images much faster than a human can. This system could thus revolutionize the MSW sorting process, making it more accurate and efficient than ever before.
Key words: machine learning, X-ray images, neural network, batteries, image classification.
References
1. Blohin M.A. Rentgenovskoe izluchenie // Fizicheskava enciklopediva: fv 5 t.] / Gl. red. A.M. Prohorov. M.: Bol'shava rossijskava enciklopediva, 1994. T. 4: Pojntinga-Robertsona-Strimerv. S. 375377.
2. Principv postroeniva dosmotrovoj rentgenovskoj tekhniki. [Electron. Res.]: http://tstk.narod. ru/tsiotk/ppdrt. html (accessed: 14.01.2023) (in Russian).
3. Leshchenko V.G., Il'ich G.K. Medicinskava i biologicheskava fizika / M.: INFRA-M, 2012.
4. Kaggle: Your Home for Data Science. [Electron. Res.]: https://www.kaggle.com/ (accessed: 16.01.2023).
5. Mahsotova, C. V. Issledovanie metodov klassifikacii pri nesbalansirovannosti klassov // Nauchnvj zhurnal. 2017. № 5(18). S. 35-36. (in Russian).
6. Sandler M., Howard A.G., Zhu M., Zhmoginov A., Chen L.-C. MobileNetV2: Inverted Residuals and Linear Bottlenecks // Computer Vision and Pattern Recognition. 2018. P. 4510-4520.
7. Blatov R. I., Vostrvakova E. A., Moskvin A. S., Chuprov D. A., Egorov Yu. S., Korotvsheva A. A., Milov V. R., Dubov M.S., Kerbeneva A.Yu. Svidetel'stvo o registracii programmv diva EVM RUS 2022663863. Za.vavka .V" 2022662975 ot 11.07.2022. (in Russian).
ПРИМЕНЕНИЕ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ ДЛЯ КЛАССИФИКАЦИИ НЕМАРКИРОВАННЫХ ЭЛЕМЕНТОВ
ПИТАНИЯ
А. А. Коротышева*, С. Н. Жуков*, В. Р. Милов**, Ю.С. Егоров**, А.Ю. Чекушева**, М.С. Дубов***
* Нижегородский государственный университет им, Н, И, Лобачевского, 603022, Нижний Новгород, Россия
**
603950, Нижний Новгород, Россия
***
603122, Нижний Новгород, Россия
УДК 004.93
DOI: 10.24412/2073-0667-2023-2-34-44 EDX: ACWWCK
Актуальность исследования предопределяется необходимостью сортировки опасных и ценных объектов в составе твердых коммунальных отходов (ТКО), в частности немаркированных элементов питания, с целью их дальнейшей утилизации или переработки, что приобретает особую важность в условиях изменения мировой экологической политики. Предложен подход к идентификации немаркированных цилиндрических элементов питания стандартных типоразмеров на основе компьютерно!^ зрения. Источником анализируемых изображений являются видеокамера и рентгеновская установка. Идентификация выполняется на основе последовательно применяемых процедур, позволяющих обнаруживать и распознавать элементы питания в потоке ТКО на конвейерной ленте. При наличии неповрежденной маркировки на корпусе элементов питания обработка изображений, распознавание надписей и анализ идентификаторов обеспечивают достаточно достоверную классификацию. При существенном повреждении маркировки распознавание затруднено, поэтому предложен дополнительный этан обработки изображений в рентгеновском диапазоне. Нейронные сети, составляющие основу системы идентификации элементов питания, обучаются на нод!'отовленных наборах данных, содержащих множество рентгеновских снимков элементов питания разных типов, которым сопоставлены искомые классы. Обученная модель позволяет классифицировать тин элементов питания для последующей сортировки. Предложенный способ нейросетевой классификации элементов питания на основе обработки оптических изображений и рентгеновских снимков составляет основу нро!'раммно-аннаратно!'о комплекса, предназначенжнх) для автоматизированных линий сортировки ТКО.
Ключевые слова: машинное обучение, рентгеновские снимки, нейронная сеть, элементы питания, классификация изображений.
Введение. В условиях изменения мировой экологической политики все более актуальной становится проблема переработки ТКО, в том число таких опасных отходов как
Работа выполнена при поддержке Фонда содействия развитию малых форм предприятий в научно-технической сфере (договор № 57TClIfflC12-D7/72200 от 21.12.2021 г.).
(с) A.A. Коротышева, С. Н. Жуков, В. Р. Милов, Ю.С. Егоров, А.Ю. Чекушева, М. С. Дубов, 2023
электрохимические источники электрического тока, к которым относятся гальванические элементы питания и электрические аккумуляторы. Несмотря на то, что элементы питания (ЭП) должны утилизироваться отдельно от остальных бытовых отходов, удаленность пунктов сбора вынуждает большинство жителей не накапливать отработавшие батарейки в домашних условиях, а выбрасывать их вместе с обычным мусором. Попадая на полигон, металлический корпус батарейки начинает разлагаться, этикетка, как правило, стирается, В течение нескольких лет под воздействием осадков происходит процесс выщелачивания металлов (цинк, магний, кадмий, олово, свинец), которые попадают в почву и водоемы, а оттуда проникают в систему водоснабжения, что оказывает сильное негативное воздействие на окружающую среду и человека. Поэтому особую важность приобретает как отделение ЭП от других объектов в составе ГКО. так и последующая их сортировка для постобработки. Целью данной работы является создание программной модели для классификации немаркированных элементов питания при их сортировке,
1. Анализ способа классификации элементов питания.
1,1, Рентгенография. Электромагнитные волны, энергия фотонов которых лежит на шкале электромагнитных волн в диапазоне между ультрафиолетовым излучением и гамма-излучением от 10 эВ до нескольких МэВ (что соответствует длинам волн от 102 до 103 нм) исторически называют рентгеновскими лучами [1], Рентгенография представляет собой один из эффективных способов исследования внутренней структуры объектов. Рентгеновские лучи проходят через исследуемые объекты, в результате чего на специальной пленке или бумаге формируется проекционное изображение (рентгеновский снимок). Типовая рентгеновская установка состоит из источника и приемника, а исследуемый объект располагается между ними [2], Генерация рентгеновского излучения происходит в рентгеновской трубке — электровакуумном приборе с двумя электродами (катод и анод), на которые подается высокое напряжение. Катод, служащий источником электронов, обычно выполняется из вольфрама и конструктивно совмещается с нитью накаливания. Электроны, вылетающие из катода, ускоряются сильным электрическим полем в сторону массивного стального анода. При ударе об анод электроны резко тормозятся, вследствие чего часть их кинетической энергии переходит в рентгеновское излучение. Рентгеновская трубка помещается в защитный корпус, конструктивно имеющий отверстие для направленного выхода рентгеновского излучения. Основные характеристики рентгеновских трубок — это максимально допустимое напряжение, подаваемое на трубку и ее мощность. Чем меньше поглощает материал, через который проходят рентгеновские лучи, тем темнее изображение этого материала, получаемое на экране. Так, например, стальные элементы хуже пропускают рентгеновское излучение, чем пластиковые, и выглядят светлее. На поглощение излучения влияет также и толщина слоя (см, рис, 1) [3], При одинаковой толщине вещества с большим атомным весом сильнее поглощают рентгеновские лучи, поэтому свинец, имеющий атомный номер 207, применяется для защиты от рентгеновского излучения.
При увеличении напряжения на трубке энергия электронов возрастает, а излучение становится более проникающим. Излучение малой проникающей способности называют мягким, а большей — жестким. Плоскопанельный детектор рентгеновского излучения представляет из себя матрицу сенсоров, состоящую из фотодиодов, перед которыми располагается сциптиллятор, как правило, на основе под иди цезия или оксисульфида гадолиния, Такой материал отвечает за преобразование частоты падающего рентгеновского излучения в излучение оптического диапазона, воспринимаемое фотодиодами матрицы. Матрица плоскопанельного детектора представляет собой двумерную решетку сенсоров,
реп т ген овс кое Рассся л к ые л уч к и з с л оя вещества
излучение
Рис. 1. Прохождение рентгеновского излучения через вещество
Л!)
ш
а) 6> в>
Рис. 2. Пример влияния мощности излучения: а) малая; б) средняя; в) высокая
каждый из которых работает в режиме конденсатора и накапливает заряд. Считывание общей картины с матрицы происходит попеременным подключением каждого сенсора к считывающему устройству. При этом происходит построчное считывание изображения — за один такт считывается одна строка сенсоров. Как правило, сенсоры делятся на зоны в соответствии с ячейками памяти микросхемы декодера. На рис. 2 приведен пример рентгеновского снимка ЭП, выполненного на малой (40 кВ), средней (60 кВ), и высокой (80 кВ) мощностях излучения.
Видно, что только при достаточно высокой мощности излучения просматривается внутренняя структура ЭП. Следует отметить, что восстановление белых, неосвещенных и черных пересеченных участков изображения в дальнейшем невозможно. В случае использования градаций серого становится возможным применение коррекции экспозиции, однако данное действие влечет за собой сброс всех калибровок оборудования, связанных с определением состава образца. В качестве уникальных идентификаторов для классификации были выбраны следующие части ЭП: сепаратор, стержень, прокладка. При классификации используется анализ контуров для обнаружения групп пикселей, которые принадлежат к границам указанных частей ЭП.
1.2. Применение нейронных сетей. Распознавание образов на изображении — это задача компьютерного зрения, целью которой является отнесение объектов на изображении к определенному классу. На сегодня наиболее эффективный метод обработки изображений и выделения признакового описания представляют сверточные нейронные сети (англ. CNN,
Рис.3. Примеры изображений из сформированного датасета а) метка класса И: б) метка класса Т2: в) метка класса ТЗ: г) метка класса Т4: д) метка класса То
Convolutional Xeural Network), состоящие из слоев свертки (англ. Convolutional Layer) и еубдиекретизации (англ. Pooling Layer). Сверточпые слои и слои субдискретизадии составляют основу различных архитектур глубоких нейронных сетей, обеспечивающих решение задачи распознавания образов, таких как VGG-16 и VGG-19, GoogLeXet с Inception модулями, ResXet, DenseXet, MobileXet и других.
2. Разработка модели классификатора немаркированных ЭП.
2.1. Описание исходных данных. Поскольку датасеты, содержащие снимки ЭП в рентгеновском диапазоне, па открытых площадках недоступны (в силу новизны предлагаемого подхода) |4|, то датасет дня классификации был сформирован самостоятельно. Для сбора необходимых изображений в работе использовалась рентгеновская установка. Примеры изображений из сформированного датасета с соответствующими метками классов приведены на рис. 3.
Дня обучения пейросетевого классификатора было задано 5 классов, соответствующих типам состава ЭП: Zn-Mn (ХН4С1), Zn-Mn (КОН), Xi-MH, Li-FeS2, Ni-Cd. Ввиду редкости некоторых типов ЭП, в собранных данных наблюдалась проблема несбалансированности классов (англ. Imbalaneed Data) |5|, дня решения которой были применены методы случайного удаления (англ. Random imdesampling) дня сокращения примеров мажоритарных классов и дублирования (англ. Oversampling) дня увеличения примеров миноритарных классов. Поело балансировки объем датасета составил 858 изображений. Дня увеличения количества данных были использованы различные функции расширения (англ. Augmentation), такие как горизонтальный и вертикальный разворот, поворот до 30°, горизонтальное и вертикальное смещение и приближение до 10 %. В результате объем датасета составил 1286129 изображений. Дня предотвращения переобучения модели данные были разделены па обучающую (70 % датасета), валидациохшую (20 % датасета) и тестовую (10 % датасета) выборки.
2.2. Описание архитектуры модели для классификации немаркированных ЭП. В работе была использована архитектура модифицированной MobileXet, позволяющая достигать той же точности распознавания, как исходная архитектура, по с еще большей скоростью работы |6|. MobileXetV2 имеет 2 тина сверточпых блоков, называемых блоками с расширенном (англ. Expansion Convolution Block) — с шагом 2 дня снижения размерности и с шагом 1. Под шагами понимается значение параметра stride (шаг) в свертке. Каждый блок состоит из с.ноя точечной свертки размером 1x1 (англ. Convolution 1x1) и слоя глубинной свертки размером 3x3 (англ. Depthwise Convolution 3x3) с функциями активации
Рис. 4. Архитектура сверточных блоков с расширением MobileNetV2
Рис. 5. Архитектура MobileNetV2
типа линейный выпрямитель (англ. Rectified linear unit, ReLU), и слоя свертки размером 1x1 с линейной активацией (англ. Linear). Для повышения производительности и стабилизации работы используется пакетная нормализация (англ. Batch Normalization). Сверточ-ный блок с шагом 1 также имеет соединение с последующей конкатенацией результатов аналогично остаточному блоку в архитектуре ResNet. Архитектура сверточных блоков MobileNetV2 представлена на рис. 4.
Архитектура MobileNetV2 состоит из сверточных блоков с расширением и представлена на рис. 5.
После последнего слоя — слоя с функцией Softmax на выходе, получаем многоклассовое распределение вероятностей, что позволяет оценить уверенность сети в принадлежности каждого из объектов к заданным классам.
2.3. Тестирование классификатора ЭП. В качестве целевой функции использовался минимум потерь категориальной перекрестной энтропии (англ. Categorical Cross-Entropy)
1 N K
lce = -J^yij * log(Pi,j), i=i j=i
Loss
Рис. 6. График функции потерь
Accuracy
Рис. 7. График метрики Accuracy при обучении и валидации
где N — количество экземпляров, К — количество классов, y^j — значение 0 или 1 для соответствующего кода класса, p — значение вероятности для г-го класса. При этом значения классов кодируются следующим образом: Т1 — |1, 0, 0, 0, 0|, Т2 — |0, 1, 0, 0, 0| и т. д. Дня уменьшения потерь примепянея итеративный подход. График изменения потерь в зависимости от эпохи во время обучения и валидации пейросетевого классификатора представ л сп па рис. 6.
Дня оценки качества классификатора ЭП вычислялась доля верно определенных типов ЭП па рентгеновских снимках среди всех анализируемых рентгеновских снимков (метрика Accuracy). В результате тестирования было получено значение Accuracy = 0,99 па обуча-
Рис. 8. Результат детектирования ЭП Рис. 9. Результат классификации
на цветном и рентгеновском снимках ЭП по рентгеновскому снимку
ющей выборке и Accuracy = 0,99 па тестовой.
1 п
Accuracy = - = y] n i=i
График изменения метрики Accuracy в зависимости от эпохи пейросетевого классификатора представлен на рис. 7,
Перед классификацией объекта осуществляется процесс поиска местоположения классифицируемого ЭП. Процесс проходит в несколько этапов.
1) Детектирование ЭП па цветной фотографии, соответствующей рентгеновскому снимку, полученному ранее с видеокамеры.
2) Перенос координат объектов, найденных вн. 1, на рентгеновский снимок.
3) Разделение снимков па отдельные, каждый из которых содержит но одному ЭП из выделенных местоположений.
На рис. 8 представлены примеры фотографий, сделанные па каждом этане процесса.
Пример интерфейса разработанного прототипа программы с функцией определения тина ЭП по рентгеновскому снимку приведен па рис. 9.
Программа обеспечивает выполнение следующих функций:
— обеспечение возможности загрузки изображений;
— детектирование ЭП па изображении па основе подготовленных выборок данных;
— идентификация тина ЭП па изображении па основе подготовленных выборок данных;
— аннотирование (сохранение файла с результатами обработки);
— визуализация полученных результатов дня пользователя.
В качестве инструментальных средств при создании программной модели использовался язык программирования Python, библиотеки XumPy, Matplotlib и библиотека для глубокого обучения Keras,
Заключение. Разработанный классификатор немаркированных ЭП характеризуется долей верно определенных типов Acc = 0,99 и может быть реализован в составе системы идентификации немаркированных ЭП |7|, которая, в свою очередь, является основой программно-аппаратного комплекса для автоматизации сортировки опасных видов отходов, таких как ЭП. В дальнейшем предполагается расширение номенклатуры
распознаваемых опасных и цепных объектов в составе ТКО, Список литературы
1. Б.лохин М. А. Рснтх'сновскос излучение /7 Физическая энциклопедия: [в 5 т.] / Гл. ред. А. М. Прохоров. М.: Большая российская энциклопедия, 1994. Т. 4: Пойнтинга Робертсона Стримеры. С. 375 377.
2. Принципы построения досмотровой рентгеновской техники. [Электрон, pec.]: http://tstk. narod.ru/tsiotk/ppdrt.html (дата обращения: 14.01.2023).
3. Лещенко В. Г., Ильич Г. К. Медицинская и биологическая физика / М.: ИНФРА-М, 2012.
4. Kaggle: Your Home for Data Science. [Электрон, pec.]: https://www.kaggle.com/ (дата обращения: 16.01.2023).
5. Махсотова Ц. В. Исследование методов классификации при несбалансированности классов /7 Научный журнал. 2017. № 5(18). С. 35 36.
6. Sandler М., Howard A. G., Zhu М., Zhmoginov A., Chen L.-C. MobilcNctV2: Inverted Residuals and Linear Bottlenecks /7 Computer Vision and Pattern Recognition. 2018. P. 4510 4520.
7. Блатов P. П., Вострякова E.A., Москвин А. С., Чупров Д. А., Егоров Ю. С., Коротышева А. А., Милов В. Р., Дубов М.С., Кербенева А.Ю. Свидетельство о регистрации программы для ЭВМ RUS 2022663863. Заявка № 2022662975 от 11.07.2022.
Коротышева Анна Андреевна аспирант кафедры безопасность информационных систем радиофизического факультета Нижегородского государственного университета им. Н. И. Лобачевского, e-mail: ania.korotishewa@yandex.ru. Тел. 89200193495. Область научных интересов: машинное обучение, нейронные сети, технология дополненной реальности.
Anna Korotysheva graduate student of the Information Security Department at the Radiophvsics Faculty, Lobachevsky State University of Nizhnv Novgorod, e-mail: ania. korotishewa@yandex.ru. Phone 89200193495. Research interests: machine learning, neural networks, augmented reality.
Жуков Сергей Николаевич канд. физ.-мат. наук, доцент, доцент кафедры общей физики Нижегородского государственного университета им. H.H. Лобачевского, " e-mail: jsn@rf.unn.ru. Область профессиональных интересов : компьютерное моделирование в электродинамике, параллельное программирование, машинное зрение, до-
полненная реальность, машинное обучение. Является соавтором более 70 научных и учебио-методи чееких публикаций.
Sergey Zhukov PhD in Radiophvsics. Associate professor at the General Physics Department, Lobachevsky State University of Nizhnv Novgorod, e-mail: jsn@rf.unn.ru. Research interests: computer modeling in electrodynamics, parallel programming, machine vision, augmented reality, machine learning. He is a co-author of more than 70 scientific and educational publications.
Милов Владимир Ростиславович д-р. техн. наук, профессор, профессор кафедры «Электроника и сети ЭВМ» Нижегородского го-
ласть научных интересов: проектирование и разработка информационных систем, методы искусственного интеллекта, машинное обучение. Является соавтором более 140 научных и у чебпо- методи чееких публикаций.
Vladimir Milov Doctor of Technical Sciences, Professor of the Nizhnv Novgorod State Technical University n.a. R. E. Alekseev, e-mail:
еударетвенного техни чеекого I университета им. Р. Е. Алексеева, e-mail: vladimir.milov@gmail.com. Об-
vladimir ,milov@gmail .com. Research interests: design and development of information systems, methods of artificial intelligence, machine learning. He is a co-author of more than 140 scientific and educational publications.
Егоров Юрий Сергеевич старший преподаватель кафедры «Электроника и сети ЭВМ» Нижегородского государственного техни чсского университета им. P. Е. Алексеева, e-mail: ckar@list.ru. Тел. 89081642646. Область научных интересов: проектирование и разработка информационных систем, методы искусственного интеллекта, машинное обучение.
Yuri Yegor о V senior lecturer of the Nizhnv Novgorod State Technical University n.a. R. E. Alekseev, e-mail: ckar@list.ru. Phone 89081642646. Research interests: design and development of information systems, methods of artificial intelligence, machine learning.
Чекушева (Кербенева) Анна Юрьевна аспирант Нижегородского государственного технического университета им. P. Е. Алексеева, e-mail: kerbeneva.anna@yandex.ru. Тел. 89087448028. Область научных интересов: про-
ектирование и разработка информационных систем, методы искусственного интеллекта, машинное обучение.
Anna Chekusheva
(Kerbeneva) graduate
student of the Nizhnv Novgorod State Technical University n.a. R. E. Alekseev, e-mail: kerbeneva.anna@yandex.ru. Phone 89087448028. Research interests: design and development of information systems, methods of artificial intelligence, machine learning.
Максим Cep-
инженер ООО
г:
À V
Дубов геевич
«Мабекс», e-mail: demson@ decadalab.ru. Тел. 89503460559.
Область научных интересов: проектирование и разработка информационных систем, методы искусственного интеллекта, машинное обучение.
Maksim Dubov engineer of LLC
"Mabex", e-mail: demson@decadalab.ru. Phone 89503460559. Research interests: design and development of information systems, methods of artificial intelligence, machine learning.
Дата поступления 31.01.2023
