Научная статья на тему 'Анализ дефектов поверхности изделия при 3D-печати по их изображениям с использованием методов машинного обучения'

Анализ дефектов поверхности изделия при 3D-печати по их изображениям с использованием методов машинного обучения Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
608
117
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
3D-ПЕЧАТЬ / СИСТЕМА ТЕХНИЧЕСКОГО ЗРЕНИЯ / МАШИННОЕ ОБУЧЕНИЕ / МЕТОД ОПОРНЫХ ВЕКТОРОВ / АЛГОРИТМЫ / ОБНАРУЖЕНИЕ ДЕФЕКТОВ / КОНТРОЛЬ КАЧЕСТВА / ЭКСТРУЗИЯ / МЕТОД ПОСЛОЙНОГО НАПЛАВЛЕНИЯ / 3D-PRINTING / TECHNICAL VISION SYSTEM / MACHINE LEARNING / SUPPORT VECTOR MACHINE / ALGORITHMS / DEFECTS DETECTING / QUALITY MONITORING / EXTRUSION / FUSED DEPOSITION MODELING

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Измайлов Д. В., Дрыгин Д. А., Ежова К. В.

Предмет исследования. Обнаружение дефектов изделия является современной и сложной задачей в сфере аддитивных технологий. Данная процедура позволяет сократить расходы на время и материалы, предотвращает причины возникновения брака. В связи с этим автоматизация контроля качества поверхности изделий 3D-печати является необходимым этапом изготовления как для крупных производственных предприятий, так и для частных пользователей. Предложен метод контроля качества изделий при 3D-печати на основе анализа изображений их поверхности с применением алгоритмов машинного обучения. Метод. Изображения изделий, полученных при 3D-печати, формируются и обрабатываются на установке, включающей видеокамеру и одноплатный микрокомпьютер. Метод обнаружения дефектов на поверхности изделий основан на применении алгоритмов предварительной обработки изображения, последующего машинного обучения и метода опорных векторов. Основные результаты. Предложенный метод позволяет обнаруживать и классифицировать дефекты вида «избыточная экструзия» и «недостаточная экструзия» на поверхности изготавливаемых объектов с высокой точностью. Практическая значимость. Применение разработанного метода обеспечивает упрощение процедуры 3D-печати как для частных пользователей устройств, так и для предприятий, которые изготавливают или используют данный вид устройств, за счет облегчения настройки параметров, сохранения отчетности о параметрах изделия, удобства и скорости решения проблем, возникших в ходе печати. Разработанный метод визуального контроля качества поверхности изделий 3D-печати может принести существенную пользу в расширении возможностей автоматизации процесса быстрого прототипирования и вывести его на новый уровень.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Измайлов Д. В., Дрыгин Д. А., Ежова К. В.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

IMAGE-BASED DEFECT ANALYSIS FOR 3D-PRINTED ITEM SURFACE USING MACHINE LEARNING METHODS

Subject of Research. Defect detection is an actual and challenging task in the field of additive technologies. This process enables the user to save time and reduce the consumption of material. Also, it prevents the further possible faults and defects. On that account, an automation of surface control process in 3D-printing is an essential step not only for large manufacturing companies but also for private users. The paper proposes an image-based method for quality control of a 3D-printed product by applying machine learning algorithms. Method. 3D-printed item images were taken and processed on an experimental setup composed of a camera and a single board microcomputer. The paper presents a defect detecting method based on development of image preprocessing algorithms and further machine learning by applying support vector machine method. Main Results. The presented method enables the user to find and identify “over-extrusion” and “under-extrusion” defects with high precision on the surface of the manufactured items. Practical Relevance. The developed method is intended to provide practical benefits for the private users of 3D-printing devices and companies manufacturing or applying these devices. There are the following advantages of the method application: the 3D-printing parameters are easy to be set, the reports about the product and its features are saved, the solutions to any problem occurred during printing are simple and fast. The developed method of visual quality control of the 3D-printed item surface can be significantly helpful to the expansion of automation possibilities for fast prototyping processes and take 3D-printing process to a new level.

Текст научной работы на тему «Анализ дефектов поверхности изделия при 3D-печати по их изображениям с использованием методов машинного обучения»

НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ июль-август 2020 Том 20 № 4 ISSN 2226-1494 http://ntv.itmo.ru/

SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS July-August 2020 Vol. 20 No 4 ISSN 2226-1494 http://ntv.itmo.ru/en/

HHIIIDPMAPDHHhlX ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ

УДК 535.8 doi: 10.17586/2226-1494-2020-20-4-552-559

АНАЛИЗ ДЕФЕКТОВ ПОВЕРХНОСТИ ИЗДЕЛИЯ ПРИ SD-ПЕЧАТИ ПО ИХ ИЗОБРАЖЕНИЯМ С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ Д.В. Измайлов, Д.А. Дрыгин, К.В. Ежова

Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация Адрес для переписки: ezhovakv@itmo.ru Информация о статье

Поступила в редакцию 14.05.20, принята к печати 22.06.20 Язык статьи — русский

Ссылка для цитирования: Измайлов Д.В., Дрыгин Д.А., Ежова К.В. Анализ дефектов поверхности изделия при 3D-печати по их изображениям с использованием методов машинного обучения // Научно-технический вестник информационных технологий, механики и оптики. 2020. Т. 20. № 4. С. 552-559. doi: 10.17586/2226-1494-2020-20-4-552-559

Аннотация

Предмет исследования. Обнаружение дефектов изделия является современной и сложной задачей в сфере аддитивных технологий. Данная процедура позволяет сократить расходы на время и материалы, предотвращает причины возникновения брака. В связи с этим автоматизация контроля качества поверхности изделий 3Б-печати является необходимым этапом изготовления как для крупных производственных предприятий, так и для частных пользователей. Предложен метод контроля качества изделий при 3Б-печати на основе анализа изображений их поверхности с применением алгоритмов машинного обучения. Метод. Изображения изделий, полученных при 3Б-печати, формируются и обрабатываются на установке, включающей видеокамеру и одноплатный микрокомпьютер. Метод обнаружения дефектов на поверхности изделий основан на применении алгоритмов предварительной обработки изображения, последующего машинного обучения и метода опорных векторов. Основные результаты. Предложенный метод позволяет обнаруживать и классифицировать дефекты вида «избыточная экструзия» и «недостаточная экструзия» на поверхности изготавливаемых объектов с высокой точностью. Практическая значимость. Применение разработанного метода обеспечивает упрощение процедуры 3Б-печати как для частных пользователей устройств, так и для предприятий, которые изготавливают или используют данный вид устройств, за счет облегчения настройки параметров, сохранения отчетности о параметрах изделия, удобства и скорости решения проблем, возникших в ходе печати. Разработанный метод визуального контроля качества поверхности изделий 3Б-печати может принести существенную пользу в расширении возможностей автоматизации процесса быстрого прототипирования и вывести его на новый уровень. Ключевые слова

3Б-печать, система технического зрения, машинное обучение, метод опорных векторов, алгоритмы, обнаружение дефектов, контроль качества, экструзия, метод послойного наплавления

doi: 10.17586/2226-1494-2020-20-4-552-559

IMAGE-BASED DEFECT ANALYSIS FOR 3D-PRINTED ITEM SURFACE USING MACHINE LEARNING METHODS D.V. Izmailov, D.A. Drygin, K.V. Ezhova

ITMO University, Saint Petersburg, 197101, Russian Federation Corresponding author: ezhovakv@itmo.ru

Article info

Received 14.05.20, accepted 22.06.20 Article in Russian

For citation: Izmailov D.V., Drygin D.A., Ezhova K.V. Image-based defect analysis for 3D-printed item surface using machine learning methods. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2020, vol. 20, no. 4, pp. 552-559 (in Russian). doi: 10.17586/2226-1494-2020-20-4-552-559

Abstract

Subject of Research. Defect detection is an actual and challenging task in the field of additive technologies. This process enables the user to save time and reduce the consumption of material. Also, it prevents the further possible faults and defects. On that account, an automation of surface control process in 3D-printing is an essential step not only

for large manufacturing companies but also for private users. The paper proposes an image-based method for quality control of a 3D-printed product by applying machine learning algorithms. Method. 3D-printed item images were taken and processed on an experimental setup composed of a camera and a single board microcomputer. The paper presents a defect detecting method based on development of image preprocessing algorithms and further machine learning by applying support vector machine method. Main Results. The presented method enables the user to find and identify "over-extrusion" and "under-extrusion" defects with high precision on the surface of the manufactured items. Practical Relevance. The developed method is intended to provide practical benefits for the private users of 3D-printing devices and companies manufacturing or applying these devices. There are the following advantages of the method application: the 3D-printing parameters are easy to be set, the reports about the product and its features are saved, the solutions to any problem occurred during printing are simple and fast. The developed method of visual quality control of the 3D-printed item surface can be significantly helpful to the expansion of automation possibilities for fast prototyping processes and take 3D-printing process to a new level. Keywords

3D-printing, technical vision system, machine learning, support vector machine, algorithms, defects detecting, quality monitoring, extrusion, fused deposition modeling

Введение

В настоящее время потенциал технологии 3D-пе-чати, в частности метода послойного наплавления материала, активно раскрывается за счет таких качеств как скорость изготовления, дешевизна и адаптивность применения [1]. Однако современные конструкторские и программные решения имеют недостатки, связанные с неточной калибровкой 3D-принтеров или неверной установкой параметров 3D-печати пользователем, которые проявляются на изделии в виде дефектов во время 3D-печати.

Решить данную проблему возможно путем разработки специализированных алгоритмов анализа изображений для систем технического зрения [2], которые, как правило, состоят из видеокамеры и вычислительного модуля. Качество и эффективность данных систем напрямую зависят от алгоритмов анализа изображений, которые подстраиваются под конкретные задачи производства, некоторые из них описаны в работах [3-5].

Несмотря на то, что тематика аддитивных технологий приобретает большой интерес в качестве альтернативной технологии производства изделий, анализ существующих работ показал недостаточную изученность проблемы контроля процессов 3D-печати. Одной из представленных работ по данной тематике является разработка ученых У. Делли и Ш. Чанга [6], которые проводили контроль процесса 3D-печати посредством использования методов машинного обучения. В данной работе для анализа качества изделия предварительно изготавливалась деталь без дефектов, и с помощью веб-камеры, установленной над объектом, проводилась регистрация его изображения в контрольных точках. После этого вычислялись значения массива ошибок, как разность среднего значения пикселей идеального и изготавливаемого изделия в контрольных точках, по которому определялся класс изделия (хороший, плохой). Существенным недостатком данного метода является время, затраченное на перемещение экструдера для регистрации изображения в контрольных точках, а также увеличение вероятности появления дефектов, например, образования излишек пластика, из-за остановки работы 3D-принтера.

Д. Штрауб [7] предложил использовать анализ изображений и на его основе разработал метод для обнаружения дефектов 3D-печати, связанных с ошибками

завершения. В предложенном методе используется система, состоящая из пяти камер, размещенных по трем сторонам рабочей области 3D-принтера. В ходе проведения анализа качества 3D-печати производится регистрация объекта в 8 положениях каждой камерой с записью 40 изображений для дальнейшего сравнения с конечным изображением объекта. Обработка и попиксельный анализ изображений производятся при помощи специально разработанного программного обеспечения. Данный метод позволяет обнаружить два типа ошибок: «печать по воздуху» и «преждевременное завершение». Главным ограничением широкого применения предложенного метода является отсутствие возможности автоматического определения порогового значения уровня бинаризации, обусловленное зависимостью от условий освещения. Также необходимо отметить, что использование метода Штрауба приводит к увеличению времени печати и появлению дополнительных дефектов печати вследствие необходимости остановки процесса печати для регистрации каждого из 8 кадров.

Таким образом, готовых систем и алгоритмов обнаружения поверхностных дефектов и оценки качества изделий, изготовленных по методу послойного наплав-ления, не представлено на рынке 3D-технологий. В этой связи авторами была поставлена и решена задача создания алгоритма анализа изображения для оценки качества поверхности изделий 3D-печати. Данная разработка нацелена на дальнейшее создание программного обеспечения, которое будет иметь практическую пользу как для частных пользователей устройств 3D-печати, так и для предприятий, которые изготавливают или используют данный вид устройств, за счет облегчения настройки параметров 3D-печати, сохранения отчетности об изделии и его параметрах, а также за счет удобства и скорости принятия решений проблем, возникших в ходе 3D-печати.

Объект исследования

В настоящей работе в качестве объекта исследования рассматриваются поверхностные дефекты изделий 3D-печати, выполненные по технологии послойного наплавления. В качестве устройства 3D-печати используется 3D-принтер AnyCubic I3 Mega. Данная модель 3D-принтера является типичным представителем лю-

бительских устройств, зарекомендовавших себя в сфере технологий быстрого прототипирования, и позволяет изготавливать объекты размером до 210 х 210 х 205 мм, с высотой слоя 0,05-0,3 мм.

Для исследования были выделены два вида поверхностных дефектов: «недостаточная экструзия» и «избыточная экструзия» (рис. 1).

Для возможности обнаружения ошибки выполнен анализ внешнего вида дефектов, основные причины их возникновения и способы устранения.

«Избыточная экструзия» — возникновение излишек пластика в виде капель или наплывов слоев друг на друга связано с установкой неверного, большего относительно реального коэффициента экструзии, высокой температуры экструзии или в связи с частыми откатами нити в экструдере при изготовлении изделия. Таким образом, данную проблему можно решить, уменьшив коэффициент и температуру экструзии или количество откатов при 3D-печати.

«Недостаточная экструзия» — возникновение пустот и трещин между слоями сигнализирует о недостаточной интенсивности потока материала, выходящего из сопла. Данная проблема может быть связана с ошибками в настройке параметров 3D-печати, таких как коэффициент экструзии и диаметр нити. Кроме этого, данный дефект может возникнуть при засорении сопла или наличии механических проблем подачи экс-трудером материала. Соответственно, для устранения дефекта такого типа следует проверить параметры и устройство на возможные причины.

В результате анализа установлены ключевые признаки дефектов. Для дефекта «избыточная экструзия» ключевым признаком является наличие «бугра», который отличается от окрестности областью с повышенной яркостью, а для дефекта «недостаточная экструзия», наоборот, характерны темные области, «ямы».

Экспериментальная установка

В качестве аппаратного комплекса использована экспериментальная установка, представленная на

рис. 2. Данная система состоит из камеры Raspberry PI Model V2, расположенной параллельно исследуемой поверхности на расстоянии 115 мм от центра рабочей платформы 3D-принтера, и одноплатного компьютера Raspberry PI 3 B+. Более подробно о разработке данной установки можно ознакомиться в работе [8].

Принцип работы установки следующий: камера захватывает изображение объекта контроля и передает его на вычислительный модуль — одноплатный компьютер. С помощью разрабатываемого программного обеспечения производится обнаружение исследуемого объекта. Первоначально проводится предварительная обработка изображения, чтобы адаптировать изображение к анализу и изменить его определенные свойства, например, контраст или уровень шумов. На данном этапе важно оставить только релевантную информацию о полученном изображении. После предварительной обработки происходит анализ изображения, т. е. проводится генерация признаков, по которым система классифицирует ошибки при их наличии.

Предварительная обработка изображения

Как правило [9], процедура предварительной обработки изображения состоит из следующих этапов: фильтрации; перехода от цветного изображения к полутоновому; бинаризации и морфологических преобразований. Каждый из этих этапов непосредственно влияет на качество конечного результата. Фильтрация помогает устранять шумы на изображении, полутоновое изображение экономит ресурсы на обработку изображения, бинаризация выделяет полезную информацию для дальнейшего анализа, а морфологические преобразования устраняют оставшиеся шумы и артефакты на бинарном изображении.

В соответствии с отличительными признаками исследуемых дефектов для каждого из них подбирались методы предварительной обработки. Для дефекта «недостаточная экструзия» исходное изображение проходит медианную фильтрацию, чтобы устранить шумы, а также размыть границы между слоями, так

Рис. 1. Поверхностные дефекты: «избыточная экструзия» (а); «недостаточная экструзия» (б)

Рис. 2. Экспериментальная установка для визуального контроля качества поверхности изделия

настраиваемым, в качестве параметров выступает размер матрицы, относительно которого рассчитывается порог, как среднее значение рассматриваемого пикселя, а также константное значение, вычитаемое из среднего значения. Данные настраиваемые параметры одинаковы для анализируемых изображений изделий, так как зависят от шумовых составляющих, которые, в свою очередь, зависят от условий освещения. Следовательно, аналогично медианной фильтрации, необходимо однократно подобрать параметры бинаризации, поскольку для других зарегистрированных изображений настройки будут сохраняться. После проведения адаптивной бинаризации с целью устранения остаточных шумов и артефактов проводится морфологическая операция - эрозия. Результаты предварительной обработки изображений с дефектами «избыточная экструзия» и «недостаточная экструзия», а также объект без дефектов представлены на рис. 3-5.

как они потенциально могут быть определены, как область с наименьшей интенсивностью. Использование медианной фильтрации требует настройки размера ядра фильтра, размер выбранного ядра подбирается в соответствии с уровнем зашумленности изображения. Поскольку уровень шумов зависит от условий освещения, которое в эксперименте являлось неизменяемым параметром, размер фильтра подбирается однократно. Для того чтобы отделить объект от фона, а также выделить дефекты, проводится глобальная бинаризация методом Оцу [10]. Данный метод подбирает порог, уменьшающий дисперсию внутри класса, которая определяется как взвешенная сумма дисперсий двух классов. В результате сглаживания и бинаризации изображения достигается результат, при котором отчетливо видны места с наименьшей интенсивностью, т. е. области с «недостаточной экструзией» материала. Для дефекта «избыточная экструзия» исходное изображение также подвергается медианной фильтрации и переходу в полутоновое изображение, после чего используется адаптивная бинаризация методом, предоставляемым библиотекой компьютерного зрения ОрепСУ, аёар11уе_1Ьге8ЬоИ_теап_с [11]. Данный метод является

Классификация объектов

После проведения обработки зарегистрированного кадра, описанной в разделе «Предварительная обработка изображения», необходимо произвести классификацию объектов 3D-печати на изображении на три класса: дефект «избыточная экструзия», дефект «недостаточная экструзия», отсутствие дефектов. Это возможно в случае введения определенного порогового значения в виде допустимого размера дефекта, количества его смежных пикселей и других характеристик. Однако экспериментально в результате анализа было определено, что данные характеристики вариативны и имеют различные комбинации взаимодействия, следовательно, подбор единого порогового оптимального значения или группы значений для нескольких параметров является довольно проблематичной задачей. В связи с этим на практике для решения подобного рода задач применяются методы машинного обучения на размеченных данных [12], так называемого обучения с учителем, поскольку выборка данных для проведения анализа является относительно небольшой.

В настоящей работе для классификации данных используется линейный классификатор для произволь-

Рис. 3. Идеальный случай: полутоновое изображение (а); бинарное изображение: метод аёар11уе_1Ьге8Ъо1ё_теап_с (б)

и метод Оцу (в)

5 мм

— <->

Рис. 4. Дефект «недостаточная экструзия»: полутоновое (а) и бинарное (метод Оцу) (б) изображения

Рис. 5. Дефект «избыточная экструзия»: полутоновое (а) и бинарное (метод adaptive_threshold_mean_c) (б) изображения

ного количества классов. Его основные положения состоят в следующем:

— объекты классов описываются п числовыми признаками, а объектами классификатора являются п-мерные вектора;

— выходной функцией классификатора является порядковый номер или метка класса. Выражение, описывающее линейный классификатор для нескольких классов, выглядит следующим образом:

п

а(х, ■№) = аг^ахХ'^/^х) = а^тах(х,

уеУ уеУ

где а(х, ■№) — функция классификатора; х — объект классификатора; ' — матрица весов классов; '«'у — вектор весов; У — множество классов; у — номер класса; ^(х) — функция, описывающая значение у-го числового признака объекта; у — номер признака объекта.

Существует несколько методов обучения линейного классификатора, одним из основных является метод опорных векторов [13, 14]. Его смысл заключается в нахождении такой плоскости, разделяющей объекты, в которой отступ между объектами классов и плоскостью будет наибольшим, следовательно, наименьшей будет суммарная ошибка классификатора. В действительно-

сти выборка, которую возможно разделить линейно, встречается крайне редко, и гарантировать линейную разделимость выборки невозможно, поэтому необходимо использовать регуляризацию, либо осуществить переход в то пространство, где выборка является линейно разделимой. Переход в некоторое пространство осуществляется за счет замены скалярного произведения векторов весов и объектов на ядро. Данный прием в зарубежной литературе имеет название kernel trick [15]. Тогда первоначальный классификатор приобретает следующий вид:

a (x, w) = argmax(9(x), 9(wy)) = argmax K(x, wy).

yeY yeY

В настоящей работе в качестве ядра используется радиальная базисная функция:

K(wy, x) = e-Y|wy-x|2,

где K(w, x) — функция от двух переменных, описывающая ядро преобразования; ф(х) — преобразованная функция от объекта х классификатора; 9(w^) — преобразованная функция от вектора весов wy у — регулируемый параметр математической классифицирующей модели, определяющий степень влияния выборок, выбранных моделью в качестве опорных векторов.

Реализация данного метода классификации проводилась на высокоуровневом языке программирования общего назначения Python 2.7 с помощью библиотеки машинного обучения scikit-learn.

Как было отмечено ранее, для обучения параметров классификатора необходимо подготовить входные данные — объекты классов, w-мерные вектора, состоящие из признаков, другими словами — его характеристики. Генерацию признаков объекта предлагается осуществить с помощью полутоновой матрицы смежности [16]. Матрица показывает частоту сочетаний пикселей одного уровня серого цвета на изображении, отражает особенности текстуры анализируемого кадра, а также позволяет сгенерировать вектор со следующими признаками: энергия, контраст, корреляция, энтропия и однородность.

Пусть P — матрица смежности размера N, а P(y) — элемент матрицы смежности. В этом случае приведенные характеристики вычисляются следующим образом:

N N

энергия: £ IFiUj) ;

i-ij=i

1 NN

контраст: — £ -/)2Р(г,у);

N i-\ j=\

N N P(i,j)

однородность: £ £-T;

i-lj=l\+{i-jf

корреляция: £ £Р (г,у)---,

¡-1 ]=\ о

где ц=£ Ьпил, Ыш - И)2-

<•-1 ]=\ <-1 ]=\

Данный способ является эффективным и применяется в разработанном алгоритме как для полутонового изображения, так и для бинарных изображений с выделенными дефектами, полученных в ходе предварительной обработки.

Результаты

Для полного анализа изделия на наличие поверхностных дефектов необходимо регистрировать все боковые грани объекта. В данной работе использовалась одна камера, с помощью которой поочередно, на одинаковом расстоянии, регистрировались изображения объекта в четырех положениях: спереди, сзади, слева, справа. Предполагается, что при установке камер на соответствующих сторонах ЭБ-принтера результаты работы алгоритма будут аналогичны.

Для создания классифицирующей выборки изображений изготавливались тест-объекты различной геометрической сложности с габаритными размерами 30 х 30 х 30 мм. Изображения тест-объектов формировались при естественном освещении в один временной промежуток. Для каждого дефекта было получено

а

Рис. 6. Образцы изображений тест-объектов, формирующих выборку классифицирующей математической модели: полутоновые (а); бинаризованные методами Оцу (б) и adaptive_thresho1d_mean_c (в)

Таблица. Точность определения дефектов различных классов, %

Вид изображения

Класс Полутоновое изображение Бинарное — метод adaptive threshold mean c Бинарное — метод Оцу

Отсутствие дефектов 85 91 47

«Избыточная экструзия» 81 85 —

«Недостаточная экструзия» 83 — 78

100 изображений. Данная выборка была увеличена до 150 изображений путем изменения контраста, цветовых параметров, ориентации и размеров изображений.

Анализ точности классификации с применением разработанного алгоритма проводился на трех типах изображения, аналогичных приведенным ранее: полутоновое, бинаризованное методом Оцу, бинаризованное методом adaptive_threshold_mean_c (рис. 6). Точность определения дефектов показана в таблице.

Заключение

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

В работе показаны основные принципы анализа дефектов на поверхности изделия 3D-печати. Предложен новый автоматизированный алгоритм обнаружения дефектов и их классификации, основанный на прин-

ципах обработки изображения объекта, зарегистрированного с помощью камеры Raspberry PI Model V2, расположенной параллельно исследуемой поверхности, а также на методе опорных векторов, используемого для обучения классифицирующей математической модели. Приведены результаты точности работы алгоритма при различных параметрах его входных данных. Наилучший результат достигнут при определении класса отсутствия дефектов на обработанном бинарном изображении методом adaptive_threshold_mean_c. Он равен 91 %.

Предполагается, что разработанный алгоритм является эффективным решением для актуальных задач 3D-технологий. И, по мнению авторов, может быть потенциально конкурентоспособным и коммерчески реализуемым продуктом.

Литература

1. Vyavahare S., Teraiya S., Panghal D., Kumar S. Fused deposition modelling: a review // Rapid Prototyping Journal. 2020. V. 26. N 1. P. 176-201. doi: 10.1108/RPJ-04-2019-0106

2. Шаветов С.В., Ведяков А.А., Бобцов А.А. Система технического зрения в архитектуре системы удаленного управления // Научно-технический вестник информационных технологий, механики и оптики. 2014. № 2. С. 164-166.

3. Mohanty A.K., Amalendu B. Detection and classification of fabric defects in textile using image mining and association rule miner // International Journal of Electrical, Electronics and Computers. 2017. V. 2. N 3. P. 28-33.

4. Essid O., Laga H., Samir C. Automatic detection and classification of manufacturing defects in metal boxes using deep neural networks // PLoS ONE. 2018. V. 13. N 11. P. e0203192. doi: 10.1371/journal.pone.0203192

5. Strokina N., Mankki A., Eerola T., Lensu L., Kayhko J., Kalviainen H. Framework for developing image-based dirt particle classifiers for dry pulp sheets // Machine Vision and Applications. 2013. V. 24. N 4. P. 869-881. doi: 10.1007/s00138-013-0485-1

6. Delli U., Chang S. Automated process monitoring in 3D printing using supervised machine learning // Procedia Manufacturing. 2018. V. 46. P. 865-870. doi: 10.1016/j.promfg.2018.07.111

7. Straub J. Initial work on the characterization of additive manufacturing (3D printing) using software image analysis // Machines. 2015. V. 3. N 2. P. 55-71. doi: 10.3390/machines3020055

8. Izmaylov D., Tolstoba N., Bodrov K. Computer vision system selection for control of rapid prototyping processes // Proceedings of SPIE. 2018. V. 10695. P. 106950Q. doi: 10.1117/12.2313959

9. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход / пер. с англ. М.: Издательский дом «Вильямс», 2004. 928 с.

10. Otsu N. A threshold selection method from gray-level histograms // IEEE Transactions on Systems, Man, and Cybernetics. 1979. V. 9. N 1. P. 62-66. doi: 10.1109/TSMC.1979.4310076

11. Bradski G., Kaehler A. Learning OpenCV. Computer Vision with the OpenCV Library. O'Reilly, 2008. 709 p.

12. Chi Z., Yan H., Pham T. Fuzzy Algorithms: With Applications to Image Processing and Pattern Recognition. World Scientific, 1996. 240 p. (Advances in Fuzzy Systems - Applications and Theory, V. 10).

References

1. Vyavahare S., Teraiya S., Panghal D., Kumar S. Fused deposition modelling: a review. Rapid Prototyping Journal, 2020, vol. 26, no. 1, pp. 176-201. doi: 10.1108/RPJ-04-2019-0106

2. Shavetov S.V., Vedyakov A.A., Bobtsov A.A. The system of technical vision in the architecture of the remote control system. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2014, no. 2, pp. 164-166. (in Russian)

3. Mohanty A.K., Amalendu B. Detection and classification of fabric defects in textile using image mining and association rule miner. International Journal of Electrical, Electronics and Computers, 2017, vol. 2, no. 3, pp. 28-33.

4. Essid O., Laga H., Samir C. Automatic detection and classification of manufacturing defects in metal boxes using deep neural networks. PLoS ONE, 2018, vol. 13, no. 11, pp. e0203192. doi: 10.1371/journal. pone.0203192

5. Strokina N., Mankki A., Eerola T., Lensu L., Kayhko J., Kalviainen H. Framework for developing image-based dirt particle classifiers for dry pulp sheets. Machine Vision and Applications, 2013, vol. 24, no 4, pp. 869-881. doi: 10.1007/s00138-013-0485-1

6. Delli U., Chang S. Automated process monitoring in 3D printing using supervised machine learning. Procedia Manufacturing, 2018, vol. 46, pp. 865-870. doi: 10.1016/j.promfg.2018.07.111

7. Straub J. Initial work on the characterization of additive manufacturing (3D printing) using software image analysis. Machines, 2015, vol. 3, no. 2, pp. 55-71. doi: 10.3390/machines3020055

8. Izmaylov D., Tolstoba N., Bodrov K. Computer vision system selection for control of rapid prototyping processes. Proceedings of SPIE, 2018, vol. 10695, pp. 106950Q. doi: 10.1117/12.2313959

9. Forsyth D.A., Ponce J. Computer Vision: A Modern Approach. Prentice Hall, 2003, 639 p.

10. Otsu N. A threshold selection method from gray-level histograms. IEEE Transactions on Systems, Man, and Cybernetics, 1979, vol. 9, no. 1, pp. 62-66. doi: 10.1109/TSMC.1979.4310076

11. Bradski G., Kaehler A. Learning OpenCV. Computer Vision with the OpenCV Library. O'Reilly, 2008, 709 p.

12. Chi Z., Yan H., Pham T. Fuzzy Algorithms: With Applications to Image Processing and Pattern Recognition. World Scientific, 1996, 240 p., Advances in Fuzzy Systems — Applications and Theory, vol. 10.

13. Zhang X.-W., Ding Y.-Q., Lv Y.-Y., Shi A.-Y., Liang R.-Y. A vision inspection system for the surface defects of strongly reflected metal based on multi-class SVM // Expert Systems with Applications. 2011. V. 38. N 5. P. 5930-5939. doi: 10.1016/j.eswa.2010.11.030

14. Suykens J.A.K., Vandewalle J. Least squares support vector machine classifiers // Neural Processing Letters. 1999. V. 9. N 3. P. 293-300. doi: 10.1023/A:1018628609742

15. Baudat G., Anouar F. Kernel-based methods and function approximation // Proc. of the International Joint Conference on Neural Networks (IJCNN'01). V. 2. 2001. P. 1244-1249. doi: 10.1109/IJCNN.2001.939539

16. Mohanaiah P., Sathyanarayana P., GuruKumar L. Image texture feature extraction using GLCM approach // International Journal of Scientific and Research Publications. 2013. V. 3. N 5. P. 1-5.

Авторы

Измайлов Даниил Владимирович — студент, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, Scopus ID: 57202978946, ORCID ID: 0000-0001-7016-3137, danya-izmaylov@mail.ru

Дрыгин Даниил Андреевич — студент, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, ORCID ID: 0000-0002-6580-9594, drygin1998@yandex.ru

Ежова Ксения Викторовна — кандидат технических наук, доцент, доцент, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, Scopus ID: 55246080000, ORCID ID: 0000-0002-8076-876X, ezhovakv@itmo.ru

13. Zhang X.-W., Ding Y.-Q., Lv Y.-Y., Shi A.-Y., Liang R.-Y. A vision inspection system for the surface defects of strongly reflected metal based on multi-class SVM. Expert Systems with Applications, 2011, vol. 38, no. 5, pp. 5930-5939. doi: 10.1016/j.eswa.2010.11.030

14. Suykens J.A.K., Vandewalle J. Least squares support vector machine classifiers. Neural Processing Letters, 1999, vol. 9, no. 3, pp. 293300. doi: 10.1023/A:1018628609742

15. Baudat, G., Anouar F. Kernel-based methods and function approximation. Proc. of the International Joint Conference on Neural Networks (IJCNN'01), vol. 2, 2001, pp. 1244-1249. doi: 10.1109/IJCNN.2001.939539

16. Mohanaiah P., Sathyanarayana P., GuruKumar L. Image texture feature extraction using GLCM approach. International Journal of Scientific and Research Publications, 2013, vol. 3, no. 5, pp. 1-5.

Authors

Daniil V. Izmailov — Student, ITMO University, Saint Petersburg, 197101, Russian Federation, Scopus ID: 57202978946, ORCID ID: 0000-0001-7016-3137, danya-izmaylov@mail.ru

Daniil A. Drygin — Student, ITMO University, Saint Petersburg, 197101, Russian Federation, ORCID ID: 0000-0002-6580-9594, drygin1998@yandex.ru

Ksenia V. Ezhova — PhD, Associate Professor, Associate Professor, ITMO University, Saint Petersburg, 197101, Russian Federation, Scopus ID: 55246080000, ORCID ID: 0000-0002-8076-876X, ezhovakv@itmo.ru

i Надоели баннеры? Вы всегда можете отключить рекламу.