CC BY
0
Разработка способа анализа качества поверхности изделия на основе
методов выявления аномалий
В.В. Жизневский, А.В. Катаев, С.В. Хомутцов, Е.В. Доценко,
А. Д. Кирпа
Волгоградский государственный технический университет
Аннотация: Данная статья посвящена разработке способа обнаружения дефектов на поверхности изделия на основе методов выявления аномалий с использованием экстрактора признаков, основанного на сверточной нейронной сети. Метод предполагает использование машинного обучения для обучения моделей классификации на основе полученных признаков со слоя предварительно обученной нейросети U-Net. В рамках исследования происходит обучение автоэнкодера на основе модели U-Net на данных, не содержащих изображений дефектов. Полученные из нейросети признаки классифицируются с помощью классических алгоритмов выявления аномалий в данных. Данный метод позволяет локализовать области аномалий в тестовой выборке данных, когда для обучения доступны только образцы без аномалий. Предлагаемый метод не только предоставляет возможность обнаружения аномалий, но и обладает высоким потенциалом для автоматизации процессов контроля качества в различных отраслях промышленности, включая производство, медицину и информационную безопасность. Благодаря преимуществам моделей машинного обучения без учителя, таких как устойчивость к неизвестным формам аномалий, данный метод может значительно улучшить эффективность контроля качества и диагностику, что в свою очередь сократит расходы и повысит производительность. Предполагается, что дальнейшие исследования в этой области приведут к еще более точным и надежным методам выявления аномалий, что будет способствовать развитию индустрии и науки.
Ключевые слова: U-Net, нейросеть, классификация, аномалия, дефект, классификация новых признаков, автоэнкодер, машинное обучение, изображение, качество изделия, производительность.
Задача выявления дефектов на поверхности изделий может быть решена различными методами. Методы, основанные на применении пороговых значений напрямую к пикселям изображения [1, 2] просты, но способны выделять лишь хорошо отличимые визуально дефекты. В настоящее время, для обнаружения дефектов активно разрабатываются методы, использующие подходы, основанные на машинном обучении, которые обеспечивают чувствительность выше 0,97 [3]. Такие методы демонстрируют лучшую способность обнаруживать дефекты, однако требуют большого объема данных (включающего как нормальные участки
поверхности, так и дефектные) для обучения модели. Для таких методов невозможно гарантировать, что дефект, отсутствовавший в обучающем наборе, будет обнаружен в тестовом.
Существуют методы машинного обучения без учителя, которые можно использовать при отсутствии достаточного количества образцов дефектов. Использование таких методов позволяет обнаруживать любые отличия от нормы и считать их дефектами.
В частности, к методам обучения без учителя можно отнести автоэнкодеры [4 - 7], в том числе, генеративно-состязательные сети (GAN) [8] и модели типа U-Net [9]. Идея состоит в том, чтобы обучить автоэнкодер на изображениях без дефектов в предположении, что при предъявлении изображения с дефектами, сеть не сможет восстановить дефектные участки и мы сможем это обнаружить.
В данной работе предлагается метод выявления дефектов на поверхностях изделий, снованный на преобразовании исходного изображения из растрового представления в высокоуровневое пространство признаков с помощью модели на основе сверточной нейросети модели U-Net и детектировании аномалий в полученном признаковом представлении.
Описание данных
Для экспериментов использован набор данных KolektorSDD2[10], содержащий 356 изображений с дефектами и 2979 изображений без дефектов. Средний размер изображений 230 x 630 пикселей. Для каждого изображения построена бинарная маска (0 - нормальная поверхность, 1 -область с дефектом). Обучающая выборка состоит из 246 изображений с дефектами и 2085 изображений без дефектов. Тестовая выборка состоит из 110 изображений с дефектами и 894 изображений без дефектов. Пример изображений из набора данных представлен на рис. 1.
Для обучения метода использовались только участки изображения, не содержащие дефектов (маска которых равна 0). Для тестирования были выбраны участки с дефектами и без них.
... **
Рис. 1. - Набор данных KolektorSDD2
Описание метрик
Для всех моделей (комбинаций экстрактора признаков и метода выявления аномалий с различными параметрами) были рассчитаны метрики, характеризующие их работу на тестовых данных. Метрики имеют следующие обозначения:
TPR - чувствительность модели, показывает долю дефектов, которые выявила модель, среди всех дефектов. Высокие значения TPR означают, что модель находит большую часть всех дефектов поверхности и, таким образом, допускает меньше ошибок второго рода (ложных отрицательных срабатываний); ТКЯ - отражает специфичность модели, показывает долю нормальных участков изображения, которые классифицированы моделью как нормальные. Высокие значения показывают, что модель не будет слишком часто показывать дефект там, где его нет, и, таким образом, допускает меньше ошибок первого рода (ложно положительных срабатываний); РЯЕС -точность модели, показывает долю дефектов среди всех участков, помеченных как дефект. Так же, как и для ТКЯ высокие значения указывают
на меньшее число ошибок первого рода, но данная метрика более наглядна для данных с сильным дисбалансом в количестве дефектных и нормальных участков.
Для выбора модели в приоритете должны быть высокие значения чувствительности при сохранении высокой специфичности (TNR и PREC).
Метрики зависят от выбора порога классификации. Увеличение порога позволяет добиться высокой чувствительности, но неизбежно снижает специфичность модели, и наоборот.
ROC - это кривая, которая показывает, как соотносятся TPR и TNR (точнее, 1 — TNR) при разных пороговых значениях классификации, и позволяет оценить, как будет меняться одна из метрик при подборе порога классификации для другой из них; ROC AUC - площадь под ROC кривой, позволяет численно сравнивать модели.
Описание метода
Первым шагом метода является преобразование исходного изображения из растрового представления в высокоуровневое пространство признаков с помощью предварительно обученной модели (экстрактора признаков) на основе сверточной нейронной сети модели Unet. Модель была предварительно обучена на задаче восстановления исходного изображения (Автоэнкодер).
Следующим шагом является применение метода обнаружения аномалий в данных к полученным значениям для выявления областей интереса на изображении. Для обнаружения аномалий использовались следующие алгоритмы: LOF [11], One-Class SVM [12] и Isolation Forest [13].
Входными данными для классических алгоритмов использовались значения, которые снимались с промежуточого слоя down conv3 сети U-Net. Архитектура сети представлена на рис. 2. Значения признаков, взятые с
выхода слоя down conv3 сети U-Net, являются высокоуровневыми
признаками локальной области размером 32 x 32 пикселей.
Рис. 2. - Архитектура сети U-Net Для полученных признаков со слоя down conv3 была построена визуализация с помощью t-SNE преобразования, с помощью которой можно предварительно оценить способность признаков различать дефектные участки от нормальных. На основе полученных признаков было проведено обучение методов детектирования аномалий для разделения признаков нормальной поверхности и признаков областей с аномалиями. Также была предсказана маска с помощью обученных моделей.
Описание эксперимента
Применив t-SNE преобразование к признакам, полученным на обучающей выборке, уменьшим размерность пространства с 512 x 512 до 2 для удобной визуализации. На рис. 3 представлены результаты визуализации. В первой визуализации синие точки соответствуют областям нормальной поверхности (для которых значение маски равно 0), а красные точки соответствуют областям с дефектами (маска равна 1). Видно, что группы визуально разделимы. Разделимость признаков означает, что они могут быть использованы для классификации участков на дефектные и нормальные. Для
наглядности, во второй визуализации те же точки отображаются в обратном порядке, чтобы избежать перекрытия точек (сначала признаки дефектных участков, потом нормальных). В большинстве из этих групп наблюдается, что признаки дефектов окружены признаками, относящиеся к нормальной
Рис. 3. - Визуализация полученного пространства признаков В рамках эксперимента проведены численные эксперименты с различным значением количества классификаторов в модели Isolation Forest (10, 20, 50, 100, 200 классификаторов). Также были проведены численные эксперименты с различным значением количества точек (10, 20, 50, 100, 200) для метода локального уровня выбросов (LOF) и эксперименты с One Class SVM с различной комбинацией параметров: долей допустимых ошибок классификации, функцией классификатора и коэффициент ядра.
Кривые обучения моделей представлены на сводном графике на рис. 4. На графике видно, что наибольшая площадь под ROC кривой (ROC AUC) показывает модель LOF с 10 точками.
M Инженерный вестник Дона, №6 (2024) ivdon.nl/ru/magazine/archive/n6y2024/9278
Isolation Forest(lO), auc = 0.832 SVMfO.lO, 0.05, rbf), auc = 0.957 SVMfO.l, linear), auc = 0.406 Isolation Forest(200), auc = 0.844 SVM(0.05, 0.05, rbf), auc = 0.958 Isolation Forest(20). auc - 0.865 LOF(200), auc = 0.946 LOF(IO), auc = 0.975 Isolation Forest(50). auc = 0.860 LOF(IOO), auc = 0,952 LOF(20), auc = 0.967 SVM(0.10, auto, poly), auc = 0.368 SVM(0.20, 0.05, rbf). auc - 0.946 SVM(0.10, auto, rbf), auc = 0.825 LOF(50), auc = 0.958 Isolation Forest(lOO), auc - 0.844
0.0 0.2 0.4 0.6 0.8 1.0
False Positive Rate
Рис. 4 - Кривые обучения моделей В таблице 1 представлены значения метрик моделей на тестовых данных. Можем видеть, что LOF с 10 точками показывает PREC намного ниже, чем SVM долей допустимых ошибок классификации 0.2, размером ядра равным 0.05 и радиальной базисной функций в качестве классификатора. ROC AUC для данных моделей SVM и LOF имеет разницу в 3%, в то время как PREC отличается на 14% в пользу SVM.
Таблица №1
Метрики обученных моделей
Классификатор AUC TN FN TP FP TPR TNR PREC
1 2 3 4 5 6 7 8 9
Isolation Forest(10) 0.832 85 8 47 46 0.855 0.649 0.505
Isolation Forest(200) 0.844 79 14 50 43 0.781 0.648 0.538
Isolation Forest(20) 0.865 84 9 54 39 0.857 0.683 0.581
Isolation Forest(50) 0.860 83 10 56 37 0.848 0.692 0.602
1 2 3 4 5 6 7 8 9
Isolation Forest(100) 0.844 78 15 51 42 0.773 0.650 0.548
LOF(200) 0.946 91 2 72 21 0.973 0.812 0.774
LOF(10) 0.975 93 0 73 20 1.000 0.823 0.785
LOF(100) 0.952 90 3 73 20 0.961 0.818 0.785
LOF(20) 0.967 91 2 75 18 0.974 0.835 0.806
LOF(50) 0.958 90 3 75 18 0.962 0.833 0.806
SVM(0.10, 0.05, rbf) 0.957 83 10 81 12 0.890 0.874 0.871
SVM(0.1, linear) 0.406 81 12 16 77 0.571 0.513 0.172
SVM(0.05, 0.05, rbf) 0.958 85 8 81 12 0.910 0.876 0.871
SVM(0.10, auto, poly) 0.368 82 11 13 80 0.542 0.506 0.140
SVM(0.20, 0.05, rbf) 0.946 76 17 85 8 0.833 0.905 0.914
SVM(0.10, auto, rbf) 0.825 84 9 56 37 0.862 0.694 0.602
На рис. 5 представлена визуализация предсказанных дефектных областей моделью SVM (0.2, 0.05, rbf): первая строка - изображения участка поверхности на входе модели; вторая строка - истинные значения маски дефекта (размеченные экспертом); третья строка - маска, созданная описанной моделью; четвертая строка - визуализированная величина оценки score, полученной моделью.
Визуально мы наблюдаем сходство с истинными дефектами, однако также мы получаем небольшое количество шумов.
Модель может посчитать дефектами те области изображений, где поверхность с аномалией и нормальная поверхность имеют однородную структуру, что мы можем наблюдать из визуализации оценки score.
Если обратить внимание на контрастность оценки score, то можно предположить, что при изменении порогового значения можно добиться лучшего построения маски, выбирая между требуемыми TPR и FNR метриками.
„ » 200
100 200 300 «О » 100 200 »0 400 500 100 200 300 400 *Х 100 200 ЗОО 400 Ж 100 ioo да: «о да 100 200 300 400 »0
« « - -
О 10 20 30 40 M M ДО 20 30 40 ЭО 00 10 20 30 40 » M 0 10 20 30 40 » 60 10 20 Я «0 » 00 ДО 20 30 40 » 00
„ M W : > 1 • » ♦ ^-- вг-i 20 * 4 - • Г * -, , ,«
Рис. 5. - Визуализация предсказанных масок
Заключение
В работе исследована работа метода выявления дефектов поверхности на основе комбинации сверточной нейронной сети и алгоритмов выявления аномалий в данных. Экспериментально проверена работа методов с различными комбинациями параметров. Лучшие результаты на выбранном наборе данных достигаются при использовании слоя conv3 сети U-Net в качестве экстрактора признаков в комбинации с методом LOF с 20 точками для максимизации чувствительности, либо SVM со соледующими параметрами: допустимая ошибка классификации равная 0.2, коэффициентом ядра равным 0.05 и радиальной базисной функцией в качестве классификатора, для лучшей специфичности выявления дефектов.
Литература
1. Балеев И.А., Земцов А.Н., Зыбин М.И., Смирнов В.А. Распознавание дефектов на металлических сплавах с помощью алгоритмов
компьютерного зрения OpenCV // Инженерный вестник Дона, 2021, №3. URL: ivdon.ru/ru/magazine/archive/n3y2021/6874.
2. Казначеева А.А., Захаркина С.В., Власенко О.М., Рыжкова Е.А. Разработка автоматизированной системы обнаружения дефектов на ткани с применением компьютерного зрения // Инженерный вестник Дона, 2021. №12. URL: ivdon.ru/ru/magazine/archive/n12y2021/7339.
3. Kyeong-Beom P., Jae Y., "Novel industrial surface-defect detection using deep nested convolutional network with attention and guidance modules", Journal of Computational Design and Engineering, 2022, Vol. 9, pp. 2466-2482. URL: doi.org/10.1093/jcde/qwac115.
4. Pang P., Shen C., Cao L., "Deep Learning for Anomaly Detection: A Review", ACM Computing Surveys, 2020, Vol. 54, pp. 1-38. URL: doi.org/10.1145/3439950.
5. Bergmann P., Lowe S., Fauser M., "Improving Unsupervised Defect Segmentation by Applying Structural Similarity to Autoencoders", 14th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications, 2019, Vol. 5, pp. 372-380. URL: doi.org/10.5220/0007364503720380.
6. Abati D., Porrello A., Calderara S., "Latent Space Autoregression for Novelty Detection", Computer Vision and Pattern Recognition, 2019, pp. 481-490. URL: doi.org/10.48550/arXiv.1807.01653.
7. Makhzani A., Shlens J., Jaitly N., "Adversarial Autoencoders", International Conference on Learning Representations (ICLR), 2017. URL: doi.org/10.48550/arXiv.1511.05644.
8. Goodfellow I., Pouget-Abadie J., Mirza M., "Generative Adversarial Nets", Advances in Neural Information Processing Systems 27, 2014, pp. 946-955. URL: doi.org/10.48550/arXiv.1406.2661.
9. Ronneberger O., Fischer P., Brox T., "U-Net: Convolutional Networks for Biomedical Image Segmentation", Medical Image Computing and ComputerAssisted Intervention (MICCAI), 2015, Vol. 9351, pp. 234-241. URL: doi.org/10.48550/arXiv.1505.04597.
10. Bozic J., Tabernik D., Skocaj D., "Mixed supervision for surface-defect detection: from weakly to fully supervised learning", Computers in Industry, 2021, Vol. 129, pp. 211-226. URL: doi.org/10.1016/j.compind.2021.103459.
11. Yang X., Peng K., An l., "GMBLOF: A Machine Learning Algorithm of Novelty Detection Based on Local Outlier Factor", 5th International Conference on Pattern Recognition and Artificial Intelligence (PRAI), 2022, pp. 20-25. URL: doi.org/10.1109/PRAI55851.2022.9904135.
12. Yang Z., Long J., Zi Y., "Incremental Novelty Identification From Initially One-Class Learning to Unknown Abnormality Classification", IEEE Transactions on Industrial Electronics, 2021, Vol. 69, pp. 7394-7404. URL: doi.org/10.1109/TIE.2021.3101001.
13. Tak H., Hee D., Jun J., "Novelty class detection in machine learning-based condition diagnosis", Journal of Mechanical Science and Technology, 2023, Vol. 37, pp. 1145-1154. URL: doi.org/10.1007/s12206-023-0201-7.
References
1. I.A. Baleev, A.N. Zemcov, M.I. Zybin, V.A. Smirnov. Inzhenernyj vestnik Dona, 2021, №3. URL: ivdon.ru/ru/magazine/archive/n3y2021/6874.
2. A.A. Kaznacheeva, S.V. Zaharkina, O.M. Vlasenko, E.A. Ryzhkova, Inzhenernyj vestnik Dona, 2021, №12. URL: ivdon.ru/ru/magazine/archive/n 12y2021/7339.
3. P. Kyeong-Beom, Y. Jae, Journal of Computational Design and Engineering, 2022, Vol. 9, pp. 2466-2482. URL: doi.org/10.1093/jcde/qwac115.
4. P. Pang, C. Shen, L. Cao, ACM Computing Surveys, 2020, Vol. 54, pp. 1-38. URL: doi.org/10.1145/3439950.
5. P. Bergmann, S. Lowe, M. Fauser, 14th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications, 2019, Vol. 5, pp. 372-380. URL: doi.org/10.5220/0007364503720380.
6. D. Abati, A. Porrello, S. Calderara, Computer Vision and Pattern Recognition, 2019, pp. 481-490. URL: doi.org/10.48550/arXiv.1807.01653.
7. A. Makhzani, J. Shlens, N. Jaitly, International Conference on Learning Representations (ICLR), 2017. URL: doi.org/10.48550/arXiv.1511.05644.
8. I. Goodfellow, J. Pouget-Abadie, M. Mirza, Advances in Neural Information Processing Systems 27, 2014, pp. 946-955. URL: doi.org/10.48550/arXiv. 1406.2661.
9. O. Ronneberger, P. Fischer, T. Brox, Medical Image Computing and Computer-Assisted Intervention (MICCAI), 2015, Vol. 9351, pp. 234-241. URL: doi.org/10.48550/arXiv.1505.04597.
10. J. Bozic, D. Tabernik, D. Skocaj, Computers in Industry, 2021, Vol. 129, pp. 211-226. URL: doi.org/10.1016/j.compind.2021.103459.
11. X. Yang, K. Peng, l. An, 5th International Conference on Pattern Recognition and Artificial Intelligence (PRAI), 2022, pp. 20-25. URL: doi.org/10.1109/PRAI55851.2022.9904135.
12. Z. Yang, J. Long, Y. Zi, IEEE Transactions on Industrial Electronics, 2021, Vol. 69, pp. 7394-7404. URL: doi.org/10.1109/TIE.2021.3101001.
13. H. Tak, D. Hee, J. Jun, Journal of Mechanical Science and Technology, 2023, Vol. 37, pp. 1145-1154. URL: doi.org/10.1007/s12206-023-0201-7.
Дата поступления: 16.04.2024 Дата публикации: 30.05.2024
