CC BY
6
Обзор: достижения и проблемы при анализе и диагностике дефектов
изделий цифровыми методами
Н.М. Антонова, О.С. Овчинников, Е.Ю. Хаустова, И.С. Линьков
Южно-Российский государственный политехнический университет (НПИ) им.
М.И. Платова, Новочеркасск
Аннотация: В статье представлен обзор анализа и диагностики дефектов поверхности изделий, оцениваемый с помощью цифровой обработки изображений. Поиск научных публикаций проведен преимущественно в наукометрических базах Scopus и РИНЦ за период 2019-2023 годы. Целью данной статьи является определение наиболее оптимальных методов оценки деструкции материалов при помощи цифровых изображений. Рассмотрены основные методы обработки и анализа цифровых изображений. Показана перспективность унификации режимов сегментации по источникам получения цифровых изображений и совмещение изображений от различных источников регистрации для получения объективной информации о характере разрушения материала. Для сокращения времени оценки степени разрушения материалов предлагается поэтапно использовать методы сегментации, фильтрации цифровых изображений дефектов металлических изделий с последующим расчетом нейронной сетью. Ключевые слова: дефект, контроль, цифровое изображение, нейронная сеть.
Разрушение материалов сопровождается структурными и морфологическими изменениями. Цифровые изображения дефектов, зафиксированные с помощью различных устройств сбора информации, позволяют обеспечить быстрый неразрушающий контроль изделий с высокой точностью оценки характера и степени деструкции материала. Мы рассмотрим состояние исследований, направленных на решение проблемы, связанной с анализом и диагностикой дефектов материалов и изделий по цифровым изображениям их поверхностей. Компьютерные технологии позволяют повысить чувствительность и информативность старых диагностических методов и разработать новые методы. В конце двадцатого века особое внимание исследователей привлекли возможности цифровой обработки изображений, позволяющие быстро и эффективно решить задачи, связанные с обнаружением и идентификацией дефектов структуры материалов. Классические методы регистрации для выявления
микродефектов объектов, связанные с применением фотопленок, такие, как методы фотоупругости, рентгеновской топографии, приводят нередко к потере информации. Это связано с качеством фотоматериалов, предназначенных для регистрации фиксируемых объектов. Цифровые методы экспресс-диагностики позволяют эффективно решить возникающие проблемы и привлекают внимание как со стороны промышленности, так и академических кругов. Рассмотрим преимущества и недостатки основных методов обработки и анализа изображений, применяемых на практике для оценки дефектов материалов.
Для анализа и обработки изображений в пространственной и частотной областях традиционно используются методы, основанные на Фурье-анализе, а позднее вейвлет-анализе. Достоинством Фурье - метода является применимость к широкому классу сигналов, недостатком - ограничение по временному и частотному разрешению [1]. Термин «вейвлет» - «маленькая волна» ввели Гроссман и Морле - (Grossman A., Morlet J., «J.Math. Anal. » 15, 723, 1984 г.). Вейвлет - анализ используется для представления изображений в нескольких масштабах одновременно, со сжатием изображения. В развитие вейвлет-анализа как инструмента физического материаловедения большой вклад внесли российские ученые: В.П. Воробьев, В.К. Грибунин, В.В. Витязев, В.Г. Карташевский, В.А. Ткаль и многие другие [2]. Вейвлет-анализ показан при анализе высокочастотных спектральных характеристик, однако в работе [1] авторы рекомендуют для эффективного решения практических задач исследовать одновременно применимость Фурье и вейвлет - подходов. В настоящее время, для описания дефектов различной природы в материаловедении вейвлет-анализ дополняется фрактально-информационными представлениями и позволяет производить экспресс-диагностику веществ на новом качественном уровне.
Фурье-подход предлагается для выявления периодичности в микроструктуре материалов при оценке интенсивности яркости изображений полос перлита [3]. Авторы подчеркивают, что массовые цифровые измерения морфологических неоднородностей поверхности позволяют обеспечить набор статистических оценок с последующей классификацией микроструктур, не достижимый путем ручной обработки. Модифицированный алгоритм преобразования Фурье (МЕТА) сочетают со сравнительно недавно предложенным методом глубинной сегментации (ОЭБМ) [4]. Однако отмечается, что скорость сегментации при этом ограничивается, вычислительная сложность растет. Поэтому в работе [4] рекомендовано применять метод быстрой вычислительной сегментации по глубине (БСВБ), позволяющий уменьшить объем вычислений и повысить их объективность. Авторы работы отмечают, что описанный подход результативен при сегментировании объектов одинакового цвета. Для успешной сегментации необходимы высококачественные исходные изображения. Изображения, получаемые принятыми методами визуализации - видимые, рентгеновские и т.д. возможно унифицировать с помощью нейронной сети за счет дополнительной информации различной модальности изображений. Однако такие работы носят одиночный характер, а данный модально-инвариантный метод разработан для анализа медицинских изображений [5]. Вообще, большая активность наблюдается именно в медицинских исследованиях - например, рассматривается слияние инфракрасного и видимого изображения с помощью градиентного фильтра [6], сохраняющего яркость исходных изображений. Как недостаток метода сегментации, следует отметить долгий путь получения решений задач.
В ряде работ решаются отдельные задачи фильтрации изображения, включающие, в том числе, пространственное и яркостное разрешение. При решении задач такого рода также отмечается [7], что возрос интерес к
тематике совмещения изображений от различных источников регистрации -рентгеновских, инфракрасных и других. Описанный в исследовании [7] синтез инфракрасных и видимых изображений удачно сочетает высокую контрастность объектов, полученных с помощью инфракрасных датчиков и высокое разрешение и детализированность, обусловленную натурной съемкой. Слияние изображений позволяет избежать основных недостатков отдельных видов изображений - влияния на инфракрасные датчики температур, факторов внешней среды (погода, освещенность, затенение) при получении видимых изображений. Решения подобных задач требуют точного знания математических моделей и понимания особенностей видеорегистрации, поэтому в реальных системах используются процедуры помеховой фильтрации. Предназначенные для совмещения изображения нуждаются в предварительной обработке. Широко используется пиксельный подход: в работе [8] рассматривается комбинация иерархической и суперпиксельной сегментации изображений. Авторы показывают эффективность и быстроту реализации такой комбинации. Для анализа гигапиксельных изображений предлагается использовать метод нейронного сжатия изображений (NIC), с помощью сверточных нейронных сетей, с использованием слабых меток уровня изображения [9]. В случае, если на изображении отсутствуют пиксели (размытость зоны), все существующие методы предлагают использовать для восстановления изображения сверточные нейронные сети. Вообще, практически все ситуации, связанные с недостаточной четкостью изображения, или «потерей» части изображения решаются преимущественно пиксельными подходами, например, объединением локальной максимальной интенсивности пикселей с локальным максимальным градиентом, что улучшает качество восстановленного изображения [10]. Вышеперечисленные работы представляют общие рекомендации по обработке изображений.
Число работ, ориентированных на поиск и диагностику дефектов материалов и изделий по цифровым изображениям на промышленных предприятиях немногочисленно. Так, работа [11] посвящена анализу информации о дефектах, связанных с коррозией материалов (продукты коррозии, коррозионные ямы), полученной путем оценки обработанных изображений. Авторы отмечают, что в ранних исследованиях, в 1985 году были доступны изображения с тремя цветовыми координатами (ЯОБ -красный, зеленый, синий), в настоящее время обработка таких изображений сочетается с искусственным интеллектом и нейронными сетями. Для контроля дефектов сварных швов в металлургической промышленности, изображения полученные с помощью рентгенографии, анализируются с помощью метода сегментации изображений в сочетании с методом опорных векторов [1 2]. В этом случае реализуется возможность точной идентификации в швах газовых пор, включений, трещин, отсутствия проплавления, которые при ручном контроле могут быть неверно интерпретированы. Для выявления дефектов зубчатых передач, изготовленных по технологиям порошковой металлургии, изображения шестерен предварительно обрабатываются двухсторонней фильтрацией, затем сегментируются с выделением геометрических форм образцов, после чего дефекты зубчатых колес вносятся для расчета в нейронную сеть [1 3]. Нейронной сетью анализировались четыре вида дефектов - поломки зубьев, истирание, царапины и трещины зубчатых колес. Авторы отмечают повышение точности распознавания дефектов и улучшение способности к обобщению полученных данных сетью. Нейронная сеть построена также для диагностирования поверхностей колец подшипников, анализ дефекта осуществляется с помощью метода фрактальной размерности [14]. При вибродиагностике строительных конструкций в работе [15] описывается разработанная полносвязная двухслойная нейронная сеть, отмечается, что
для улучшения быстродействия оценки необходимо применять сверточные нейронные сети. Сверточные нейронные сети используются для оценки шероховатости стальных деталей [16], но серьезное препятствие в их использовании связано с тем, что по мере роста и расширения сетей возникает необходимость в их оптимизации, а универсальных решений пока нет. Совершенствуется процесс непосредственной съемки поверхности объекта с целью обнаружения дефектов путем набора функционалов геометрических признаков [17].
Следует отметить, что предлагаемые в приведенных работах подходы опираются на закрытые коммерческие технологии, а разработанные алгоритмы представлены не полностью. Сложность реализации изложенных идей делает их малодоступными для небольших предприятий. Поэтому следует отметить работы, ориентированные на использование доступных алгоритмов распознавания дефектов с помощью библиотек распознавания цифровых изображений. В ряде работ предлагается использовать алгоритмы распознавания неоднородностей поверхности с помощью библиотеки OpenCV. Показана успешность использования предложенных алгоритмов для распознавания усадочных дефектов на металлических сплавах, отмечается, что погрешность по сравнению с ручным методом уменьшается от 12,7 % до 3,4 % [18]. Возможность анализа дефектов защитных покрытий, нанесенных на металлоконструкции, с помощью алгоритмов библиотеки OpenCV, с использованием пиксельных подходов, изложена в работах [19]. Показана эффективность разработанных алгоритмов для оценки адгезии, площади отслоений, пористости защитных покрытий в условиях промышленных предприятий. Таким образом, количество исследований, связанных с развитием анализа и обработки видеоинформации крайне велико.
Заключение
Анализ отечественного и зарубежного опыта показывает, что в настоящее время успешно реализовано большое количество алгоритмов анализа цифровых изображений дефектов изделий. Однако единая общепризнанная система анализа изображений отсутствует. Для объективной оценки характера деградации материалов предлагается комплексный подход к исследованию цифровых изображений - совмещение цифровых изображений, полученных от различных источников регистрации, с последующей сегментацией и фильтрацией изображений. Обработку полученных данных целесообразно проводить с помощью нейронных сетей, обеспечивающих точность, скорость обработки информации, и многофункциональность решаемых задач. Применение нейронных сетей позволяет значительно сократить время решения инженерных и исследовательских задач. Для улучшения быстродействия оценки необходимо применять сверточные нейронные сети. Однако универсальных решений, оптимизирующих рост и расширение таких сетей в настоящее время практически нет. Для решения узких производственных задач, связанных с распознаванием дефектов, используются алгоритмы распознавания неоднородностей поверхности с помощью библиотеки OpenCV.
Обзор публикаций выполнен в рамках НИР по договору № 09 от 15.09.2022 г.
Литература
1. Журилова О.Е., Башкиров А.В., Белецкая С.Ю., Панычев С.Н., Костюков А.С. Современные методы и задачи спектрального анализа сигналов: краткий обзор и сравнение // Вестник ВГТУ. 2019. №2. DOI: 10.25987/VSTY.2019.15.2/016. URL: URL:
cyberleninka.ru/article/n/sovremennye-metody-i-zadachi-spektralnogo-analiza-signalov-kratkiy-obzor-i-sravnenie (дата обращения: 06.07.2023).
2. Егорова Е.В., Аксяитов М. Х., Рыбаков А.Н. Методы повышения эффективности вейвлет-преобразований при обработке, сжатии и восстановлении радиотехнических сигналов: Монография, Минобрнауки России, Российский технологический университет. Тамбов: Консалтинговая компания Юком, 2019. 84 с. DOI: 10.17117/mon.2019.02.01. URL: ukonf/doc/mon.2019.02.01.
3. Кудря А. В., Соколовская Э. А., Пережогин В. Ю., Ха Н. Н. Некоторые практические соображения, связанные с компьютерными процедурами обработки изображений в материаловедении // Вектор науки Тольяттинского государственного университета. 2019. № 4(50). С. 35-44. DOI: 10.18323/20735073-2019-4-35-44.
4. Xiao Y., Han W., Zhang X., Deng J., Li J., Kang H., Zeng Z. Fast computational depth segmentation using orthogonal fringe patterns without pattern sequence changing. Journal of the Optical Society of America A: Optics and Image Science, and Vision, Vol. 38(4), 564 - 572 (2021), DOI: org/10.1364/JOSAA.414326.
5. Pemasiri A., Nguyen K., Sridharan S., Fookes C. Multi-modal semantic image segmentation. Computer Vision and Image Understanding, Vol. 202, 103085 (2021), DOI: 10.1016/j.cviu.2020.103085.
6. Ma J., Zhou Y. Infrared and visible image fusion via gradientlet filter. Computer Vision and Image Understanding, Vol. 197-198, 103016, (2020), DOI: 10.1016/j.cviu.2020.103016.
7. Сергеев А.М. О совмещении изображений и способах их реализации // Инженерный вестник Дона. 2022. №8. URL: ivdon.ru/ru/magazme/arcЫve/n8у2022/7832.
8. Galvao F.L., Guimaraes S.J.F., Falcao A.X. Image segmentation using dense and sparse hierarchies of superpixels. Pattern Recognition. Vol. 108, 107532 (2020), DOI: 10.1016/j.patcog.2020.107532.
9. Tellez D., Litjens G., Van Der Laak J. Ciompi F. Neural Image Compression for Gigapixel Histopathology Image Analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 43(2), 567 - 578 (2021).
10. Hu D., Tan J., Zhang L., Ge X., Lie J. Image deblurring via enhanced local maximum intensity prior. Signal Processing: Image Communication, 96, 116311 (2021). DOI: 10.1016/j.image.2021.116311.
11. Xia D.H., Song S., Tao L., Qin Z., Wu Z., Gao Z. et al. Reviev-material degradation assessed by digital image processing: Fundamentals, progresses, and challenges. // Journal of Materials Science Technology. 2020. V. 53. pp. 146-162. DOI: 10.1016/j.jmst.2020.04.033.
12. Malarvel M., Singh H. An autonomous technique for weld detects detection and classification using multi-class support vector machine in X-radiography image. // Optic. 2021. V. 231. P. 166342. DOI: 10.1016/j.ijleo.2021.166342.
13. Xiao M., Wang W., Shen X., Zhu, Y., Bartos P., Yiliyasi Y. Research on defect detection method of powder metallurgy gear based on machine vision. Machine Vision and Applications, 32, 51 (2021), DOI: 10.1007/s00138-021-01177-7.
14. Вахидова К.Л., Минцаев М.Ш., Исаева М.Р., Пашаев В.В. Алгоритм распознавания основных дефектов поверхностей колец подшипников с применением метода фрактальной размерности и сетей. // Инженерный вестник Дона. 2022. №3. URL: ivdon.ru/ru/magazine/archive/n3y2022/7499.
15. Кадомцев М.И., Развеева И.Ф. Вибродиагностика стержневых конструкций с применением нейросетевых методов машинного обучения. //
Инженерный вестник Дона. 2020. №2. URL:
ivdon.ru/ru/magazine/archive/n2y2020/6306.
16. Saeedi M. Dotta, Galli A., Gambardella L., Giusti A. Measurement and inspection of electrical discharge machined steel surfaces using deep neural networks. Machine Vision and Applications, 32, 21 (2021), DOI: 10.1007/s00138-020-01142-w.
17. Mosbach D., Gospodnetic P., Rauhut M., Hamann B., Hagen H. Feature-Driven Viewpoint Placement for Model-Based Surface Inspection. Machine Vision and Applications, 32, 8, (2021), DOI: 10.1007/s00138-020-01116-y.
18. Балеев И.А., Земцов А.Н., Зыбин М.И., Смирнов В.А. Определение Распознавание дефектов на металлических сплавах с помощью алгоритмов компьютерного зрения OpenCV // Инженерный вестник Дона. 2021. №3. URL: ivdon.ru/ru/magazine/archive/n3y2021/6874.
19. Antonova N. M., Khaustova E. Yu., Nebrat A. A., Puzanova A. S. Rapid assessment of adhesion of paint coatings by digital image analysis // IOP Conference Series: Materials Science and Engineering. 971. 022043. 10.1088/1757-899X/971/2/022043. DOI: 10.1088/1757-899X/971/2/022043.
References
1. Zhurilova O.E., Bashkirov A.V., Beleckaja S.Ju., Panychev S.N., Kostjukov A.S. Vestnik VGTU. 2019. №2. D0I:10.25987/VSTY.2019.15.2/016. URL: cyberleninka.ru/article/n/sovremennye-metody-i-zadachi-spektralnogo-analiza-signalov-kratkiy-obzor-i-sravnenie
2. Egorova E.V., Aksjaitov M. H., Rybakov A.N. Monografija, Minobrnauki Rossii, Rossijskij tehnologicheskij universitet [Monograph, Ministry of Education and Science of Russia, Russian Technological University]. Tambov: Konsaltingovaja kompanija Jukom, 2019. 84p. DOI: 10.17117/mon.2019.02.01. URL: ukonf/doc/mon.2019.02.01
3. Kudrja A. V., Sokolovskaja Je. A., Perezhogin V. Ju., Ha N. N. Vektor nauki Tol'jattinskogo gosudarstvennogo universiteta [Science vector of Togliatti State University]. 2019. № 4(50). P. 35-44. DOI: 10.18323/2073-50732019-4-35-44.
4. Xiao Y., Han W., Zhang X., Deng J., Li J., Kang H., Zeng Z. Journal of the Optical Society of America A: Optics and Image Science, and Vision, Vol. 38(4), pp. 564 - 572 (2021), DOI: org/10.1364/J0SAA.414326.
5. Pemasiri A., Nguyen K., Sridharan S., Fookes C. Computer Vision and Image Understanding, Vol. 202, 103085 (2021), DOI: 10.1016/j.cviu.2020.103085.
6. Ma J., Zhou Y. Computer Vision and Image Understanding, Vol. 197198, 103016, (2020), DOI: 10.1016/j.cviu.2020.103016.
7. Sergeev A.M. Inzhenernyj vestnik Dona. 2022. №8. URL: ivdon.ru/ru/magazine/archive/n8u2022/7832.
8. Galvao F.L., Guimaraes S.J.F., Falcao A.X. Pattern Recognition. Vol. 108, 107532 (2020), DOI: 10.1016/j.patcog.2020.107532.
9. Tellez D., Litjens G., Van Der Laak J., Ciompi F. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 43(2), pp. 567 - 578 (2021).
10. Hu D., Tan J., Zhang L., Ge X., Lie J. Signal Processing: Image Communication, Vol. 96, 116311 (2021). DOI: 10.1016/j.image.2021.116311.
11. Xia D.H., Song S., Tao L., Qin Z., Wu Z., Gao Z. et al. Journal of Materials Science Technology. 2020. V. 53. pp. 146-162. DOI: 10.1016/j.jmst.2020.04.033.
12. Malarvel M., Singh H. Optic. 2021. V. 231. P. 166342. DOI: 10.1016/j.ijleo.2021.166342.
13. Xiao M., Wang W., Shen X., Zhu Y., Bartos P., Yiliyasi Y. Machine Vision and Applications, Vol. 32, 51 (2021), DOI: 10.1007/s00138-021-01177-7.
14. Vahidova K.L., Mincaev M.Sh., Isaeva M.R., Pashaev V.V. Inzhenemyj vestnik Dona. 2022. №3. URL: ivdon.ru/ru/magazine/archive/n3y2022/7499.
15. Kadomcev M.I., Razveeva I.F. Inzhenemyj vestnik Dona. 2020. №2. URL: ivdon.ru/ru/magazine/archive/n2y2020/6306.
16. Saeedi M. Dotta Galli A., Gambardella L., Machine Vision and Applications, Vol. 32, 21 (2021). DOI: 10.1007/s00138-020-01142-w.
17. Mosbach D., Gospodnetic P., Rauhut M., Hamann B., Hagen H. Machine Vision and Applications, Vol. 32, 8, (2021). DOI: 10.1007/s00138-020-01116-y.
18. Baleev I.A., Zemcov A.N., Zybin M.I., Smirnov V.A. Inzhenernyj vestnik Dona. 2021. №3. URL: ivdon.ru/ru/magazine/archive/n3y2021/6874.
19. Antonova N.M., Haustova E. YU., Nebrat A. A., Puzanova A. S. IOP Conference Series: Materials Science and Engineering. 971. 022043. 10.1088/1757-899X/971/2/022043. DOI: 10.1088/1757-899X/971/2/022043.
