CC BY
49
УДК 681.51
doi:10.21685/2307-4205-2021-4-13
АВТОМАТИЗАЦИЯ ВИЗУАЛЬНО-ИЗМЕРИТЕЛЬНОГО КОНТРОЛЯ А. Д. Тулегулов1, Д. С. Ергалиев2, Д. В. Зуев3, Б. А. Шабден4, Р. Абикаев5
1, 2, з, 4, 5 Академия гражданской авиации, Алматы, Казахстан 1 tad62@yandex.kz, 2 DES-67@yandex.kz, 3 d.zuev@agakaz.kz, 4 b.shabden@agakaz.kz, 5 tad62@yandex.kz
Аннотация. Актуальность и цели. Практика показывает, что аварии и катастрофы, происходящие при разрушении элементов конструкций объектов, машин и изделий, почти всегда связаны с наличием в них дефектов. В данной статье предлагается к рассмотрению автоматизация процесса визуально-измерительного метода неразрушающего контроля. Целью данной работы является разработка программного комплекса, позволяющего автоматизировать работу специалиста, проводящего визуально-измерительный контроль. Материалы и методы. Рассматривается вариант создания базы данных 3D-моделей проверяемых образцов для дальнейшего получения траектории движения электронного микроскопа для создания снимков. Результаты. Создана база эталонных изображений поверхностей материалов без дефектов, изображений поверхностей материалов с примерами различных типов дефектов. Выводы. Сформированная база даст возможность анализа путем сравнения полученных результатов методами искусственного интеллекта со снимками, полученными во время дефектоскопии электронным микроскопом. Это в свою очередь даст возможность прогнозировать возможные отказы оборудования, а также отработать процесс формирования конечного изображения с указанием мест возможных дефектов.
Ключевые слова: неразрушающий контроль, визуальный и измерительный контроль, искусственный интеллект, компьютерное зрение
Для цитирования: Тулегулов А. Д., Ергалиев Д. С., Зуев Д. В., Шабден Б. А., Абикаев Р. Автоматизация визуально-измерительного контроля // Надежность и качество сложных систем. 2021. № 4. С. 119-126. doi:10.21685/2307-4205-2021-4-13
VISUAL MEASURING AUTOMATION CONTROL A.D. Tulegulov1, D.S. Yergaliyev2, D.V. Zuev3, B.A. Shabden4, R. Abikaev5
1 2, 3 4, 5 Academy of Civil Aviation, Almaty, Kazakhstan 1 tad62@yandex.kz, 2 DES-67@yandex.kz, 3 d.zuev@agakaz.kz, 4 b.shabden@agakaz.kz, 5 tad62@yandex.kz
Abstract. Background. Practice shows that accidents and disasters occurring during the destruction of structural elements of objects, machines and products are almost always associated with the presence of defects in them. This article proposes the automation of the process of the visual measuring method (VIM) of non-destructive testing. The purpose of this work is to develop a software package that allows you to automate the work of a specialist conducting visual measurement control (VIC). Materials and methods. The option of creating a database of 3D models of the tested samples is being considered for further obtaining the trajectory of the electron microscope for creating images. Results. A database of reference images of material surfaces without defects, images of material surfaces with examples of various types of defects has been created. Conclusions. The formed base will make it possible to analyze by comparing the results obtained by artificial intelligence methods with images obtained during flaw detection with an electron microscope. This, in turn, will make it possible to predict possible equipment failures, as well as to work out the process of forming the final image, indicating the locations of possible defects.
Keywords: non-destructive testing, visual and measuring control, artificial intelligence, computer vision
For citation: Tulegulov A.D., Yergaliyev D.S., Zuev D.V., Shabden B.A., Abikaev R. Visual measuring automation control. Nadezhnost' i kachestvo slozhnykh sistem = Reliability and quality of complex systems. 2021;(4): 119-126. (In Russ.). doi:10.21685/2307-4205-2021-4-13
Введение
Практика показывает, что аварии и катастрофы, происходящие при разрушении элементов конструкций объектов, машин и изделий, почти всегда связаны с наличием в них дефектов. Все дефекты объединяются одним общим признаком: они ухудшают продолжительность работоспособно© Тулегулов А. Д., Ергалиев Д. С., Зуев Д. В., Шабден Б. А., Абикаев Р., 2021. Контент доступен по лицензии Creative Commons Attribution 4.0 License / This work is licensed under a Creative Commons Attribution 4.0 License.
сти продукции. В процессе развития техники бездефектность изделий всегда была важным фактором. Даже при использовании наилучших материалов, наиболее совершенных конструкций и технологических процессов в готовых изделиях могут быть дефекты.
Методы исследования
Для выявления дефектов используют различные виды контроля изделий и среди них важное место занимает визуальный и измерительный контроль (ВИК).
Этот вид контроля отличается от других видов границами спектральной области излучения, используемого для получения информации об объекте контроля. Видимое излучение, которое может непосредственно вызывать зрительное ощущение, возможно применять с использованием простейших измерительных средств [1].
Промышленные объекты работают во все более сложных условиях. При этом определение остаточного ресурса по результатам оптического контроля в условиях изношенности оборудования приобретает все большее значение, а относительный объем средств контроля, не требующих постоянного присутствия оператора-дефектоскописта, возрастает. Поэтому описанная в статье работа направлена на автоматизацию средств ВИК.
Оптический неразрушающий контроль применяется: в металлургии - для контроля геометрии проката труб, листов, профилей и т.д., проверки качества внутренней поверхности труб; в химической промышленности - для спектрального анализа контроля структуры пластмасс и полимеров; в производстве цемента - для гранулометрического анализа исходных материалов; в авиастроении -для контроля внешних повреждений деталей и элементов; и т.д. [2].
Результаты
В качестве результатов исследования можно отметить следующее:
1) была осуществлена замена нетехнологичного оборудования на цифровое;
2) был автоматизирован процесс поиска дефектов с помощью искусственного интеллекта (ИИ);
3) были разработаны указания оператору-дефектоскописту для принятия мер, способствующих устранению возможных дефектов.
Выбор программного обеспечения для создания 3О-моделей испытуемых образцов с последующим выводом ключевых точек
STL - это каталог данных, который содержит примеры файлов «STL». «STL» означает «сте-реолитография» и указывает, что основная цель этого формата файла - описать форму трехмерного стационарного объекта.
Файл STL обычно имеет расширение имени файла «*.stl».
Файл STL содержит описание поверхности твердого тела, разложенного на треугольники. Вершины треугольников должны быть перечислены в порядке против часовой стрелки, если смотреть снаружи на поверхность. Также может быть указан нормальный вектор для треугольника.
Файл начинается с записи (которая может включать имя объекта) и заканчивается записью окончания файла. Каждый треугольник начинается с ключевого слова «facet» и заканчивается ключевым словом «endfacet». Вектор нормали, если он задан, включается как часть записи «facet» и идентифицируется ключевым словом «normal». Вектор нормали должен иметь единичную длину. Три вершины треугольника ограничены записями «outer loop» и «endloop». Каждая вершина описывается в записи вершины, в которой перечислены ее координаты (X, Y, Z). Пример хранения данных STL для одной из плоскостей данного образца показан на рис. 1.
Так как при экспортировании формат STL автоматически разбивает ЗБ-модель на треугольные плоскости, на выходе мы получаем координаты, описывающие каждую треугольную плоскость (1):
vertex„i = [x„i, ynU z„i], vertex„2 = [x„2, y„2, zM], vertex„3 = [х„з, у„з, zn3], (1)
где n - номер точки.
Для каждой плоскости точек всего три, n - принято для удобства реализации цикла в программе.
3663 facet normal -G. 256282 -0. 844847 0.469630
3664 outer loop
3665 vertex -0.186240 -0.906128 0.382683
3666 vertex -0.318190 -0.768178 0.555570
3667 vertex -0.353553 -0.853554 0.382683
3668 eridloop
3669 eridfacet
Рис. 1. Координаты точек ЗБ-модели в ASCII
Именно эти координаты необходимы для дальнейшей сортировки массива координат, представленного ниже (2):
что равно записи (3):
planem = [[vertex„i], [vertex^], [vertex^]],
planem = [[X„1, yn\, Z„1], [X„2, yn2, zn2], [xn3, yn3, zn3]],
(2) (3)
где п - номер плоскости.
Камера перемещается к центру треугольника, координата которого вычислена по формуле
п]„пе = Гг = Хп1 + Хп2+ Хп3 У = Уп1 + Уп1 + Уп3
рхсШ^поеМег Ь^поеПег 3 '->ясей:ег 3 '
гпоейег = 2п1 + 2п 2+ 2п3], 3
(4)
где п - номер плоскости.
Сравнивая координаты двух точек в пространстве вдоль оси X, если происходит смещение по Z, то камера поворачивается относительно оси У образца, на угол а, который вычисляется по формуле (5):
arccos а=
plane\xplane2x + plane\yplane2 y tJ planel2x + planel2y + ^plane22x + plane22y
(5)
Рассмотрены популярные CAD системы с целью выяснения возможностей функций для экспорта STL-файлов в их базовой конфигурации. В нее включены возможность экспорта отдельных деталей сборки в STL-файл, возможность экспорта сборки из нескольких деталей в один общий STL-файл (табл. 1).
Таблица 1
Поддержка STL в различных CAD системах
Система Разработчик Вывод сборки в один файл Вывод сборки по деталям Предпросмотр
Inventor Pro Autodesk есть нет нет
CATIA V5 Dassault Systems есть есть есть
NX UGS есть нет есть
ProEngineer PTC есть есть есть
Solid Edge UGS есть есть нет
Solid Works Dassault Systems есть есть есть
Компас-3Б «Аскон» есть есть есть
Из табл. 1 можно сделать вывод, что гибкий экспорт в 8ТЬ-файл поддерживает довольно большое количество CAD-систем. Это позволяет работать с данным программным комплексом большему количеству людей, без дополнительного переобучения на новые CAD-системы [3].
Описание процесса сравнения искусственным интеллектом фрагментов со снимков с референсными изображениями дефектов
Одна из самых перспективных наук о компьютерах и программах - компьютерное зрение. Его смысл заключается в способности ИИ к распознанию и определению сути картинки. Это важнейшая область в искусственном интеллекте, включающая сразу несколько действий: распознание содержимого фотографии, определение предмета и его классификация или генерация. Поиск объектов на картинке скорее всего является важнейшей областью компьютерного зрения.
В рамках данной работы предлагается разработка ИИ на языке программирования Python с применением библиотек и фреймворков: RetinaNet, Numpy, SciPy, Matplotlib, ImageAI. Краткое описание алгоритма работы программы: создается переменная, в которой указывается путь к директории с файлом Python, RetinaNet, моделью и образом, далее необходимо объявить новый класс для поиска дефектов на снимке, после чего идет загрузка модели внутрь класса для поиска и наконец вызов функции обнаружения (распознавания объектов) и запуск парсинга пути начального и конечного изображений.
Для упрощения сравнения фотографий программным путем уменьшается насыщенность и увеличивается яркость в целях избавления от лишних оттенков, что уменьшает время обработки и соответственно нагрузку на ЭВМ. Если дефект найден - сохраняется оригинал изображения с указанием расположения дефекта для дальнейшего изучения (рис. 2).
Рис. 2. Демонстрация сравнения идеального изображения (слева) с полученным снимком (справа)
Поиск коррозии требует большего количества задач от ИИ, так как помимо поиска на несоответствие референсного изображения со снимком, необходимо также добавить этап наложения возможных вариантов пораженных участков коррозией (рис. 3).
Рис. 3. Демонстрация сравнения идеального изображения (слева) с вариантами коррозии (по центру) и полученным снимком (справа)
Указание на местоположение дефектов на ЦУ развертке 3В-модели для его дальнейшего поиска на испытуемом образце оператором-дефектоскопистом
Считывание данных о местоположении координат точек видимых плоскостей 3D-модели в пространстве для дальнейшего развертывания и создания 2D-изображения - не новшество как для компьютерной графики, так и для математики в целом. Самый простой пример применения данной техники - картография, где 3D-модель земли представлена на 2D-картах. Конечно, существуют искажения и упущения в точности, для этого можно изменять уровень детализации, в данном случае количество точек (рис. 4).
Рис. 4. Разный уровень детализации образца (слева направо: низкий, средний, высокий)
В картографии цилиндрическая проекция - семейство проекций, которые преобразуют меридианы в вертикали (U = const), а параллели в горизонтали (V = const). Одна из цилиндрических проекций - так называемая равнопромежуточная проекция (ф - широта, [-я; я]; X - долгота, [-'Ля; Ля]):
л
u=—+0,5, v=-+0,5. (6)
2п п
Подобное преобразование можно применить и в компьютерной графике (рис. 5), для этого необходимо понимать, что преобразование вертикальных точек меридиан U будет происходить по оси X, а преобразование горизонтальных параллелей V будет происходить по оси Y [4].
Точки, выделенные черным цветом на изображениях, соответствуют точкам, описанным в пункте 5.1. Привязывая снимки, полученные с электронного микроскопа к данным точкам, в дальнейшем можно обозначить на UV развертке (создав новое изображение) места возможных дефектов (рис. 6).
Области, распознанные ИИ как зеленые, означают отсутствие обнаружения дефекта. Области, распознанные ИИ как красные, означают максимальное соответствие с референсными изображениями дефектов. Области, распознанные ИИ как желтые, могут означать несколько вариантов: снимок получился нечетким или ни одно из референсных изображений дефектов или изображение удовлетворяемого результата не удалось идентифицировать на полученном снимке, что требует повторного запуска дефектации или ручной работы оператора-дефектоскописта.
Рис. 5. Пример ПУ развертывания образца с низким уровнем детализации
Рис. 6. Пример изменения ПУ развертки с применением цветовой градации
Заключение
Особенность предложенного метода заключается в возможности автоматизации работы де-фектоскописта при использовании ВИК, что позволит эффективно управлять процессом обнаружения дефектов, а именно: заменить нетехнологичное оборудование на цифровое, например, лупу или микроскоп на электронный микроскоп. Что в свою очередь поможет автоматизировать процесс поиска дефектов с помощью искусственного интеллекта, основываясь на принципе сравнения изображений, а также упростит хранение и обработку данных, получаемую с помощью визуального и измерительного контроля.
После получения положительных результатов работы ИИ планируется реализация следующего этапа - программный комплекс развить до аппаратно-программного комплекса, т.е. создать прототип с автоматизированной, синхронной работой электронного микроскопа и приспособления, удерживающего образец.
1. Филинов В. Н., Кеткович А. А., Филинов М. В. Неразрушающий контроль. М. : Машиностроение, 2004. Т. 6. С. 376-377.
2. Клюев В. В., Соснин Ф. Р. Неразрушающий контроль. М., 2004. Т. 1. С. 8-9.
3. STL-формат для быстрого прототипирования. URL: http://www.cadcamcae.lv/hot/STL_n23_p64.pdf
4. Запорожченко А. В. Картографические проекции и методика их выбора для создания карт различных типов. Ногинск, 2007. С. 78-82.
5. Ергалиев Д. С., Тулегулов А. Д., Ахмадия А. А. Аксиоматическая постановка задачи для формирования математической модели диагностики бортовых комплексов оборудования воздушных судов // Труды Международного симпозиума Надежность и качество. 2012. Т. 1. С. 198-201.
6. Ергалиев Д. С., Тулегулов А. Д., Молдамурат Х. Применение информационных технологий для анализа физических свойств подстилающей поверхности // Труды Международного симпозиума Надежность и качество. 2014. С. 348-350.
1. Filinov V.N., Ketkovich A.A., Filinov M.V. Nerazrushayushchiy kontrol' = Non-destructive testing. Moscow: Mashinostroenie, 2004;6:376-377. (In Russ.)
2. Klyuev V.V., Sosnin F.R. Nerazrushayushchiy kontrol' = Non-destructive testing. Moscow, 2004;1:8-9. (In Russ.)
3. STL-format dlya bystrogo prototipirovaniya = STL-format for rapid prototyping. (In Russ.). Available at: http://www.cadcamcae.lv/hot/STL_n23_p64.pdf
4. Zaporozhchenko A.V. Kartograficheskie proektsii i metodika ikh vybora dlya sozdaniya kart razlichnykh tipov = Cartographic projections and methods of their selection for creating maps of various types. Noginsk, 2007:78-82. (In Russ.)
5. Ergaliev D.S., Tulegulov A.D., Akhmadiya A.A. Axiomatic formulation of the problem for the formation of a mathematical model of diagnostics of on-board complexes of aircraft equipment. Trudy Mezhdunarodnogo sim-poziuma Nadezhnost' i kachestvo = Proceedings of the International Symposium Reliability and Quality. 2012;1: 198-201. (In Russ.)
6. Ergaliev D.S., Tulegulov A.D., Moldamurat Kh. Application of information technologies for the analysis of physical properties of the underlying surface. Trudy Mezhdunarodnogo simpoziuma Nadezhnost' i kachestvo = Proceedings of the International Symposium Reliability and Quality. 2014:348-350. (In Russ.)
Список литературы
References
Информация об авторах / Information about the authors
Амандос Дабысович Тулегулов
кандидат физико-математических наук, доцент, заведующий кафедрой авиационной техники и технологий, Академия гражданской авиации (Казахстан, г. Алматы, ул. Ахметова, 44) E-mail: tad62@yandex.kz
Amandos D. Tulegulov
Candidate of physical and mathematical sciences,
associate professor,
head of the sub-department
of aviation engineering and technology,
Academy of Civil Aviation
(44 Akhmetova street, Almaty, Kazakhstan)
Дастан Сырымович Ергалиев
PhD, доцент, профессор кафедры авиационной техники и технологий, Академия гражданской авиации (Казахстан, г. Алматы, ул. Ахметова, 44) E-mail: DES-67@yandex.kz
Дмитрий Вячеславович Зуев
магистр технических наук, преподаватель кафедры кафедры авиационной техники и технологий, Академия гражданской авиации (Казахстан, г. Алматы, ул. Ахметова, 44) E-mail: d.zuev@agakaz.kz
Бахытгуль Абайкызы Шабден
магистр технических наук, преподаватель кафедры авиационной техники и технологий, Академия гражданской авиации (Казахстан, г. Алматы, ул. Ахметова, 44) E-mail: b.shabden@agakaz.kz
Роман Абикаев
студент,
Академия гражданской авиации (Казахстан, г. Алматы, ул. Ахметова, 44) E-mail: tad62@yandex.kz
Dastan S. Ergaliev
Ph.D., associate professor,
professor of the sub-department
of aviation engineering and technology,
Academy of Civil Aviation
(44 Akhmetova street, Almaty, Kazakhstan)
Dmitry V. Zuev
Master of technical sciences,
teacher of the sub-department
of aviation engineering and technology,
Academy of Civil Aviation
(44 Akhmetova street, Almaty, Kazakhstan)
Bakhytgul A. Shabden
Master of technical sciences,
teacher of the sub-department
of aviation engineering and technology,
Academy of Civil Aviation
(44 Akhmetova street, Almaty, Kazakhstan)
Roman Abikaev Student,
Academy of Civil Aviation
(44 Akhmetova street, Almaty, Kazakhstan)
Авторы заявляют об отсутствии конфликта интересов / The authors declare no conflicts of interests.
Поступила в редакцию/Received 15.08.2021 Поступила после рецензирования/Revised 20.09.2021 Принята к публикации/Accepted 10.10.2021
