CC BY
57
Вестник Череповецкого государственного университета. 2022. № 1 (106). С. 31-41. Cherepovets State University Bulletin, 2022, no. 1 (106), pp. 31-41.
Научная статья УДК 658.5.012.1
https://doi.org/10.23859/1994-0637-2022-1-106-3
Применение машинного зрения для вычисления размеров дефектов при люминесцентном проникающем контроле лопаток ГТД
Валерий Сергеевич Корнейчук1н, Дмитрий Игоревич Котляр2, Алексей Николаевич Ломанов3, Евгений Юрьевич Медведев4
1 2 3 4Рыбинский государственный авиационный технический университет имени П. А. Соловьева, Рыбинск, Россия,
1korneychuk.valery@yandex.ruH, https://orcid.org/0000-0003-3155-7824 2dm.kotlyar@yandex.ru, https://orcid.org/0000-0002-0764-4007 3lepss@yandex.ru, https://orcid.org/0000-0001 -9271-1552
4evge.med@mail.ru
Аннотация. В статье авторы рассматривают разработку метода для автоматического определения размеров дефектов на поверхности лопатки ГТД (газотурбинного двигателя) при выполнении люминесцентного проникающего контроля с использованием машинного зрения. Исследуются основные подходы к сканированию поверхности лопатки, метод поиска свечений на поверхности лопатки, а также метод для определения размера и положения дефекта на ней.
Ключевые слова: машинное зрение, люминесцентный проникающий контроль, машинное обучение, автоматизация производства, неразрушающий контроль
Для цитирования: Корнейчук В. С., Котляр Д. И., Ломанов А. Н., Медведев Е. Ю. Применение машинного зрения для вычисления размеров дефектов при люминесцентном проникающем контроле лопаток ГТД // Вестник Череповецкого государственного университета. 2022. № 1 (106). С. 31-41. https://doi.org/10.23859/1994-0637-2022-1-106-3.
The application of machine vision to calculate the size of defects during luminescent penetrant inspection of gas turbine blades
Valery S. Korneychuk1H, Dmitry I. Kotlyar2, Alexey N. Lomanov3, Evgeny Yu. Medvedev4
1 2 3 4Rybinsk State Aviation Technical University,
Rybinsk, Russia,
1korneychuk.valery@yandex.ruH, https://orcid.org/0000-0003-3155-7824 2dm.kotlyar@yandex.ru, https://orcid.org/0000-0002-0764-4007 3lepss@yandex.ru, https://orcid.org/0000-0001-9271-1552
4evge.med@mail.ru
1 Корнейчук В. С., Котляр Д. И., Ломанов А. Н., Медведев Е. Ю., 2022
Abstract. The authors consider development of a method to automatically determine the size of defects on the surface of a gas turbine engine (GTE) blade during fluorescent penetrant inspection applying computer vision. The article discusses the main approaches to scanning the surface of a GTE blade, a method to search luminescence on the surface of a GTE blade, as well as a method to calculate the size and position of a defect on the surface of a GTE blade.
Keywords: computer vision, fluorescent penetrant inspection, machine learning, production automation, nondestructive testing
For citation: Korneychuk V. S., Kotlyar D. I., Lomanov A. N., Medvedev E. Yu. The application of machine vision to calculate the size of defects during luminescent penetrant inspection of gas turbine blades. Cherepovets State University Bulletin, 2022, no. 1 (106), pp. 31-41. (In Russ.). https://doi.org/10.23859/1994-0637-2022-1-106-3.
Введение
В настоящее время в авиационной промышленности предъявляется все больше требований к надежности изделий. При проектировании и эксплуатации деталей определяется размер допустимых и недопустимых дефектов, поэтому в конструкторской документации для контроля поверхности изделия приводится метод с требуемым классом чувствительности, который должен быть достаточным для выявления заданного дефекта.
Одним из чувствительных методов, позволяющих обнаруживать поверхностные несплошности материала, является капиллярный метод неразрушающего контроля и его подвид - люминесцентный проникающий контроль. Основное свойство данного данного метода состоит в заполнении люминесцентной жидкостью с высокими проникающими свойствами поверхностных несплошностей материала объектов контроля с последующей регистрацией образующихся индикаторных следов под УФ-светом в месте расположения дефекта визуальным способом или с помощью оптических приспособлений.
Ручное выполнение контроля данным способом, т. е. без использования автоматизированных систем, имеет ряд недостатков. Основными из них являются следующие:
- низкая скорость работы (приблизительно 1 лопатка за 2 минуты);
- невозможность выполнения контроля в вечернее и ночное время суток из-за снижения внимания дефектоскопистов, что существенно снижает количество выпускаемой продукции.
Данный вид контроля еще слабо автоматизирован, а существующие системы позволяют распознавать дефекты только больших размеров.
В рамках «Лаборатории цифровых технологий "ОДК-Сатурн" - РГАТУ» реализуется проект автоматизированного контроля лопаток ГТД на основе машинного зрения. С этой целью предложен комбинированный метод контроля, использующий машинное зрение, а также для его апробации разработан опытный стенд.
Актуальность исследования подтверждается тем, что к 2024 г. на ПАО «ОДК-Сатурн» планируется выпускать по 800 тыс. лопаток в год, а это значит, что требуется увеличить и скорость выполнения контроля качества поверхности изделий. Для выполнения подготовки лопаток к контролю уже установлены автоматизированные линии, но из-за того, что контроль лопаток выполняется вручную, они не загружены
на 100 %. Данная разработка позволит добиться увеличения скорости контроля лопаток (до 2-3 лопаток в минуту), что будет способствовать изготовлению необходимого объема выпускаемой продукции, а также станет первой системой, благодаря которой появится возможность осуществлять дефектоскопию лопаток турбины.
В настоящей статье представлено описание метода определения размеров дефектов и их положения на поверхности лопатки.
Основная часть
Обзор методов определения размеров с использованием машинного зрения
Для определения размеров объектов на изображении существует множество методов. Их главной задачей является нахождение координат точек измеряемых объектов в трехмерном пространстве.
Чаще всего встречаются методы, основанные на стереоскопическом зрении. Оно работает подобно человеческому глазу. Контрольная точка, координаты которой необходимо определить, будет находиться в разных положениях в каждой камере, что позволяет системе вычислять размещение этой точки в пространстве. Основными достоинствами данного метода являются его относительная дешевизна, частота реализаций, а также то, что системы, использующие его, могут сразу фиксировать изображения (например, для хранения данных) с высоким разрешением. Главный недостаток состоит в следующем: для определения координат искомой точки необходимо на двух изображениях производить поиск пикселей, воссоздающих одну и ту же точку. Если объект съемки имеет монотонную поверхность, то данный поиск будет выполняться неточно, а из этого следует частое возникновение ошибок. В рассматриваемой задаче требуется анализировать поверхность лопатки, которая является монотонной - серой. По этой причине в данной ситуации не следует применять указанный метод.
Помимо стереоскопического зрения, можно использовать TоF-камеры. Камера освещает сцену модулированным источником света и наблюдает отраженный свет. Затем фазовый сдвиг между излучением и отражением измеряется и переводится в расстояние. В результате съемки данная камера возвращает карту расстояний до каждого объекта, по которой можно вычислить промежутки между необходимыми точками. Недостатком таких устройств является то, что они не возвращают цветное изображение, нужное для распознавания дефектов. По этой причине при применении данного метода требуется устанавливать дополнительную камеру, которая будет отвечать за получение цветного изображения лопатки, необходимого для сопоставления с картой расстояний. Кроме того, рассматриваемый способ имеет относительно невысокую точность. Самые дорогие варианты камер позволяют добиться точности до 5 мм.
В данной работе предлагается использовать метод, который с помощью одной камеры и трехмерной модели объекта позволит определять размеры дефектов, расположенных на его поверхности.
Опытный стенд для апробации метода
Дефекты, выявляемые при люминесцентном проникающем контроле, имеют очень маленькие размеры (вплоть до 100 мкм), но под УФ-светом они становятся ярко выраженными и сильно контрастируют с поверхностью лопатки. Свечение от дефектов исходит в видимом диапазоне, поэтому для их обнаружения лучше всего использовать камеру с КМОП-матрицей и высоким разрешением. Помимо этого, следует работать с камерой, которая позволяет получить цветное изображение, поскольку дефекты излучают свет в зеленом диапазоне волн, а УФ-лампа, освещающая лопатку, подсвечивает ее фиолетовым светом, следовательно, на изображении с черно-белой камеры свечения от дефектов и свечение от лопатки будут выглядеть примерно одинаково и их будет сложно отличить.
Съемка лопатки должна выполняться с разных ракурсов, так как она имеет сложную поверхность. По этой причине следует использовать, во-первых, устройство вращения лопатки, чтобы снимать ее с различных позиций, во-вторых, 2 камеры, которые позволят снять поверхность лопатки целиком.
Чтобы сделать снимок всей поверхности лопатки, требуется сначала зафиксировать один ее конец, снять первую половину, затем закрепить второй конец и снять вторую половину.
На рис. 1 представлена структурная схема системы машинного зрения. На рис. 1а лопатка зафиксирована в первой позиции, на рис. 1б - во второй. Следует обратить внимание, что при смене позиции лопатки камеры остаются на месте.
Для апробации метода, описанного в данной статье, был сконструирован и собран тестовый стенд. В ходе его работы применяются камеры, имеющие высокое разрешение: 3000^4000 пикселей (12 мегапикселей), что позволяет распознать на поверхности лопатки свечения очень маленьких размеров. Камеры имеют три степени свободы для регулировки положения, что дает возможность скорректировать направление осмотра камеры при необходимости.
Для вращения лопатки внутри стенда используются два набора из шагового двигателя с инкрементным энкодером и драйверы для управления двигателем. Данный набор позволяет быстро поворачивать лопатку и при этом точно ее позиционировать. На каждый двигатель установлена оснастка, позволяющая закрепить свой конец лопатки.
Управление стендом выполняется с персонального компьютера оператора (далее - ПК). Интеграция ПК с камерами, а также со стендом выполняется через коммутатор с помощью Ethernet кабеля. Для передачи информации используется технология Gigabit Ethernet, предоставляющая возможность транслировать изображение с камер с необходимой скоростью.
Программное обеспечение для стенда написано на языках программирования Python и C. Собранный тестовый стенд представлен на рис. 2.
проникающем контроле лопаток ГТД
а)
Рис. 1. Структурная схема системы машинного зрения:
а) лопатка зафиксирована в первой позиции;
б) лопатка зафиксирована во второй позиции
Рис. 2. Тестовый стенд для апробации метода определения размеров и положения свечений
на поверхности лопатки
Общий алгоритм работы метода
Каждый снимок, полученный с камеры, анализируется. Анализ выполняется в 3 этапа:
- обработка изображения для получения только свечений на поверхности лопатки;
- перенос свечений из двумерного изображения на трехмерную модель лопатки;
- определение реальных размеров и положения свечения на поверхности лопатки.
Для работы алгоритма сначала следует выполнить 2 подготовительных действия:
- определить ракурсы, с которых необходимо сделать снимки поверхности лопатки;
- подготовить карты сопоставления изображения лопатки с трехмерной моделью, по которым будут устанавливаться реальные размеры дефектов (подробное описание карт сопоставления представлено ниже).
Анализ метода поиска свечений на поверхности лопатки
Первой задачей, которую необходимо решить для определения размеров и положения свечений, является задача их поиска на изображении. С этой целью очередное полученное изображение лопатки обрабатывается в несколько этапов:
- осуществляется компенсация сдвига лопатки в кадре;
- применяются фильтры для выделения свечений.
Сначала определяется, сдвинута ли лопатка в кадре относительно заданной позиции. Для этого вычисляются ее границы с помощью оператора Canny и высчитыва-ется их сдвиг относительно эталонной позиции, полученной на этапе подготовки. Если лопатка на изображении сдвинута, то выполняется ее выравнивание с помощью
аффинных преобразований. Если требуется очень большой сдвиг (более чем на 5 мм в любом направлении), то преобразование не осуществляется, так как оно может снизить детализацию изображения.
После определения необходимого положения к изображению последовательно применяются фильтры для выделения свечений, такие как:
- размытие по Гауссу - для подавления шумов, которые могут возникнуть, поскольку используется цветное изображение;
- HSV-преобразование - пороговый фильтр, окрашивающий в белый цвет пиксели, составляющие свечение, в черный цвет - все остальные области;
- морфологические преобразования (erode и dilate) - для подавления свечений очень маленького размера, не требующих учета при анализе.
После применения к изображению описанных фильтров на нем остаются только области, на которых присутствуют свечения. Сами области представляют собой массив координат пикселей, окрашенных в белый цвет. Их необходимо сохранить, а затем обработать с помощью алгоритма определения размеров и положения свечений.
Анализ метода определения размеров и положения свечений
Главной проблемой при установлении размеров свечений является то, что они находятся на неровных поверхностях. На основе получаемого с камеры изображения невозможно определить расстояние до каждого пикселя, следовательно, нельзя с высокой точностью вычислить реальные размеры каждого свечения.
С целью решения проблемы в работе используются карты соответствия. Для каждого получаемого изображения заранее генерируется заготовленный набор данных, позволяющий соотносить каждый пиксель с точкой на лопатке в трехмерном пространстве.
В процессе генерации карты соответствия используется библиотека PyOpenGL. Для того чтобы сгенерировать карту для какого-либо изображения, выполняются следующие действия:
- загружается трехмерная модель лопатки в разработанное программное обеспечение;
- отображается трехмерная сцена с загруженной моделью;
- камера должна быть выставлена таким образом, чтобы вид с реального изображения совпадал с видом на сцене;
- запускается составление карты, в которой соотносятся координаты каждого пикселя и их координаты в трехмерном пространстве.
Таким образом, для каждой позиции съемки лопатки подготавливаются карты соответствия. На этом завершается подготовительный этап работ, после которого возможен запуск алгоритма определения размеров свечений. В процессе запуска данного алгоритма в соответствующий метод передаются массив свечений (описанный в предыдущем разделе) и карта соответствия. Сначала с помощью функции findContours из библиотеки OpenCV выделяются границы каждой области свечений. Далее для каждого контура определяются координаты его границ в трехмерном простран-
стве путем простого соотношения по карте. На выходе образуется массив координат точек контуров в трехмерном пространстве.
Полученные границы кластеризуются для получения цельных областей свечения, а также объединения свечений, расположенных на очень близком расстоянии друг к другу. Кластеризация выполняется с помощью алгоритма DBSCAN. Для его работы используются следующие значения основных параметров:
- eps (максимальное расстояние между точками для образования кластера) - в качестве расстояния принимается количество пикселей, соответствующее 100 мкм;
- min_sample (минимальное количество точек для образования кластера) - самый малый кластер может состоять из 5 точек. Данное число выбрано эмпирически, исходя из того, что требуется игнорировать шумы и одновременно определять очень маленькие дефекты.
После выполнения кластеризации каждый отдельный кластер преобразуется в двумерное пространство и далее определяются его необходимые характеристики:
- длина;
- координаты точек, между которыми измеряется длина;
- ширина;
- координаты точек, между которыми измеряется ширина;
- координаты всех точек контура;
- вектор нормали кластера (используется усредненное значение каждого вектора из каждой точки в кластере).
Таким образом, данный метод позволяет установить реальные размеры свечений, найденных на изображении, а также их положение на поверхности лопатки в трехмерном пространстве.
На рис. 3 представлена работа алгоритма определения размеров и положения свечений на поверхности лопатки в трехмерном пространстве в графическом виде.
в
Рис. 3. Работа алгоритма определения размеров и положения свечений в пространстве
в графическом виде: а - исходное изображение;
б - результат работы алгоритма поиска свечений на изображении; в - результат работы алгоритма определения размеров и положения свечений
Выводы
В ходе исследования были проанализированы методы анализа поверхности лопатки ГТД при проведении люминесцентного проникающего контроля, разработаны такие методы, как метод для поиска свечений на получаемом изображении; метод вычисления размеров и положения свечений на поверхности лопатки.
Результаты тестирования указанных методов продемонстрировали, что при вычислении размеров и положения обнаруженных свечений возникают несущественные отклонения, в среднем составляющие 7-30 мкм (при вычислении положения свечения) и 10-18 мкм (при вычислении размеров свечения).
В дальнейшем планируется создание метода для классификации дефектов, а также соответствующего программного обеспечения, проектирование конструкции и сборка опытного стенда, проведение серии экспериментов для подтверждения эффективности разработанных методов.
Список источников
Глазков Ю. А. Капиллярный контроль. Москва: Спектр, 2011. 143 с.
ГОСТ 18442-80 Контроль неразрушающий. Капиллярные методы. Общие требования. URL: https://rosstandart.msk.ru/gost/001.019.100/gost-18442-80/ (дата обращения: 09.08.2021).
Калиниченко Н. П., Кулешов В. К., Калиниченко А. Н. Контроль проникающими веще-
ствами. Капиллярный контроль. Томск: Национальный исследовательский Томский политехнический университет, 2007. 203 с.
Капиллярный неразрушающий контроль. URL: https://ndt-testing.ru/ (дата обращения: 01.08.2021).
Мансур М., Давидсон П., Степанов О. А., Раунио Ю.-П., Ареф М. М., Пише Р. Определение дальности на основе данных о собственном движении, полученных с помощью монокулярной камеры // Гироскопия и навигация. 2019. Т. 27, № 2 (105). С. 28-51.
Форсайт Д. А., Понс Д. Компьютерное зрение. Современный подход. Москва: Вильямс, 2018. 960 с.
OpenCV modules. URL: https://docs.opencv.org/4.5.3/ (дата обращения: 05.08.2021).
OpenGL. URL: https://www.khronos.org/opengl/wiki/ (дата обращения: 09.08.2021).
References
Glazkov Iu. A. Kapilliarnyi kontrol' [Liquid-penetrant inspection]. Moscow: Spektr, 2011. 143 p.
GOST 18442-80 Kontrol' nerazrushaiushchii. Kapilliarnye metody. Obshchie trebovaniia [GOST 18442-80 (State Standard) Nondestructive testing. Capillary methods. General requirements]. Available at: https://rosstandart.msk.ru/gost/001.019.100/gost-18442-80/ (accessed: 09.08.2021).
Kalinichenko N. P., Kuleshov V. K., Kalinichenko A. N. Kontrol' pronikaiushchimi veshchestvami. Kapilliarnyi kontrol' [Inspection by penetrating compounds. Penetrant testing]. Tomsk: Natsional'nyi issledovatel'skii Tomskii politekhnicheskii universitet, 2007. 203 p.
Kapilliarnyi nerazrushaiushchii kontrol' [Capillary non-destructive testing]. Available at: https://ndt-testing.ru/ (accessed: 01.08.2021).
Mansur M., Davidson P., Stepanov O. A., Raunio Iu.-P., Aref M. M., Pishe R. Opredelenie dal'nosti na osnove dannykh o sobstvennom dvizhenii, poluchennykh s pomoshch'iu monokuliarnoi kamery [Depth estimation with ego-motion assisted monocular camera]. Giroskopiia i navigatsiia [Gyroscopy and Navigation], 2019, vol. 27, no. 2 (105), pp. 28-51.
Forsait D. A., Pons D. Komp'iuternoe zrenie. Sovremennyi podkhod [Computer vision. Modern approach]. Moscow: Vil'iams, 2018. 960 p.
OpenCV modules. Available at: https://docs.opencv.org/4.5.3/ (accessed: 05.08.2021).
OpenGL. Available at: https://www.khronos.org/opengl/wiki/ (accessed: 09.08.2021).
Сведения об авторах
Валерий Сергеевич Корнейчук - аспирант; https://orcid.org/0000-0003-3155-7824, korneychuk.valery@yandex.ru, Рыбинский государственный авиационный технический университет имени П. А. Соловьева (д. 53, ул. Пушкина, 152934 г. Рыбинск, Россия); Valery S. Korneychuk - Postgraduate student; https://orcid.org/0000-0003-3155-7824, korneychuk.valery@yandex.ru, Rybinsk State Aviation Technical University (53, ul. Pushkina, 152934 Rybinsk, Russia).
Дмитрий Игоревич Котляр - аспирант; https://orcid.org/0000-0002-0764-4007, dm.kotlyar@yandex.ru, Рыбинский государственный авиационный технический университет имени П. А. Соловьева (д. 53, ул. Пушкина, 152934 г. Рыбинск, Россия); Dmitry I. Kotlyar -Postgraduate student; https://orcid.org/0000-0002-0764-4007, dm.kotlyar@yandex.ru, Rybinsk State Aviation Technical University (53, ul. Pushkina, 152934 Rybinsk, Russia).
Алексей Николаевич Ломанов - кандидат технических наук, доцент; https://orcid.org/0000-0001-9271-1552, lepss@yandex.ru, Рыбинский государственный авиационный технический университет имени П. А. Соловьева (д. 53, ул. Пушкина, 152934 г. Ры-
бинск, Россия); Alexey N. Lomanov - Candidate of Technical Sciences, Associate Professor; https://orcid.org/0000-0001-9271-1552, lepss@yandex.ru, Rybinsk State Aviation Technical University (53, ul. Pushkina, 152934 Rybinsk, Russia).
Евгений Юрьевич Медведев - магистр; evge.med@mail.ru, Рыбинский государственный авиационный технический университет имени П. А. Соловьева (д. 53, ул. Пушкина, 152934 г. Рыбинск, Россия); Engeny Yu. Medvedev -Master; evge.med@mail.ru, Rybinsk State Aviation Technical University (53, ul. Pushkina, 152934 Rybinsk, Russia).
Заявленный вклад авторов: все авторы сделали эквивалентный вклад в подготовку публикации. Авторы заявляют об отсутствии конфликта интересов.
Contribution of the authors: the authors contributed equally to this article. The authors declare no conflicts of interests.
Статья поступила в редакцию 14.09.2021; одобрена после рецензирования 14.10.2021; принята к публикации 25.10.2021.
The article was submitted 14.09.2021; Approved after reviewing 14.10.2021; Accepted for publication 25.10.2021.
