CC BY
10
DOI 10.25987^Ти.2020.16.4.006 УДК 621.81
АВТОМАТИЧЕСКОЕ ФОРМИРОВАНИЕ ЗОНЫ КОНТРОЛЯ ПРИ УПРАВЛЕНИИ КАЧЕСТВОМ ПРОИЗВОДСТВА СТЕКЛОДРОТОВ С ИСПОЛЬЗОВАНИЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ
Ю.Н. Матвеев, М.М. Аль Окаби Тверской государственный технический университет, г. Тверь, Россия
Аннотация: рассматриваются проблемы, которые возникают при создании автоматизированной системы непрерывного контроля качества (АСУ-К) производства стеклодротов на основе оптических технологий и методов технического зрения, а также пути их решения. Анализ технологического процесса позволил выявить те специфические особенности производства, которые необходимо учитывать на стадии получения качественных изображений объекта контроля с целью их дальнейшей обработки, выделения и распознавания дефектов, определения их локации и протяженности, формирования управляющих воздействий в системе обратной связи. К ним относятся: высокая температура объекта, его сильная вибрация при высокой скорости движения по роликовому конвейеру, необходимость кругового обзора заготовки в процессе ее движения. Изложены методические положения по автоматическому формированию зоны визуального контроля с учетом технологических ограничений. Описан алгоритм формирования зоны контроля на цифровом изображении объекта в условиях его вибрации. Разработана схема расположения оптико-электронного оборудования для кругового обзора непрерывно движущейся горячей трубы. Обоснованы требования к оптико-электронному оборудованию, с учетом температурного режима объекта контроля, скорости его движения и необходимой разрешающей способности
Ключевые слова: поиск дефектов, стеклодроты, контроль качества, цифровые изображения, оптические технологии, техническое зрение
Введение
Одной из ключевых функций предприятия по его управлению является управление качеством изготавливаемой и поставляемой продукции. На уровне управления технологическими процессами эта функция возлагается на автоматизированную систему управления качеством (АСУ-К) продукции, являющуюся одной из компонент автоматизированной системы управления технологическими процессами (АСУТП) и позволяющую автоматизировать процедуру управления качеством на каждом технологическом агрегате. Основная задача АСУ-К - снижение уровня дефектности продукции на этапе ее изготовления в режиме реального времени. Для построения эффективных АСУ-К необходимо решение комплекса задач по разработке информационного, математического и программного обеспечения для контроля параметров производимой продукции и принятия оптимальных решений при управлении качеством готовой продукции.
При производстве стеклодротов неизбежно возникают дефекты [1], такие как отдельные частицы (включения), воздушные пузыри (воздушные линии), гибкие фрагменты, назы-
© Матвеев Ю.Н., Аль Окаби М.М., 2020
ваемые ламелями и другие. Эти дефекты приводят к проблемам, связанным с отзывом конечной продукции. По данным [2,3] 18 % фармацевтических продуктов были отозваны из-за проблем с контейнерами. Проверка качества стеклодротов в настоящее время выполняется визуально контролерами ОТК, путем осмотра каждого стеклодрота. Визуальный контроль, используемый для оценки качества изделий, обладает рядом существенных недостатков. Из-за инерции человеческого зрения абсолютно невозможно выполнять непрерывный контроль качества в процессе движения объекта [4] вследствие высокой скорости его перемещения и условий окружающей среды. Исключение субъективного фактора при контроле качества стеклодротов позволяет повысить его оперативность, ускорить технологический процесс производства, снизить выпуск бракованных изделий. Автоматизированная система непрерывного контроля качества стеклодротов должна обеспечивать периодическое получение кадров изображения, анализ и распознавание дефектов, определение их локации и формирование команды для резательной машины на отбраковку в процессе движения конвейера. Исходным моментом является процесс получения кадров изображения и формирование зоны визуального контроля [5,6]. Задача фор-
мирования зоны визуального контроля состоит в том, чтобы дальнейший анализ кадра проходил в области расположения стеклодрота, а не за его границами. Возможный подход к решению этой задачи описан в статье.
Особенности технологического процесса производства стеклодротов
Процесс горизонтального вытягивания стеклянных труб (толстостенных и тонкостенных) осуществляется с помощью тянульной машины [7]. Разогретая до 300^ стеклянная заготовка транспортируется по роликовому конвейеру до резательной машины, где она разрезается на отдельные трубки (дроты). Поскольку стеклянную трубу протягивают с помощью тянульной машины больше чем на 50 метров, она значительно вибрирует. Таким образом, особенности технологического процесса порождают ряд проблем.
Первой проблемой является сильная вибрация оборудования и заготовки (трубы) в процессе ее движения.
Другой проблемой является необходимость осмотра движущейся горячей стеклянной трубы со всех сторон. Поскольку возможность вращения объекта контроля на 360 градусов исключена, круговой осмотр трубы должен производиться с нескольких точек зрения (то есть более чем одной камерой). Полученные при этом изображения должны быть синхронизированы по времени для выявления дефектов и формирования команды на отбраковку.
Еще одной проблемой является высокая температура трубы, не позволяющая размещать оборудование в непосредственной близости от нее, а также высокая скорость движения по роликовому конвейеру. Эти факторы должны учитываться при выборе оборудования для системы машинного зрения и схемы его размещения, а также и при разработке архитектуры программного обеспечения для системы непрерывного контроля качества стеклодро-тов.
Таким образом, для того чтобы сформировать зону визуального контроля необходимо:
• устранить эффект вибрации оборудования и объекта контроля.
• разработать схему расположения обо-
рудования для кругового осмотра непрерывно движущейся горячей трубы.
• сформулировать требования к оптико-электронному оборудованию, с учетом температурного режима объекта контроля, скорости его движения и необходимой разрешающей способности.
Далее приводится описание тех решений, которые были приняты нами при разработке системы машинного зрения для непрерывного контроля качества стеклодротов.
Алгоритм формирования зоны визуального контроля в условиях вибрации
Вибрация оборудования тянульной машины и трубы приводит к тому, что зона контроля постоянно смещается относительно неподвижных камер в направлении, ортогональном направлению движения конвейера. Это является серьезным препятствием для выявления и распознавания дефектов. При фиксации изображения трубы отчетливо видны контуры ее границ, которые проявляются из-за того, что стенки трубы имеют определенную толщину. На рис. 1 показана схема расположения зоны контроля, в которую попадает труба вместе с ее границами. Также приведена гистограмма и основные ее характеристики, такие как минимальное и максимальное значения, среднее значение и стандартное отклонение. Наличие черного цвета в левой части гистограммы обусловлено включением границ трубы в зону контроля и является источником помех при проведении автоматизированного оптического контроля качества. Это является серьезным препятствием для выявления и распознавания дефектов. При фиксации изображения трубы отчетливо видны контуры ее границ, которые проявляются из-за того, что стенки трубы имеют определенную толщину. На рис. 2 показана оптимальная схема расположения зоны контроля, в которой отсутствуют изображения внешних и внутренних границ трубы, а также обозначена текущая система координат, определяемая направлением движения трубы и положением светочувствительной матрицы камеры.
Рис. 1. Расположение зоны контроля с включением в нее границ трубы
Для того, чтобы устранить эффект вибрации тянульной машины, необходимо постоянно перемещать границы зоны визуального контроля относительно границ кадра в направле-
нии, ортогональном к направлению движения трубы. Положение зоны визуального контроля, при котором возможно уверенное детектирование дефектов, приведено на рис. 2.
Правая внешняя граница трубы Направление движения трубы
Рис. 2. Положение зоны контроля, обеспечивающее надежное детектирование дефектов
Гистограмма, соответствующая такому положению зоны контроля, приведена на рис. 3. Это типичная гистограмма в случае отсут-
ствия дефектов, и ее характеристики могут быть использованы для контроля положения зоны контроля.
Path
|î C:\Users\12\D eslcto рУГрубаЗ, р n g Image
1 1ХГ-
МЫ 1
400-
350 :
300-
250-j
200-
150 :
100-
50 :
0-
2 ) 4 ) 6 ) 8 ) 100 120 140 160 180 200 220 240 255
Histogram Report
L71.Û0 Maximal Value
3,00 Starting Value
L.00 Interval Width
L66.14 Mean Value
1Д2 Standard Variatior
2736 Area [pixels]
Рис. 3. Гистограмма изображения при правильном расположении зоны контроля и отсутствии дефекта
При выходе изображения за границы зоны контроля характер гистограммы существенно меняется, как это показано на рис. 4. В этом
Зону контроля необходимо удерживать таким образом, чтобы ее границы постоянно находились на минимальном удалении от правой внутренней и левой внутренней границ трубы. Для решения этой задачи был разрабо-
случае резко меняется средняя яркость пикселей, а также стандартное отклонение яркости от среднего значения.
тан алгоритм, позволяющий определять правильное положение зоны контроля в процессе движения трубы.
На рис. 5 приведена блок-схема формирования зоны контроля в процессе движения тру-
Рис. 4. Гистограмма изображения при расположении зоны контроля на границе трубы
бы для эффективного детектирования дефектов. Алгоритм автоматического поиска границ зоны контроля включает следующие шаги. Экспе-
риментально определяются усредненные значения яркости I и стандартного отклонения 5 на границе трубы (рис. 4).
Рис. 5. Укрупненная блок-схема алгоритма формирования зоны контроля
Выбирается начальная точка изображения с координатами х = 1, у = 1 (рис. 5). Определяется конечная точка изображения с координатами х = пх, у = пу . Полагаем начальные
значения вспомогательных переменных i = 1, ,] = 1.
После ввода значений матрицы яркостей изображения счетчик строк устанавливается в положение I = 1. Производится расчет среднего значения яркости первой строки:
1
1(У) = «У,*,)
(1)
n
j=1
и дисперсии:
4 =
n, —1
2(1(У,*,)- 1(У))2 . (2)
j=1
Далее рассчитывается t - критерий Стью-дента:
t = (I — I(y)), и p - значение:
s2
- + -
Py = F (t),
(3)
(4)
если I -1 (у) < 0 и р значение
Ру = 1 - F(t),
если I -1 (у) > 0, где Е(t) - значение функции распределения Стьюдента. Задавая значение вероятности совершения ошибки первого рода а равное 0,05, получаем условие для проверки различия между усредненным значени-
ем яркости I на границе трубы и текущим значением яркости для i -ой строки (рис. 5). Изменяя значения счетчика на i = i +1, перемещаемся последовательно на один шаг по строкам матрицы до тех пор, пока не будет выполнено условие py < а . Это означает, что найдена левая внешняя граница трубы на изображении - L ext. Продолжаем движение по строкам матрицы до тех пор, пока перестанет выполняться условие py < а . Это означает, что найдена левая внутренняя граница трубы на изображении - L int. Далее счетчик строк устанавливается в конечное положение i = ny
и проделываются те же самые шаги в направлении от конечной границы изображения к начальной, пока не будут найдены правая внешняя граница трубы на изображении - R ext и правая внутренняя граница трубы на изображении - R int. Разница между внешними границами
А'ext = R ext Lext
позволяет контролировать отклонение толщины трубы от нормативного значения, а разница между внешними и внутренними границами
А = R — R
Rei Л ext Лint
ALei L ext Lint
позволяет контролировать отклонение толщины стенок трубы от нормативного значения. Вели-
1
2
s
n
n
x
x
и
чина
Aint R int Lint
определяет ширину зоны контроля в ортогональном направлении. Значения параметров
4 , , ЛLet и 4Ш используются при формировании управляющих воздействий в процессе контроля качества стеклодротов. Использование описанного выше алгоритма позволяет непрерывно отслеживать зону визуального контроля при колебании трубы во время ее движения по конвейеру. Дальнейшая обработка полученного цифрового изображения заключается в поиске дефектов в зоне визуального контроля с использованием специально разработанных методов распознавания образов и формировании команд для резательной машины на отбраковку.
Схема непрерывного кругового осмотра объекта контроля
Расположение оборудования, камер и источников освещения определялось также с учетом теплового режима и вибрации объекта контроля. Оно было установлено между волочильной машиной и резательной машиной, поскольку необходимо проверять непрерывно движущуюся стеклянную трубу, пока она еще не разрезана на отдельные дроты. Высокая температура не позволяет расположить камеры близко к трубе, поэтому был использован объектив с большим фокусным расстоянием, позволяющий проводить съемку на большом расстоянии. При большом увеличении снижается глубина резкости [8-10], которая определяется такими параметрами оптической системы, как главное фокусное расстояние, величина диафрагмы и дистанция фокусировки, и увеличивается аберрация объектива. Связь между главным фокусным расстоянием и диафрагмой при заданном расстоянии фокусировки определялась из соотношений
\ (г1 - г )f2 - Рх d х f х г1+ Рх г 1хг х d = 0 [(г2 - г) х f2 + Рх d х f х г2 - Рх г2 х г х d = 0 где г - расстояния фокусировки, г1, г2 - расстояния до передней и задней границ резкого изображения, / - главное фокусное расстояние, d - диафрагменное число, Р - диаметр кружка нерезкости.
Глубина резкости, представляющая собой разницу между расстояниями до передней и задней границ резкого изображения (г1-г2)
определялась экспериментально в зависимости от диаметра проверяемой трубы. Величина увеличения выбиралась из условия оптимального соотношения между глубиной резкости и предельным разрешением. Расстояние r определялось экспериментально, исходя из технологического регламента.
Для решения задачи кругового осмотра горячей трубы была разработана многокамерная система. Эта система состоит из трех камер, расположенных вокруг трубы перпендикулярно к направлению ее движения так, как это показано на рис. 6. На рисунке символами S1, S2, S3 обозначены сенсоры камер, расположенных относительно трубы T так, что их оптические оси пересекаются друг с другом под углом 120 градусов. Система контроля качества включает три линейные камеры raL8192 -80km и три светодиодные линейные осветительные системы. Для подключения камер был использован универсальный кабель c высокочастотным разъёмом для подключения скоростных видеокамер к фрейм-грабберам по протоколу Camera Link (C-Ln). Фрейм-грабберы обеспечивают захват изображения и формируют кадры.
Рис. 6. Многокамерная система кругового осмотра объекта контроля
Стандартный кабель Camera Link передаёт сигналы управления видеокамерой, сигналы синхронизации видео и видеоданные, обеспечивая высокую скорость передачи данных -850 Мбайт/с. Для интеграции различных устройств в единое был использован контроллер PSX PXIe 8135. Он установлен на четырех-слотное шасси PXIe 1071 со специальной высокоскоростной цифровой шиной, предназначенной для коммутации устройств, с использованием низкоуровневой высокоскоростной связи в реальном времени. Устройства PXI являются специализированной платформой для систем измерения и автоматизации. Они совмещают возможности электрической шины PCI с мо-
дульной архитектурой и специализированными шинами синхронизации. Для координации управления движением, получения изображений и сбора данных используется специализированная шина RTSI. Это специальная высокоскоростная цифровая шина, предназначенная для интеграции систем с использованием низкоуровневой высокоскоростной связи в реальном времени между различными устройствами.
Обоснование выбора оптоэлектронных средств системы технического зрения
Среди всех дефектов, которые могут присутствовать в стеклянной трубе для фармацевтических контейнеров, самые трудные и наиболее критичные для поиска представлены воздушными пузырями. Воздушные пузыри самые небольшие дефекты, которые могут присутствовать. В печи и перед стержнем воздушные пузыри могут формироваться на стеклянных стенках. После того как труба протягивается с помощью тянульной машины, воздушные пузыри вытягивают и они становятся длинными воздушными линиями. Считается допустимым [7], чтобы система машинного зрения выявляла дефекты с ортогональным сечением более 15 мкм и с продольным разрешением 0,5 мм. Следовательно, камера должна обладать высокой разрешающей способностью, поскольку должны быть идентифицированы очень малые дефекты.
Исходя из этих соображений, была выбрана линейная камера raL8192 - 80km серии Basler racer, позволяющая построчно, строка за строкой, считывать данные изображения, обеспечивая проверку протяженных объектов. Используемую камеру отличает высокая частота линейной развертки - 80kHz. Это позволило, несмотря на высокую скорость движения трубы и ее вибрацию, получать изображения высокого качества. Камера имеет высокое разрешение - 8 k пикселей. Для нее соотношение «сигнал - шум» находится на уровне 43,3. Поэтому получаемые изображения отличались высоким качеством даже при низком уровне освещения, позволяя выявлять мельчайшие дефекты на стеклянной трубе. Хорошее качество изображения также определялось динамическим диапазоном камеры -соотношением между самым сильным и самым слабым сигналом изображения, который еще возможно отличить от шума. Высокая чувствительность и широкий динамический диапазон -69,3 dB позволили выявлять дефекты даже при низком уровне их контрастности. Кроме того, динамический диапазон определил способность
камеры одновременно воспроизводить на изображении участки с очень высоким и очень низким уровнем освещенности. Контроль дефектов получился эффективным на высокой скорости съемки и при малых значениях выдержки даже при использовании недостаточно мощного осветительного оборудования. Это дало возможность получать четкие изображения с высоким уровнем детализации для эффективного выявления дефектов при низком уровне контрастности даже в условиях недостаточного освещения.
Заключение
Применение технологий машинного зрения в автоматизированной системе управления технологическими процессами позволяет повысить эффективность существующей подсистемы управления качеством, интегрированной в систему управления, для решения важнейшей проблемы производства - снижение потерь от брака и рекламаций. Разработанная методика автоматического формирования зоны визуального контроля является той основой, на которой осуществляется поиск дефектов, выделение их границ и отбраковка дефектных участков в автоматизированной подсистеме непрерывного контроля качества производства стеклодротов в режиме реального времени. Предложенная методика позволяет учесть специфические проблемы, определяемые производственным процессом, такие как сильная вибрация объекта контроля, необходимость его непрерывного кругового осмотра во время движения по конвейеру, температурный режим и требования к разрешающей способности оптико-электронного оборудования для получения изображений высокого качества. Рассмотренные в статье методы учета этих особенностей были опробованы экспериментально и подтвердили свою эффективность.
Литература
1. Рожков С.А., Бражник Д.А., Серов А.В. Проблемы автоматизированного контроля дефектов стеклоизде-лий // Проблемы региональной энергетики. 2006. №1. С. 37-48.
2. Reynolds G. and Paskiet D. Glass delamination and breakage, new answers for a growing problem // BioProcess International. 2011. № 9(11). P. 52-57.
3. Промышленная технология лекарств / В.И. Чуе-шев, С.Т. Зайцев и др. Х.: МТК-Книга, 2002. 560с.
4. Оптические методы бесконтактных измерений линейных перемещений: монография / сост. А.А. Сарвин, А.А. Кульчицкий, А.К. Наумова. СПб.: Изд-во СЗТУ, 2011. 195 с.
5. Kumar A. Computer-vision-based fabric defect detection: a survey // IEEE Trans. Industrial Electronics. 2008. №55.1. р. 348-363.
6. Садыков С.С., Стулов Н.Н. Методы и алгоритмы выделения признаков в системах технического зрения. М.: Горячая линия Телеком, 2005. 204 с.
7. Foglia P., Prete C., Zanda M. An inspection system for pharmaceutical glass tubes // WSEAS transaction on systems and control. 2015. V. 14. р. 123 - 128.
8. Келби С. Цифровая фотография, издательство. М.:
Диалектика, 2019 . 288с.
9. Ищенко Е.П., Ищенко П.П., Зотчев В.А. Криминалистическая фотография и видеозапись: учеб.-практ. пособие / под ред. Е.П. Ищенко. М.: Юристъ, 1999. 436 с.
10. Яковлев Д.Ю. Специальные виды фотосъемки: метод. пособие. Иркутск: Издательство БГУЭП, 2015. 109 с.
Поступила 16.06.2020; принята к публикации 17.08.2020 Информация об авторах
Матвеев Юрий Николаевич - д-р техн. наук, профессор кафедры «Электронные вычислительные машины», Тверской государственный технический университет (170022, Россия, г. Тверь, проспект Ленина, 25), e-mail: matveev4700@mail.ru Аль Окаби Мохаммед Мохаммед Али - аспирант кафедры «Электронные вычислительные машины», Тверской государственный технический университет (170022, Россия, г. Тверь, проспект Ленина, 25), e-mail: malaqab40@mail.ru
AUTOMATIC FORMATION OF A CONTROL ZONE WHEN CONTROLLING THE QUALITY OF THE PRODUCTION OF GLASSWORMS WITH THE USE OF TECHNICAL VISION
Yu.N. Matveev, M.M. Alaqabi
Tver State Technical University, Tver, Russia
Abstract: the article discusses the problems that arise when creating an automated system (AQMS) for continuous glassworm quality control based on optical technologies and methods of technical vision, as well as ways to solve them. The analysis process allowed us to identify specific features of production that should be considered at the stage of obtaining high-quality images of the test object for further processing, selection and identification of defects, determining their location and extent, generating the control actions to the feedback system. These include the high temperature of the object, its strong vibration at high speed along the roller conveyor, the need for a circular view of the workpiece during its movement. This paper describes the methodological provisions for the automatic formation of a visual control zone, taking into account technological limitations. The algorithm for forming a control zone on a digital image of an object in the conditions of its vibration is described. The layout of optoelectronic equipment for a circular view of a continuously moving hot pipe is developed. The requirements for optoelectronic equipment are justified, taking into account the temperature regime of the control object, its speed of movement and the necessary resolution
Key words: defect search, glassworms, quality control, digital images, optical technologies, technical vision
Reference
1. Rozhkov S.A., Brazhnic D.A., Serov A.V. "Problems of automated control of glassware defects", Problems of Regional Energy (Problemy regionalnoy energetiki), 2006, no.1, pp. 37-48.
2. Reynolds G., Paskiet D. "Glass delamination and breakage, new answers for a growing problem", BioProcess International, 2011, no. 9(11), pp. 52-57.
3. Chueshev V.I. Zaytsev S.T. et al. "Industrial technology of drugs" ("Promishlennaya tekhnologiya lekarstv"), MTK-Kniga, 2002, 560 p.
4. Sarvin A.A., Kulchitsky A.A., Naumova A.K. "Optical methods of contactless measurements of linear displacements" ("Opticheskie metody bescontaktnykh izmereniy lineynikh peremeshcheniy"), monograph, St. Petersburg, SZTU, 2011, 195 p.
5. Kumar A. "Computer-vision-based fabric defect detection: a survey", IEEE Trans. Industrial Electronics, 2008, no. 55.1, pp. 348-363.
6. Sadykov S.S., Stulov N.N. "Methods and algorithms for feature extraction in technical vision systems" ("Metodi i algorit-my vydeleniya priznakov v sistemakh tekhnicheskogo zrenia"), Moscow, Goriachaia Liniya Telecom, 2005, 204 p.
7. Foglia P., Prete C., Zanda M. "An inspection system for pharmaceutical glass tubes", WSEAS Transaction on Systems and Control, 2015, vol. 14, pp. 123-128
8. Kelby S. "Digital photography" ("Tsifrovye fotografii"), Moscow, Dialektika, 2019, 288p.
9. Ishchenko E.P., Ishchenko P.P., Zotchev V.A. "Forensic photography and video recording: study guide. manual" ("Krimi-nalisticheskaya fotografiya i videozapis': ucheb.-pract. posobie"), Moscow, Yuristb, 1999, 436 p.
10. Yakovlev D.Yu. "Special types of photography: manual" ("Spetsial'nye vidy fotos"yemki: metod. posobiye"), Irkutsk, BSUEP, 2015, 109 p.
Submitted 16.06.2020; revised 17.08.2020 Information about the authors
Yuriy N. Matveev, Dr. Sc. (Technical), Professor, Tver State Technical University (25 Lenin avenue, Tver 17022, Russia), e-mail: matveev4700@mail.ru
Mohammed M. Ali Alaqabi, Graduate student, Tver State Technical University (25 Lenin avenue, Tver 17022, Russia), e-mail: malaqab40@mail.ru
