CC BY
90
УДК 004.932
М. П. Шлеймович, М. В. Медведев, С. А. Ляшева, А. П. Кирпичников
МЕТОДЫ ВЫЧИТАНИЯ ФОНА В СИСТЕМЕ УПРАВЛЕНИЯ ТЕХНОЛОГИЧЕСКИМ ПРОЦЕССОМ
Ключевые слова: системы управления технологическим процессом, технологии машинного зрения, анализ изображений, системы видеонаблюдения, методы вычитания фона, метод кодовой книги.
Рассмотрены вопросы создания систем контроля технологических процессов на основе технологий машинного зрения. Описан технологический процесс литья изделий из пластмассы под давлением. Показана возможность повышения эффективности контроля процесса на основе анализа состояния формы по ее изображениям с использованием методов вычитания фона.
Keywords: system ofprocess control, machine vision technology, image analysis, video surveillance systems, methods of background
subtraction, method of codebook.
Considers creation of control systems of technological processes based on machine vision technologies. Describes the process of molding articles of plastic under pressure. The possibility of increasing the effectiveness of the control process on the basis of the analysis of the shapes in the images using the methods of background subtraction.
Одной из актуальных научно-практических задач является создание эффективных систем автоматизированного контроля технологических процессов.
Рассмотрим технологический процесс изготовления изделий из пластмассы методом литья под давлением, который достаточно технологичен, обеспечивает высокую производительность, хорошо автоматизируется и не требует проведения последующей механической обработки [1].
Литье под давлением представляет собой сложный процесс. Он содержит ряд последовательно выполняющихся технологических стадий и может быть описан следующим образом. Первой выполняется стадия смыкания формы. После этого расплав поступает из впрыска литьевой машины по литниковой системе в формующую полость. На следующем шаге расплав уплотняется под воздействием давления, окончательно заполняет формующую полость и точно копирует ее внутреннюю поверхность. Далее, расплав выдерживается под давлением в форме, частично компенсируя усадку (она происходит во время охлаждения изделия). Давление обычно поддерживается до тех пор, пока расплав не затвердеет в наиболее тонких элементах литниковой системы. После этого поступление расплава полностью прерывается. Находящийся в формующей полости расплав продолжает охлаждаться и усаживаться (уже без компенсации). Затем форма раскрывается, охлажденное изделие выталкивается с помощью специальной системы выталкивания. Продолжительность цикла литья под давлением в большой степени зависит от конструкции изделия.
При выталкивании изделия из формы на последней стадии процесса литья под давлением идеальным вариантом является ситуация, когда извлечение отлитого изделия происходит без его повреждения или деформации. Однако на практике это условие выполняется не всегда. Это приводит к тому, что в форме после выталкивания изделий могут остаться кусочки застывшего расплава. Если они не будут удалены до следующего запуска
процесса литья, то возможны экономические и технические потери. Поэтому необходимо контролировать состояние формы после окончания стадии выталкивания.
Как правило, контроль состояния формы осуществляет человек-оператор посредством визуального наблюдения. Однако для повышения надежности актуальна разработка дополнительных средств автоматического контроля,
обеспечивающих заданные показатели точности и оперативности. При этом стоимость данных средств должна быть меньше стоимости потерь в результате несвоевременного обнаружения застывших кусочков расплава. Одним из эффективных подходов здесь является применение технологий машинного зрения на основе методов автоматической обработки изображений, полученных от видеокамеры.
Процесс обработки изображений при контроле формы в общем виде можно представить в виде последовательного выполнения следующих процедур:
1. Регистрация эталонного изображения пустой формы до начала стадии ее заполнения расплавом;
2. Регистрация изображения формы после окончания стадии выталкивания изделия;
3. Выделение характеристик эталонного и проверяемого изображений;
4. Сопоставление характеристик эталонного и проверяемого изображений;
5. Принятие решения относительно продолжения процесса литья и оповещения оператора (в случае обнаружения значительных различий сопоставляемых изображений).
Перед запуском технологического процесса вручную проверяется пустая форма. Поэтому в качестве эталонного изображения можно зарегистрировать самое первое изображение пустой формы. Все стадии процесса литья имеют четко определенные временные характеристики, что позволяет определить соответствующие им моменты времени. Моменты открытия и закрытия формы можно определить также с помощью датчиков, которыми оснащаются многие
современные станки. Таким образом, достаточно просто получить изображение, соответствующее результату выталкивания изделия.
Сократить время обработки изображений можно за счет того, что расположение и геометрические параметры рассматриваемых для контроля элементов формы неизменны, т.е. можно сопоставлять не изображения целиком, а только их фрагменты.
Отметим, что при разработке подобных систем необходимо учитывать невозможность добиться идеальных условий получения изображений. Это может быть связано с освещением, цветом изделий, колебаниями камеры из-за работы станка и др. Это означает, что большое значение имеет задача выделения признаков изображения [2].
Для повышения устойчивости процедур анализа изображений в системе контроля технологическим процессом можно применить классические методы автоматического обнаружения и сопровождения объектов в системах видеонаблюдения [3].
Условно при обработке изображений для решения задач автоматического обнаружения и сопровождения объектов в системах видеонаблюдения выделяют следующие этапы [4]:
1) определение областей переднего плана;
2) обнаружение и классификация объектов;
3) анализ параметров движения объектов;
4) распознавание поведения объектов.
На первом этапе осуществляется отделение движущихся областей изображения (области переднего плана) от неподвижных областей (области фона или заднего плана). На втором этапе выполняется сегментация объектов переднего плана и их идентификация. На третьем этапе определяются параметры движения объектов - их траектория, скорость, направление и др. На четвертом этапе обработки проводится распознавание и описание действий объектов.
В значительной степени эффективность автоматического обнаружения и сопровождения объектов зависит от качества определения областей переднего плана. Данная задача является достаточно сложной из-за того, что в обрабатываемых изображениях, как правило, отсутствуют абсолютно не изменяющиеся фрагменты. Это связано, например, с условиями получения изображений и искажениями, вносимыми соответствующими устройствами. Учет различных факторов, влияющих на качество решения рассматриваемой задачи, приводит к необходимости применения методов формирования модели заднего плана (фона).
Для выделения переднего плана наиболее часто используются методы вычитания фона, вероятностные методы, методы временной разности и оптического потока. Указанные методы имеют различную сложность реализации и, следовательно, отличаются требованиями к ресурсам вычислительной системы. Поэтому при их выборе необходимо учитывать характеристики системы обработки. Для систем контроля технологическими процессами, работающих в реальном времени и имеющих ограниченные ресурсы, оптимальным
является применение методов вычитания фона. В данных методах осуществляется попиксельное сравнение текущего кадра видеопоследовательности с моделью фона. Эта модель представляет собой описание сцены, которая содержит только стационарные объекты. Данное описание должно постоянно уточняться для того, чтобы соответствовать возникающим изменениям.
Рассмотрим последовательность изображений шириной N и высотой М, поступающих от камеры. Для каждого изображения этой последовательности (кадра) необходимо построить бинарную маску Т(х, у). Единичное значение маски соответствует переднему плану, а нулевое значение - заднему плану (фону). Как правило, предполагается, что определенное количество первых кадров в видеопоследовательности не содержит движущиеся объекты.
Один из наиболее простых алгоритмов вычитания фона заключается в вычислении для каждого пикселя модуля разности первого кадра В(х, у) видеопоследовательности и текущего кадра 1(х, у) с последующим сравнением вычисленного значения с пороговым значением 5:
[1, |В(х, у) -1(х, у)| > 5,
(1)
Т (х, у) = ■
[0, |В(х, у) -1(х, у)| < 5,
х = 1,..., N, у = 1,...М. Для устранения влияния шума задний план можно обновлять с помощью фильтра с бесконечной импульсной характеристикой:
Вм = а/, + (1 - а)В,, (2)
где , - номер кадра, а - коэффициент от 0 до 1 (обычно лежит в пределах от 0.05 до 0.15). Также можно применять и более сложные фильтры, например:
п
В, (х, у) = а^шш У|/-1( х, у) - / (х, у)|. (3)
¡=0,...п 1
Для вычисления маски предлагается также применять нормированную разность:
, |В(х, у) - /(х, у) - > 5
с ' (4)
0 |В(х, у) - /(х, у) - < 5 ^
Т (х, у) =
где цист- математическое ожидание (среднее значение) и среднеквадратическое (стандартное) отклонение величины В1 (х, у) - /1 (х, у)
соответственно.
Для усиления контрастности в темных областях, таких как тени, иногда используется относительная разница фона и текущего изображения:
1 В (х, у) - /, (х, у)| > 5 , В, (х, у) > ,
|В, (х, у) - / , (х, у )| В,, (х, у)
Главным достоинством простейших методов вычитания фона, базирующихся на выражениях (1) - (5), является простота их реализации. Однако они имеют такой недостаток, как высокая
Т (х, у) =
(5)
0,
< 5.
с
чувствительность к особенностям получения изображений. Один из возможных способов преодоления данного недостатка основан на применении алгоритма с адаптивным порогом:
1. Рассчитать разность фона и текущего изображения:
В( х, у) = |В( х, у) -1 (х, у )|; (6)
2. Построить гистограмму:
Г1, Б( х, у) = к'
H (к) = £
0, D(x, y) Ф к
(7)
к = 0,...,255;
3. Найти максимальное значение гистограммы:
H max = max H (к);
4. Найти пороговое удовлетворяющее условиям:
значение
(8)
S,
(9)
[H (5) = ßH max, ß = 0.05, 15 > arg max H(к);
5. Определить маску по формуле (1).
При этом необходимо отметить, что
1) для первого кадра делается предположение о том, что D(x, y) = I(x, y);
2) обновление фона осуществляется по формуле
(2);
3) для каждых n кадров выполняется подстройка маски:
сначала вычисляется значение по формуле
T ( x, y) = -,[Tt_n (x, y )&...& Tt ( x, y)], (10) затем в случае равенства Tt (x, y) нулю
осуществляется обновление фона в
соответствующем пикселе по формуле (2).
Отнесение переднепланового (до определенного момента времени) объекта к фону называется интеграцией. Для контроля процесса интеграции иногда вводятся специальные индикаторы. Основная идея заключается в обновлении пикселей только в том случае, если за определенный промежуток времени не зафиксировано никаких изменений в данной области изображения. Для того, чтобы алгоритм был рекурсивным, индикатор стабильности учитывает историю изменения каждого пикселя. Как только будет зафиксировано движение в той области, к которой принадлежит рассматриваемый пиксель, индикатор стабильности для него принимает минимальное значение. Если в следующих кадрах изменений не наблюдается, то индикатор стабильности постепенно увеличивается до тех пор, пока не достигнет своего максимального значения. Обновление фона происходит только тогда, когда индикатор стабильности принимает максимальное значение.
Для учета медленных изменений в анализируемой сцене в модели вычитания фона можно использовать простые статистические правила, например, скользящее среднее и стандартное отклонение для каждого пикселя. В качестве статистических характеристик отдельных пикселей могут также выступать минимальное и максимальное значения интенсивности, а также
максимум разницы интенсивности пикселей последовательных кадров.
Рассмотренные подходы к вычитанию фона ориентированы на обработку полутоновых изображений. Несмотря на свою простоту, они позволили получить достаточно хорошие результаты при использовании в системе контроля технологического процесса изготовления изделий из пластмассы. В общем виде процедура анализа выглядит следующим образом:
1. Формирование модели фона, представляющего собой полутоновое изображение пустой формы до начала стадии ее заполнения расплавом. Для этого заданное количество раз осуществляется открытие и закрытие формы с регистрацией эталонных изображений и обновлением модели фона;
2. Регистрация полутонового изображения формы после окончания стадии выталкивания изделия;
3. Определение пикселей переднего плана в результате сопоставления полученного изображения и модели фона;
4. Определение величины рассогласования по количеству пикселей переднего плана;
5. Если величина рассогласования превышает заданный порог, то процесс литья останавливается, иначе модель фона обновляется и процесс продолжается.
Повысить точность обнаружения остатков расплава в форме можно за счет учета цветовой информации, содержащейся в изображениях. Для этого можно применить модификации рассмотренных методов вычитания фона. Например, эффективна следующая модификация,
базирующаяся на предположении о том, что помехи по трем цветовым ЯОВ-каналам (Я - красный, О -зеленый, В - синий) имеют нормальное распределение с нулевым математическим ожиданием и их можно оценить с помощью значений среднеквадратических отклонений стЯшт, ®Осат ^Всат. На основе ряда начальных кадров создается модель фоновых пикселей, зависящая от математических ожиданий и среднеквадратических отклонений цветовых интенсивностей каждого пикселя цЯ, цО, цВ, стЯ, стО, стВ. Обновление параметров проводится по следующей схеме:
М™ (x, y) = адt (x, y) + (1 - a)It+l (x, y), °2+i( x, y) = а[ст2( x, y) + + (д t+1( x, y) - М t (x, y))2] + + (1 - a)[ It+1( x, y) - Mt+1( x, y)]2,
(11)
где а - константа. Под интенсивностью 1(х, у) здесь понимается интенсивность цветового канала. Обозначим через Я(х, у), О(х, у), В(х, у) интенсивности красного, зеленого и синего цветовых каналов. Тогда пиксель считается принадлежащим к переднему плану, если выполняется одно из трех неравенств, в основе которых лежит правило «трех сигм»:
x, y
R(x, y) - ц s (x, y)| > 3 max[c
R , ^ Ream ]
|G(x, y) - Ц^ (X, y^ > 3 max[0g , Oecam ] (12) |B( x, y) - ц B (x, y)| > 3 max[c
B , ^ Beam ].
Если же ни одно из этих неравенств не выполняется, то пиксель считается фоновым. В рассмотренном подходе к вычитанию фона для цветных изображений делается допущение о медленном изменении освещенности. Оно нарушается в случае отбрасывания теней движущимися объектами. Для того чтобы тени не были отнесены к переднему плану можно воспользоваться тем фактом, что области изображения, накрываемые тенями, претерпевают сильные изменения освещенности, но
R
при этом их хроматические значения r _
G
и g _■
R + B + G сильно не изменяются. Таким
R + B + G
образом, вместо RGB-цветов в приведенных выше вычислениях используются хроматические значения пикселей, а также их средние значения и стандартные отклонения, предполагая, что они являются независимыми случайными величинами.
Более устойчивым к условиям функционирования системы является метод кодовой книги [5, 6]. Особенность формируемой согласно этому методу модели фона заключается в следующем. Для каждого пикселя фона создается кодовая книга, содержащая набор кодовых слов. Каждое кодовое слово имеет вид:
(R , G , B , I шп, I max, f, X, p, q),
где R , G , B - значения цветовых компонент; Imin, Imax - минимальное и максимальное значения яркости; f - частота кодового слова; X - наибольший интервал (измеряется в количестве кадров), в течение которого кодовое слово не рассматривалось при формировании модели; p, q - первый и последний моменты времени (представляют собой номера кадров), когда рассматривалось кодовое слово при формировании модели.
Формирование модели фона осуществляется с помощью следующих шагов:
1. Для каждого пикселя фона создают пустую кодовую книгу;
2. Определить яркость пикселя текущего изображения фона, содержащегося в кадре с номером t, t = 1, 2, ..., по формуле:
I = VR2 + G2 + B2 , (13)
где R, G, B - значения компонент цвета пикселя;
3. Найти такое кодовое слово, для которого будут выполняться соотношения:
R2 + G2 + B2 -
RR+GG+BB
R2 + G2 + B2 l.„ < I < / ,
^ е,
(14)
где е - заданное пороговое значение;
4. Если кодовое слово не найдено, то создается новое кодовое слово
(К,О,В,/,/,1,, -1,,,,),
иначе найденное кодовое слово
(R , G , B, I min, I max, f, X, Р, q) преобразуется в кодовое слово
(jynew new r) new jnew jnew s>new л new new n > > > min ' max' J ' "> r ¿4.
где
r new _
fR + R . f +1 ;
Qnew _ fG +G ;
f + 1 '
ßnew _ fB +B ;
f + 1 '
IГ _ min{Imin, I};
Im:_ max{Imax,I};
fnew _ f + 1 ;
X"w _ max{X, t - q};
pnew _ Р;
qnew _ t;
5. Выполнить шаги 2-4 для всех кадров, содержащих изображения фона;
6. Для всех кодовых слов модели фона выполнить изменение параметра X:
X _ max{X, N - q + p -1}, (15)
где N - число кадров, по которым строилась модель фона.
Таким образом, модель фона формируется в результате обучения по некоторому числу кадров. При этом после выделения переднего плана на текущем изображении модель можно уточнять по пикселям, отнесенным к фону.
Алгоритм выделения переднего плана является очень простым - необходимо для каждого пикселя текущего изображения:
1. Выполнить поиск кодового слова кодовой книги соответствующего пикселя модели фона, для которого справедливы соотношения (14);
2. Если слово найдено, то обновить модель и отнести пиксель к фону, иначе отнести пиксель к переднему плану.
Для повышения качества отделения переднего плана и фона рекомендуется использовать только те кодовые слова, для которых X не превышает заранее заданного значения.
На основе описанных методов было реализовано программное обеспечение системы контроля технологического процесса литья изделий из пластмассы с использованием персонального компьютера и бытовой web-камеры (рис. 1).
Результаты проведенных экспериментов показали, что наиболее оптимальным является метод кодовой книги, позволяющий обеспечить формирование адекватной модели эталонного изображения открытой формы в условиях помех, связанных с ограничениями web-камеры, нестабильным освещением и механическими колебаниями работающего станка.
В заключение отметим, что рассмотренный подход, базирующийся на методах машинного зрения, позволяет существенно повысить точность
автоматизированных систем управления
технологическими процессами.
Форма
открыта
а - Детектирование открытой формы
■з
б - Детектирование внештатной ситуации Рис. 1 - Контроль процесса литья Литература
1. Мэллой, Р.А. Конструирование пластмассовых изделий для литья под давлением: пер. с англ. / Р.А. Мэллой. -СПб.: Профессия, 2006. - 512 с.
2. Кирпичников, А.П. Контекстный поиск изображений / А.П. Кирпичников, С.А. Ляшева, М.П. Шлеймович. // Вестник Казанского технологического университета. -2014. - Т. 17. №18. - С. 244-251.
3. Кирпичников, А.П. Обнаружение и сопровождение людей в интеллектуальных детекторах внештатных ситуаций / А.П. Кирпичников, С.А. Ляшева, М.П. Шлеймович. //Вестник Казанского технологического университета. 2014. - Т. 17. №21. - С. 351-356.
4. Лукьяница, А.А. Цифровая обработка видеоизображений / А.А. Лукьяница, А.Г. Шишкин. -М.: ООО "Ай-Эс-Си Пресс", 2009. - 518 с.
5. Gary Bradsky, Adrian Kaehler Learning OpenCV Computer Vision with the OpenCV Library - O'Reilly, 2008.
6. K. Kim, T.H. Chalidabhongse, D. Harwood, and L. Davis, "Real-time foreground-background segmentation using codebook model," Real-Time Imaging 11 (2005): 167-256.
© М. П. Шлеймович - к.т.н., доцент кафедры автоматизированных систем обработки информации и управления КНИТУ-КАИ, e-mail: [email protected]; М. В. Медведев - старший преподаватель кафедры автоматизированных систем обработки информации и управления КНИТУ-КАИ, e-mail: [email protected]; С. А. Ляшева - к.т.н., доцент кафедры прикладной математики и информатики КНИТУ-КАИ, e-mail: [email protected]; А. П. Кирпичников - д. ф.-м. н., зав. каф. интеллектуальных систем и управления информационными ресурсами КНИТУ, e-mail: [email protected].
© M. P. Shleymovich - PhD, Associate Professor of the Department of Automated Information Processing Systems & Control, KNRTU-KAI, e-mail: [email protected]; M. V. Medvedev - Seniour Lecturer of the Department of Automated Information Processing Systems & Control, KNRTU-KAI, e-mail: [email protected]; S. A. Lyasheva - PhD, Associate Professor of the Department of Applied Mathematics & Informatics, KNRTU-KAI, [email protected]; A. P. Kirpichnikov - Dr. Sci, Head of the Department of Intelligent Systems & Information Systems Control, KNRTU, e-mail: [email protected].
