CC BY
48
СИСТЕМА ТЕХНИЧЕСКОГО ЗРЕНИЯ ДЛЯ ОПРЕДЕЛЕНИЯ КОЛИЧЕСТВА ГЕЛЬ-ЧАСТИЦ В РАСТВОРЕ ПОЛИМЕРА
Николай Львович Казанский1'2(заместитель директора, e-mail: [email protected]), Сергей Борисович Попов 12(старший научный сотрудник, e-mail: [email protected]) Учреждение Российской академии наук Институт систем обработки изображений РАН, Самарский государственный аэрокосмический университет имени академика С.П. Королева
Аннотация
Рассматривается система технического зрения (СТЗ) для определения количества гель-частиц в растворе полимера при проведении лабораторного анализа. Предложен состав и определены технические характеристики системы, решающей поставленную задачу.
В ходе создания СТЗ разработаны новые методы пороговой обработки и анализа получаемых при этом бинарных изображений, работающие в условиях слабой контрастности изображений и при наличии значительного уровня помех. Разработано программное обеспечение, реализующее указанные методы, автоматизирующие процесс проведения лабораторных анализов по определению количества гель-частиц в растворе полимера и их последующую обработку.
Использование СТЗ вместо наблюдателя при проведении данного анализа позволяет существенно снизить психовизуальную нагрузку на лабораторный персонал, повысить точность и достоверность определения количества гель-частиц в растворе полимера, обеспечить документируемость проводимых лабораторных анализов.
Ключевые слова: система технического зрения, обработка изображений, бинаризация изображений, обнаружение разрывов контуров.
Введение
Система технического зрения (СТЗ) для определения количества гель-частиц в растворе полимера решает важную задачу проведения лабораторного анализа, основной особенностью которого является высокая психовизуальная нагрузка на лаборанта. В процессе проведения этого анализа определяется количество гель-частиц в растворе полимера путем прямого визуального подсчета количества разрывов или изменений диаметра струи полимера, формируемой при его вытекании в раствор осадителя. При этом наблюдатель в течение 40-50 минут непрерывно смотрит на тонкую струю на белом фоне. Длительность фиксируемого события (изменение диаметра или обрыв струи полимера на расстоянии до 5 см от края капилляра) составляет около 1 секунды. Если наблюдатель отвлекся на время большее, чем 1-2 сек., то уже нельзя с уверенностью определить, на каком расстоянии от края капилляра произошел обрыв струи.
Использование СТЗ вместо наблюдателя при проведении данного анализа позволяет не только существенно снизить психовизуальную нагрузку на лабораторный персонал, но и повысить точность и достоверность определения количества гель-частиц в растворе полимера, обеспечить документируе-мость проводимых лабораторных анализов.
Особенности проведения анализа, точнее, условия формирования видеоданных, не позволяют использовать стандартные системы технического зрения[1,2] без значительной их модернизации, причем не только при разработке пользовательского интерфейса, средств представления и документирования результатов проводимого экспери-мента. Более существенно то, что это касается алгоритмов обработки и анализа изображений,
используемых в процессе автоматизации лабора-торного эксперимента.
Особенности формирования видеоданных при проведении лабораторного анализа обсуждаются в первом разделе.
Во втором разделе рассматриваются разработанные в ходе создания СТЗ новые методы бинаризации изображений и анализа получаемых при этом графических препаратов[3]. Данные методы позволяют выполнять пороговую обработку в условиях слабой контрастности изображений и при наличии значительного уровня помех.
Краткое описание разработанного программного обеспечения, реализующего указанные методы автоматизации процесса анализа количества гель-частиц в растворе полимера, приводится в третьем разделе.
1. Формирование видеоданных лабораторного анализа
В процессе проведения лабораторного анализа раствор полимера, подкрашенный метил-оранжевым индикатором, вытекает из градуированной стеклянной трубки с выходящим диаметром капилляра 0,5 мм. Кончик капилляра опускают в стеклянный цилиндр с осадительной смесью на глубину 5 мм.
Цифровая видеокамера с монохромной матрицей направляется на цилиндр с осадителем, за которым располагается белый экран фона, а сбоку устанавливается лампа подсветки. В процессе проведения анализа осадительная смесь, изначально бесцветная, постепенно приобретает оранжевый цвет индикатора. При этом контрастность изображения, особенно черно-белого, существенно падает. Дополнительной сложностью является цилиндрическая форма сосуда с осадителем, которая приводит к неоднородности освещения по полю изображения.
Таким образом видеоданные, формируемые в процессе проведения лабораторного анализа, характеризуются следующими особенностями: полутоновое изображение слабоконтрастного объекта в виде тонкой струи на светлом фоне со значительными вариациями яркости при переходе от центра к краям, причем в нижней части изображения, там, где скапливается полимер и наиболее сильно проявляется диффузия красителя в раствор осадителя, к моменту завершения анализа струя полимера становится почти не отличимой от фона.
Пример изображения сосуда с осадителем и струи раствора полимера приведен на рис. 1.
Рис. 1. Изображение, формируемое СТЗ, с выделенной областью интереса
2. Распознавание разрывов струи раствора полимера на изображении
Задача СТЗ заключается в том, чтобы выделить объект наблюдения (тонкую линию струи раствора полимера), определить наличие на нем разрывов или утолщений.
Можно указать два основных направления решения поставленной задачи: методы, основанные на трассировке линии по полутоновому изображению, и методы, основанные на предварительной пороговой обработке всего изображения с последующим анализом полученного бинарного изображения.
Оба способа плохо предназначены для работы в указанных выше условиях. Исследование методик первого направления выявило следующие недостатки. При обработке изображения, содержащего тонкую струю с небольшими разрывами, сопоставимыми с толщиной струи, разрывы на формируемом бинарном изображении исчезают. И, наоборот, при слабом контрасте цвета фона и струи или при сужении струи на бинарном изображении появляются разрывы, ко-
торых нет на полутоновом. При попытке распознавания разрывов в этом случае возникают ложные решения о наличии или отсутствии таковых.
В процессе предварительного исследования алгоритмов обработки видеоданных лабораторного анализа было выбрано направление, основанное на предварительной бинаризации полутонового изображения, в первою очередь, потому, что в рамках этого подхода наиболее просто выявляется наличие не только разрывов, но и утолщений на анализируемой линии.
Все методы формирования бинарного изображения можно условно разделить на две группы [3,4]:
• методы с постоянным порогом по всему изображению,
• адаптивные методы пороговой обработки.
Широко применяемые методы глобальной пороговой обработки были предложены Ози [5] и КШег-ПИп^огШ [6,7]. Методы используют кластерный подход [4], но различные предположения, хотя и одинаково обоснованные, относительно основных свойств гистограммы изображения. Оба метода страдают от излишней чувствительности к характерным особенностям СТЗ - теням, ярким бликам и другим изменениям цвета в пределах изображения.
Методы первой группы не позволяют выделить относительно малоконтратный объект-струю в ус -ловиях значительных перепадов яркости по всему полю изображения, которые сложно устранить ввиду невозможности формирования равномерного освещения стеклянного цилиндрического сосуда и наличия бликов на его изогнутых стенках.
Адаптивные методы пороговой обработки [8-14] в массе своей используют локальную обработку в скользящем окне [3], при этом порог вычисляется для каждой точки изображения как некая функция от локальной статистики отсчетов яркости в окне: диапазона значений, математического ожидания, параметров аппроксимирующей поверхности и т.п. Основной недостаток методов этой группы - высокая чувствительность к шумам на изображении.
Общее описание алгоритма распознавания разрывов струи раствора на изображении
В рассматриваемой СТЗ разработан гибридный подход, который заключается в том, что используется трассировка струи, осуществляемая по бинарному изображению, а не полутоновому, при этом пороговая обработка выполняется не по всему изображению, а только по некоторому достаточно малому фрагменту, заведомо содержащему изображение струи [15].
Реализованный алгоритм включает следующие основные этапы:
• Определение начала струи на исходном изображении.
• Выделение фрагмента изображения, включающего в себя струю на некотором участке.
• Бинаризация выделенного фрагмента.
• Поиск разрывов и утолщений на фрагменте.
• Определение расположения следующего фрагмента, примыкающего к текущему, с учетом возможного искривления струи (трассировка).
Рассмотрим подробнее описание алгоритма распознавания разрывов струи раствора полимера на изображении.
Исходное полутоновое (256 градаций серого) изображение характеризуется значениями яркости отдельных его точек:
£(х,у), х = 1,..,М, у = 1,..,N,
где х, у - координаты точки изображения, М , N - размеры изображения.
Изображение £ (х, у) в процессе обработки преобразуется в бинарное изображение О (х, у) путем
независимой бинаризации его фрагментов. Далее происходит поиск разрывов и утолщений струи на бинаризованных фрагментах. На рис. 2 представлен пример исходного полутонового изображения (слева) и бинарного изображения, полученного из исходного (справа).
Рис. 2. Исходное полутоновое изображение струи полимера в растворе осадителя (слева) и бинарное изображение, полученное в результате обработки СТЗ (справа)
Определение начала струи на исходном изображении На этом этапе вычисляются суммы wk яркостей точек изображения в окне, имеющем размер М0 х N0. Значение ширины окна М0 заранее выбирается приблизительно равным толщине предполагаемой струи.
w =ZZS ( + k -1 j), k =( - M0 )• i=1 j=1
Далее определяются координаты xw и yw фрагмента с началом струи. В качестве координаты xw выбирается значение k, для которого wk минимально, смещенное на половину ширины окна:
7 Mo ,
x = k--0 , при k таком, что w, = min w,.
w 2 k 1<i<M-M0 1
Значение координаты y0 выбирается равным 1 (струя начинается с первой строки изображения).
На рис. 3 представлен фрагмент полутонового изображения струи (снизу), график значений wk (сверху) для окна размером M0 х N0 = 3 х 7 . Вертикальной линией показана выбранная согласно этапу способа координата xw .
Рис. 3. Фрагмент полутонового изображения струи (снизу) и график значений яркости в строке (сверху) (показано найденное положение струи)
Выделение фрагмента струи Из исходного полутонового изображения £ (х, у) выделяется прямоугольный фрагмент (х,у) размерами М^ х Nw по формуле:
^ (х у ) = £ (^ + х Уw + у)
х = 1,..,Mw, у = 1,.., N , где хи1 и - координаты фрагмента на исходном изображении £ (х, у), определенные на предыдущем этапе.
Бинаризация выделенного фрагмента Этап бинаризации основан на аппроксимации функции яркости выделенного фрагмента £м, (х, у) двухуровневой функцией нулевого порядка
^ ( \ Ь ^ (x, у) Ч
^w(x,(х,у)> Ч ■
где значения а, Ь и порог Ч вычисляются из усло-
IV! w JVw
minSw (x,y)-Qw (x,y)|4.
x=1 y=1
Процедура бинаризации состоит из следующих шагов:
1. Значения отсчетов яркостей точек фрагмента
(х, У) упорядочиваются по неубыванию и перенумеровываются:
5 ^ ¿2 ^ .. ^ ,
где К = Mw х Nw - число точек фрагмента
^ ( У).
2. Вычисляется значение
( , к Л2
K 1 K
i=У s- У s
i=2 к - 1 j= 2
5,.-->
В качестве начального значения цикла шагов 3-6 устанавливается значение к = 2 . 3. Если 5к = 5к, то к = к +1. И так повторяется до тех пор, пока для текущего к не выполнится ус-
4. В качестве порога выбирается значение 5к:
а = 5к.
5. Вычисляются средние значения яркости а, Ь и ошибка аппроксимации вк:
к 1 К
1 к
=1У s
kti i
b =-
У s
ek =
K - k i=k+i
K
- a)2 + - b)2
i=k+1
6. Если ек < ек-1, то к = к +1 и осуществляется переход к шагу 3.
7. В качестве значения порога выбирается а = . После выбора значения порога бинаризации а
проверяется значение разности (Ь - а). В случае, если разность меньше заранее заданного значения порога аь :
(Ь - а)< ааЬ ,
считается, что выделенный фрагмент (х, у) содержит только фон. При этом бинаризация завершается и принимается решение, что изображение струи содержит разрыв.
Бинарное изображения О (х, у) формируется по
значениям (х, у) отсчетов фрагмента в соответствии с формулой:
О ( + + ) /1, ^ (х, у) а
О (( + х * + у Но, ^ (х, у )> а,
х = 1,..,, у = 1,.., ^ .
Поиск разрывов на фрагменте Для поиска разрывов в каждой к-ой (к = 1,.., ^) строке бинарного фрагмента вычисляется число п (к) точек, принадлежащих струе:
п(к) = £О х + х,ук + к) , к = 1,.., ^ .
х=1
В случае, если существует значение кар такое, что п (к№) = 0, считается, что изображение струи
содержит разрыв. Обработка изображения в этом случае завершается. На рис. 4 представлен пример исходного полутонового изображения струи, содержащей разрыв (слева), и пример бинарного изображения, полученного из исходного (справа).
Рис. 4. Пример исходного полутонового изображения струи, содержащей разрыв (слева), и пример бинарного изображения, полученного из исходного (справа)
Вычисление смещения струи
В последней строке Nw текущего фрагмента вычисляется число nleft точек фона слева до появления первой точки струи и число nrjght точек фона справа до появления первой точки струи. Значения xw и yw для следующей (t + 1) итерации рассчитываются по формулам:
Xw ( + 1) = Xw ( ) + ( Ппф, - nkfi ) и
yw (t +1) = yw (t)+ Nw.
При этом выполняется проверка выхода за границы изображения:
если Xw (t +1)< 1, то Xw (t +1) = 1,
если Xw (t +1)> M - Mw, то Xw (t +1) = M - Mw .
Далее происходит бинаризация следующего фрагмента. Процесс продолжается до тех пор, пока координата yw не превысит размер окна N. На рис. 5 представлен пример исходного полутонового изображения (слева) и выделенных фрагментов
ловие sk < sk+1
струи на бинарном изображении (справа), полученном из исходного.
Рис. 5. Пример исходного полутонового изображения (слева) и выделенных фрагментов струи на бинарном изображении (справа), полученном из исходного
Использование предлагаемого алгоритма позволяет автоматизировать процесс проведения лабораторного анализа по определению количества гель-частиц в растворе полимера, осуществляемого путем подсчета количества разрывов струи, формируемой в процессе вытекания полимера в раствор осадителя.
3. Программа СТЗ лабораторного анализа
СТЗ состоит из компьютера с монитором, клавиатурой и манипулятором типа мышь, цифровой видеокамеры с объективом на фиксирующем штативе.
Программное обеспечение СТЗ для определения
количества гель-частиц в растворе полимера при
проведении лабораторного анализа обеспечивает:
• запись с помощью цифровой видеокамеры всего процесса истечения полимера в осадитель,
• последующий автоматический анализ однородности струи полимера,
• учет всех проявлений неоднородности струи полимера, связанных с изменением диаметра или обрывом струи полимера на заданном расстоянии от края полимера,
• формирование списка фрагментов анализа, на которых присутствуют проявления неоднородности струи полимера,
• редактирование данного списка фрагментов оператором путем удаления выбранных фрагментов,
• возможность быстрого просмотра оператором по окончании анализа всех или некоторых фрагментов, связанных с изменением неоднородности струи полимера,
• возможность просмотра оператором всего зафиксированного процесса проведения анализа,
• возможность ввода краткого описания лабораторного анализа,
• архивацию выполненных анализов, списков их фрагментов неоднородностей с возможностью последующего просмотра.
Общий вид программы СТЗ в режиме просмотра
показан на рис. 6.
Рис. 6. Окно программы СТЗ в режиме просмотра
Заключение
Описанная система технического зрения для определения количества гель-частиц в растворе полимера при проведении лабораторного анализа внедрена и успешно эксплуатируется уже четыре года на ЗАО «Куйбышев Азот» (г.Тольяти).
В ходе создания СТЗ предложен и запатентован метод распознавания разрывов струи раствора полимера на изображении [15], в рамках которого разработаны новые методы бинаризации и анализа изображений. Данные методы позволяют выполнять пороговую обработку в условиях слабой контрастности изображений и при наличии значительного уровня помех. Разработано программное обеспечение, реализующее указанные методы, автоматизирующие процесс проведения лабораторных анализов по определению количества гель-частиц в растворе полимера и их последующую обработку.
Использование СТЗ вместо наблюдателя при проведении данного анализа позволяет существенно снизить психовизуальную нагрузку на лабораторный персонал и тем самым повысить точность и достоверность определения количества гель-частиц в растворе полимера, обеспечить до-кументируемость проводимых лабораторных анализов. Практика показала, что автоматическое распознавание с использованием описанной СТЗ позволяет выявить в 5-7 раз большее количество разрывов по сравнению с визуальным наблюдением, проводимым ранее персоналом лаборатории ЗАО «КуйбышевАзот».
Благодарности
Авторы выражают благодарность Н.Е. Козину и А.М. Усачевой за плодотворное сотрудничество в процессе разработки и внедрения данной системы.
Работа выполнена при поддержке РФФИ (грант 07-07-00210), российско-американской программы «Фундаментальные исследования и высшее образование» (BRHE) и гранта Президента РФ номер НШ-3086.2008.9.
Литература
1. Буланов, А.П. Система технического зрения для регистрации железнодорожных составов цистерн / Буланов
A.П., Волотовский С.Г., Казанский Н.Л., Попов С.Б., Хмелев Р.В., Шумаков С.М. // Автоматизация в промышленности, 2005. - № 6. - С. 57-59.
2. Волотовский, С.Г. Система технического зрения для распознавания номеров железнодорожных цистерн с использованием модифицированного коррелятора в метрике Хаусдорфа / Волотовский С.Г., Казанский Н.Л., Попов С.Б., Хмелев Р.В. // Компьютерная оптика, 2005. - № 27. - С. 177-184.
3. Методы компьютерной обработки изображений (Издание второе, исправленное) / под ред. В.А. Сойфера -М.: Физматлит, 2003. - 784 с.
4. Sezgin, M. Survey over image thresholding techniques and quantitative Performance evaluation / M. Sezgin and
B. Sankur // Journal of Electronic Imaging, 2004. - Vol. 13(1), - p. 146-165.
5. Otsu, N. A threshold selection method from gray level histograms // IEEE Trans. Syst. Man Cybern., 1979. -SMC-9. - p. 62-66.
6. Kittler, J. Minimum error thresholding / J. Kittler and J. Illingworth // Pattern Recogn., 1986. - Vol. 19. - p. 41-47.
7. Kittler, J. On threshold selection using clustering criteria / J. Kittler and J. Illingworth // IEEE Trans. Syst. Man Cybern., 1985. - SMC-15. - p. 652-655.
8. Nakagawa, Y. Some experiments on variable thresholding / Y. Nakagawa and A. Rosenfeld // Pattern Recogn., 1979.
- Vol. 11(3). - p. 191-204.
9. Deravi, F. Grey level thresholding using second-order statistics / F. Deravi and S. K. Pal // Pattern Recogn. Lett., 1983. - Vol. 1. - p. 417-422.
10. Sauvola, J. Adaptive document image binarization / J. Sauvola and M. Pietaksinen // Pattern Recogn., 2000. -Vol. 33. - p. 225-236.
11. White, J. M. Image thresholding for optical character recognition and other applications requiring character image extraction / J. M. White and G. D. Rohrer // IBM J. Res. Dev., 1983. - Vol. 27(4). - p. 400-411.
12. Bernsen, J. Dynamic thresholding of gray level images // ICPR'86: Proc. Intl. Conf Patt. Recog., 1986. - p. 1251-1255.
13. Yanowitz, S. D. A new method for image segmentation / S. D. Yanowitz and A. M. Bruckstein // Comput. Graph. Image Process., 1989. - Vol. 46. - p. 82-95.
14. Volotovskii, S.G. Machine Vision System for Registration of Oil Tank Wagons / Volotovskii S.G., Kazanskii N.L., Popov S.B., Khmelev R.V. // Pattern Recognition and Image Analysis, 2005. - Vol. 15(2). - p. 461-463.
15. Пат. 2336563 Рос. Федерация, МПК G 06 K 9/00, 9/62, 9/66. Способ распознавания разрывов струи раствора на изображении / Казанский Н.Л., Козин Н.Е., Попов С.Б., Фурсов В.А.; заявитель и патентообладатель ИСОИ РАН. - № 2006115915/09, заявл. 10.05.06; опубл. 20.10.08, Бюл. № 29.
References
1. Bulanov, А. P. Machine vision system for recording tank railway cars / A. P. Bulanov, S. G. Volotovskiy, N. L. Ka-zanskiy, S. B. Popov, R. V. Khmelev, S. M. Shumakov, the journal of Industrial Automation, 2005. - # 6. - pp. 5759 (in Russian).
2. Volotovskiy, S. G. Machine vision system for recognition of railway tank marking numbers with use of a modified correlator in the Hausdorff metric / S. G. Volotovskiy, N. L. Kazanskiy, S. B. Popov, R. V. Khmelev, Computer Optics, 2005. - # 27. - pp. 177-184 (in Russian).
3. Methods of Computer Optics (second, revised edition) / Ed. by V. A. Soifer - Moscow: Fizmatlit Publishers, 2003.
- 784 pages (in Russian).
4. Sezgin, M. Survey over image thresholding techniques and quantitative performance evaluation / M. Sezgin and B. Sankur // Journal of Electronic Imaging, 2004. - Vol. 13(1), - pp. 146-165.
5. Otsu, N. A threshold selection method from gray level histograms // IEEE Trans. Syst. Man Cybern., 1979. -SMC-9. - pp. 62-66.
6. Kittler, J. Minimum error thresholding / J. Kittler and J. Illingworth // Pattern Recogn., 1986. - Vol. 19. - pp. 41-47.
7. Kittler, J. On threshold selection using clustering criteria / J. Kittler and J. Illingworth // IEEE Trans. Syst. Man Cybern., 1985. - SMC-15. - p. 652-655.
8. Nakagawa, Y. Some experiments on variable thresholding / Y. Nakagawa and A. Rosenfeld // Pattern Recogn., 1979.
- Vol. 11(3). - p. 191-204.
9. Deravi, F. Grey level thresholding using second-order statistics / F. Deravi and S. K. Pal // Pattern Recogn. Lett., 1983. - Vol. 1. - p. 417-422.
10. Sauvola, J. Adaptive document image binarization / J. Sauvola and M. Pietaksinen // Pattern Recogn., 2000. -Vol. 33. - p. 225-236.
11. White, J. M. Image thresholding for optical character recognition and other applications requiring character image extraction / J. M. White and G. D. Rohrer // IBM J. Res. Dev., 1983. - Vol. 27(4). - p. 400-411.
12. Bernsen, J. Dynamic thresholding of gray level images // ICPR'86: Proc. Intl. Conf Patt. Recog., 1986. - pp. 1251-1255.
13. Yanowitz, S. D. A new method for image segmentation / S. D. Yanowitz and A. M. Bruckstein // Comput. Graph. Image Process, 1989. - Vol. 46. - p. 82-95.
14. Volotovskii, S.G. Machine Vision System for Registration of Oil Tank Wagons / Volotovskii S.G., Kazanskii N.L., Popov S.B., Khmelev R.V. // Pattern Recognition and Image Analysis, 2005. - Vol. 15(2). - pp. 461-463.
15. RF Patent 2336563, MPK G 06 K 9/00, 9/62, 9/66. A technique for recognizing the fluid jet disruption in images / N. L. Kazanskiy, N. Ye. Kozin, S. B. Popov, V. A. Fur-sov; Patentee: IPSI RAS, # 2006115915/09, appl. filed 05.10.06; published. 10.20.08, Bull. # 29.
MACHINE VISION SYSTEM FOR DETERMINING THE NUMBER OF GEL PARTICLES IN A POLYMER SOLUTION
Nikolay Lvovich Kazansky 1,2 (deputy director, e-mail: [email protected]), Sergey Borisovich Popov 112 (senior researcher, e-mail: [email protected]) Image Processing Systems Institute of the RAS, S.P. Korolyov Samara State Aerospace University
Abstract
We discuss a machine vision system (MVS) for determining the number of gel particles in a polymer solution when conducting the laboratory analysis. Components and specifications of the system intended to solve the problem are proposed.
As part of the MVS development process, we come forward with novel methods for binary image thresholding and analysis, which prove to be efficient for low contrast images and at fairly high crosstalk levels. The software to realize the aforesaid methods has been developed, allowing the number of gel particles in the polymer solution to be automatically determined.
The use of the MVS instead of a human observer enables the psychovisual load on the laboratory staff to be essentially reduced, the accuracy and reliability of determining the number of gel particles in the polymer solution to be enhanced, as well as providing the automatic recording of the laboratory analysis data.
Key words: machine vision system, image processing, image binarization, contour discontinuity identification.
Поступила в редакцию 10.06.2009 г
