CC BY
7Телевизионные системы, передача и обработка изображений
УДК 004.932.2
ПОСТРОЕНИЕ АЛГОРИТМА РАСПОЗНАВАНИЯ ПЛОСКИХ ДЕТАЛЕЙ НА ИЗОБРАЖЕНИЯХ, ПОСТУПАЮЩИХ С ВИДЕОДАТЧИКА Савичева Светлана Владимировна
кандидат технических наук, доцент кафедры «Информационные системы» Муромского института (филиала) ФГБОУ ВПО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых» E-mail: savicheva.svetlana2010@yandex.ru. Адрес: 602264, г. Муром, ул. Орловская, д. 23.
Аннотация: В статье приведена модель технологического процесса сортировки отдельных и наложенных плоских объектов на ленте конвейера. Разработан алгоритм определения типа поля зрения распознающей системы, позволяющий быстро и точно определить ситуацию, возникшую на входе распознающей системы для последующего безошибочного распознавания объектов. Приведены результаты многочисленных экспериментальных исследований.
Ключевые слова: технологический процесс; моделирование; тип поля зрения; предварительная обработка; распознавание.
Введение
Системы технического зрения (СТЗ) широко и успешно применяются во многих отраслях промышленности на таких операциях, как контроль и отбраковка различных деталей и изделий по внешнему виду, загрузка обрабатывающих станков деталями с конвейеров, сортировка и ориентированная укладка в кассеты деталей и заготовок, в том числе неупорядоченно движущихся по конвейеру или поступающих в таре навалом, сборка и комплектация узлов, монтаж электронных узлов, технические измерительные системы, медицинские диагностические системы [1-3].
В связи с этим актуальным является вопрос разработки автоматической системы распознавания, которая будет сортировать плоские промышленные детали и изделия, расположенные на ленте конвейера, как по отдельности, так и в наложенном состоянии, с использованием быстродействующих и точных алгоритмов распознавания [4].
Цель работы - разработка подсистемы для моделирования процесса сортировки плоских деталей и изделий на ленточном конвейере.
Модель технологического процесса сортировки
На рис. 1 приведена общая модель технологического процесса сортировки отдельных и наложенных плоских объектов. Данная модель включает в себя два шага:
1. предварительная обработка изображений объектов, поступивших с видеодатчика.
2. маркировка и определение ситуаций, возникших на входе распознающей системы.
Шаг1. Через заданные промежутки времени камера делает снимок поверхности ленты конвейера. Полученные изображения поступают на вход блока предварительной обработки. Он предназначен для приведения полученного с камеры полутонового изображения к виду удобному для анализа и распознавания. Для этого с изображения удаляется шум (алгоритм медианной фильтрации), они бинаризуются (метод пороговой обработки), после чего к нему применяется операция маркировки (последовательной разметки связных компонент) объектов с целью определения количества объектов, попавших в поле зрения для распознавания [5].
Рис. 1. Схема технологического процесса сортировки
Объекты могут быть расположены по краю поля зрения АСР. В этом случае они считаются не полностью вошедшими в кадр и системой не анализируются. Для их удаления используется рекурсивный алгоритм.
Ввиду того, что алгоритмы распознавания работают с контурами объектов, то следующим шагом предварительной обработки является выделение одноточечных безразрывных контуров объектов, вычисление их центра тяжести и нормализация.
В результате каждый объект, вошедший в поле зрения, будет приведён к виду, удобному для анализа и распознавания.
На этом шаг предварительной обработки заканчивается и начинается шаг 2 определения ситуации, возникшей на входе распознающей системы.
В поле зрения системы распознавания возможны следующие ситуации:
1. пустое поле зрения - в кадре нет ни одного объекта и ни одной помехи;
2. помехи - в кадре нет ни одного объекта;
3. отдельный объект - в кадре находится один отдельный объект и возможно отдельные помехи;
4. два отдельных объекта - два изолированных друг от друга объекта.
5. наложенные объекты - два объекта, которые между собой пересекаются.
Для определения возможных ситуаций положения объектов в поле зрения после их получения с видеодатчика разработан алгоритм определения типа поля зрения, который состоит из двух этапов [2, 3]:
1. маркировка и определение ситуации 1 (пустое поле зрения).
Выполняется с использованием алгоритма последовательной разметки, приведённого в [4, 6, 7].
Для обнаружения пустого поля проверяется условие:
если k = 0, то пустое поле; иначе, поле содержит объекты или помехи.
2. Отсев помех и определение ситуаций 2, 3, 4 и 5.
Обозначим площади эталонных объектов как S31,£э2,...,S3n, а обнаруженных объектов как So1,So2,...,Sok. Количество обнаруженных объектов как k.
Все помехи отсеиваются по площади на основе следующего условия:
Sm <Bn , (1)
где Bn - разность между минимальной площадью эталонного объекта и порога по площади Bso. Определяется по формуле:
В„ = min S, - В „
i=1,N
(2)
где В0 - порог, который определяется на большой выборке ситуаций отдельных и наложенных объектов.
Пусть размер выборки равен М. Тогда для каждого /-го объекта из выборки рассчитываются отклонения по площади ds
(3)
И =Ё(X -x0)2(y1 -Уо)2,
(5)
ds = min | Soi - S-1.
s i=i,m o э}
где i=1,..., M - количество объектов в выборке; j=1,..., N - количество эталонных объектов.
Среди них находятся минимальное dsmin и максимальное dsmax отклонения. Порог Bso последовательно перебирается от значения dsmin до значения dsmax . Для каждого значения перебираемого порога относительно всех объектов проверяется условие:
d < Bso . (4)
В случае выполнения условия (4) можно сделать вывод, что в поле зрения расположен отдельный объект, в противном случае объекты наложены.
В общем виде данный алгоритм может быть представлен следующим образом: ситуация 1, если k = 0; ситуация 2, если (k Ф 0) л (Soi < Bn); < ситуация 3, если (k = 1) л (S0i > Bn) л (ds < BS0); ситуация 4, если (k = 2) л (S0i > Bn) л (ds > BS0); ситуация 5, иначе.
Исследования показали, что при определении ситуаций положения объектов в поле зрения АСР по количеству связных компонент и площадям объектов, суммарный процент ошибок равен примерно 11%.
Анализ показал, что ошибки возникают в случае, когда наложенный объект при определённой комбинации объектов и проценте наложения удовлетворяет условию (4). В результате не удаётся правильно различить ситуации 3 и 5.
Для избежания данных ошибок было решено ввести дополнительный признак, который бы учитывал форму объектов. В качестве такого признака был выбран центральный момент объекта второго порядка, который определяется по формуле:
i=1
где X у) - координаты точек объекта; (х0, у0) -координаты центра тяжести; 7=1,..., N - число точек объекта.
Центральный момент объекта чувствителен к изменению формы, в отличие от площади с помощью него можно более точно определить к какой ситуации относится обнаруженный объект.
Для каждого из эталонных объектов рассчитываются их центральные моменты цэ1,цэ2,...,^.эп. Для сокращения вычислений центральный момент применяется только в том случае, когда алгоритм по площади даёт ошибку.
В этом случае для обнаруженного объекта рассчитывается отклонение dm по моменту:
dm = min 1 Hoi - И- 1 ,
i=1,M
(6)
где - центральный момент обнаруженного объекта; - центральный момент эталонного объекта.
Решение о том, что обнаруженный объект является отдельным, принимается при выполнении условия:
Ль < Вто ,
где Вто - порог по моментам, вычисляется аналогично порогу по площади.
В общем виде алгоритм выглядит следующим образом:
ситуация 1, если к = 0;
ситуация 2, если (к ф 0) л (Бо1 < Вп);
сигуация3, если(к = 1)л> в„)л(ds < в3о)л(dm < вто); ситуация 4, еслИ (к = 2) л > в„) л (ds > Взо) л (dm > Вто); ситуация 5, иначе,
где k - количество обнаруженных объектов; Б01 - площади обнаруженных объектов; Вп -разность между минимальной площадью эталонного объекта и порога по площади В80, который определяется на большой выборке ситуаций отдельных и наложенных объектов; ^ -отклонения по площади; Вто - порог по моментам; ёт - отклонения по моменту.
После получения изображения в видеодатчике, его предварительной обработки и определения типа поля зрения, производится вы-
числение основных и дополнительных признаков объектов и их распознавание путём сравнения с векторами-признаков эталонов из базы данных системы, на основе алгоритмов, описанных в [8-15].
Экспериментальные исследования
На рис. 2 приведен состав технических средств автоматической системы распознавания, которая была использована для проведения экспериментов по распознаванию отдельных и наложенных реальных плоских объектов.
Обозначения на рис. 2 имеют следующий смысл:
1, 2 - объекты распознавания (деталь, изделие); 3 - видеодатчик (цифровой фотоаппарат), формирующий полутоновое цифровое изображение объектов в поле зрения АСР; 4 - процессор (персональный компьютер); 5 - монитор; 6 - клавиатура; 7 - принтер.
Исследования алгоритма определения типа поля зрения было проведено на изображениях различных типов тестовых и реальных плоских объектов.
Формирование набора тестов осуществлялось с учетом следующих условий:
- объекты на изображении должен быть плоскими;
- для тестирования необходимо использовать как объекты известной геометрической формы (треугольники, квадраты, прямоугольники и т.д.), так и объекты произвольной формы;
- размер изображения должен составлять 800х800 точек и более.
На объектах известной геометрической формы проще убедиться в правильности рабо-
ты алгоритма и устранить недостатки в случае его неправильной работы.
Объекты произвольной формы являются более сложными для анализа. Хорошие результаты, полученные на них, помогут говорить о применимости разработанного алгоритма определения типа поля зрения для решения практических задач распознавания реальных объектов.
Все объекты были разделены на пять следующих групп:
1. линейчатые полосовые объекты;
2. замкнутые полосовые объекты;
3. площадные выпуклые объекты известной геометрической формы;
4. площадные невыпуклые объекты произвольной формы;
5. площадные выпуклые объекты произвольной формы.
Для проведения исследований была составлена выборка, состоящая из изображений тестовых и реальных плоских объектов различных типов с помехами и без. Презентабельное количество испытаний было выбрано равным 20000. Угол поворота при генерации множества объектов в поле зрения изменяется случайным образом в соответствии с нормальным законом распределения.
Пример изображений, соответствующих возможным ситуациям типа поля зрения приведён на рис. 3.
Комплексное исследование технологического процесса сортировки отдельных и наложенных плоских объектов на модели дало следующие результаты (таблица 1).
О о
Отдельный объект Отдельный объект и помехи
о о
Два отдельных объекта Два отдельных объекта и помехи
оо \
Касающиеся объекты Касающиеся объекты и помехи
£ '
Наложенные объекты Наложенные объекты и помехи
Рис. 3. Тип поля зрения
знающей системы, обеспечивает максимальный суммарный процент ошибок равный 0,1%. Ошибки возникают в случаях, когда наложенный объект при определённой комбинации объектов и проценте наложения ничем по признакам не отличается от отдельного объекта.
2. Создана подсистема, позволяющая моделировать технологический процесс сортировки отдельных и наложенных реальных плоских объектов на конвейере и выполняющая операции предварительной обработки объектов, маркировки и определения типа поля зрения распознающей системы.
3. Основными достоинствами предложенного алгоритма и разработанной подсистемы является простота реализации, высокое быстродействие и точность работы.
Выводы
1. Установлено, что предлагаемый алгоритм анализа ситуаций, возникших на входе распо-
Таблица 1. Результаты экспериментальных
исследований
Количество
Тип поля зрения Количество появлений ошибок при определении
типа поля зрения
Пустое поле 3116 0
Отдельный объ- 4246 59
ект
Два отдельных 4071 0
объекта
Наложенные 8567 171
объекты
Всего 20000 230
Вероятность
правильного 0,988
распознавания
Литература
1. Генкин В.Л., Ерош И.Л., Москалёв Э.С. Системы распознавания автоматизированных производств. - Л.: Машиностроение, 1988. - 246 с.
2. Мошкин В.И., Петров А.А., Титов В.С., Яку-шенков Ю.Г. Техническое зрение роботов. - М.: Машиностроение, 1990. - 272 с.
3. Писаревский А.Н., Чернявский А.Ф. Системы технического зрения (принципиальные основы, аппаратное и математическое обеспечение). - Л.: Машиностроение, 1988. - 424 с.
4. Садыков С.С., Стулов Н.Н. Методы и алгоритмы выделения признаков в системах технического зрения. - М.: Горячая линия - Телеком, 2005. -204 с.
5. Садыков С.С., Савичева С.В. Предварительная обработка изображений плоских объектов в системах технического зрения // Приборостроение. -2012, №2. - C. 19-24.
6. Садыков С.С., Савичева С.В. Оценка возможностей методов распознавания плоских объектов // Алгоритмы, методы и системы обработки данных. -2012, Вып. 4(22). - С.110-119.
7. Садыков С.С., Савичева С.В. Идентификация реальных плоских объектов на основе единственного признака точек их внешних контуров // Информационные технологии. - 2011, №8. - С. 13-16.
8. Садыков С.С., Савичева С.В. Компьютерное исследование технологии сортировки плоских объектов на конвейере //Алгоритмы, методы и системы обработки данных, 2012. Вып. 4(22). - С. 104-109.
9. Садыков С.С., Савичева С.В. Алгоритм идентификации плоских объектов с использованием минимального числа признаков //Автоматизация и современные технологии, 2011. № 7. - С. 3-6.
10. Савичева С.В. Экспериментальное исследование алгоритма идентификации плоских объектов// Алгоритмы, методы и системы обработки данных, 2010, №15. С.153-160.
11. Садыков С.С., Савичева С.В. Алгоритм идентификации реальных плоских объектов с использованием значений их г-функций // Надежность и качество - 2011: труды Международного симпозиума. Под ред. Н.К. Юркова. - Пенза, 2011. С.123-127.
12. Садыков С.С., Савичева С.В. Распознавание отдельных и наложенных плоских объектов. - Владимир: Изд-во ВлГУ, 2012. - 265 с.
13. Садыков С.С., Савичева С.В Распознавание двух наложенных плоских объектов // Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации: сб. матер. Х Междунар. науч.-техн. конф. - Юго-Зап. Гос. Ун-т. Курск, 2012. - С. 54-56.
14. Садыков С.С., Савичева С.В., Комков В.А. Сравнение алгоритмов распознавания наложенных объектов на основе а-функции и на основе особых участков // Алгоритмы, методы и системы обработки данных, 2012. Вып. 1(19). - С. 197-202.
15. Садыков С.С., Савичева С.В. Исследование наложенности плоских объектов в поле зрения СТЗ // Приборостроение. - 2012, №2. - С. 14-19.
Поступила 05 ноября 2014 г.
English
Development of a recognition algorithm of plane parts in the images received from a visual sensor
Svetlana Vladimirovna Savicheva - Candidate of Engineering, Associate Professor Murom Institute (branch) "Vladimir State University named after Alexander and Nickolay Stoletov".
E-mail: savicheva.svetlana2010@yandex.ru.
Address: Orlovskaya st., 23, Murom, 602264, Russia.
Abstract: Parts on a conveyor belt can be placed separately as well as in overlapped positon. Therefore, it is necessary to develop an algorithm which will allow to recognize parts placed arbitrarily. The paper suggests a model of production process of grading parts on a conveyor belt. The operation is performed in two steps. The first step is preprocessing of object images of the objects received from a visual sensor. This processing includes noise elimination by application of an algorithm of a median filtering, binarization on the basis of a method of threshold processing as well as deleting objects which have not been completely included into the frame (located on the edge of a viewing field). The second step is marking connected components and determination of vision field type of recognition system. The author developed an algorithm which analyses the situations occurring in the input of the recognition system. Among such situations are the following: a blank field, noises, one or two separate objects, overlapped objects. The algorithm works with several objects characteristics: the number of connected components, total square and the central moment of the second order. Investigation of the developed algorithm and grading subsystem is performed in images of test and real plane objects. The number of test and real objects was selected: 10 for each of 5 groups (linear band objects; closed band objects; area protuberant objects of known geometrical shape; area nonconvex objects of arbitrary shape, area protuberant objects of the arbitrary shape. The total number of tests is 20,000. The proposed model allows to spot originating situa-
tions error-free, thereby considerably reducing recognition errors. The main advantages are simplicity of implementation, fast response and operation accuracy.
Key words: production process; simulation; vision field type; preprocessing.
References
1. Genkin V.L., Erosh I.L., Moskalev E.S. Systems of recognition of computer-aided manufacturings. - L.: Mashinosroyenie, 1988. - 246 p.
2. Moshkin V.I., Petrov A.A., Titov V.S., Yakushenkov Yu.G. Engineering vision of robots. - M.: Mashinosroyenie, 1990. - 272 p.
3. Pisarevsky A.N., Chernyavsky A.F. Electronic vision systems (basics, hardware and software). - L.: Mashi-nosroyenie, 1988. - 424 p.
4. Sadykov S.S., Stulov N.N. Methods and algorithms of feature extraction in electronic vision systems. - M.: Goryachaya liniya - Telecom, 2005. - 204 p.
5. Sadykov S.S., Savicheva S.V. Preprocessing of images of plane objects in electronic vision systems. - Pribo-rostroyenie. - 2012, №2. - P. 19-24.
6. Sadykov S.S., Savicheva S.V. Estimation of capabilities of recognition methods of plane objects. - Algoritmy, metody i sistemy obrabotki dannyh. - 2012, Vyp. 4 (22). - P.110-119.
7. Sadykov S.S., Savicheva S.V. Identification of real plane objects on the basis of a single feature of points of their exterior circuits. - Informatsionnye tekhnologii. - 2011, №8. - P.13-16.
8. Sadykov S.S., Savicheva S.V. Computer investigation of production engineering of plane objects grading on the conveyor belt. - Algoritmy, metody i sistemy obrabotki dannyh 2012. Vyp. 4 (22). P. 104-109.
9. Sadykov S.S., Savicheva S.V. Algorithm of identification of plane objects with the usage of the minimum number of features. - Avtomatizatsya i sovremennye tekhnologii, 2011. № 7. P. 3-6.
10. Savicheva S.V. Experimental investigation of algorithm of plane objects identification. - Algoritmy, metody i sistemy obrabotki dannyh, 2010, №15. P.153-160.
11. Sadykov S.S., Savicheva S.V. Algorithm of identification of real plane objects with the usage of their r-functions values, Reliability and quality - 2011: collection of works of the International workshop. Ed. By N.K.Yurkova. - Penza, 2011. P. 123-127.
12. Sadykov S.S., Savicheva S.V. Recognition of the separate and overlapped plane objects. - Vladimir: Publishing house of VLGU, 2012. - 265 p.
13. Sadykov S.S., Savicheva S.V. Recognition of two overlapped plane objects. Optical-electronic instruments and devices in image recognition systems, image processing and symbolic information. Recognition -2012: collection of works of the International workshop. Ed. by S.G.Emelyanov, V.S.Titov; Ugo-Zap. Uni. Kursk, 2012. P. 54-56.
14. Sadykov S.S., Savicheva S.V., Komkov V.A. Comparison of detection algorithms of overlapped objects on the basis of a-function and on the basis of special sections. - Algoritmy, metody i sistemy obrabotki dannyh, , 2012. Vyp. 1 (19). P. 197-202.
15. Sadykov S.S., Savicheva S.V. Investigation of overlapping plane objects in sight of STZ. - Priborostroenie. -2012, №2. - P. 14-19.
