CC BY
127
УДК 004.932.2
А. В. Терехин
РАСПОЗНАВАНИЕ ОБЪЕКТОВ МЕТОДОМ ВЫЧИСЛЕНИЯ ОЦЕНОК С ИСПОЛЬЗОВАНИЕМ ДИАГОНАЛЬНЫХ ПРИЗНАКОВ ФОРМЫ
Аннотация.
Актуальность и цели. Интенсивное развитие современного технического обеспечения в области контроля производства, совершенствование вычислительных мощностей современных ЭВМ, высокие требования к качеству продукции, активная конкурентная борьба, необходимость в повышении качества и темпов производства делают актуальным решение задач автоматизации промышленного производства. Многообразие систем технического зрения не исключает того факта, что все они разработаны для конкретных задач. Все они оперируют различными признаками и реализуют различные алгоритмы распознавания. При этом задача идентификации трехмерных объектов пока еще является довольно новой, и для ее решения все еще используются средства и алгоритмы плоской геометрии. В связи с этим разработка новых алгоритмов распознавания трехмерных объектов все еще является актуальной. В данной статье описывается новый подход к распознаванию трехмерных объектов по двум снимкам методом вычисления оценок с использованием диагональных признаков формы и моделей окто-деревьев.
Материалы и методы. Для проведения исследований была разработана программа для ЭВМ распознавания трехмерных объектов. Для тестирования на вход программы подавались сгенерированная ортогональная и соответствующая ей косоугольная проекции рассматриваемых объектов. Было произведено 1500 испытаний - каждая из 60 проекций (10 объектов по 6 проекций) генерировалась 25 раз. Для распознавания использовался алгоритм вычисления оценок. Перед вычислением диагональных признаков формы выполнялась предварительная обработка снимков (фильтрация, бинаризация, выделение контуров).
Результаты. Исследовано влияние количества признаков на вероятность верного распознавания проекций, а также влияние использования косоугольной проекции на вероятность верной идентификации трехмерного объекта в целом. Экспериментально доказано, что средняя вероятность верного распознавания трехмерных объектов по двум снимкам с использованием всего набора рассматриваемых признаков равна 100 %.
Выводы. Предложенный подход можно использовать в системах технического зрения на сборочных конвейерах, где необходимо распознавать произвольно расположенные трехмерные объекты даже в тех случаях, когда у некоторых из них могут быть похожие проекции.
Ключевые слова: распознавание, трехмерный объект, признаки формы, октодерево, система технического зрения.
A. V. Terekhin
OBJECT RECOGNITION BY THE ESTIMATE CALCULATION METHOD USING DIAGONAL FEATURES OF A FORM
Abstract.
Background. Intensive development of modern technical provisions in the field ofproduction control, improvement of the computing power of modern computers,
high quality requirements, intense competition, enterprise’s needs in improving the quality and production rates make the problem industrial automation a topical one. A variety of computer vision systems (CVS) does not exclude the fact that all of them are designed for specific tasks. All of them use different attributes and implement various detection algorithms. The task of identifying three-dimensional objects is still a fairly new one, and tools and algorithms of planar geometry are still used for its solutions. In this regard, the development of new three-dimensional object recognition algorithms is still topical. The article describes a new approach to the recognition of threedimensional objects in two images by calculating the estimates using the diagonal form features and octree models.
Materials and methods. For the research the author designed a special program for a three-dimensional object recognition computer. To test objects, the generated orthogonal and oblique projections of the objects were sent to the progrma input. There were 1500 tests - each of 60 projections was generated 25 times (10 objects with 6 projections). The estimate calculation algorithm was used as a recognition algorithm. Before calculating the diagonal form features, images were preprocessed (filtering, bi-narization, edge detection).
Results. The research includes determination of the influence of a number of features used for recognition on probability of correct recognition, and the influence of using oblique projection on probability of correct recognition in general. 100% average probability of correct recognition of three-dimensional objects in two images using the entire set of features was experimentally proved.
Conclusions. The proposed approach could be used in computer vision systems for assembly conveyors where it is necessary to recognize three-dimensional objects that are randomly arranged even in situations when some of them might have similar projection.
Key words: recognition, three-dimensional object features of shape, octree, CVS.
Введение
Область технического зрения изучается специалистами с середины прошлого века, когда началась развиваться кибернетика в современном ее понимании, и были построены первые роботы-манипуляторы. Еще тогда возникла задача реализации возможности «видеть» слепым роботам-сборщикам.
На данный момент существует множество подходов к распознаванию трехмерных объектов. Большинство из них являются узконаправленными (распознавание лиц, обнаружение дефектов на поверхности различных материалов). В данной статье речь пойдет о распознавании объектов на конвейерах сборки или покраски деталей. При этом задача распознавания сводится к идентификации объекта и определению его местоположения для того, чтобы робот-манипулятор автоматически выполнял по заранее заданной инструкции процесс сборки/покраски.
Так как набор объектов заранее известен, то целесообразно использовать алгоритмы распознавания, основанные на сравнении с эталонами.
Существует множество методов описания объектов, часть из них основана на плоской геометрии, другая часть работает с трехмерными моделями.
Любой трехмерный объект отображается на двумерной плоскости в виде проекции. Одним из способов проецирования является прямоугольное (ортогональное проецирование). В нем совместно изображаются виды сверху, спереди и слева. На практике (при производстве) различные объекты, требу-
ющие идентификации, обычно лежат в произвольном положении, поэтому есть необходимость в рассмотрении не только этих трех проекций, но и противоположных (снизу, сзади, справа) [1].
В данной статье предложен подход к распознаванию объектов, основанный на описании основных шести проекций трехмерного объекта и одной косоугольной проекции. Неизвестный объект фиксируется с помощью двух камер. Первая камера (далее основная) располагается над сценой и делает снимок ортогональной проекции объекта. Вторая камера (далее дополнительная) располагается под заранее известным углом к центру сцены и производит снимок косоугольной проекции объекта.
1. Этапы распознавания трехмерных объектов
I. Этап анализа прямоугольной проекции:
1. Получение прямоугольной проекции неизвестного объекта.
2. Предварительная обработка изображения выполняется по алгоритмам, представленным в [2].
3. Вычисление угла а - поворота объекта в горизонтальной плоскости сцены.
4. Вычисление диагональных признаков формы осуществляется при помощи формул, описанных в [3].
5. Распознавание прямоугольной проекции неизвестного объекта по методу вычисления оценок [4]. На данном этапе осуществляется поиск проекций эталонов, идентичных ортогональной проекции неизвестного объекта.
6. Вычисление углов ф и у возможных ориентаций объекта.
У каждого эталона одна из проекций является главной (указывается при формировании базы эталонов); относительно нее остальные являются повернутыми на угол у в плоскости главной проекции и на ф в перпендикулярной ей плоскости (данные углы принимают одно из следующих значений: 0, 90, 180, 270, в зависимости от ориентации найденной проекции) (рис. 1).
II. Этап анализа косоугольной проекции исследуемого объекта:
7. Получение косоугольной проекции неизвестного объекта.
8. Предварительная обработка изображения выполняется по алгоритмам, представленным в [2].
9. Вычисление диагональных признаков формы осуществляется по формулам, описанным в [3].
III. Этап создания косоугольных проекций эталонов:
10. Зная четыре угла а, в, у и ф, с помощью базы данных моделей окто-деревьев можно строить косоугольные проекции идентифицированных на этапе I эталонов [5-7].
11. Предварительная обработка сгенерированных эталонных косоугольных проекций.
12. Вычисление диагональных признаков формы.
IV. Этап распознавания трехмерного объекта:
13. С использованием метода вычисления оценок сравниваются косоугольная проекция неизвестного объекта и сгенерированные на этапе III проекции эталонов.
Рис. 1. Схема сцены системы технического зрения (СТЗ): а - вид сбоку; б - вид сверху; в - перспективный вид; К1 - основная камера; К2 - дополнительная камера; в - объект; а - угол наклона объекта в горизонтальной плоскости; в - угол наклона камеры К2 в вертикальной плоскости; у, ф - углы наклона объекта в плоскости ортогональной проекции
Так как метод вычисления оценок работает с бинарными таблицами, для его применения необходимо вычислить диапазоны отклонений значений признаков. Для этого было разработано тестовое приложение с генератором геометрических фигур, выполняющее следующую последовательность действий:
1. Генерируется выборка фигур одного типа.
2. Вычисляются диагональные признаки каждого объекта:
A =
a11 a12 ... a1n
a21 a22 ... a2 n
am1 am 2 ... amn
(1)
где xi - xn - вектор признаков; п - количество признаков объекта; m - количество генерируемых объектов (настраивается пользователем); ау - значение
признака у генерируемой фигуры i (/ = 1, ..., п, у = 1, ..., т); А - выборка сгенерированных фигур типа 1.
3. Вычисляются отклонения каждого признака по каждому столбцу матрицы А:
Akf = max( af) - min( af),
(2)
где Ак/ - отклонение /-го признака фигуры типа 1.
Пункты 1, 2 выполняются для каждого типа фигур. Формируются векторы отклонения признаков для каждого типа объектов:
АК1 = {Ак1, Ак2,..., Акп }, (3)
где I - тип фигуры; АК/ - вектор отклонений фигуры типа /.
4. Отклонения по каждой выборке объектов сохраняются в памяти
ЭВМ.
5. Из полученных векторов АК/ строится матрица К, содержащая отклонения значений всех признаков для каждого типа объектов:
(4)
X1 x2 ... xn
Akll Akl2 ... Akln
K = n 2 3 2 2 3 2l 3
Akll Akl 2 ... Akl ,n
По матрице К определяются максимальные
признаку для всех типов объектов:
б = max(Akl),
(5)
где 5 - отклонение i-го признака; l - тип фигуры;
Д = (5Ь 52,..., 5 п}, (6)
где Д - вектор отклонений признаков для любого типа фигур из заданного набора.
2. Экспериментальная проверка
По описанному выше подходу была разработана программа для ЭВМ распознавания трехмерных объектов. В качестве объектов исследования были выбраны 10 деталей составного детского конструктора, имеющие различную геометрическую форму. Процесс сборки готового изделия изображен на рис. 2. Стояла задача идентификации детали и определение ее местоположения в области сцены. Все объекты характеризовались шестью проекциями, для каждой из которых вычислялись шесть признаков формы, и описанием трехмерной модели при помощи окто-деревьев.
Для тестирования на вход программы подавалась сгенерированная ортогональная и соответствующая ей тестовая косоугольная проекции. Было произведено 1500 испытаний - каждая из 60 проекций (10 объектов по 6 проекций) генерировалась 25 раз.
Целью исследования было доказательство необходимости использования двух проекций для распознавания трехмерных объектов, анализа информации обо всех шести проекциях каждого из рассматриваемых объектов, демонстрация полезности применения диагональных признаков формы.
На рис. 3 представлен график, отображающий среднее количество распознанных эталонов на первом этапе распознавания трехмерных объектов
при увеличении числа используемых признаков: ПКФ - прямоугольный коэффициент формы; КПП - коэффициент периметр-площадь; ДКФ - диагональный коэффициент формы; КДО - коэффициенты диагональных отрезков; КД - коэффициенты диагоналей.
Рис. 2. Процесс сборки трехмерного объекта
~T
Количество распознанных эталонов на 1 этапе
\
\
э
•3
1
1 2 3 4 5 6
Рис. 3. Количество распознанных эталонов на I этапе распознавания трехмерных объектов с увеличением количества признаков
По оси ОУ отображается количество распознанных эталонов, по оси ОХ - количество используемых признаков формы при распознавании.
По оси ОХ 1 - ПКФ; 2 - ПКФ+КПП, 3 - ПКФ + КПП + признаки отверстий; 4 - ПКФ + КПП + признаки отверстий + ДКФ; 5 - ПКФ + КПП + признаки отверстий + ДКФ + КДО; 6 - ПКФ + КПП + признаки отверстий + ДКФ + КДО + КД.
Данные признаки вычисляются по формулам, представленным в [3]; 1-3 - стандартные признаки формы, 4-6 - диагональные признаки формы.
Из рис. 4 видно, что при добавлении признаков вероятность распознавания увеличивается, но при этом не достигает 100 %. Это связано с тем, что некоторые проекции у разных объектов имеют близкие числовые значения признаков формы. Из графика, представленного на рис. 4, видно, что одного изображения не достаточно для 100 % распознавания объемных объектов, поэтому есть необходимость рассмотрения двух изображений.
Рис. 4. Средняя вероятность распознавания проекции на I этапе распознавания трехмерного объекта с использованием разного количества признаков
В предложенном подходе на первом этапе отсеиваются «лишние» эталоны, у которых ни одна из проекций не похожа на ортогональную проекцию неизвестного объекта.
Задача окончательного распознавания решается на четвертом этапе, когда анализируются косоугольная проекция неизвестного объекта и сгенерированные проекции окто-деревьев отобранных эталонов.
В ходе исследований было установлено, что 658 из 1500 сгенерированных тестовых объектов были распознаны еще на первом этапе. Для оставшихся 842 тестов создавались модели окто-деревьев по отобранным на первом этапе распознавания трехмерных объектов эталонам. Правильность идентификации проверялась сопоставлением сгенерированного теста заранее известного типа с результатом работы программы. В итоге все 1500 экспериментальных объектов были распознаны верно с вероятностью 100 % (рис. 5).
1
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
ОД
О
S-tr, 5S34 0- 9951 1
o, 7345 793 2
-Средняя вероятность распознавания трехмерного объекта на этапе 4
Рис. 5. Средняя вероятность распознавания проекции на IV этапе распознавания трехмерного объекта с использованием разного количества признаков. По оси OY вероятность распознавания объектов в выборке, по оси ОХ - количество используемых признаков
Заключение
Предложенный подход можно использовать в системах технического
зрения на сборочных и покрасочных конвейерах, где необходимо распознавать произвольно расположенные трехмерные объекты, даже когда у некоторых из них могут быть одинаковые проекции.
Список литературы
1. Бубенников, А. В. Начертательная геометрия : учеб. для вузов / А. В. Бубен-ников. - 3-е изд., перераб. и доп. - М. : Высш. шк., 1985. - 288 с.
2. Садыков, С. С. Предварительная обработка изображений плоских объектов в системах технического зрения / С. С. Садыков, С. В. Савичева // Приборостроение. - 2012. - № 2. - С. 19-24.
3. Терехин, А. В. Метод формирования вектора признаков для идентификации проекций реальных трехмерных объектов / А. В. Терехин // Наука и современность - 2013 : сб. материалов XX Междунар. науч.-практ. конф. (Новосибирск, 20 февраля 2013 г.) / под общ. ред. к.э.н. С. С. Чеснокова. - Новосибирск, 2013. -300 с.
4. Журавлев, Ю. И. Алгоритмы распознавания, основанные на вычислении оценок / Ю. И. Журавлев, В. В. Никифоров // Кибернетика. - 1971. - № 3. - С. 1-
11.
5. Jackins, C. L. Octrees and Their Use in Representing Threedimensional Objects / C. L. Jackins, S. L. Tanimoto // CGIP. - 1980. - Vol. 14. - P. 249-270.
6. Noborio, H. Construction of the Octree Approximating Three-dimensional Objects by Using Multiple Views / H. Noborio, S. Fukuda, S. Arimoto // IEEE Trans. PAMI. -1988. - Vol. 10, № 6. - P. 769-782.
7. Chien, C. H. Volume/Surface Octrees for The Representation of 3-D Objects / C. H. Chien, J. K. Aggarwal // CGIP. - 1986. - Vol. 36. - P. 100-113.
References
1. Bubennikov A. V. Nachertatel’naya geometriya: ucheb. dlya vuzov [Descriptive geometry: textbook for universities]. Moscow: Vyssh. shk., 1985, 288 p.
2. Sadykov S. S., Savicheva S. V. Priborostroenie [Instrument engineering]. 2012, no. 2, pp. 19-24.
3. Terekhin A. V. Nauka i sovremennost’ - 2013: sb. materialov XXMezhdunar. nauch.-prakt. konf. (Novosibirsk, 20 fevralya 2013 g.) [Science and modern times - 2013: proceedings of XX International scientific and practical conference (Novosibirsk, 20 February 2013)]. Ed. S. S. Chesnokov. Novosibirsk, 2013, 300 p.
4. Zhuravlev Yu. I., Nikiforov V. V. Kibernetika [Cybernetics]. 1971, no. 3, pp. 1-11.
5. Jackins C. L., Tanimoto S. L. CGIP. 1980, vol. 14, pp. 249-270.
6. Noborio H., Fukuda S., Arimoto S. IEEE Trans. PAMI. 1988, vol. 10, no. 6, pp. 769782.
7. Chien C. H., Aggarwal J. K. CGIP. 1986, vol. 36, pp. 100-113
Терехин Андрей Викторович
аспирант, Муромский институт (филиал) Владимирского государственного университета (Россия, Владимирская область, г. Муром, ул. Орловская, 23)
E-mail: terehin_murom@mail.ru
Terekhin Andrey Viktorovich Postgraduate student, Murom Institute (branch) of Vladimir State University (23 Orlovskaya street, Murom, Vladimir region, Russia)
УДК 004.932.2 Терехин, А. В.
Распознавание объектов методом вычисления оценок с использованием диагональных признаков формы / А. В. Терехин // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2014. -№ 1 (29). - С. 17-25.
