Технология формирования эталонов трехмерных обьектов для их распознавания Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

ТЕХНОЛОГИЧЕСКИЕ ОСНОВЫ ПОВЫШЕНИЯ НАДЕЖНОСТИ И КАЧЕСТВА ИЗДЕЛИЙ

УДК 004.932.2

ТЕХНОЛОГИЯ ФОРМИРОВАНИЯ ЭТАЛОНОВ ТРЕХМЕРНЫХ ОБЬЕКТОВ ДЛЯ ИХ РАСПОЗНАВАНИЯ

С. С. Садыков

С середины прошлого века в различных отраслях при автоматизации производственных процессов началось использование систем технического зрения (СТЗ). В основном они имеют в своем составе один видеодатчик [1-3]. Недостатком таких систем является необходимость жесткой фиксации объекта в поле зрения датчика. Это условие накладывает существенные ограничения на классы распознаваемых объектов (они должны быть однотипными, иметь сходные размеры и т.д.). Поэтому возникает необходимость построения СТЗ с двумя и большим числом видеодатчиков, обладающих более широкими возможностями.

Характеристики подсистемы распознавания трехмерных объектов во многом зависят от правильно выбранного набора признаков для эталона. Поэтому задача формирования набора признаков распознаваемых объектов для эталона является актуальной.

Статья посвящена описанию технологии формирования многопараметрических эталонов распознаваемых трехмерных объектов в СТЗ с двумя видеодатчиками.

Общая схема формирования эталонов представлена на рис. 1.

Рис. 1. Схема формирования эталонов:

1 - объект; 2 - два видеодатчика; 3 - два изображения объекта, полученные сверху и сбоку;

4 - этап предварительной обработки; 5 - этап выделения признаков;

6 - этап формирования эталона; 7 - сохранение эталона в базе эталонов

Этап получения цифровьх изображений объекта

С помощью двух видеодатчиков формируются два изображения объекта, снятые сверху и сбоку, и размещаются в памяти.

Этап предварительной обработки Схема предварительной обработки представлена на рис. 2.

Рис. 2. Схема предварительной обработки:

1 - два изображения объекта; 2, 3 - блоки фильтрации и сглаживания помех;

4 - блок повышения контраста; 5 - блок сегментации (бинаризации);

6 - блок приведения изображения к стандартному положению; 7 - два бинарных изображения объекта

Блоки 2, 3, 4, 5 реализованы на основе алгоритмов, приведенных в [4].

Какие положения объекта в поле зрения камеры видеодатчика являются стандартными, устанавливается разработчиком системы.

При произвольном расположении объекта его бинарное изображение приводится к стандартному виду с использованием алгоритмов, приведенных в [5].

Этап выделения признаков Схема выделения признаков представлена на рис. 3.

Рис. 3. Схема выделения признаков:

1 - два стандартных бинарных изображения объекта; 2 - блок выделение контуров;

3 - блок определения наличия отверстий в объекте, 4 - блок вычисления коэффициента формы объекта;

5 - битовая маска изображения объекта; 6 - блок расчета инвариантных моментов;

7 - блок расчета автокорреляционной функции контура;

8 - блок вычисления характеристик объекта; 9 - набор признаков объекта

Выделение контура осуществляется на основе алгоритма, приведенного в [6, 7].

Определение наличия отверстий производится на базе алгоритма в [8].

Вычисление коэффициента формы основано на определении отношения длины на ширину объекта. Коэффициент формы вычисляется на изображении, полученном с верхней камеры.

Расчет битовой маски изображения проводится в соответствии с алгоритмом, описанным в [9].

Вычисление инвариантных моментов контуров осуществляется с использованием алгоритма в [9].

Расчет автокорреляционной функции контуров производится на основе алгоритмов [7].

При наличии поворота объекта относительно осей координат вертикальной камеры боковая проекция может содержать в себе данные двух видимых сторон объекта, что может привести к ошибкам распознавания. Для решения данной проблемы было предложено рассчитывать коэффициент «видимости боковой проекции».

По проекции главного вида определяются ширина и длина объекта, а также угол его наклона. С их помощью находятся коэффициенты видимости смежных сторон на боковой проекции.

Коэффициент видимости меньшей стороны на боковой проекции (отсекается менее видимая часть):

к = ^, (1)

где Ьтр - количество пикселей ширины на виде «сверху»; £ - количество пикселей ширины на

виде «слева».

Коэффициент видимости большей стороны на боковой проекции (отсекается менее видимая часть):

Ь = ННтр-, (2)

где Нтр - количество пикселей длины на виде «сверху»; И1р - количество пикселей длины на виде «слева».

1. Если объект по длинной стороне находится ближе к горизонтальной оси координат (0-45°) (135°-180°), т.е. к1 > къ, то на боковой проекции отсекается видимая часть на рассматриваемой проекции, растягивается до полной длины объекта (применяются аффинные преобразования «растягивание» [5]) (рис. 4).

2. Если объект по длинной стороне находится ближе к вертикальной плоскости оси координат (45°-90°, 90°-135°), т.е. кг < кк, то на боковой проекции отсекается видимая часть не рассматриваемой проекции, растягивается до полной ширины объекта (применяются аффинные преобразования «растягивание» [5]) (рис. 5).

Рис. 4. Иллюстрация ситуации, когда на боковой проекции максимально видна большая сторона объекта: Ь, И - длина и ширина объекта на виде «сверху»; АН, АЬ - значения величин ширины и длины объекта, видимых на проекции «слева»; 1 - изображение объекта на виде «сверху»; 2 - изображение объекта на виде «слева»; 3 - «вытянутое» и «обрезанное» изображение проекции вида «слева»

Рис. 5. Иллюстрация ситуации, когда на боковой проекции максимально видна меньшая сторона объекта: Ь, Н - длина и ширина объекта на виде «сверху»; АН, АЬ - значения величин ширины и длины объекта, видимых на проекции «слева»; 1 - изображение объекта на виде «сверху»; 2 - изображение объекта на виде «слева», 3 - «вытянутое» и «обрезанное» изображение проекции вида «слева»

Этап выделения признаков

Набор признаков, необходимый для классификации и распознавания:

1) коэффициент формы;

2) битовая маска изображения объекта (признак, характеризующий структуру объекта);

3) инвариантные моменты;

4) автокорреляционная функция;

5) характеристики отверстий.

Коэффициент формы. Коэффициент формы вычисляется по формуле

_ Ь_ а ’

где г - коэффициент формы; а - длина объекта; Ъ - ширина объекта.

(3)

Битовая маска изображения объекта. Оригинальное изображение содержит много деталей. Чтобы описать структуру изображения объекта необходимо избавиться от лишних деталей. Уменьшенная копия изображения позволяет оставить данные только о структуре объекта, удаляя детали изображения.

Алгоритм расчета битовой маски следующий:

1. Изображение вписывается в центр квадратной области размером Ь х Ь, где Ь - длина объекта (рис. 6).

Рис. 6. Изображение объекта вписанного в квадратную область

2. Изображение уменьшается в соответствии с алгоритмом, представленным в [5] (рис. 7). В данном случае оно уменьшается до 8 х 8. Размер уменьшенного изображения выбран таким образом, чтобы общее количество пикселей было равно 64, что соответствует одному целому значению двухбайтного числа.

Рис. 7. Результат алгоритма уменьшения изображения до размера 8 х 8 пикселей

3. Вычисляется среднее значение яркости этого изображения и проводится пороговое преобразование по алгоритму, представленному в [4] (рис. 8).

1 2 3 4 5 6 7 8

9 10 11 12 13 14 15 16

17 18 ...

... 52 53 54 55 56

57 58 59 60 61 62 63 64

Рис. 8. Бинарное изображение с указанием последовательности считывания цепочки битов (порог бинаризации выбран по среднему значению яркости)

Бинарное уменьшенное изображение объекта представляет собой битовую матрицу 8х8 элементов. На рис. 8 цифрами показана нумерация битов.

4. На основе битовой матрицы выстраивается цепочка битов слева направо, сверху вниз (как показано на рис. 8). Для каждого белого пикселя бит равен 1, для каждого черного - 0:

11111111111111111111111100000000 00000000111111111111111111111111

5. Битовая цепочка преобразуется в одно 64-битное целое число. Оно представляется в 16-ричном формате. Для данного примера оно выглядит следующим образом:

ШШ0000шш

Это число описывает структуру объекта.

Инвариантные моменты. Инвариантные моменты являются линейными комбинациями центральных моментов. Идея заключается в том, что комбинируя различные нормированные центральные моменты можно создать инвариантные функции, представляющие различные аспекты изображения таким образом, что они будут инвариантны для масштабирования, вращения и (для всех, кроме Н1) отражения.

Инвариантные моменты представляются семью вещественными значениями , где г =1,2,__,7, расчет которых представлен в [8].

Автокорреляционная функция (АКФ). АКФ - это скалярное произведение контура на самого себя при различных сдвигах начальной точки:

Л{ш) = (к, К^), (4)

где Л - АКФ, т = 0,1, _, к -1 - сдвиг начального элементарного вектора, К - контур объекта. Подробное описание алгоритма АКФ представлено в [9].

Характеристики отверстий. Отверстие относительно объекта характеризуется следующими значениями:

1) угол между вектором, соединяющим центры масс объекта и отверстия с горизонтальной

осью;

2) отношение площади отверстия к площади объекта;

3) отношение расстояния между центрами масс объекта и отверстия к расстоянию от центра масс до края контура.

Схематично это изображено на рис. 9.

(**у)

—)

yJ

центр масс объекта

Рис. 9. Схематическое отображение отверстий

Расчет характеристик отверстий требует наличия следующих изображений и величин:

1) контур объекта (представленный массивом элементарных векторов);

2) контур отверстия (представленный массивом элементарных векторов);

3) центр масс объекта (хоб, уоб);

4) центр масс отверстия (х, у ).

Угол находится по следующей формуле:

а х = аг^

(

у об - У

V *об - * у

(5)

Площадь равна количеству точек, лежащих внутри контура. После того как будут найдены площади самого отверстия и объекта, то применяется следующая формула для составления характеристики отверстия:

5

5,

(6)

об

где 5 - площадь отверстия; 5об - площадь объекта.

Значение площади характеризуется в процентах от общей площади объекта.

Третья характеристика, а именно, расстояние между центрами масс, вычисляется с помощью следующей формулы:

I _ а

х Ъ,

(7)

где а = 7(хоб- х )2 + (Уоб- у )2; ь = 7(хоб- хк )2 + (Усб- Ук )2.

Координаты хк и ук в предыдущей формуле - это точки пересечения линии контура и линии, проходящей через центр масс объекта и отверстия.

С учетом вышеописанного проекция объекта будет описываться следующим вектором при-

знаков:

Ж_ {, Н, М(С), А(С), О },

(8)

где к„к - коэффициент формы объекта; Н - битовая маска изображения объекта; М(С) - моменты контура объекта; А(С) - АКФ контура объекта; О - вектор признаков отверстий, О = { ах, 5Х, 1Х}.

Для проверки предложенной технологии было разработано тестовое приложение, результаты его работы приведены в табл. 1.

Таблица 1

Результаты работы тестового приложения для нахождения характеристик объекта

Наименование признака

Коэффициент формы

0,33

0,33

Битовая маска изображения объекта

ffffff0000ffffff

ffffff0000ffffff

Инвариантные моменты

h1 _ 0,281091748852738 h2 _ 0,0507827б02854б08 h3 _ 0,001б785б087485477 h4 _ 0,000144921247242б9б

h5 _ -7,0994992З418б0Ъ10 h _ -З,252ббЗЗ41721З8•io

h7 _ 8,28735б100077бб •io-

h1 _ 0,28087б798093335 h2 _ 0,050б545902751358 h3 _ 0,001б7971395492243 h4 _ 0,000145022295348231 h5 _-7,11852133915004•io-8 hб _ -3,25337887б9945 • 10-5

h7 _ 7,4730087б943902 •io-

Признаки отверстий

{3,194 рад, 0,023, 0,б74} {3,911 рад, 0,022, 0,05} {0,12 рад, 0,024, 0,б7}

{3,195 рад, 0,022, 0,б73} {3,913 рад, 0,021, 0,05} {0,124 рад, 0,021, 0,б7}

Соотношение длины и ширины объекта на изображении позволит сделать первое отсеивание предположительных эталонов объекта по геометрическому признаку.

Критерием отбора эталонов по битовой маске является значение данного числа, т.е. если его значение у исследуемого объекта совпадает со значением данного признака эталона, то исследуемый объект вполне может быть этим эталоном, иначе это совсем разные объекты, и этот эталон можно не брать в расчет. Данная характеристика объекта позволяет обеспечить системе независимость от масштаба объекта.

Применение инвариантных моментов и автокорреляционной функции контура позволяет сократить влияние поворота объекта в поле зрения камеры на точность распознавания.

Расположение отверстий на каждом объекте уникально, соответственно обнаружение отверстий позволит однозначно описать внутреннюю структуру объекта.

Предложенную технологию можно применять для расчета характеристик любых проекций объекта. При этом эталон объекта можно представить как совокупность векторов признаков из формулы (8) для каждой проекции объекта.

Список литературы

1. Системы технического зрения // Omron-russia.com : сайт. - М., 2011. - URL: http://www.omron-russia. com/documentation/vision/vision_brochure.pdf

2. Системы машинного зрения. Системы технического зрения: видеодатчики и камеры машинного зрения // Sick-automation.ru : сайт. - М., 2011. - URL: http://www.sick-automation.ru/catalog/sensors/complex/ sensor video.html#1

3. 3Б-камеры IFM Electronic серии O3D2 // Sensoren.ru : сайт. - М., 2011. - URL:

http ://www.sensoren.ru/3d_kameri_ifm_electronic_serii_o3d2.html

4. Садыков, С. С. Предварительная обработка изображений плоских объектов в системах технического зрения / С. С. Садыков, С. В. Савичева // Приборостроение. - 2012. - № 2. - С. 19-24.

5. Bradski, G. Learning OpenCV: Computer Vision with the OpenCV Library / Gary Bradski, Adrian Kaehle //

O’Really Media. - 2008. - 556 с.

6. Upgrade Viola Jones // Habrahabr.ru : сайт. - 2011. - URL: http://habrahabr.ru/post/133909/

7. Контурный анализ // Habrahabr.ru : сайт. - 2011. - URL: http://habrahabr.ru/post/118486/

8. Моменты в OpenCV // Recog.ru : сайт. - 2011. - URL: http://recog.ru/blog/opencv/11.html

9. «Выглядит похоже». Как работает перцептивный хэш // Habrahabr.ru : сайт. - 2011. -

URL:http://habrahabr.ru/post/120562/

УДК 004.932.2

Садыков, С. С.

Технология формирования эталонов трехмерных объектов для их распознавания / С. С. Садыков // Надежность и качество сложных систем. - 2013. - № 2. - С. 51-58.

Садыков Султан Садыкович доктор техничкеских наук, профессор,

Муромский институт (филиал)

Владимирского государственного университета, 602264, г. Муром, Владимирская обл., ул. Орловская, 23.

E-mail: [email protected]

Аннотация. Рассмотрены этапы формирования эталонов для объектов в 3D СТЗ, описана структура базы данных для их хранения, представлены составные части эталона.

Ключевые слова: СТЗ, распознавание объектов, формирование эталонов.

S. Sadykov

doctor of technical science, professor,

Murom Institute (Branch) of Vladimir State University 602264, Murom, Vladimirskaya reg., Orlovskaja street, 23. E-mail: [email protected]

Abstract. The stages of the formation of new etalons for objects in 3D STZ, described the structure of the database to store them, are an integral part of the standard.

Key words: STZ, object recognition, formation of this-cleon.