CC BY
15
Д. А. Рощин, канд. техн. наук, ФГБУ «3 ЦНИИ», г. Москва, whwhwh@mail.ru
Повышение точности обнаружения контура на цифровых изображениях объектов шарообразной формы
Рассмотрены различные методы обнаружения контура объекта, имеющего форму шара, на цифровом изображении. Проводится сравнительный анализ методов в целях определения наиболее точного и устойчивого к влиянию порогового коэффициента, используемого в качестве детектора границ объекта. Предложен метод определения градиента путем вычисления максимальных значений оператора Лапласа, позволяющий существенно уменьшить погрешность обнаружения контуров и избежать появления грубых ошибок при дальнейшей оценке геометрических параметров объекта.
Ключевые слова: цифровая обработка изображений, обнаружение контуров, метод Ди Зензо, аппроксимация окружностью, повышение точности.
Введение
Фотография — это лишь проекция предметов на плоскость изображения, и судить о свойствах и характеристиках отраженных на ней объектов мы можем только косвенно, опираясь на свои знания о них. К тому же качество полученного изображения зависит от множества факторов: характеристик фотокамеры, ракурса съемки, освещенности сцены, а также скорости перемещения самих объектов на сцене относительно точки съемки [1; 2]. Но несмотря на все многообразие внешних факторов, влияющих на качество снимка, фотография остается практически единственным визуальным носителем информации, способным содержать совокупное представление о форме интересующего нас объекта, его размере, цвете, а также пространственном положении относительно других объектов.
Любые задачи, связанные с определением геометрических параметров объекта на изображении, начинаются с предварительного выделения его на фоне других объектов [3]. Для этого очень важно, чтобы объ-
ект обладал уникальными цветовыми характеристиками, был светлее (темнее) других объектов или же содержал присущий только ему набор цветовых компонентов, позволяющих однозначно проявить его на изображении [4].
Поиск и выделение объекта на изображении
Цвета на изображении могут быть заданы трехкомпонентной цветовой моделью RGB (рис. 1, а), состоящей из красного, зеленого и синего компонентов цвета. Набор цветовых компонентов позволяет создавать различные цветовые оттенки.
Рассмотрим частный случай. В качестве примера (рис. 1, б) был выбран шар оранжевого цвета, в составе которого содержится незначительное количество синего компонента.
Представим изображение в виде множества пикселей:
I = {с (X, y )|x, y е N},
где x, y — координаты пикселя на изображении;
[ 97 ]
а б в
Рис. 1. Выделение контура объекта: а — модель цветового куба RGB, заданного 256 градациями по каждому компоненту цвета; б — объект оранжевого цвета, имеющий форму шара; в — контур объекта, обнаруженный по методу Ди Зензо
Fig. 1. Object's contour detection: a — the model of RGB color cube is specified to 256 gradations for each color's component; б — orange color object having the shape of a ball; в — the contour of the object
detected by Di Zenzo's method
r( - У ) =
CR ( - У ) CG (- У )
CB (- У ),
произвольным вектор
в цветовом пространстве RGB, состоящий из трех цветовых компонентов CR, CG, CB, которые также могут быть представлены в виде множеств натуральных чисел, определяющих 256 градаций цвета:
Vn е CR v CG v CB : n < 256|CR,CG,CB e N.
Таким образом, количество различных вариаций цвета в пространстве RGB составит 2563.
Допустим, что необходимо выделить на изображении множество пикселей, принадлежащих объекту 0 с I, цветовые компоненты которого [0R, 0G, 0B ] ограничены минимальными и максимальными значениями в занимаемой части пространства RGB:
rmrn < 0R < Гт
е ■ < 0G < g
о min G or
b <0R <b
mm t-i ~~ m
Граничные значения цветовых компонентов, определяющих диапазон изменения цвета объекта, могут варьироваться в широких пределах в зависимости от конкретных
условий проведения съемки: уровень освещенности, ракурс и удаленность объекта.
Таким же образом можно задать множество пикселей, составляющих фон на изображении ф = I \ 0, цветовые компоненты которого обозначим [ф R, фG, ф B ]. Поскольку в формировании цвета участвуют три компонента, можно ввести функцию, определяемую их совокупными значениями,
f (CR , CG, CB ) = CR + CG + CB.
При этом необходимо, чтобы максимальное значение функции характеризовало объект, а минимальное соответствовало фону изображения:
f (0r , 0g , 0b max (f) f (фR , фG, Фв Н т1П ( f ) '
где [0R, 0G, 0B ], [ф R, ФG, ф в ] — средние значения цветовых компонентов объекта и фона.
Это условие можно представить в виде системы выражений
\Д1 0r + A2 0g + A3 0b ^ max (f) [4 фr + A2 9g + Аз фв ^ min (f) ,
(1)
где A1, A2, A3 — коэффициенты, удовлетворяющие этому условию.
Воспользуемся тем обстоятельством, что объект на рис. 1, б имеет минимальное присутствие синего цветового компонента QB ~ 0, и соответственно, коэффициент АЗ не оказывает влияния на первое из выражений (1). Определим данный коэффициент из второго выражения. Если принять min (f) = 0, то второе выражение из (1) можно представить в виде уравнения
A Ф я + A Фо + Аз Ф в = 0
откуда
A3 =
- 4 Фя - A2 Фо
Ф в
(2)
(3)
Как правило, средние значения цветовых компонентов фона отличаются друг от друга незначительно, поэтому, сделав_еще одно допущение однородности фона 9R = 9G = ф B, уравнение (3) запишем как
A = -Ai -A2. (4)
Задав A = A2 = 1, получим A3 = -2. Система выражений (1) для нашего случая будет выглядеть следующим образом:
0r + 0g -20b ^ max (f)
Фя +Фо - 2Фв ^ min (f) '
(5)
а функция f примет вид
f (СД , са, св ) = ся + са - 2Св . (6)
Установив для функции f некое пороговое значение k, характеризующее отклонение значений цветовых компонентов объекта от среднего, можно отделить объект от фона, применив следующее условие:
с (х,у) е©: f (Ся ,Са ,СВ )< k|k еШ . (7)
В противном случае пиксель окрашивается в черный цвет:
Сг = Са = Св = 0, если f (Сд, Са, Св )> k. (8)
Преобразовав изображение на рис. 1, б в соответствии с условием (8), производим отделение объекта от фона (рис. 2), предварительно установив пороговое значение ^ которое косвенно характеризует недостаток синего компонента цвета на некоторых участках фона.
Результат такого преобразования напрямую зависит от правильности задания порогового коэффициента, который в дальнейшем повлияет на правильность определения контура объекта. Наиболее оптимальный вариант выделения объекта получился
а б в
Рис. 2. Изображение на рис. 1 преобразовано в соответствии с условием (7) для отделения объекта от фона при следующих установленных пороговых значениях: a — 0; б — 100; в — 250
Fig. 2. The image in fig. 1 converted in accordance with condition (7) for separating the object from the background with the following preset threshold values: a — 0; б — 100; в — 250
для k = 100 (рис. 2, б), при меньших значениях коэффициента выделяются некоторые участки фона (рис. 2, а), а при больших значениях часть объекта не обнаруживается (рис. 2, в).
Обнаружение контура объекта
Обнаружение контура объекта осуществляется путем вычисления градиента для каждой точки изображения. Операция взятия градиента применяется к цветным изображениям и производится по методу Ди Зензо, описанному в [5]. В соответствии с этим методом задаются единичные вектора r, g, b в направлении осей цветового пространства RGB, через которые определяются следующие два вектора:
u = -
dCR dx dCB
-r + -
v = -
-r + -
dCG dx dC
dCB , ' + —- b;
+
dx dC
b.
Далее задаются величины
e„ =u•u =
dCR 2 + dCG 2 + dCB
dx dx dx
v • v = dCR 2 + dCG 2 + dCB
dy dy dy
£xy = u •v =
dRdR + dGdG + d—d—
dx dy dx dy dx dy
Вычисляется угол у, показывающий направление максимального изменения скорости с = (х, у) либо просто с:
с ~ \
Y = Atan
2e„
£ — £
V xx УУ J
Определяется скорость изменения в точке (x, y) в направлении угла у:
F (y)=
[ (£xx +£yy + £xx £yy, cos Y+2£xy sin yj
2
Результат преобразования изображения на рис. 1, б в соответствии с выражением (9) приведен на рис. 1, в. Нетрудно заметить, что контур объекта определен неоднозначно, также проявилось побочное ответвление контура фона. Применив это же преобразование к рис. 2 для разных значений порогового коэффициента, получаем более приемлемый результат, представленный на рис. 3, б.
Хотя контур объекта на рис. 3, б и определяется более отчетливо, неправильно подобранное значение порогового коэффициента приводит к искажению контура на рис. 3 а, в, что, в свою очередь, отразится на результате определения геометрических параметров объекта. Это наглядно можно продемонстрировать, аппроксимировав полученный контур
а б в
Рис. 3. Обнаружение контура с применением метода Ди Зензо к предварительно выделенному на фоне объекту на рис. 2 для следующих установленных пороговых значений: а — 0; б — 100; в — 250
Fig. 3. Detection contour, using the method of Di Zenzo applied to the already dedicated object on the background, is shown in Fig. 2 with the following preset threshold values: a — 0; б — 100; в — 250
окружностью и оценив влияние, которое окажет точность обнаружения контура объекта на результат измерения радиуса окружности.
Восстановление контура объекта путем аппроксимации
Аппроксимацию контура окружностью можно выполнить по формуле [6]. Применяя выражения (10) и (11) к контурам объекта на рис. 3, а также используя несмещенную оценку математического ожидания, описанную в [7], получаем результаты аппроксимации контура окружностью, представленные на рис. 4.
R2 = х02 + Jo2 +1/n (£[x 2] + £[y2]-2( x0 £М + Jo £[y])),
(10)
где х0, у0 — координаты центра окружности, определяемые с помощью следующих выражений:
х0 =^п22 -w2n12)/det(п); Уо = (^ П - ЩП)/det (^
где wi, п — элементы матриц Ж и N введенных для упрощения:
(11)
W =
!(x3) + !(xy2)-1!(x2)!(x)-1!(y2)!(x)
n n
!(x2 y)+!(y3)-1!(x2)!(y)-1!(y2)!(y)
n n
N =
X(x2)-1!(x)I( x)l 2 fl( xy)-1!(x)E( y)
n у V n
!(xy)-1!(x)I(y)! 2fl(y2)-1 E(y)I(y)
det (n) — определитель матрицы N.
абв
Рис. 4. Результаты аппроксимаций, изображенных на рис. 3, контуров объекта окружностью. Контур был получен с применением метода Ди Зензо к предварительно выделенному на фоне объекту (рис. 2) для следующих установленных пороговых значений: а — 0; б — 100; в — 250
Fig. 4. The results of the approximations of contour's object by a circle depicted in Fig. 3. The contour was obtained using the method of Di Zenzo applied to the already dedicated object on the background (Fig. 2) with the following preset threshold values: a — 0; б — 100; в — 250
Аппроксимация позволяет восстановить форму контура объекта, но наличие ложных контуров (рис. 3, а, в) оказывает влияние на размер аппроксимирующей окружности (рис. 4, а, в), и только объект на рис. 3, б дает возможность достаточно точно определить размер окружности (рис. 4, б).
Зависимость значения радиуса аппроксимированной окружности от порогового коэффициента представим в виде относительного изменения значений радиуса, полученного при задании различных пороговых коэффициентов по отношению к значению радиуса окружности для k = 0 (рис. 5).
Для данного частного случая относительное изменение радиуса существенно и составляет более 10%.
Оценка точности альтернативных методов обнаружения контуров
Рассмотрим альтернативный метод вычисления градиента. Этот подход основан на покомпонентной обработке цвета каждого пикселя на изображении с использованием оператора Лапласа, который для функции двух переменных f (х, у) записывается как
v2f =
2f
dx2
d 2f
(12)
dx2 d 2f
f = f ( x +1, y ) + f ( x -1, y )-2 f ( x, y ),
(13)
dy
= f ( x, y +1) + f ( x, y -1)-2 f ( x, y ).
В качестве упрощения значения оператора Лапласа, присутствующего в (13), заменим его приближением, реализованным с помощью двух масок, задаваемых оператором Собела, которые можно представить в виде матриц
"-1 0 1" "-1 -2 -1
M = -2 0 2 ; MT = 0 0 0
-1 0 1 1 2 1
Тогда выражение в (13) для нахождения вторых производных можно переписать в следующем виде:
Л 2f
dx2
4Е З-1Е 3=1(f (x+1-у+1-№ (/, j));
8 d 2 f (14)
dy2
-1Е 3.Е 3=^ (х+1-у+1-№т (и 7)).
Поскольку цвет пикселя и соответственно значение функции выражается через трехком-понентный вектор цвета
6R, %
12
10
8
6
4
2
0 0
50
100
150
200
250
Рис. 5. Зависимость изменения радиуса аппроксимированной окружности на рис. 4
от порогового коэффициента
Fig. 5. The dependence of the radius of the approximated circle in Fig. 4 from the threshold coefficient
k
f (^ у) = С [Сд, Са, Св ],
то исходя из выражения (6) для частного случая определим функцию f следующим образом:
f (л; у) = Сд (л; у) + Са (^ у)- 2Св (x,у). (15)
В этом случае значение оператора Лапласа для компонентов цвета также останется максимальным на границе, отделяющей нужный нам объект с отсутствующим цветовым компонентом (рис. 1, б) от фона. При этом границы других объектов фона, не отвечающих условию (7), не приведут к увеличению значения оператора.
Таким образом, обнаружение контура объекта на изображении можно произвести, применив следующее условие:
Сд (^ у ) = Са (-- у ) = Св (-- у ) =
= | 0, если V2 f (х, у )> k; (16) [255 в противном случае.
Применив условие (1) к изображению на рис. 1, б, получили следующие контуры объекта (рис. 6) для нескольких заданных значений порогового коэффициента.
Для этого способа обнаружения контуров также была получена относительная зависимость изменения радиуса аппроксимированной окружности от задаваемого значения порогового коэффициента по отношению к значению радиуса окружности, полученного для k = 0 (рис. 7).
Относительные изменения значений радиуса заметно уменьшились по сравнению с результатами, представленными на графике (см. рис. 5). Поскольку пороговый коэффициент продолжает оказывать влияние на результат обнаружения контура объекта, минимизируем это влияние, используем другой подход к решению задачи.
Рассмотрим горизонтальное сечение изображенного объекта (рис. 8), полученное
с применением условия (16) и показывающее, как меняется значение оператора V2 f (х, у).
Очевидно, что максимумы значений оператора соответствуют границе, разделяющей объект и фон на изображении. В нашем случае объект полнотелый, поэтому каждому сечению изображения, проходящему через объект, будут соответствовать только два экстремума. Представим максимумы значений оператора на сечении в виде упорядоченного по убыванию значений множества состоящего из элементов sX = V2 f (х):
sx е S: sxl > si+11 х, / е N , (17)
где / — порядковый номер максимума оператора в формируемом множестве, х — координата, определяющая один из максимумов оператора на выбранном горизонтальном сечении.
Для повышения эффективности метода можно найти максимумы в вертикальных сечениях изображения. Преобразование будет заключаться в отображении только тех максимумов, чьи значения больше задаваемого порогового коэффициента:
Сд (- у ) = Со (^ у ) = Св (^ у ) =
= Г 0, если s!¡ > k; (18)
[255 в противном случае.
Результат применения преобразования (18) к изображению на рис. 1, б приведен на рис. 9.
Оценим величину относительной зависимости изменения радиуса аппроксимированной окружности от задаваемого значения порогового коэффициента по отношению к значению радиуса окружности, полученного для k = 0 (рис. 10).
Относительные изменения значений радиуса уменьшились более чем на порядок по сравнению с результатами, представленными на графике (см. рис. 5).
Также следует обратить внимание на то,
что после достижения некоторого порого-
[ 103 ]
а б в
Рис. 6. Обнаружение контура объекта (рис. 1, б) по маскам Собела с использованием следующих пороговых значений коэффициента: а — 25; б — 100; в — 200
Fig. 6. Detection of the object contour (Fig. 1, б) by Sobel masks using the following threshold coefficients:
a — 25; б — 100; в — 200
о
-0,5
-1,5 -2 -2,5
150
200
250
300
6R, %
Рис. 7. График относительной зависимости изменения радиуса аппроксимированной окружности от задаваемого значения порогового коэффициента по отношению к значению радиуса окружности,
полученного при k = 0
Fig. 7. The graph of relative variation of the radius of the circle approximated from the values of the threshold ratio against the value of the radius of the circle, obtained when k = 0
Рис. 8. Горизонтальное сечение изображения объекта, отображающее изменение значения
оператора V2/
Fig. 8. Horizontal section images of the object, showing the changes in the values of the V2/ operator [ 104 ]
k
-1
-3
-3,5
.Ь- ' г . • I
абв
Рис. 9. Обнаружение контура объекта на рис. 1 по максимумам значений оператора в вертикальном и горизонтальном сечениях изображения с использованием следующих пороговых коэффициентов:
а — 0; б — 100; в — 200
Fig. 9. Detection of the object contour in Fig. 1 by maximal values of the operator in the vertical and horizontal cross-sections of the image using the following threshold coefficients:
a — 0; б — 100; в — 200
6R, %
Рис. 10. График относительной зависимости изменения радиуса аппроксимированной окружности от задаваемого значения порогового коэффициента по отношению к значению радиуса окружности,
полученного при k = 0
Fig. 10. The graph of relative variation of the radius of the circle approximated from the values of the threshold coefficient against the value of the radius of the circle, obtained when k = 0
вого коэффициента вычисляемые значения радиуса окружности больше не претерпевают серьезных вариаций и стабилизируются относительно его математического ожидания.
Заключение
Повысить достоверность и точность содержащихся на фотографии сведений
об объекте можно, используя специальные
[ 105 ]
прецизионные фотокамеры и разработанные методы проведения съемки, благодаря чему получаются цифровые изображения объектов, по которым с высокой точностью можно определять их геометрические параметры.
Несомненно, определение вектора градиента по методу Ди Зензо, который был специально разработан для обнаружения контуров на цветных изображениях, в общем случае дает более высокую точность, чем метод покомпонентного определения градиента. Но оба эти метода направлены на обнаружение контуров всех изображенных объектов, и в случае необходимости выделения контура какого-то конкретного объекта потребуется процедура сегментации, что в конечном счете внесет дополнительную неопределенность в результат. Еще одним недостатком этих методов является их зависимость от заданного значения порогового коэффициента, который непосредственно влияет на точность обнаружения контура.
Для частного случая, рассмотренного в статье, когда объект обладает уникальными цветовыми характеристиками, позволяющими выделить его на фоне других окружающих объектов, целесообразно вводить новое определение векторной функции, задающей цвет пикселя, чтобы ее максимальное значение характеризовало цвет нужного объекта. Такой подход не только облегчит обнаружение требуемого объекта, но и позволит избежать выделения ложных контуров.
Для снижения зависимости от порогового коэффициента предлагается использовать метод обнаружения контуров по максимальным значениям оператора Лапласа. Данный метод оказался наиболее устойчивым к влиянию порогового коэффициента, что позволит избежать появления грубых ошибок при дальнейшей оценке геометрических параметров объектов даже при неправильно подобранных значениях порогового
коэффициента. [ 106 ]
Список литературы
1. Кишик А. Н. Цифровая фотография. Практическое руководство по съемке и обработке изображений в Photoshop CS. М.: OOO «ДиаСофтЮП», 2005. — 352 с.
2. Айсман Кэтрин, Дугган Шон, Грей Тим. Цифровая фотография. Искусство фотосъемки и обработки изображений. 2-е издание. СПб.: OOO «ДиаСофтЮП», 2005. — 640 с.
3. Яне Б. Цифровая обработка изображений. М.: Техносфера, 2007. — 584 с.
4. РощинД. А. Повышение эффективности оптических систем распознавания образов на основе цветовой гистограммы // Прикладная информатика. 2011. № 4 (34). С. 120-124.
5. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. — 1072 с.
6. Каретин А. Н. МНК для аппроксимации данных окружностью. URL: http://mykaralw.narod.ru/articles/ mnk_circle.pdf
7. Рощин Д. А. Несмещенная оценка расхождения шкал времени территориально разнесенных эталонов времени и частоты по сигналам глобальных навигационных спутниковых систем // Апробация. 2015. № 12 (39). С. 35-39.
References
1. Kishik A. N. Cifrovaya fotografiya. Prakticheskoe ru-kovodstvopo s»emke i obrabotke izobrazhenij v Photoshop CS [Digital photography. Practical guide to shooting and processing the images in Photoshop CS]. Moscow, OOO «DiaSoftYUP», 2005. 352 p.
2. Eismann Katrin, Duggan Sean, Grey Tim. Cifrovaya fotografiya. Iskusstvo Fotos'emki i Obrabotki Izobrazhenij. 2-e izdanie [Digital photography. The art of photography and image processing. 2nd edition.]. Saint Petersburg, OOO «DiaSoftYUP», 2005. 640 p.
3. YAne B. Cifrovaya obrabotka izobrazhenij [Digital image processing]. Moscow, Tekhnosfera Publ., 2007. 584 p.
4. Roshchin D. A. Povyshenie ehffektivnosti opticheskih sistem raspoznavaniya obrazov na osnove cvetovoj gis-togrammy [Improving the efficiency of optical system image detection based on color histogram. Prikladna-ya Informatika—Journal of Applied Informatics, 2011, no 4 (34), pp. 120-124.
5. Gonsales R., Vuds R. Cifrovaya obrabotka izobrazhenij [Digital image processing]. Moscow, Tekhnosfera Publ, 2005. 1072 p.
6. Karetin A. N. MNK dlya approksimacii dannyh okruzhnost'yu [LSM for approximation of data by
a circle]. Available at: http://mykaralw.narod.ru/arti-cles/mnk_circle.pdf (accessed 04.09.2016).
7. Roshchin D. A. Nesmeshchennaya ocenka raskhozh-deniya shkal vremeni territorial'no raznesennyh ehtalo-nov vremeni i chastotypo signalam global'nyh nav-
igacionnyh sputnikovyh system [Unbiased estimation of time scales difference of geographically dispersed standards of time and frequency using the signals of global navigation satellite systems]. Aprobaciya, 2015, no. 12 (39), pp. 35-39.
D. Roschin, FSBI «3 CNII», Mendeleevo, Moscow, Russia, whwhwh@mail.ru
Improving the accuracy of contour detection on digital images for the objects having the shape of a ball
The photography is just the projection of objects on the image plane and we can judge about properties and characteristics of depicted objects only indirectly based on our knowledge about them. Besides the quality of the resulting image depends on many factors such as the characteristics of the camera, the shooting angle, light and the speed of movement of the objects on the stage relative to the survey point. But despite all the diversity of external factors affecting the quality of the image, the picture remains virtually the only visual data carrier that can contain the total information about the shape of the object, its size, color, and spatial location relative to other objects. To improve the accuracy and precision of information on photos about the object, using the special precision camera and developed methods of scanning to produce digital images of objects for which high precision is possible to determine their geometrical parameters. The article discusses various methods for the detection of object contour, having the shape of a ball, in a digital image. Comparative analysis of methods to determine the most accurate and resistant to the effects of the threshold multiplier used as detector. The proposed method definition of gradient by calculating the maximum values of the Laplace operator, which allows to significantly reduce the error detection circuits and to avoid gross errors in the further estimation of the geometric parameters of the object.
Keywords: digital image processing, detection of contours, method of Di Zenzo, approximation of the circumference, accuracy enhancement.
About authors:
D. Roschin, PhD in Technique
For citation:
Roschin D. Improving the accuracy of contour detection on digital images for the objects having the shape of a ball. Prikladnaya Informatika — Journal of Applied Informatics, 2016, vol. 11, no. 5 (65), pp. 97-107 (in Russian).
