Алгоритм определения расположения и размеров объектов на основе анализа изображений объектов Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

АЛГОРИТМ ОПРЕДЕЛЕНИЯ РАСПОЛОЖЕНИЯ И РАЗМЕРОВ ОБЪЕКТОВ НА ОСНОВЕ АНАЛИЗА ИЗОБРАЖЕНИЙ ОБЪЕКТОВ

Гейдаров П.Ш.

Институт кибернетики НАНАзербайджана

Аннотация

В работе приводится алгоритм определения расстояния до объекта на основе анализа изображений, полученных при помощи оптических систем. С этой целью рассматриваются изменения значений чёрно-белой цветовой палитры по вертикальным и горизонтальным составляющим, приводится алгоритм сегментации этих кривых и определения коэффициентов размытостей границ объектов изображения. Предлагаемый алгоритм рассматривается на примере одно- и двухлинзовых оптических систем. Рассматривается также возможность определения размеров и смещения объектов относительно оптической оси системы по результатам анализа изображений объектов.

Ключевые слова: расстояние до объекта, визуальная оценка расстояния, радарные системы, дальномеры, резкость изображения, оптические системы, оптические формулы, биологический глаз.

Введение

Для решения многих задач требуется определение расстояния до визуальных объектов, например, в робототехнике, в задачах, связанных с дорожно-транспортными объектами и т.д. В настоящее время существуют устройства [1], реализованные на радарном принципе, заключающемся в вычислении расстояния пройденного сигнала излучения от источника излучения до объекта и обратно до источника излучения. Подобные системы применяются с использованием различных видов излучений: радиоволн, ультразвука, лазерного излучения и т.д. При этом слабой стороной этих систем является зависимость от угла отражаемой поверхности и материала отражающего объекта [1]. По этой причине в некоторых случаях требуется наличие дополнительной установки отражателя на объекте, до которого необходимо определить расстояние. Возможны также искажения сигналов и неточности в результате воздействия других источников излучения или в результате рассеивания сигналов при определённых погодных условиях, например, при дневном свете. Кроме того, для таких систем необходимо наличие постоянного источника излучения.

Цель и методы решения задачи

Цель работы заключается в определении расположения и размеров объекта в пространстве на основе исследования изображений объектов, полученных при помощи оптических систем.

Подобная система в какой-то степени имитирует работу биологического глаза в возможности визуальной оценки расстояния до объекта и размеров объектов с той разницей, что для оценки расстояния до объекта в биологических системах используются предварительно известные знания размеров изображений (предметов, людей и т.д.), а также сложные механизмы распознавания [3 - 7] этих объектов, при этом сама оценка производится путём приблизительного сопоставления и приблизительной оценки дистанций до объектов, тогда как предлагаемый

алгоритм определяет результаты достаточно точно на основе использования законов оптики и возможностей вычислительных технологий.

А Линза

Объект

a)

А Линза! А Линза 2 Экран

б)

Рис. 1. Формирование изображения на движущемся экране с использованием одной линзы (a); формирование изображения на движущемся экране с использованием двух линз (б)

На рис. 1а приведён пример формирования набора изображений с использованием одной линзы. Принцип работы заключается в последовательном приближении и удалении экрана или линзы относительно друг друга вдоль оптической оси в некотором заданном диапазоне Дх. В качестве оптической системы может использоваться и более

сложная система линз, в этом случае изображение будет строиться согласно используемой схеме, пример рис. 16. На экране в каждый дискретный момент времени фиксируется и запоминается результат преломлённого через линзу изображения. В итоге, за период времени, необходимый для прохождения пути Ах, запоминается массив изображений (кадров) М [И,], размерность которого зависит от величины Ах и шага дискретизации времени Аt фиксирования одного кадра. Для каждого фиксированного изображения запоминается значение di, соответствующее значению расстояния от линзы до экрана в момент /'-ого фиксирования изображения. Дальнейшее действие будет заключаться в алгоритме программного исследования полученного массива изображения М [di] с целью определения наиболее чётких объектов изображений в массиве изображений М [di].

Расстояния до объекта для случая рис. 1а определятся на основе формулы отрезков [2] применительно для выпуклой линзы с равными фокусными отрезками: 1 _ 1 1 ¥ ~ д +А'

откуда

D =-

dtF d - F

(1)

где Д - расстояния от объекта до линзы для /-го изображения (кадра) массива, ¥ - фокусное расстояние линзы, d¡ - расстояние от линзы до изображения /-го кадра массива. Для случая с двумя линзами (рис. 16) значение Д определяется путём последовательного применения выражения (1) к каждой линзе. При этом Д находится по выражению:

Д , (2)

йх - ^

где значение d1 соответствует расстоянию от первой линзы до изображения первой линзы (рис. 16), определяемое аналогичным образом из формулы отрезков применительно ко второй линзе:

И - И _А¥_

d, = dL - d F

(3)

где - расстояние между линзами, ¥ ¥2 - фокусные расстояния первой и второй линзы.

При этом если каждому фиксированному изображению из массива М [И/] соответствует значение И/, то, следовательно, каждому кадру-изображению соответствует определённое по выражениям (1 - 3) значение Д, на расстоянии которого объекты данного изображения будут наиболее чёткими. Исходя из этого, дальнейшие действия заключаются в опреде-

лении наиболее чётких объектов изображений из всего массива изображений M [di].

Алгоритм определения чёткого изображения объекта заключается в получении коэффициентов размытости границ объектов изображений (tn) на основе исследования одной или нескольких строк, столбцов пикселей изображения с шагом дискрити-зации dx. При этом каждый набор пикселей представляется как кривая изменений значений оттенков цветовой палитры. Например, для чёрно-белого изображения на рис. 2б кривая (рис. 2а) отражает изменение значений чёрно-белой палитры изображения для вертикального столбца рис. 2б (1). В случае цветного изображения таких кривых может быть несколько в зависимости от используемой схемы цветового отображения (RGB, CMYK и т.д.).

Рис. 2. Кривая изменения значений чёрно-белой палитры (а), чёрно-белое изображение с выделенным столбцом 1 (б)

Для каждой полученной кривой выполняется вычисление на предмет определения резких перепадов в цветовых оттенках значений изображений. Для упрощения данной процедуры предварительно выполняется сегментация кривых, алгоритм которой заключается в следующем. Если сегментация кривой начинается с некоторой точки (х,, у,), то, начиная с этой точки, вычисляется угол отклонения 6, в этой точке по выражению (4), при этом смежные с ней точки (х,-ь у/-1) и (х/+ь уж) представляются как вершины мини-сегментов (рис. 3а) смежных точек кривой рис. 2а, координаты векторов по оси х которых равны шагу Их.

(

6i = arctg

У+1 - У

Л

(

- arctg

У - У-1

Л

(4)

Если значение 6, больше некоторого заданного значения р (6, > Р), то в этом случае точка (х,, у,) принимается как конечная вершина предыдущего сегмента и начальная вершина следующего сегмента ^ж). Если же значение 6, меньше значения р

и xi+1 xi ш

и xi xi-1 ш

(0; < Р), то в этом случае вычисляется значение 0+ аналогичным образом для следующей точки (х;+ь Уж), а значение итогового отклонения 0 определяется как сумма предыдущего и текущего отклонений (0 = 0; + 0;+1, рис. 3б). Процедура выполняется аналогичным образом до тех пор, пока не будет выполнено условие 0 > р. С целью исключения возможного влияния зашумлённости кривой, например, в результате малой разрешающей способности экрана по отношению к шагу дискретизации йх, необходимо повторить аналогичную процедуру на несколько шагов йх вперёд, даже если условие 0 > р выполняется. После выполнения данного условия фиксируется значение вершины нового сегмента. При этом чем меньше значение р, тем более детализированной будет в итоге сегментированная кривая.

(Щ-иУиг)

(хн-ьУм)

а)

кривая

сегмент

б) •

Рис. 3. Представление отклонения угла в (а), определение вершин сегмента (б)

На рис. 4 приведён результат сегментирования кривой для выделенного столбца рис. 2б (1) с использованием значения р = 30°.

Хцв

Рис. 4. Сегментация кривой и локализация диапазонов объектов

Локализация наиболее выраженных участков перепадов кривой рис. 4 (1, 2) определяется путём последовательного вычисления коэффициентов размытости границ объектов, представляющих собой

максимальные и минимальные значения тангенсов {^тах, Шт;п} (5), определяемых в массиве всех сегментов кривой при условии, что значение перепада йу; превышает некоторое принятое йут;п, значение которого, в свою очередь, может определяться по-разному, например, для рис. 4 - как значение среднего перепада йу; по всей кривой.

Птах = ™ах

^тт = т1П

йх..

йх,

; / л

(5)

В выражении (5) йу, йх - изменение ;—го сегмента по оси у и х, тах(), т;п() - функции, определяющие максимальные и минимальные значения на некотором диапазоне сегментированной кривой.

На рис. 4 (1,2) каждому значению Штах соответствует значение Штп, что в итоге соответствует двум выделенным интервалам объектов по вертикали изображения на рис. 2б (1). Из двух выделенных интервалов на рис. 4 по выражениям (5) определяется интервал, соответствующий наиболее чёткому изображению объекта. Координаты концов найденного интервала сохраняются.

Для определения границ выделенного объекта по оси X выполняется аналогичная процедура и анализ кривой по горизонтальной составляющей, координата У которой вычисляется как среднее значение между определёнными границами объекта (уъу2) рис. 5б (1).

У = ( У + У 2)/2.

Координаты крайних значений выделенных интервалов по оси X также сохраняются.

Хцв

Рис. 5. Кривая изменения по оси х (а); выделенные участки изображения (б)

Из рис. 5б можно видеть, что локализация объекта на изображении недостаточно полно охватывает весь объект. Для более целостного выделения объекта выполняется несколько повторных локализа-

ций (рис. 6). При этом каждая локализация происходит после сдвига оси Y на некоторый дискретный шаг Иху выполняемого в пределах выделенного диапазона изображения объекта.

Рис. 6. Локализация объекта на одном кадре при разных смещениях оси Y

На рис. 6 приведены примеры локализации объекта с шагом Иху = 10 пикс. Результатом каждого выделения объекта являются координаты границ выделенной прямоугольной области (утъ уЬщот,ь Х1ф,ъ хНфК). По итогам всех выделений выполняется объединение выделенных областей, в результате чего формируется область всего объекта. При этом объединение выделенных областей выполняется путём определения наибольших и наименьших границ выделенных участков объекта:

у гор _ тах( у гор,Г) , уЬо«от _ ™п( уЬоггот,г) ,

хпф, _ тах( Хпф,,< ) , х1ф _ ™П( Хег,, ) ,

где угор, уьоггот - верхняя и нижняя границы по оси Y; хгф, хГщЫ - правая и левая границы по оси X.

Для определения расстояния до объекта выполняется аналогичная процедура для всего массива изображений, при этом с целью ускорения всего процесса вычисления могут ограничиться в пределах выделенного диапазона изображения. На рис. 7 а приводится пример из пяти кадров массива в пределах локализованной области рис. 5б объекта изображения. Для приведённых фрагментов графиков сегментированных кривых по оси X рис. 7а наибольшее и наименьшее значение ,птах = 13,431,

гптП = -16,066 в пятом кадре определяют наиболее чёткое изображение объекта.

Соответствующее этому изображению М [И5] значение И5 будет использовано в выражениях (2, 3) для определения расстояния Д до предполагаемого объекта.

Помимо расстояния до объекта, возможно также определить размеры выделенного объекта {Нх, Ну} [2]. Для случая с использованием одной линзы (рис. 1а) значения {Нх, Ну} определяются как

Dh

Н _- ' x

d

D,hy

Н, =- ' y

d

(6)

где hx, hy - горизонтальные и вертикальные размеры выделенной области объекта изображения; Hx , Hy -горизонтальные и вертикальные размеры реального объекта. При этом выражения (6) справедливы и для случая смещения объектов относительно оси оптической системы (рис. 8), что подтверждается подобием треугольников ABCO, DB1C1O и DABO, DA1B1O (рис. 8) и соответственно пропорциональностью сторон:

BC _ BO AO _ BO

ВС ~ BO ' AjO " BjO '

откуда

BC AO

ВХСХ ДО

равнозначно выражению (6), где ВС = Н, В1С1 = И, АО = Д АО = И.

Для случая с двумя линзами (рис. 1б) значения Н, И\ определяются аналогично из выражения (6) последовательно для каждой линзы

Н _ Dhk h _ (dL ~~ dJ ) h2

dj ' 1 d2

(7)

В итоге из выражений (7) значения Hx и Hy определяются как

D (dL - d) hy ,H„ _ У L_ y , (8)

H _

D ( dL - dj) hx djd2

djd2

где значение d определяется по выражению (3).

б) t„=l,878 -1,683 2,423 -2,408 3,306 -3,369 5,200 -4,789 13,431

Рис. 7. Фрагмент изображения на разных кадрах

-16,066

Линза*

Изображение

CiJ

В

Объект

Рис. 8. Смещение объекта относительно центральной оси

Аналогично вычисляются смещения Sx, Sy объекта относительно оси экрана (рис. 8) по выражениям

s. = D>s-

s. = d's'

dt ' y dt и для рис. 1а, и для схемы рис. 1б по выражениям

(9)

S = D (dL - d1 ) S = D (dL - d1 ) Sy

d1d2

d1d2

(10)

где sx, Sy - горизонтальные и вертикальные составляющие смещения центра объекта изображения относительно центра изображения, экрана; Sx, Sy — горизонтальные и вертикальные смещения реального объекта относительно оптической оси. При этом значения sx, Sy определяются как

Xright + Xleft 2

х 2

sy =-

У,ор + Уь Ot 2

Y 2

где X, У — ширина и высота изображения кадра;

хпф, , х1ф , У,ор , Уьоиат - координаты границ выделенной области объекта изображения.

Заключение

Отметим, что выражения (1 - 3), (6 - 10) приведены для случаев с использованием одно- и двух-линзовых оптических систем. При этом увеличение расстояния до объекта потребует увеличения разрешения экрана и, соответственно, уменьшения шага дискретизации кривой (рис. 2а) или использования более сложной оптики, в этом случае приведённые выражения (1 - 3), (6 - 10) будут иными, согласно сложности используемых систем.

Для ускорения процедуры вычисления полный анализ изображения может проводиться для отдельно выбранных (основных) кадров с целью выделения всех существующих объектов в пределах видимости оптической системы, на остальных же кадрах анализ может проводиться в тех диапа-

зонах, где объекты были уже локализованы. Аналогично в основных кадрах полная сегментация и анализ кривых может проводиться только по одному направлению оси координат, например, по оси Y. Кроме того, для ускорения процесса вычисления возможно проводить слежку за объектами. Это означает, что если объект уже обнаружен, то предположительно в следующий момент времени его место расположения можно определить в некотором диапазоне без необходимости просмотра всего изображения и всего массива кадров.

Литература

1. Принцип работы лазерного дальномера [Электронный ресурс] - http://www.optics4you.ru/article5.html.

2. Чуриловский, В.Н. Теория оптических приборов /

B.Н. Чуриловский. - М.: Машиностроение, 1966. -

C. 47-49.

3. Головко, В.Л. Нейронные сети: обучение, организация и применение. Кн. 4. / В.Л. Головко. - М.: ИПРЖР, 2001. - С. 256.

4. Гейдаров, П.Ш. Нейронные сети на основе метрических методов распознавания в применении к задачам с нечёткими выводами / П.Ш. Гейдаров // Искусственный интеллект и принятие решений. - 2010. -№ 2. - С. 77-88.

5. Козин, Н.Е. Поэтапное обучение радиальных нейронных сетей / Н.Е. Козин, В.А. Фурсов // Компьютерная оптика. - 2004. - № 26. - С. 138-141.

6. Круглов, В.В. Нечёткая логика и искусственные нейронные сети / В.В. Круглов, М.И. Дли, Р.Ю. Голунов. - М.: Физматлит, 2001. - 224 с.

7. Уоссермэн, Ф. Нейрокомпьютерная техника. Теория и Практика / Ф. Уоссермэн; пер. с англ. - М.: Мир, 1992. - 184 с.

References

1. The principle of laser ranging. -http://www.optics4you.ru/article5.html. - (in Russian).

2. Churilovsky, V.N. The theory of optical devices / V.N. Churilovsky. - Moscow: "Mashinostroenie" Publisher, 1966. - P. 47-49. - (in Russian).

3. Golovko, V.L. Neural networks: training, organization and application / V.L. Golovko. - Moscow: IPRZHR, 2001. - 256 p. - (in Russian).

4. Geidarov, P.S. Neuron networks on the basis of the metric methods of recognition in application to tasks with fuzzy inference / P.S. Geidarov // Artificial intelligence and decision making. - 2010. - N 2. - P. 77-88. - (in Russian).

5. Kozin, N.E. Gradual learning the radial neural networks / N.E. Kozin, V.A. Fursov // Computer Optics. - 2004. -N 26. - P. 138-141. - (in Russian).

6. Kruglov, V.V. Fuzzy logic and artificial neural networks / V.V. Kruglov, M.I. Dli, R.Y. Golunov. - Moscow: "Fizmalit" Publisher, 2001. - 224 p. - (in Russian).

7. Wasserman, F. Neural Computing. Theory and Practice / F. Wasserman. - Moscow: "Mir" Publisher, 1992. -184 p. - (in Russian).

Sx =

ALGORITHM FOR DETERMINING THE LOCATION AND DIMENSIONS OF OBJECTS BASED ON ANALYSIS OF IMAGE OBJECTS

P.S. Geidarov Institute of Cybernetics of NAS of Azerbaijan

Abstract

The paper presents an algorithm for determining the distance to the object based on analysis images obtained by optical systems. To this end, it consider curves black and white color palette for the vertical and horizontal components, an algorithm for segmentation of curves and determination coefficients blurs the boundaries of image objects. The proposed algorithm is considered as an example one and two-lens optical systems. It also consider the possibility of determining the size and displacement of objects relative to the optical axis of the system.

Key words: distance to an object, a visual estimate of the distance, radar systems, range finders, image sharpness, optical systems, optical formula, biological eyes.

Сведения об авторе

Гейдаров Полад Шахмалы оглы, кандидат технических наук, старший научный сотрудник Института кибернетики Национальной Академии Наук Азербайджана.

Область научных интересов: распознавание образов и сигналов; обработка изображений; разработка нейросетевых моделей на основе метрических методов распознавания в применении к задачам распознавания и к нечётким выводам.

E-mail: plbaku2010@gmail.com .

Polad Shahmali oglu Geidarov, Candidate of technical science, Senior researcher at the Institute of Cybernetics of National Academy of Sciences of Azerbaijan.

Research interests: pattern and signals recognition; image processing; development models of neural network based on the metric methods of recognition to problems of pattern recognition and fuzzy inference.

Поступила в редакцию 2 декабря 2010 г.