Научная статья на тему 'Метод оценки диспаритета стереопар'

Метод оценки диспаритета стереопар Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
390
70
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
СТЕРЕОПАРА / ПИКСЕЛЬНОЕ СООТВЕТСТВИЕ / КОРРЕЛЯЦИЯ / ДИСПАРИТЕТ / СТАТИСТИЧЕСКАЯ ХАРАКТЕРИСТИКА / STEREO PAIR / PIXEL CORRESPONDENCE / CORRELATION / DISPARITY / STATISTIC FUNCTION

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Гузик Вячеслав Филиппович, Чумаченко Александр Викторович

Рассматривается метод оценки границ диспаритета стереопар. Оценка производится как для всего изображения в целом, так и для отдельных его фрагментов. Это позволяет оптимизировать поиск пиксельных соответствий путем сужения диапазона возможных значений диспаритета в пределах фрагмента. Также, предварительное разделение изображения на фрагменты, с последующим вычислением статистических характеристик на них, позволяет оценивать степень устойчивости корреляционных алгоритмов в пределах фрагментов. Таким образом, метод оценки может выделять и обрабатывать особым образом участки изображения с ровным фоном, на которых корреляционные алгоритмы недостаточно эффективны. Результаты экспериментов свидетельствуют об эффективности предложенного метода, в частности среднее значение границы диспаритета в пределах фрагментов в четыре раза меньше границ диспаритета в пределах всей стереопары. При этом точность оценки верхней и нижней границы диспаритета для некоторых стереопар достигает 97 %.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Гузик Вячеслав Филиппович, Чумаченко Александр Викторович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

STEREOPAIR DISPARITY ESTIMATE METHOD

This paper presents stereopair disparity estimate method. Estimate is provided for the whole image as well as for separate image fragments. This allows optimizing pixel correspondence search within a fragment by narrowing the range of possible disparity values. Moreover, splitting the initial image on fragments and calculating mathematical statistics functions on them allows estimating correlation-like approaches robustness within fragments. So, the suggested method allows to mark and handle in some special way textureless image parts on which correlation-like approaches are usually weak. Experiments demonstrate the effectiveness of the suggested method. In particular the expected value of disparity range within fragments is four times less than within the whole stereopair. For some stereopairs disparity lower and upper bounds estimate accuracy reaches 97 %.

Текст научной работы на тему «Метод оценки диспаритета стереопар»

4. Финаев В.И., Севостьяненко В.В. Методы искусственного интеллекта в управлении персоналом. - Таганрог: Изд-во ТРТУ, 2005. - 167 с.

5. Сизова И.И. Разработка методов ситуационного управления при решении задач о назначениях: Дис. ... канд. техн. наук. - Таганрог: ТРТУ, 2006.

6. ФилипповА.В. Работа с кадрами. Психологический аспект. - М.: Экономика, 1990.

7. ТахаХ.А. Введение в исследование операций. 6-е издание.: Пер. с англ. - М.: Издательский дом «Вильямс», 2001. - 912 с.

8. Zimmermann H.-J. Fuzzy Sets Theory and its applications. - Boston/Dordrecht/London: Kluwer Academic Publishers, 1996. - 435 p.

9. Берштейн Л.С., Карелин В.П., Целых А.Н. Модели и методы принятия решений в интегрированных интеллектуальных системах. - Ростов-на-Дону: Изд-во Ростовского университета, 1999. - 278 с.

Статью рекомендовал к опубликованию д.т.н., профессор Я.Е. Ромм.

Пушнина Инна Валерьевна - Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Южный федеральный университет»; e-mail: finaev_val_iv@tsure.ru; 347928, г. Таганрог, ул. Энгельса, 1; тел.: 88634371689; кафедра систем автоматического управления; ассистент.

Пушнина Анастасия Алексеевна - кафедра систем автоматического управления; студентка.

Pushnina Inna Valerjevna - Federal State-Owned Autonomy Educational Establishment of Higher Vocational Education “Southern Federal University”; e-mail: finae_val_iv@tsure.ru;

1, Engelsa street, Taganrog, 347928, Russia; phone: +78634371689; the department of automatic control systems; head of department; assistant.

Pushnina Anastasia Alekseevna - the department of automatic control systems; student.

УДК 004.923

В.Ф. Гузик, А.В. Чумаченко МЕТОД ОЦЕНКИ ДИСПАРИТЕТА СТЕРЕОПАР

Рассматривается метод оценки границ диспаритета стереопар. Оценка производится как для всего изображения в целом, так и для отдельных его фрагментов. Это позволяет оптимизировать поиск пиксельных соответствий путем сужения диапазона возможных значений диспаритета в пределах фрагмента. Также, предварительное разделение изображения на фрагменты, с последующим вычислением статистических характеристик на них, позволяет оценивать степень устойчивости корреляционных алгоритмов в пределах фрагментов. Таким образом, метод оценки может выделять и обрабатывать особым образом участки изображения с ровным фоном, на которых корреляционные алгоритмы недостаточно эффективны. Результаты экспериментов свидетельствуют об эффективности предложенного метода, в частности среднее значение границы диспаритета в пределах фрагментов в четыре раза меньше границ диспаритета в пределах всей стереопары. При этом точность оценки верхней и нижней границы диспаритета для некоторых стереопар достигает 97 %.

Стереопара; пиксельное соответствие; корреляция; диспаритет; статистическая характеристика.

V.Ph. Guzik, A.V. Chumachenko STEREOPAIR DISPARITY ESTIMATE METHOD

This paper presents stereopair disparity estimate method. Estimate is provided for the whole image as well as for separate image fragments. This allows optimizing pixel correspondence search within a fragment by narrowing the range ofpossible disparity values. Moreover, splitting the initial image on fragments and calculating mathematical statistics functions on them allows estimating correlation-like approaches robustness within fragments. So, the suggested method allows to mark and handle in some special way textureless image parts on which correlation-like approaches are usually weak. Experiments demonstrate the effectiveness of the suggested method. In particular the expected value of disparity range within fragments is four times less than within the whole stereopair. For some stereopairs disparity lower and upper bounds estimate accuracy reaches 97 %.

Stereo pair; pixel correspondence; correlation; disparity; statistic function.

Введение. Установление соответствия (диспаратности) между проекциями mi(xhyi) и m2(x2,y2) некоторой точки пространства M на изображениях стереопары является ключевой задачей автоматизированных систем бинокулярного стереозрения (рис. 1).

Рис. 1. Пространственная модель формирования изображений стереопары

Разработка алгоритмов установления пиксельных соответствий остается одной из наиболее изучаемых тем в области компьютерного (машинного) зрения. Во многом это обусловлено значительным ростом производительности вычислительных устройств в последние два десятилетия.

В настоящее время разработаны алгоритмы, демонстрирующие высокое качество восстановления рельефа [1]. При использовании специализированных вычислителей, таких как ускорители NVIDIA в совокупности с интерфейсом CUDA, эти алгоритмы демонстрируют высокую производительность порядка 10-15 кадров в секунду. Однако применение определенных графических ускорителей не всегда возможно в силу специфичности требований к создаваемым системам и/или более жестким массо-габаритным требованиям к конечной системе. Поэтому актуальной остается разработка всё более эффективных алгоритмов.

Одним из важнейших свойств конечных автоматизированных систем стереозрения является способность адаптироваться к изменяющимся условиям окружающей среды. Например, изменение расстояния до объектов на изображении приводит к изменению верхней и нижней границ диспаритета пикселов стереопары. Стоит отметить, что именно этот случай не рассматривается в наиболее актуальных работах за последние 10 лет, например [1, 2, 3]. Вероятно, для каждой отдельно взятой эталонной стереопары авторы используют заранее определенные границы диспаритета пикселов. Наличие же точной предварительной оценки может повысить как адаптивность, так и производительность существующих систем стереозрения.

Корреляционная модель установления пиксельных соответствий. Рассмотрим фрагмент стереопары и точку (х,у) на базовом изображении (рис. 2) с окном размера p=(2m+1)x(2n+1), центрированном на (х,у), соотнесем вектор W(x,y) е В?, который получен путём построчного сканирования значений окна. Теперь для данной точки второго изображения (х+й,у), потенциально соответствующей точке (х,у), можно построить второй вектор Ж'(х + , у) и определить некоторую целевую функцию Е^,ф, определяющую степень корректности соответствия векторов W и ^ [4].

0 0 Базовое изображение д д Второе изображение

пдшш

W

■шш

W'

Рис. 2. Корреляция двух окон вдоль соответствующих эпиполярных линий

В качестве целевой функции могут быть использованы SAD (Sum of Absolute Differences), SSD (Sum of Squared Differences), корреляционная и т.д. Перечисленные корреляционно-подобные функции хорошо работают на текстурированных областях, т.е. в областях изображения с выраженными перепадами цвета, интенсивности. В областях изображения с ровным фоном такие алгоритмы часто находят ложные соответствия.

Пути увеличения эффективности корреляционно-подобных алгоритмов. Точность нахождения корректного соответствия в области с ровным фоном может быть увеличена при наличии оценки диспаритета пикселов. В работе [5] предлагается метод расчета верхней и нижней границы диспаритета для всего изображения в целом. Для некоторых стереопар эта оценка может быть и корректной и одновременно "широкой", например от 20 до 80 пикселов. Очевидно, что эффективнее иметь более локализованные и точные оценки для отдельных фрагментов изображения (прямоугольных или иной формы).

Отдельно стоит выделить случай, когда фрагмент целиком попадает в область с ровным фоном. Корреляционные методы в данном случае с высокой вероятностью приведут к неправильной оценке смещения. Однако такой случай может быть обработан иным способом, если будет существовать критерий так называемого ровного фона. В качестве такого критерия предлагается использовать одну из величин математической статистики, а именно среднеквадратическое отклонение цветовой интенсивности a(RGB), усредненное для цветовых каналов RGB.

Оценка текстурированности произвольного фрагмента f изображения может быть получена с помощью величины of). Значение меньше единицы свидетельствует о практически одноцветном фрагменте. Однако большие одноцветные фрагменты могут иметь o(f) =3.0 и более. То есть пороговое значение amin должно зависеть от количества пикселов фрагмента: чем больше фрагмент, тем больше amin.

Оценка максимального диспаритета пикселов стереопары. Чтобы эффективно оценивать диспаритет отдельных фрагментов, необходимо иметь оценку его верхней и нижней границы. В данной работе оценку предлагается находить статистически. Для этого проводятся последовательные серии вычислений. N раз случайным образом выбирается по M прямоугольников F={f0,fl...fM}. Для каждого набора F выделяется такое подмножество F, что

max(o( f, f))

(Vf,f. e F' ,i Ф j)---V < L5.

j)min Of, f)) (1)

То есть подмножество прямоугольников F, участвующих в расчетах, включает наиболее "надежные" из M исходных, значение функции сигма которых отличается не более чем в полтора раза. Для каждого из N подмножеств F рассчиты-вется среднее значение диспаритета average, а вместе с ним обновляются максимум и минимум диспаритета для всей стереопары:

MaxDisparity = Max(MaxDisparity, average + a(F)2.0), (2)

MinDisparity = Min(MinDisparity, average /2.0), (3)

где a(F) - среднеквадратическое отклонение диспаритета прямоугольников из F.

Оценка диспаритета фрагментов стереопары. Базовое изображение стереопары делится на заданное число прямоугольных фрагментов (50х50, т.е. на 2500 фрагментов для любой стереопары). Для каждого фрагмента вычисляется значение функции a(f), фрагменты для которых a(f)> amin помечаются как "надежные". Для них в пределах [MinDisparity,MaxDisparity] подбирается значение диспаритета, соответствующее минимальному значению целевой функции (SAD). Фрагменты, для которых o(f)<omin, итеративно укрупняются несколько раз, пока для них не выполнится условие o(f)> amin. Если после нескольких укрупнений фрагмент так и не стал "надежным", то значение диспаритета для него может быть вычислено на следующем шаге.

Для вычисления верхней и нижней границы диспаритета внутри фрагментов используются значения из соседних фрагментов. Верхняя граница принимается равной максимальному значению диспаритета текущего фрагмента и соседних с ним (рис. 3). Аналогично вычисляется нижняя граница диспаритета.

После выполнения указанных действий для некоторых фрагментов граница диспаритета может оставаться неопределенной. Для устранения этой неопределенности могут быть использованы границы диспаритета для всей стереопары в целом, а именно [MinDisparity, MaxDisparity].

- - -

- 12;17 -

- - -

13 ? 13

13 15 12

13 17 ?

Рис. 3. Оценка верхней и нижней границы диспаритета фрагмента

Экспериментальная проверка эффективности метода. Для проверки эффективности предложенного метода используем стереопары с эталонными картами глубины из источников [6, 7]. Критериями эффективности предложенного метода будем считать:

♦ долю пикселов, для которых граница диспаритета найдена корректно;

♦ средний размер интервала диспаритета для всех пикселов.

Выводы. Исходя из данных, приведенных в табл. 1, можно сделать выводы об эффективности предложенного метода оценки границ диспаритета стереопары:

1. Метод эффективен для стереопар со средней и высокой текстурированно-стью. Доля корректных оценок достигает 97 % пикселов.

2. Средний размер интервала диспаритета в пределах выделенных фрагментов почти в 4 раза меньше, чем интервал для всей стереопары. Это может ускорить основной шаг установления пиксельных соответствий в 4 раза.

3. Метод может быть неэффективен для больших участков с ровным фоном, что подтверждается низким числом корректных оценок для стереопары 2006_Wood2.

Таблица 1

Стереопара Доля корр. оценок Средний диспаритет Максимальный диспаритет

2005 Art 95,62% 5,94 23

2005 Books 97,53% 5,10 20

2005 Moebuis 97,70% 5,08 20

2006 Cloth4 87,60% 4,54 19

2006 Lampshade2 85,50% 6,51 22

2006 Monopoly 65,31% 2,99 14

2006 Wood2 96,18% 6,42 24

Среднее 89,35% 5,23 20,29

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Xing Mei, Xun Sun, Mingcai Zhou, Shaohui Jiao, Haitao Wang, Xiaopeng Zhang. On building an accurate stereo matching system on graphics hardware // Computer Vision Workshops, 2011 IEEE International Conference on Stereo Vision, date of Conference: 6-13 Nov. 2011.

- P. 467-474.

2. Klaus A., Sormann M. and Karner K. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure // In International Conference on Pattern Recognition (ICPR 2006). - P. 15-18.

3. Z. Wang and Z. Zheng. A region based stereo matching algorithm using cooperative optimization // Computer Vision and Pattern Recognition. - 2008. - P. 1-8.

4. Форсайт Девид А., Понс Жан. Компьютерное зрение. Современный подход: Пер. с англ.

- М., 2004. - 928 с.

5. Гузик В.Ф., Чумаченко А.В. Статистический метод оптимизации локальных алгоритмов установления пиксельных соответствий на стереопарах // Известия высших учебных заведений Северо-Кавказский регион. Технические науки. - 2011. - № 4. - С. 20-25.

6. Scharstein D.and Pal C. Learning conditional random fields for stereo // In IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2007), Minneapolis, MN, June 2007. URL: http://vision.middlebury.edu/stereo/data (дата обращения 2013.12.30).

7. Hirschmuller H. and Scharstein D. Evaluation of cost functions for stereo matching // In IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2007), Minneapolis, MN, June 2007. URL: http://vision.middlebury.edu/stereo/data (дата обращения 2013.12.30).

Статью рекомендовал к опубликованию д.т.н., профессор Н.И. Витиска.

Гузик Вячеслав Филиппович - Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Южный федеральный университет»; e-mail: vfguzik@sfedu.ru; 347928, г. Таганрог, Энгельса, 1; тел.: 88634371428, 89064287987; кафедра вычислительной техники; зав. кафедрой; д.т.н.; профессор.

Чумаченко Александр Викторович - e-mail: alex_chumachenko@mail.ru; тел.: +79281554935; кафедра вычислительной техники; аспирант.

Guzik Vyacheslav Filippovich - Federal State-Owned Autonomy Educational Establishment of Higher Vocational Education “Southern Federal University”; e-mail: vfguzik@sfedu.ru; 1, Engels, Taganrog, 347928, Russia; phones: +78634371428, +79064287987; the department of computer engineering; head the department; dr. of eng. sc.; professor.

Chumachenko Aleksandr Victorovich - e-mail: alex_chumachenko@mail.ru; phone: +79281554935; the department of computer engineering; postgraduate student.

УДК 620.9:519.711

В.В. Соловьев, О.В. Косенко

АЛГОРИТМ ФУНКЦИОНИРОВАНИЯ АДАПТИВНОГО НЕЧЕТКОГО

РЕГУЛЯТОРА*

В работе описан принцип функционирования системы управления с адаптивным нечетким регулятором, содержащей эталонную модель, объект управления, блок адаптации и нечеткий регулятор. Показан механизм заполнения пустой базы правил в режиме нормального функционирования объекта управления, связанный с изменением положения центров функций принадлежности выходного сигнала регулятора в зависимости от сигнала рассогласования выхода эталонной модели и объекта управления. Приведен механизм определения активных правил регулятора, обусловленный сочетанием активных функций принадлежности лингвистических переменных. Выполнена характеристика масштабных коэффициентов регуляторов и определены их величины в зависимости от амплитуды входных и выходных сигналов регулятора. Приведены этапы алгоритма функционирования адаптивного нечеткого регулятора. Показаны выражения для реализации лингвистических переменных входных и выходных сигналов регулятора. Приведено определение первоначальной базы правил и определены модули подпрограмм алгоритма нечеткого логического вывода, допускающие реализацию с применением популярных языков программирования. Раз-

*

Материалы статьи подготовлены в рамках выполнения работ по гранту Российского научного фонда № 14-19-01533

i Надоели баннеры? Вы всегда можете отключить рекламу.