CC BY
51
УДК 621.398
С.В. Кравцов, Е.В. Сивокоз
ПОВЫШЕНИЕ ДОСТОВЕРНОСТИ ВЫДЕЛЕНИЯ ТОЧЕЧНЫХ ОСОБЕННОСТЕЙ СЦЕНЫ НА ЗАШУМЛЕННЫХ ЦИФРОВЫХ ИЗОБРАЖЕНИЯХ*
Оценена эффективность анализа сцены по цифровому телевизионному изображению детектором точечных особенностей в условиях некоррелированных стационарных шумов. Рассмотрены два метода, направленные на повышение достоверности выделения особенностей сцены на цифровых изображениях в условиях интенсивных некоррелированных шумов. Сформулированы требования по обеспечению необходимого уровня отношения сигнал/шум для эффективного компьютерного анализа сцены по телевизионному изображению детектором точечный особенностей. Установлено, что для обеспечения вероятности правильного выделения не ниже 0,95 и вероятности ложного выделения точечных особенностей сцены не выше 0,05 в системах анализа точечных особенностей сцены необходимый уровень отношения сигнал/шум в телевизионных изображениях должен быть не ниже 42 дБ. В противном случае вероятность ложного выделения точечных особенностей сцены возрастает, что требует проведение дополнительных процедур по повышению достоверности выделения точечных особенностей сцены в цифровом телевизионном изображении. Повышение достоверности выделения особенностей сцены в условиях интенсивных некоррелированных шумов возможно за счет процедур накопления кадров видеопоследовательности; либо накопления наборов точечных особенностей, полученных по кадрам видеопоследовательности, с последующей пороговой обработкой. Произведено сравнение методов повышения достоверности выделения особенностей сцены в условиях интенсивных некоррелированных шумов. Метод накопления наборов точечных особенностей показывает более высокую достоверность выделения точечных особенностей сцены по сравнению с методом накопления сигнала при равных количествах накоплений. Результаты исследований позволяют повысить эффективность компьютерного анализа сцены по телевизионному изображению в автономных комплексах локальной навигации и позиционирования на основе систем технического зрения в условиях интенсивных некоррелированных шумов.
Детектор точечных особенностей; отношение сигнал/шум; цифровое телевизионное изображение.
S.V. Kravtsov, E.V. Sivokoz
INCREASING THE ALLOCATION POINT SINGULARITIES SCENES RELIABILITY ON NOISY DIGITAL IMAGES
The efficiency of the analysis stage of digital television image detector point features in a stationary uncorrelated noise. Two methods to improve the reliability of the isolation characteristics of the scene on digital images under intensive uncorrelated noise. The requirements to ensure the necessary level of signal/noise ratio for effective computer analysis of the scene on the image detector television spot features. It was found that the probability for a correct allocation of not less than 0,95 and a probability offalse selection ofpoint features a scene no more than 0,05 point in the systems analysis stage features the necessary level of signal/noise ratio in the television images must be at least 42 dB. Otherwise, the probability of a false separation point increases scenes features that require additional procedures to improve the reliability of the separation point features scenes. Increased reliability features scene selection in the conditions of intensive uncorrelated noise is possible due to the accumulation offrames of a video sequence of procedures; or accumulation of a set of point features, received the HR video sequence, followed by thresholding. Comparison of methods for increasing the reliability of the features of the scene selection in the conditions of intensive uncorrelated noise. The method sets the accumulation of point features shows higher accuracy of the release point of the scene features compared with the
*
Работа выполнена при поддержке РФФИ, проект № 14-08-00071-а.
method of signal acquisition with equal amounts of savings. The research results will improve the effectiveness of computer analysis of the scene on the TV picture in the autonomous complexes, local navigation and positioning based on vision systems under intensive uncorrelated noise.
Detection ofpoint features; signal / noise ratio; a digital TV picture.
Введение. Для анализа сцены крайне важно, чтобы телевизионная система тождественно отражала (воспроизводила) окружающие предметы. На качество тождественного отражения сцены в телевизионном изображении существенным образом могут влиять шумы, неизбежно возникающие под воздействием внешних и внутренних факторов. Существующие методики субъективной оценки влияния шумов на качество телевизионного изображения [6, 9, 12] не отражают современных тенденций внедрения автономных систем компьютерного анализа сцены по телевизионному изображению. Простейшими и весьма эффективными инструментами компьютерного анализа сцены по телевизионному изображению являются детекторы точечных особенностей [1, 3, 7, 10, 20]. К примеру, использование детекторов точечных особенностей сцены в автономных комплексах локальной навигации и позиционирования на основе систем технического стереозрения позволяет эффективным способом анализировать окружающую сцену по картам диспаритета точечных особенностей. Качество карт диспаритета точечных особенностей сцены во многом определяется качеством анализируемых цифровых телевизионных сигналов и прежде всего наличием в нем шумовых составляющих.
В работе приводятся результаты исследований, целью которых является, с одной стороны, изучение эффективности анализа сцены по телевизионному изображению детектором точечных особенностей в условиях некоррелированных стационарных шумов, с другой стороны исследование методов, направленных на повышение достоверности выделения особенностей сцены на цифровых изображениях в условиях интенсивных некоррелированных шумов. Результаты исследований позволяют повысить эффективность компьютерного анализа сцены по телевизионному изображению в автономных комплексах навигации и позиционирования на основе систем технического зрения [2, 6, 8, 9, 11, 15, 16].
Эффективность анализа сцены по телевизионному изображению детектором точечных особенностей в условиях некоррелированных стационарных шумов. На рис. 1 представлена схема экспериментов. В качестве телевизионного изображения S, фиксирующего статичную сцену, используется цифровой полутоновый фотоснимок, размерностью \/М пикселей, причем
521 * * 5ла
л* • • • л*
V 1М
где - интенсивность полезного телевизионного сигнала в i] пикселе.
Полагается, что цифровой фотоснимок тождественно отражает (воспроизводит) предметы окружающей сцены и не содержит шумов, кроме шумов квантования, не оказывавших существенного влияния [4-6, 17].
Анализ изображения с помощью детектора точечных особенностей позволяет выделить на изображении вектор-массив характерных точек С1 размерностью Вектор-массив характерных точек С1 используется как эталонный для сравнения с набором характерных точек С2 (размерностью выделяемых детектором точечных особенностей при анализе изображения 8 с внесенными некоррелированными стационарными шумами g, причем
ё =
511 ?12
\&1 М ' ' 6 NMJ
где gij - интенсивность внесенных в i] пиксель изображения шумов.
Рис. 1. Схема проведения экспериментов
Сравнение ^ и C2 производится с целью выявления количества п одинаковых точек в наборах, что позволяет найти долю правильно определенных точечных особенностей сцены
Рпо =
и количества новых выделенных точек в наборе ^ m=k2-n, появившихся вследствие воздействия на изображение S внесенных шумов. Это позволяет найти долю неправильно (ложно) определенных точечных особенностей сцены
р _ т/
Рло = /к2 •
При изменении мощности помехи сё2, воздействующей на исходное изображение S, получены зависимости Рпо и Рло от отношения сигнал/шум, определяемого [4, 5, 7, 10, 20] как
Р,
ОСШ = 10 • , дБ,
° я
где Рпс - мощность полезного сигнала телевизионного изображения, значение которой может быть получено
1 N М
р=—;„г-
'=11=1
N • М
В качестве детектора точечных особенностей в экспериментах использовался детектор Харриса [1, 3], позволяющий найти точки, соответствующие контрастным угловым особенностям объектов, зафиксированных в изображении сцены. Порог для формирования наборов ^ и ^ детектором Харриса при анализе различных изображений фиксировался на значении, обеспечивающем примерно одинаковые длинны эталонных наборов ^ (^-1000). Модели шумов и их влияние на качество изображения достаточно подробно рассмотрены в [4, 10, 17-20]. В исследованиях использовалась модель стационарных как по пространству изображения, так и по времени наблюдения некоррелированных несмещенных гауссовых шумов N(0, сг2).
Суть экспериментов по исследованию эффективности анализа сцены детектором точечных особенностей в условиях некоррелированных стационарных шумов проиллюстрирована на рис. 2. На рис. 2,а показано тождественное изображение сцены в отсутствии шумов, которое при анализе детектором точечных особенностей показывает эталонный набор точек С1 (рис. 2,б). При внесении в изображение шумов с мощностью сг2 детектор точечных особенностей выделяет набор точек С2 (рис. 2,в), который сравнивается с С1 (рис. 2,г). Сравнение показывает совпадающие точки наборов С1 и С2, а также ложные и пропущенные точки, суммарные количества которых служат основанием для расчета показателей Рпо и Рло для заданного значения ОСШ.
а - исходное изображение Б б - выделенный на Б эталонный набор С}
в - зашумленное изображение S+g и выделенный набор точек С2
г - сравнение наборов С} и С2
Рис. 2. Иллюстрация этапов экспериментов по исследованию эффективности анализа сцены детектором точечных особенностей в условиях некоррелированных стационарных шумов
Принимая во внимание огромное разнообразие изображений различных сцен, которое может быть получено с помощью телевизионных систем, для анализа были выбраны полутоновые изображения разноплановых природных ландшафтов (в 8 битовой кодировке градаций интенсивности серого, размерностью 1024*768 пикселей). Принимая также во внимание статистическую погрешность получения зависимостей Рпо и Рло от ОСШ вследствие случайности реализаций вносимых шумов, были осуществлены множественные повторы экспериментов для установления наблюдаемости и воспроизводимости результатов. Полученные результаты представлены на рис. 3.
ОСШ, дБ
а) слева - изображение РШ1; в центре - ансамбль реализаций зависимости Рпо(ОСШ); справа - ансамбль реализаций зависимости Рло(ОСШ)
б) слева - изображение РШ2 ; в центре - ансамбль реализаций зависимости Рпо(ОСШ); справа - ансамбль реализаций зависимости Рло(ОСШ)
в) слева - изображение РШ3; в центре - ансамбль реализаций зависимости Рпо(ОСШ); справа - ансамбль реализаций зависимости Рло(ОСШ)
Рис. 3. Реализации зависимостей Рпо и Рло от ОСШ для различных телевизионных
изображений.
Результаты усреднения полученных реализаций зависимостей Рпо и Рло от ОСШ для различных телевизионных изображений (рис. 4) показывают устойчивую тенденцию асимптотического приближения Рпо^1 (Рло^0) при увеличении значений ОСШ.
При определении допустимых рисков неправильного выделения точечных особенностей в сцене и пропусков действительных, можно сформулировать требования к необходимому уровню отношения сигнал/шум в телевизионном изображении для анализа сцены с приемлемым качеством. Например, из данных представленных на рис. 4 следует, что для обеспечения Рпо > 0,95 и Рло < 0,05 необходимый уровень ОСШ должен быть не ниже 42 дБ.
Рис. 4. Усреднения полученных реализаций зависимостей Рпо (справа) и Рло (слева) от ОСШ для различных телевизионных изображений
Повышение достоверности выделения особенностей сцены в условиях интенсивных некоррелированных шумов. Анализ реализаций Рло от ОСШ для различных цифровых изображений показал, что в условиях низких значений ОСШ, что соответствует интенсивной шумовой обстановке, детектором точечных особенностей выделяется значительное количество ложных точек, не присутствующих в эталонном наборе. Уменьшение их количества будет способствовать повышению достоверности анализа сцены, что рассматривается как отдельная важная задача исследований.
Задача повышения достоверности анализа сцены детектором точечных особенностей может рассматриваться в ракурсе уменьшения шумовой составляющей в изображении за счет либо сглаживающей фильтрации [17-20], либо накопления сигнала. Сглаживающая фильтрации каждого кадра видеопоследовательности потребует значительных вычислительных ресурсов на борту и вряд ли может быть реализована в автономной системе анализа сцены. Кроме того, сглаживающие процедуры влияют не только на уменьшение уровня шумов в изображении, но и на полезный сигнал, уменьшая контраст и резкость в изображении, что может оказывать негативное влияние на работу детектора точечных особенностей.
Накопление сигнала (рис. 5) способствует повышению уровня полезного сигнала на фоне шума пропорционально количеству суммируемых кадров. Однако, для статистической достоверности получения чистого полезного сигнала и выделения на нем достоверного набора особенностей сцены, объем накапливаемых кадров должен быть значительным. Только при выполнении этих условий средняя накопленная шумовая составляющая будет нулевой.
Рис. 5. Накопление сигнала
В качестве альтернативы следует рассматривать (рис. 6) метод накопления наборов точечных особенностей, получаемых по каждому зашумленному кадру видеопоследовательности, с последующей пороговой обработкой, предусматривающей отсеивание ложных точек. Порог устанавливается равным количеству накоплений. В этом случае можно выделить особенности сцены, стойкие к шумовому воздействию.
Рис. 6. Накопление наборов точечных особенностей
Сравнение результатов работы методов накопления сигнала и наборов точечных особенностей для изображения РюИ представлено на рис. 7. Результаты получены при количестве накоплений 2, 3 и 4, что обозначено на соответствующих графиках.
а б
Рис. 7. Ансамбль реализаций зависимости Рло(ОСШ) для 2, 3 и 4-х накоплений: а - Метод накопления сигнала; б - Метод накопления наборов
Следует отметить, что метод накопления наборов точечных особенностей показывает более высокую достоверность выделения точечных особенностей сцены по сравнению с методом накопления сигнала. С другой стороны следует признать, что метод накопления наборов точечных особенностей является более затратным в вычислительном плане, поскольку требует анализа каждого кадра видеопоследовательности детектором точечных особенностей.
Заключение. Проведенные исследования позволяют формулировать требования к необходимому уровню ОСШ в телевизионном изображении с позиции потребления этого сигнала автономными системами компьютерного анализа сцены и измерительных комплексов на основе систем технического зрения [13, 14]. Установлено, что для обеспечения Рпо > 0,95 и Рло < 0,05 в системах анализа точечных особенностей сцены необходимый уровень ОСШ в телевизионном изображении должен быть не ниже 42 дБ.
Повышение достоверности выделения особенностей сцены в условиях интенсивных некоррелированных шумов возможно за счет процедур накопления кадров видеопоследовательности; либо накопления наборов точечных особенностей с последующей пороговой обработкой. Метод накопления наборов точечных особенностей показывает более высокую достоверность выделения точечных особенностей сцены по сравнению с методом накопления сигнала при равных количествах накоплений.
Результаты исследований позволяют повысить эффективность компьютерного анализа сцены по телевизионному изображению в автономных комплексах навигации и позиционирования на основе систем технического зрения.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Harris C. and Stephens M. A combined corner and edge detector // Proceedings of the 4th Alvey Vision Conference. - 1988. - P. 147-151.
2. Rumyantsev K.E., Kravtsov S. V. Positioning autonomous mobile robot based on measurements onboard digital stereo vision system // International Journal of Robotics Applications and Technologies (IJRAT). - July-December 2014. - Vol. 2, No. 2. P. 37-77.
3. Mikolajczyk K. Detection of local features invariant to affine transformations, Ph.D. thesis, Institut National Polytechnique de Grenoble, France, 2002.
4. Гонсалес Р., Вудс Р. Цифровая обработка изображений: Пер. с англ. - М.: Техносфера, 2005. - 1072 с.
5. Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде MATLAB: Пер. с англ. - М.: Техносфера, 2006. - 616 с.
6. Горелик С.Л., Кац Б.М., Киврин В.И. Телевизионные измерительные системы. - М.: Связь, 1980. - 168 с.
7. Дуда Р., Харт П. Распознавание образов и анализ сцен: Пер. с англ. - М.: Мир, 1976. - 511 с.
8. Кемурджиан Л.А., Громов В.В., Кажукало И.Ф. и др. Планетоходы / Под ред. Л.А. Ке-мурджиана. - 2-е изд., перераб. и доп. - М.: Машиностроение, 1993. - 400 с.
9. Мошкин В.И., Титов В.С., Якушенков Ю.Г. Техническое зрение роботов. - М.: Машиностроение, 1990. - 272 с.
10. Прэт У. Цифровая обработка изображений: Пер. с англ. - М.: Мир, 1982. - Кн. 1. - 312 с.
11. Радиотехнические и телевизионные средства сбора и обработки информации // Сборник научных статей / Под ред. К.Е. Румянцева. - Таганрог: Изд-во ТРТУ, 1998. - 162 с.
12. Рекомендации МСЭ-Р 500-5 Методика субъективной оценки качества телевизионных изображений.
13. Румянцев К.Е., Кравцов С.В. Анализ измерительного пространства цифровой телевизионной стереоскопической системы. Точечное и интервальное оценивание координат точек трехмерной сцены // Электротехнические и информационные комплексы и системы.
- 2011. - Т. 7, № 3. - С. 38-48.
14. Румянцев К.Е., Кравцов С.В. Анализ ошибок измерений глубины точек трехмерной сцены цифровой телевизионной стереоскопической системой // Радиотехника. - 2011. - № 9.
- С. 83-93.
15. Румянцев К.Е., Кравцов С.В. Исследование параметрической связи динамики мобильного робота и бортовой бинокулярной системы технического зрения методом спектрального анализа // Мехатроника, автоматизация, управление. - 2013. - № 9. - С. 15-18.
16. Румянцев К.Е., Кравцов С.В. Оптимизация выбора пар ориентиров для позиционирования по данным измерений цифровой телевизионной системы стереозрения // Электротехнические и информационные комплексы и системы. - 2012. - Т. 8, № 4. - С. 12-21.
17. Сойфер В.А. Методы компьютерной обработки изображений / Под ред. В.А. Сойфера.
- 2-е изд., испр. - М.: Физматлит, 2003. - 784 с.
18. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход: Пер. с англ. - М.: Издательский дом «Вильямс», 2004. - 928 с.
19. Шапиро Л., Стокман Дж. Компьютерное зрение: Пер. с англ. - М.: БИНОМ. Лаборатория знаний, 2006. - 752 с.
20. Яне Б. Цифровая обработка изображений: Пер. с англ. - М.: Техносфера, 2007. - 584 с.
REFERENCES
1. Harris C. and Stephens M. A combined corner and edge detector, Proceedings of the 4th Alvey Vision Conference, 1988, pp. 147-151.
2. Rumyantsev K.E., Kravtsov S. V. Positioning autonomous mobile robot based on measurements onboard digital stereo vision system, International Journal of Robotics Applications and Technologies (IJRAT), July-December 2014, Vol. 2, No. 2, pp. 37-77.
3. Mikolajczyk K. Detection of local features invariant to affine transformations, Ph.D. thesis, Institut National Polytechnique de Grenoble, France, 2002.
4. Gonsales R., Vuds R. Tsifrovaya obrabotka izobrazheniy [Digital Image Processing]: Trans. from English. Moscow: Tekhnosfera, 2005, 1072 p.
5. GonsalesR., VudsR., EddinsS. Tsifrovaya obrabotka izobrazheniy v srede MATLAB [Digital Image Processing environment MATLAB]: Trans. from English. Moscow: Tekhnosfera, 2006, 616 p.
6. GorelikS.L., Kats B.M., Kivrin V.I. Televizionnye izmeritel'nye sistemy [Television measuring systems]. Moscow: Svyaz', 1980, 168 p.
7. Duda R., Khart P. Raspoznavanie obrazov i analiz stsen [Detection and Scene Analysis]: Trans. from English. M.: Mir, 1976, 511 p.
8. Kemurdzhian L.A., Gromov V.V., Kazhukalo I.F. i dr. Planetokhody [Planetary], Ed. by L.A. Kemurdzhiana. 2nd ed. Moscow: Mashinostroenie, 1993, 400 p.
9. Moshkin V.I., Titov V.S., Yakushenkov Yu.G. Tekhnicheskoe zrenie robotov [Technical robot vision]. Moscow: Mashinostroenie, 1990, 272 p.
10. Pret U. Tsifrovaya obrabotka izobrazheniy [Digital image processing]: Trans. from English. Moscow: Mir, 1982. Book 1, 312 p.
11. Radiotekhnicheskie i televizionnye sredstva sbora i obrabotki informatsii [Radio engineering and television means of collecting and processing], Sbornik nauchnykh statey [Collection of scientific articles]. Ed. By K.E. Rumyantsev. Taganrog: Izd-vo TRTU, 1998, 162 p.
12. Rekomendatsii MSE-R 500-5 Metodika sub"ektivnoy otsenki kachestva televizionnykh izobrazheniy [Recommendation ITU-R 500-5 Methods of subjective assessment of the quality of television pictures].
13. Rumyantsev K.E., Kravtsov S.V. Analiz izmeritel'nogo prostranstva tsifrovoy televizionnoy stereoskopicheskoy sistemy. Tochechnoe i interval'noe otsenivanie koordinat tochek trekhmernoy stseny [Analysis of measuring space stereoscopic digital television system. Spot and interval estimation of the three-dimensional coordinates of the points of the scene], Elektrotekhnicheskie i informatsionnye kompleksy i sistemy [Electrical and Information Complexes and Systems], 2011, Vol. 7, No. 3, pp. 38-48.
14. Rumyantsev K.E., Kravtsov S.V. Analiz oshibok izmereniy glubiny tochek trekhmernoy stseny tsifrovoy televizionnoy stereoskopicheskoy sistemoy [Analysis of measurement error of depth points of a three-dimensional scene of digital stereoscopic television system], Radiotekhnika [Radio engineering], 2011, No. 9, pp. 83-93.
15. Rumyantsev K.E., Kravtsov S.V. Issledovanie parametricheskoy svyazi dinamiki mobil'nogo robota i bortovoy binokulyarnoy sistemy tekhnicheskogo zreniya metodom spektral'nogo analiza [Investigation of parametric coupling of the dynamics of the mobile robot and the onboard binocular vision system spectral analysis], Mekhatronika, avtomatizatsiya, upravlenie [Mecha-tronics, Automation, Control], 2013, No. 9, pp. 15-18.
16. Rumyantsev K.E., Kravtsov S.V. Optimizatsiya vybora par orientirov dlya pozitsionirovaniya po dannym izmereniy tsifrovoy televizionnoy sistemy stereozreniya [Optimization of selecting pairs of reference points for the positioning of the measurement data of digital TV system stereo vision], Elektro-tekhnicheskie i informatsionnye kompleksy i sistemy [Electrical and Information Complexes and Systems], 2012, Vol. 8, No. 4, pp. 12-21.
17. Soyfer V.A. Metody komp'yuternoy obrabotki izobrazheniy [Methods of computer image processing], Ed. by V.A. Soyfera. 2nd ed. - Moscow: Fizmatlit, 2003, 784 p.
18. Forsayt D., Pons Zh. Komp'yuternoe zrenie. Sovremennyy podkhod [Computer vision. Modern Approach]: Trans. from English. Moscow: Izdatel'skiy dom «Vil'yams», 2004, 928 p.
19. Shapiro L., Stokman Dzh. Komp'yuternoe zrenie [Computer vision]: Trans. from English. Moscow: BINOM. Laboratoriya znaniy, 2006, 752 p.
20. Yane B. Tsifrovaya obrabotka izobrazheniy [Digital image processing]: Trans. from English. Moscow: Tekhnosfera, 2007, 584 p.
Статью рекомендовал к опубликованию д.т.н., профессор Д.А. Безуглов.
Кравцов Сергей Валентинович - Южный федеральный университет; e-mail: [email protected]; 347922, г. Таганрог, ул. Чехова, 2; кафедра информационной безопасности телекоммуникационных систем; к.т.н.; доцент.
Сивокоз Елена Валерьевна - e-mail: [email protected]; кафедра информационной безопасности телекоммуникационных систем; аспирант.
Kravtsov Sergey Valentinovich - Southern Federal University; e-mail: [email protected]; 2, Chekhov, street Taganrog, 347922, Russia; the department of information security of telecommunication systems; cand. of eng. sc.; associate professor.
Sivokoz Elena Valer'evna - e-mail: [email protected]; the department of information security of telecommunication systems; postgraduate student.
