ОЦЕНКА ЭФФЕКТИВНОСТИ ОБРАБОТКИ ИЗОБРАЖЕНИЙ В ЗАДАЧЕ ОБНАРУЖЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ ОПТИКО-ЭЛЕКТРОННОЙ СИСТЕМОЙ НАБЛЮДЕНИЯ Текст научной статьи по специальности «Компьютерные и информационные науки»



http://dx.doi.org/10.35596/1729-7648-2022-20-4-29-35

Оригинальная статья Original paper

УДК 623.618

ОЦЕНКА ЭФФЕКТИВНОСТИ ОБРАБОТКИ ИЗОБРАЖЕНИЙ В ЗАДАЧЕ ОБНАРУЖЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ ОПТИКО-ЭЛЕКТРОННОЙ

СИСТЕМОЙ НАБЛЮДЕНИЯ

Е.И. МИХНЁНОК, А.В. ХИЖНЯК

Военная академия Республики Беларусь (г. Минск, Республика Беларусь)

Поступила в редакцию 26 апреля 2022

© Белорусский государственный университет информатики и радиоэлектроники, 2022

Аннотация. В статье рассмотрен предлагаемый авторами подход к оценке эффективности обработки изображений в задаче обнаружения движущихся объектов оптико-электронной системой наблюдения. Многообразие показателей, применяемых в настоящее время исследователями для оценки качества обработки изображений, говорит о том, что общих подходов пока не выработано. Применение конкретных показателей определяется особенностями реализованных подходов к обработке изображений, а также спецификой задачи, в интересах которой осуществляется обработка. Рассматриваемая авторами задача оценки эффективности разработанного способа обработки изображений применительно к задаче обнаружения движущихся объектов оптико-электронной системой наблюдения определяет необходимость ее рассмотрения по двум направлениям. Первое, с точки зрения эффективности применения реализованных подходов к обработке изображений в целях повышения пикового отношения сигнал/шум. Второе, с точки зрения повышения эффективности работы автоматического обнаружителя за счет уменьшения уровня его ложной тревоги. При этом дополнительное определение вероятности правильного обнаружения и построения кривых обнаружения является обязательным, так как в своей совокупности они являются общепринятыми показателями качества обнаружения. Применение предлагаемого подхода позволит в дальнейшем производить сравнение качества работы разработанного способа обработки изображений с другими подобными способами, а также оценивать работу вновь разрабатываемых.

Ключевые слова: обработка изображений, обнаружение движущихся объектов, оптико-электронная система наблюдения, оценка эффективности.

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

Для цитирования. Михнёнок Е.И., Хижняк А.В. Оценка эффективности обработки изображений в задаче обнаружения движущихся объектов оптико-электронной системой наблюдения. Доклады БГУИР. 2022; 20(4): 29-35.

EVALUATING THE EFFECTIVENESS OF IMAGE PROCESSING IN THE TASK OF DETECTING MOVING OBJECTS BY AN OPTOELECTRONIC SURVEILLANCE SYSTEM

EVGENY I. MIKHNIONOK, ALEXANDER V. KHIZNIAK

Military Academy of the Republic of Belarus (Minsk, Republic of Belarus)

Submitted 26 April 2022

© Belarusian State University of Informatics and Radioelectronics, 2022

Abstract. The article considers the approach proposed by the authors to evaluate the effectiveness of image processing in detecting moving objects by an optoelectronic surveillance system. The variety of indicators currently used by researchers to assess the quality of image processing suggests that common approaches have not yet been developed. The application of specific indicators is determined by the features of the implemented approaches to the image processing, as well as the specifics of the task in the interests of which the processing is carried out. The problem considered by the authors, assessing the effectiveness of the developed image processing method in relation to the problem of detecting moving objects by an optoelectronic surveillance system, determines the need for its consideration in two directions. The first is from the point of view of the effectiveness of the implemented approaches to image processing in order to increase the peak signal-to-noise ratio. The second is, in terms of increasing the efficiency of the automatic detector, by reducing the level of its false alarm. At the same time, the need for additional determination of the probability of correct detection and the construction of detection curves is mandatory, since in their entirety they are generally accepted indicators of the quality of detection. The application of the proposed approach will allow further comparison of the quality of the developed image processing method with other similar methods, as well as evaluation of the work of newly developed ones.

Keywords: image processing, detection of moving objects, optical-electronic surveillance system, efficiency assessment. Conflict of interests. The authors declare no conflict of interests.

For citation. Mikhnionok E.I., Khizniak A.V. Evaluating the Effectiveness of Image Processing in the Task of Detecting Moving Objects by an Optoelectronic Surveillance System. Doklady BGUIR. 2022; 20(4): 29-35.

Введение

В настоящее время для решения различных задач человеческой деятельности все более широкое применение получают оптико-электронные системы наблюдения. На данные системы возлагается выполнение разнообразных по сложности функций, начиная от простого вывода на отображение информации о наблюдаемой сцене, заканчивая подготовкой решений на применение оружия. Решение конкретных задач оптико-электронными системами реализуется посредством применения специализированных алгоритмов обработки изображений. Определение подходов к оценке качества обработки изображений для решения конечной задачи оптико-электронной системой наблюдения (например, обнаружение, сопровождение, распознавание и др.) является актуальным как в настоящее время, так и, безусловно, останется в будущем ввиду отсутствия общей теории решения подобных задач.

Целью данной статьи является описание примененного подхода к оценке эффективности обработки изображений в задаче обнаружения движущихся объектов оптико-электронной системой наблюдения.

Основная часть

В рамках выполнения ряда исследований авторами разработан способ обработки изображений применительно к задаче автоматического обнаружения движущихся объектов оптико-электронной системой тепловизионного типа. Особенностью разработанного способа, подробно изложенного в [1], является совместное применение метода вычитания фона

и пространственно-временной фильтрации. Ключевой задачей является оценка эффективности применения реализованных подходов при обработке изображений, а также их влияние на качество решения задачи обнаружения движущихся объектов оптико-электронной системой наблюдения. При этом целесообразным является применение показателей, характеризующих как качество обработки изображений, так и качество решения задачи обнаружения.

Проведенный анализ применяемых подходов к оценке качества обработки изображений показал, что на современном этапе развития все показатели можно разделить на две большие группы: объективные и субъективные (рис. 1).

_*

Субъективные

Экспертные оценки

Показатели качества обработки изображений ■ ;

Объективные |

Эталонные

Неэталонные

Пиковое отношение сигнал/ шум

Мера структурного подобия

Средняя квадратическая ошибка

Норма Минковского

Отношение сигнал/шум

Контраст

Коэффициент восстанавливаемости изображения

Рис. 1. Классификация показателей качества обработки изображений Fig. 1. Classification of image processing quality indicators

Субъективные показатели оценки качества обработки изображений используются, когда оценка качества обработки осуществляется человеком. Так как человек является приемником в большинстве приложений цифровой обработки изображений, то в данном контексте субъективный визуальный анализ является достаточно точным методом оценки качества изображений. В ходе субъективного анализа решение о качестве принимается группой экспертов, а окончательная оценка есть среднее арифметическое всех оценок членов группы.

Однако данная группа имеет серьезные недостатки:

- дороговизна и низкая скорость работы;

- зависимость результатов от точности соблюдения экспериментальных условий и эмоционального состояния экспертов;

- отсутствие количественных оценок.

Последний пункт является главным недостатком субъективных показателей. Он не позволяет получать количественные оценки качества результатов обработки изображений в динамике.

Группа объективных показателей определяется с помощью специальных алгоритмов без привлечения экспертов. Алгоритм может использовать оригинал изображения для оценки качества, то есть быть эталонным, или может определять качество без оригинала изображения, то есть быть неэталонным. При этом данные показатели могут использоваться для оценки как с точки зрения итогового оценивания человеком, то есть выставленные автоматически оценки должны соответствовать субъективным метрикам, так и для оценивания, где итоговый результат достаточно сложно определить человеку. Однако должны быть получены конкретные количественные оценки. Более подробно данные показатели рассмотрены в [2].

Так как реализованные подходы к обработке изображений в разработанном способе направлены на улучшение решения задачи обнаружения, то наибольший интерес представляют следующие показатели: контраст, отношение сигнал/шум, пиковое отношение/сигнал шум. В качестве критерия необходимо рассматривать максимизацию их значения.

Контраст: в оптической локации под контрастом понимается приращение яркости цели L

в плоскости расположения цели относительно яркости фона Lф, на котором цель наблюдается [3]:

K=L - L

(1)

или их безразмерное отношение (относительный контраст)

L - L,

K = L—p • (2)

Lц + LФ

Отношение сигнал/шум (SNR - signal-to-noise-ratio) - величина, равная отношению мощности полезного сигнала к мощности шума [4, 5]:

(P \ (A \

SNR = 10lg = 201g

V Рш )

Ас

А. ' <3)

где Рс,Рш - средняя мощность сигнала и шума соответственно; Ас, Аш - среднее квадратическое значение амплитуды сигнала и шума соответственно.

Пиковое отношение сигнал/шум (PSNR - peak-signal-to-noise-ratio) представляет собой отношение максимального значения сигнала к среднему квадратическому уровню шума, которое определяется разницей между пикселями исходного и обработанного изображения. Следует отметить, что критерий измерения пикового отношения сигнал/шум основывается на сравнении пары изображений «до» и «после» обработки [1]:

( 12 1

PSNR = 10lg , (4)

V MSE )

1 " 2

где Imax - максимальное значение яркости пикселя изображения; MSE = — V (IXi - 12i) -

I+1

средняя квадратическая ошибка между двумя изображениями; n - количество пикселей изображения; I1 - яркости пикселей обработанного изображения, I2 - яркости пикселей исходного изображения.

Применение конкретного показателя для оценки качества обработки изображений определяется операциями обработки. В случае, когда обработка направлена на повышение яркости отдельных участков изображения, а также устранение различных шумов, целесообразным является применение таких показателей, как отношение сигнал/шум и контраст. Когда обработка направлена только на устранение шумов, то необходимо применять пиковое отношение сигнал/шум, так как значения яркости не изменяются.

Пространственно-временная фильтрация, реализованная в разработанном способе, направлена на снижение шумов, что позволяет уменьшить уровень ложной тревоги автоматического обнаружителя. Понятия «сигнал» и «шум» в решаемой задаче следует трактовать следующим образом. Под «сигналом» понимается совокупность пикселей изображения, относящихся к обнаруженным на исследуемой сцене объектам интереса, которые характеризуются своими значениями яркостей. Под «шумом» понимается совокупность пикселей всех других обнаруженных объектов на обрабатываемом изображении.

Для оценки качества решения задачи обнаружения рассчитываются вероятности правильного обнаружения и ложной тревоги, а также строятся кривые (характеристики) обнаружения [6]. Стоит отметить, что в основе разработанного способа обработки изображений лежит обнаружитель, построенный на методе вычитания фона. На выходе обнаружителя данного типа формируется изображение, в котором каждый пиксель представляет собой решение о наличии или отсутствии объекта интереса. Проведение полунатурного эксперимента по исследованию работы разработанного способа на совокупности тестовых изображений позволяет оценить его эффективность. Исходя из того, что координаты всех искомых объектов в тестовом изображении известны, легко вычислить количество правильно и ложно обнаруженных объектов. При этом, рассчитывая вероятность правильного обнаружения, необходимо учитывать только обнаруженные пиксели, относящиеся к объекту интереса, а при расчете вероятности ложной тревоги - все обнаруженные пиксели без учета объекта интереса.

Рассматривая итоговое изображение как набор принятых независимых решений и исходя из формул полной вероятности и частоты события, вероятности правильного обнаружения и ложной тревоги можно вычислить в соответствии с выражениями [1]:

D =-

N„

No

где N - количество правильно обнаруженных пикселей i объекта интереса; Ло количество пикселей i, занимаемых объектом интереса.

„ Лло

F = -

(5)

- общее

N„

(6)

где Nло - количество пикселей i ложно обнаруженных объектов; Лк - количество пикселей изображения к.

При построении кривых обнаружения автоматического обнаружителя за счет изменения контраста обнаруженных объектов можно смоделировать работу способа в различных условиях. При этом для достижения требуемого уровня статистической значимости (доверительная вероятность 0,9; доверительный интервал 5 %) необходимо провести не менее 1080 опытов для каждого значения контраста. Кривые обнаружения представляют собой графики зависимости значений вероятностей правильного обнаружения и ложной тревоги от значения контраста.

Таким образом, для оценки эффективности разработанного способа обработки изображений применительно к задаче обнаружения движущихся объектов оптико-электронной системой наблюдения необходимо рассчитать значения пикового отношения сигнал/шум обрабатываемых изображений, вероятности правильного обнаружения и ложной тревоги автоматического обнаружителя, а также построить кривые обнаружения.

В [1] представлены отдельные результаты оценки разработанного способа обработки изображений, а именно графики значений пикового отношения сигнал/шум и значений вероятности ложной тревоги на каждом кадре исследуемой видеопоследовательности. Ниже представлены графики зависимости вероятностей правильного обнаружения и ложной тревоги от значения контраста для исследуемых методов (разработанный способ обработки изображений; алгоритмы обнаружения, основанные на методе вычитания фона, в котором модели фона представляются смесью гауссовых распределений (MOG2) и извлечением визуального фона (У!Ве)).

На рис. 2 представлен график зависимости вероятностей правильного обнаружения от значения контраста для исследуемых методов. Из графика видно, что значения вероятностей правильного обнаружения практически совпадают. Это обусловливается тем, что исследуемые методы основаны на единых подходах. В то же время подход к обработке изображений в разработанном способе направлен на уменьшение уровня ложных тревог автоматического обнаружителя.

D

1

0,9 0,8

0,7 0,6 0,5 0,4 0,3 0,2 0,1

K

Рис. 2. График зависимости вероятностей правильного обнаружения от значения контраста для исследуемых методов: 1 - разработанный способ; 2 - Vibe; 3 - MOG2 Fig. 2. Graph of the dependence of the probabilities of correct detection on the contrast value for the studied methods: 1 - developed method; 2 - Vibe; 3 - MOG2

0

На рис. 3 представлен график зависимости вероятностей ложной тревоги от значения контраста для исследуемых методов. Данный график показывает, что реализованная дообработка результатов работы автоматического обнаружителя с применением пространственно-временной фильтрации позволяет значительно уменьшить уровень ложных тревог автоматического обнаружителя.

^10%

1,4

Рис. 3. График зависимости вероятностей ложной тревоги от значения контраста для исследуемых методов: 1 - разработанный способ; 2 - Vibe; 3 - MOG2 Fig. 3. Graph of the dependence of false alarm probabilities on the contrast value for the studiedmethods: 1 - developed method; 2 - Vibe; 3 - MOG2

Заключение

Таким образом, способ обработки изображений применительно к задаче автоматического обнаружения движущихся объектов, основанный на методе вычитания фона и представления фоноцелевой обстановки смесью гауссовых распределений, отличающийся применением пространственно-временной фильтрации, адаптивного порога к изменениям оптических размеров объектов, позволяет снизить вероятность ложной тревоги автоматического обнаружителя не менее чем в 10 раз.

Применение предлагаемого подхода для оценки эффективности обработки изображений в задаче обнаружения движущихся объектов оптико-электронной системой наблюдения позволит в дальнейшем проводить сравнение качества работы как существующих, так и вновь разрабатываемых алгоритмов по «общепринятым» показателям.

Список литературы

1. Михнёнок Е.И. Способ обработки изображений в задаче обнаружения движущихся объектов в оптико-электронных системах наблюдения тепловизионного типа. Доклады БГУИР. 2020;18(2):96-104.

2. Кокошкин А.В., Коротков В.А., Коротков К.В., Новичихин Е.П. Сравнение объективных методов оценки качества цифровых изображений. Журнал радиоэлектроники [электронный журнал]. 2015;6:URL: http://jre.cplire.ru/jre/jun15/15/text.html.

3. Якушенков Ю.Г. Теория и расчет оптико-электронных приборов. Москва: Логос; 2004.

4. Конюхов А.Л. Руководство к использованию программного комплекса ImageJ для обработки изображений: учебно-методическое пособие. Томск: ТУРСУР; 2012.

5. Конюхов А.Л., Костевич А.Г., Курячий М.И. Критерии оценки отношения сигнал/шум в активно-импульсных телевизионно-вычислительных системах. Доклады ТУРСУРа. 2012;2:111-115.

6. Ширман Я.Д. Радиоэлектронные системы: Основы построения и теория. Справочник. Изд. 2-е, перераб. и доп. Москва: Радиотехника; 2007.

References

1. Mikhnionok E.I. [Method of image processing in the problem of detecting moving objects in optical-electronic surveillance systems of thermal imaging type]. Doklady BGUIR=Doklady BSUIR. 2020;18(2):96-104. (In Russ.)

2. Kokoshkin A.V., Korotkov V.A., Korotkov K.V., Novichikhin E.P. [Comparison of objective methods for assessing the quality of digital images]. Journal of Radio Electronics [electronic journal]. 2015;6: URL: http://jre.cplire.ru/jre/jun15/15/text.html. (In Russ.)

3. Yakushenkov Yu.G. [Theory and calculation of optoelectronic devices]. Moskow: Logos; 2004. (In Russ.)

4. Konyukhov A.L. [Guide to the use of the ImageJ software package for image processing: An educational and methodical manual]. Tomsk: TURSUR; 2012. (In Russ.)

5. Konyukhov A.L., Kostevich A.G., Kuryachiy M.I. [Criteria for evaluating the signal-to-noise ratio in active-pulse television and computer systems]. Doklady TURSURa = Proceedings of Tomsk State University of Control Systems andRadioelectronics. 2012;2:111-115. (In Russ.)

6. Shirman Ya.D. [Radio-electronic systems: Fundamentals of construction and theory. Handbook. 2nd edition, reprint. and add]. Moskow: Radiotechnics; 2007. (In Russ.)

Вклад авторов

Михнёнок Е.И. описал подход к оценке эффективности обработки изображений в задаче

обнаружения движущихся объектов оптико-электронной системой наблюдения и оценил

разработанный способ обработки изображений.

Хижняк А.В. осуществил постановку задачи для проведения исследования.

Authors' contribution

Mikhnionok E.I. developed an approach to evaluate the effectiveness of image processing in detecting moving objects by an optoelectronic surveillance system and evaluated the developed image processing method.

Khizniak A.V. carried out the formulation of the research task .

Сведения об авторах

Михнёнок Е.И., начальник 2 группы научно-исследовательской лаборатории факультета связи и автоматизированных систем управления учреждения образования «Военная академия Республики Беларусь».

Хижняк А.В., к.т.н., доцент, ведущий научный сотрудник 2 группы научно-исследовательской лаборатории факультета связи

и автоматизированных систем управления учреждения образования «Военная академия Республики Беларусь».

Information about the authors

Mikhnionok E.I, Head of the 2nd Group of the Research Laboratory of the Department of Communications and Automated Control Systems of the Military Academy of the Republic of Belarus.

Khizniak A.V., Cand of Sci, Associate Professor, Senior Researcher at the 2nd Group of the Research Laboratory of the Department of Communications and Automated Control Systems of the Military Academy of the Republic of Belarus.

Адрес для корреспонденции

220057, Республика Беларусь, г. Минск, пр. Независимости 220, Военная академия Республики Беларусь; тел. +375-29-291-27-36; e-mail: [email protected] Михнёнок Евгений Игоревич

Address for correspondence

220057, Republic of Belarus,

Minsk, Nezavisimosti Ave., 220,

Military Academy of the Republic of Belarus;

tel. +375-29-291-27-36;

e-mail: [email protected]

Mikhnionok Evgeny Igorevich