ФИЛЬТРАЦИЯ ГИСТОГРАММНОЙ ОЦЕНКИ ПЛОТНОСТИ ВЕРОЯТНОСТИ НА ОСНОВЕ НЕЧЕТКОЙ ПРИНАДЛЕЖНОСТИ ИНТЕРВАЛУ ГРУППИРОВАНИЯ Текст научной статьи по специальности «Компьютерные и информационные науки»

м

http://dx.doi.org/10.35596/1729-7648-2021-19-4-13-20

Оригинальная статья Original paper

УДК 519.2

ФИЛЬТРАЦИЯ ГИСТОГРАММНОЙ ОЦЕНКИ ПЛОТНОСТИ ВЕРОЯТНОСТИ НА ОСНОВЕ НЕЧЕТКОЙ ПРИНАДЛЕЖНОСТИ ДАННЫХ ИНТЕРВАЛУ

ГРУППИРОВАНИЯ

А.В. ОВСЯННИКОВ1, В.М. КОЗЕЛ2

1 Белорусский государственный университет (г. Минск, Республика Беларусь) 2Белорусский государственный университет информатики и радиоэлектроники (г. Минск Республика Беларусь)

Поступила в редакцию 2 октября 2020

© Белорусский государственный университет информатики и радиоэлектроники, 2021

Аннотация. В работе предложена гистограммная оценка плотности вероятности на основе нечеткой принадлежности данных интервалу группирования. Приведена методика построения гистограммной оценки с применением гистограммного сглаживающего фильтра. Описана методика построения такого фильтра. Установлен основной параметр фильтра - коэффициент статистической взаимосвязи между количеством данных, попавших в интервал группирования при единичной функции включения и при подходе с использованием функции принадлежности. Применение итерационной процедуры для гистограммного фильтра позволяет обеспечить большую «сглаженность» гистограммы. Результаты моделирования показывают эффективность применения гистограммного фильтра для разных объемов данных. При этом становится некритичным выбор числа интервалов группирования для «правильного» распознавания плотности вероятности. Гистограммный фильтр является простым инструментом, который легко может быть встроен в любой алгоритм построения гистограммных оценок.

Ключевые слова: плотность вероятности, нечеткая принадлежность, взвешенная гистограммная оценка, гистограммный фильтр.

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

Для цитирования. Овсянников А.В., Козел В.М. Фильтрация гистограммной оценки плотности вероятности на основе нечеткой принадлежности интервалу группирования. Доклады БГУИР. 2021; 19(4): 13-20.

FILTRATION OF HISTOGRAM EVALUATION OF PROBABILITY DENSITY BASED ON FUZZY DATA ACCESSIBILITY TO A GROUPING INTERVAL

ANDREI V. AUSIANNIKAU1, VICTOR M. KOZEL2

lBelarusian State University (Minsk, Republic of Belarus) 2Belarusian State University of Informatics and Radioelectronics (Minsk, Republic of Belarus)

Submitted 2 October 2020

© Belarusian State University of Informatics and Radioelectronics, 2021

Abstract. The paper proposes a histogram estimate of the probability density based on fuzzy data belonging to a grouping interval. A methodology for constructing a histogram estimate using a histogram smoothing filter

is presented. The technique of constructing such a filter is described. The main filter parameter is established -the coefficient of the statistical relationship between the amount of data falling into the grouping interval for a single inclusion function and when approaching to use the membership function. The use of an iterative procedure for a histogram filter allows for a greater "smoothness" of the histogram. The simulation results show the effectiveness of using a histogram filter for different data volumes. At the same time, the choice of the number of grouping intervals for the "correct" recognition of probability density becomes not critical. The histogram filter is a simple tool that can easily be built into any algorithm for constructing histogram estimates.

Keywords: probability density, fuzzy membership, weighted histogram estimate, histogram filter.

Conflict of interests. The authors declare no conflict of interests.

For citation. Ausiannikau A.V., Kozel V.M. Filtration of histogram evaluation of probability density based on fuzzy data accessibility to a grouping interval. Doklady BGUIR. 2021; 19(4): 13-20.

Введение

Гистограммная оценка плотности распределения вероятности (ПВ) - одна из самых распространенных, исторически первых и общепринятых процедур описательной, прикладной статистики, в частности, в сфере статистической радиотехники, задачах электромагнитной совместимости. Проблематика, связанная с гистограммной оценкой в прикладной статистике (ГОСТ Р 50.1.033-2001 Прикладная статистика), также хорошо известна [1, 2]. В стационарном случае, при исследовании стационарных временных рядов, эффективность гистограммной оценки связана лишь с наличием достаточного времени для ее получения. Если же исследуется нестационарный объект или нестационарный временной ряд и требуется более точное распознавание момента времени, когда состояние объекта или динамика ряда, характеризуемая распределением, значимо изменились, то построение простой, быстрой (на малых объемах данных) и эффективной гистограммной оценки ПВ является актуальной задачей.

Развитие непараметрических методов [3] и общая направленность тематики работ в области непараметрических процедур оценивания ПВ (ядерная, проекционная, сплайн и др.) [4] не исключают применения гистограммных оценок: например, переменных, к числу которых относятся и полиграммные. Одной из проблем «правильного» распознавания ПВ, наряду с выбором количества интервалов группирования данных, является возможная «изрезанность» гистограммы, что особенно характерно при относительно небольших наборах данных. Решение этой проблемы заключается в применении гистограммных фильтров, например, усредняющего, медианного, гауссовского и др. [5-10]. Однако их применение интуитивно и исходит в основном из практической целесообразности. В представляемой работе предлагается теоретически обоснованная методика построения гистограммного фильтра, учитывающая следующие соображения.

Во-первых, можно отказаться от строгой единичной функции включения данных в конкретный интервал группирования. Данные могут находиться вблизи границ интервала и при изменении числа интервалов оказаться в другом интервале. Расположение данных на интервале группирования (близость или удаленность от границ интервала) может интерпретироваться как нечеткая принадлежность данных конкретному интервалу.

Во-вторых, введение понятия нечеткой принадлежности данных интервалу группирования позволяет за счет весовых функций перегруппировать эти данные так, чтобы уменьшилась «изрезанность» гистограммы и тем самым обеспечивалась ее сглаженность.

Таким образом, цель статьи - получить методику построения простого и эффективного гистограммного фильтра, обеспечивающего получение при относительно небольших объемах данных сглаженной гистограммной оценки ПВ на основе нечеткой принадлежности данных интервалу группирования. В статье рассматривается одномерная задача построения гистограммного фильтра на примере гистограммной оценки ПВ.

Общая методика построения гистограммной оценки на основе нечеткой принадлежности данных интервалу группирования

В самом общем виде построение гистограммной оценки неизвестной, непрерывной ПВ состоит в следующем. Пусть имеется выборка случайных данных {х.}, 7 = 1, п , и пусть определено разбиение числовой прямой на т непересекающихся и примыкающих друг к другу интервалов А, у = 1,т , равной длины Ах = Х}+1 - X = (хтах - хтт)/ т, Хт+1 = хтах = т ах х{, X1 = хтт = тт х1, где Ху - границы интервалов. Тогда нормализованная гистограммная оценка

7 у

ПВ будет определяться вектором ^у = Уу / Ахп}, где Уу = 1 1у (х1) - целое число данных,

Х1 еАу

Г1, если х1 е Ау,

попавших в Ау интервал, 1Уу = п, 1у (х1) = < - индикаторная функция.

у I 0, если х7 ^ Ау.

Заменим индикаторную функцию 1у (xi) (единичную функцию включения) весовой функцией цу (xi), 0 <цу (х) < 1, которая будет характеризовать нечеткую принадлежность данных {х.}, 7 = 1, п , интервалу группирования Ау . Заметим, что если область определения отдельнойу-й индикаторной функции составляет величину Ах , то область определения весовой функции может быть значительно шире Ац > Ах и зависит от ее конкретного выбора. Для

конкретизации этого значения и из практических соображений будем полагать, что Ац = ху+1 - ху-1, где ху-1, ху+1 - точки середины интервалов группирования ху. = (Xу+1 - Xу) / 2.

Статистическим эквивалентом числа Уу будет, в общем случае, вещественное число,

равное

иу = 11 Цу (х) = 11 Цу (х7) + 1 Цу(х) + 11 Цу(х.), у =1 т . (1)

Формула (1) учитывает вес некоторого числа данных, принадлежащих соседним с Ау участкам: Ау-1 и Ау+1. Очевидно, что всегда выполняется неравенство Уу > иАу = 1 цу (х1), где

знак равенства будет соответствовать предельному случаю равенства весовой и индикаторной функций.

Для выполнения общих условий нормировки необходимо выполнение соотношений:

1) 1цу(х) = 1, 2) Ццу(х,) = 1 из = п, 3) 0 <цу (х) < 1, (2)

у у 7 у

определяющих специальный вид функций цу (х). Так, в частности, первое условие системы (2)

указывает на их взаимную симметрию на соприкасающихся интервалах и взаимозависимость, а также особый вид для оконечных интервалов А1 и Ат . Таким образом, гистограммная оценка ПВ с весовой функцией, характеризующей нечеткую принадлежность данных интервалу группирования, будет следующей:

/у* = иу / Ахп , у = 1, т . (3)

На основании приведенных соображений дадим общее определение введенной гистограммной оценки (3).

Определение. Гистограммную оценку ПВ (3) будем называть взвешенной гистограммной оценкой (ВГО), полученной с использованием специальных весовых функций цу (х), характеризующих нечеткую принадлежность данных у-му интервалу группирования

и для которых выполняются условия (2). Сделаем замечание. Оценка (3) рассматривается в статье только в контексте ее применения в гистограммном фильтре, поскольку сама по себе она не является асимптотически сходящейся по вероятности при п ^ да к истинной.

Реализация гистограммного фильтра

Для построения гистограммного сглаживающего фильтра определим коэффициент статистической взаимосвязи между числом V] и числом и] = ^ ц (х1), которое

соответствует взвешенному числу данных, попавших в ]-й интервал:

йА] 1 Г

к = = — Гц ] (х)йх . (4)

у] Л х Лх

Черта над символами в формуле (4) означает, что их отношение устойчиво для исследуемой выборки данных. Тот же результат можно получить в общем случае, используя усреднение функции принадлежности к = | ц/йх / | /йх . Ограничиваясь первым членом

Лх Лх

разложения в ряд Тейлора ПВ в точке середины интервала группирования х., получим результат, совпадающий с (4). Формула (4) справедлива для внутренних интервалов гистограммы (] = 2, т -1). Для оконечных интервалов ] = 1, т , исходя из условий нормировки (2) и в том случае, если Лц = х]+1 - х. -1, получим

Л

k„ = а:1

| 1(x)dx + | x)dx

ax /2

= (1 + k) / 2 . (5)

С учетом определенных формулами (1), (4), (5) коэффициентов к, ке можем записать

соотношение между числами V. и и., которое будет представлять собой гистограммный

фильтр нулевого порядка (априорные данные о предполагаемой ПВ отсутствуют) в одномерном случае:

u . = av. , + kv. + av. +,, j = 2, m - 1 ,

j j J J+1' j ' '

a = UAj :l / Vj:l = UAj+l / Vj + l = (l : ^^ ) / 2, (6)

ui = ke V + (1: ke )v2, Um = (1 : ke ^ + ^ .

Заменой переменных v., u. на g ■ = v. / Axn и f* получим гистограммный фильтр относительно значений ПВ на интервале группирования данных:

I /] = а§.-1 + Ч] + +1, ] = 2,т -1 (7)

иТ = ке&1 + (1 - ке ) ^ /т = (1 - ке ^т-1 + кгёт .

Если в формуле к = | ц/йх / | /йх не ограничиваться первым членом разложения в ряд

Лх Лх

Тейлора ПВ, можем получить гистограммные фильтры высших порядков, требующих априорных знаний о предполагаемой ПВ. В данной работе рассматривается только гистограммный фильтр нулевого порядка. Введением итеративной процедуры для формул (6), (7) можно добиться большей степени сглаживания:

I uq+1 =auq 1 + kuq + auq j = 2, m -1

i j j -i j j+1' j '

Iuiq+1 = kuiq + (l-k )uq, uq+1 = (l-k )uq 1 + kuq,

k. l e l v e ' 2 ' m v e ' m-l e m'

I fj*q+1 = a //: i + k f*q + a., j = 2, m -1

[f1*q+1 = kefi'q + (l-ke )/2*q , /mq+1 = (l-ke ) f^ + kef?,

(8) (9)

где q - порядковый номер итерации, q = 1 соответствует процедуре (6), (7). Заметим, что используя аналогичный подход в фильтрации многомерных данных, в частности, гистограмм изображений, получаем теоретически обоснованные результаты [5-9].

a_ /2

V"x

Перейдем к определению значения коэффициента k. При отсутствии априорных данных о предполагаемом виде ПВ, можно воспользоваться «информационным подходом» и показать, что оптимальным значением весовых коэффициентов фильтра будет к = 1/3. Это следует из

j+i

условия максимизации энтропии K log(K;) ^max, где K - информационный вклад (весовой

■ 1 к

•=j-1

j+i

коэффициент) /-го интервала: Ki =а = (1-к)/2 для i = j -1, j +1 и Kj = к, 0 < Kt < 1, ^ Kt = 1.

i = j-1

С другой стороны, для упрощения решения задачи и последующего моделирования, функции ц j (x) можно выбрать ступенчатыми и симметричными. В этом случае, на основании

формулы (4), коэффициент k для каждого внутреннего интервала группирования (у = 2, т -1) будет постоянен и одинаков: |о,у (х) = {к, для Ау; а для Ау-1, А+11, а для оконечных интервалов

соответственно цДх) = {ке для А1; а для А2} и цт (х) = {ке для Ат; а для Ат-1} .

Рассмотрим теперь основные свойства выборочной статистики

... т 2

/ ППу

XA = ^ \_uAj - nPj ] / nPj по отношению к стандартной величине = ^ ^ - npj ] / np

j=1 j=1

-1

с m -1 степенями свободы, плотностью вероятности f (x) =

m-1 / i

2 Г Г m -1

m-3 x

параметрами математического ожидания Mх2 = т -1 и дисперсии Dх2 = = 2(т -1).

Теорема. В условиях нормального распределения выборочной совокупности при п ^да распределение величины %Ау определяется ПВ:

т-3

fj (x)=

2 2 k2 Гт -1

x - C } 2 x C

e 2к , C = n(1 - к)2, x > 0 (10)

с параметрами математического ожидания и дисперсии, равными

M12A|2J]= к2(т-1) + 2п(1-к)2, DxA = кЪ% = 2к4(т-1). (11)

Доказательство. Подставим йАу = куу- в выражение для статистики % А . Получим

т 2 т т

%А = ^[к^у -пру J /пру = к2^V2 /пру -п(2к-1). Поскольку V2 /пру = п + т -1, то

у=1 у=1 у=1

математическое ожидание статистики %Ау получается следующим:

MxA = к ^х2 + п(1- к )2. (12)

Линейное преобразование случайной величины %2 приводит к ПВ величины %Ау следующего вида: /у(х) = /((х-С)/к2)/к2, что соответствует формуле (10) с параметрами

математического ожидания и дисперсии, определяемыми формулами (11). Таким образом, теорема доказана.

Следствие. Линейная зависимость статистик (12) позволяет определить значение параметра кАу, при котором значение M%A/ стремится к минимуму: кАу =[1 + (т -1)/ п] 1. При этом значении коэффициента кАу математическое ожидание статистики %А равно M%A/ = Mх2 / 2, т. е. качество, уверенность «правильного распознавания» неизвестной ПВ возрастает вдвое.

Моделирование гистограммного фильтра

Далее приведены примеры некоторых результатов моделирования и применения гистограммного фильтра (к = 1/3) к генерируемым случайным данным (число выборок 5),

x 2 e 2, x > 0

2

2

2

к

распределенным с нормальной плотностью /(х) = (2ла;2) 1/2ехр(-х2 / 2а2х), а2х = 1.

т 2

Сравнивались критерии: - стандартный и ХвГО = -пР, ] / пру (см. табл. 1, 2).

у=1

В табл. 1, 2 также приведены вероятности возможного превышения полученного значения статистики при истинности нулевой гипотезы Ру и Ри . Гипотезу о согласии не следует отвергать, если Ру(хКр >Х2) >а*, Ри(у2КР >Хвго) >а*, где а* = 0,05 - заданный уровень значимости, - критическое значение при заданном уровне значимости.

Для сопоставления результатов моделирования с коэффициентом k = 1/3 вычислялись выборочные коэффициенты, использующие априорные сведения о теоретических

вероятностях: квыб = 1 + 2

L j=i

найденные из условия хВго ^ min.

£V2/ npj . j=1

£ (Vj -npj Wj/ np

j=1

Значения величин

(второй столбец табл. 1 и табл. 2), входящих в формулу:

Vу = у ул - 2vj + уу+1 для у = 2, т -1 и У1= -у1 + у2, Ут = -ут + Ут-1. Вычисляемые в результате моделирования коэффициенты кеыб оказываются меньше единицы, а не равны ей, как при стандартном подходе построения гистограммы. Этот эффект свидетельствует о возможности применения гистограммного фильтра (формулы (6)-(9)) при относительно небольших объемах выборок. Многочисленные результаты моделирования показывают, что с увеличением объема выборки коэффициент кеыб стремится к единице, и применение гистограммного фильтра

становится нецелесообразным.

В табл. 1 приведены результаты моделирования, полученные при п = 300, т = 11. На рис. 1 приведены столбцовые гистограммы векторов у (рис. 1, а) и и (рис. 1, Ь), полученные в результате моделирования (строка № 3 табл. 1).

В табл. 2 приведены результаты моделирования, полученные при п = 1000, т = 19. На рис. 2 приведены столбцовые гистограммы векторов у (рис. 2, а) и и (рис. 2, Ь), полученные в результате моделирования (строка № 1 табл. 2).

Таблица 1. Статистики и вероятности при п = 300, т = 11

№ квыб Хгр x2 Хвго Pv Pu

1 0,547 18,307 19,98 12,91 0,029 0,228

2 0,5857 10,97 5,36 0,359 0,865

3 0,541 22,85 13,87 0,011 0,178

4 0,498 6,56 1,12 0,766 0,999

5 0,767 19,75 17,45 0,031 0,064

b

Рис. 1. Столбцовые гистограммы векторов v (a) и u (b), полученные в результате моделирования (строка № 3 табл. 1) Fig. 1. Column histograms of vectors (a) and (b) obtained as a result of modeling (line No. 3 of table 1)

Таблица 2. Статистики и вероятности при n = 1000, m = 19 Table 2. Statistics and probabilities for n = 1000, m = 19

№ квыб Хгр x2 Хвго Pv Pu

1 0,389 28,869 37,87 15,38 0,004 0,635

2 0,458 20,75 9,20 0,291 0,954

3 0,431 8,21 3,74 0,975 0,999

4 0,411 21,20 8,68 0,269 0,966

5 0,546 30,74 20,82 0,031 0,288

b

Рис. 2. Столбцовые гистограммы векторов v (a) и u (b), полученные в результате моделирования (строка № 1 табл. 2). Fig. 2. Column histograms of vectors (a) and (b) obtained as a result of modeling (line No. 1 of tabk 2)

Заключение

Рассмотренная в работе методика построения и применения одномерного гистограммного фильтра является простым и вместе с тем эффективным инструментом статистического анализа данных при относительно небольших их объемах, что подтверждается результатами моделирования. Из анализа табл. 1, 2 можно сделать вывод, что хкр >Хвго и 2 2

X > ХВГО во всех пяти экспериментах, в то время как стандартная статистика может «ошибаться» (строки № 1, 3, 5 табл. 1 и строки № 1, 5 табл. 2).

Гистограммный фильтр является простым инструментом, который легко может быть встроен в любой алгоритм построения гистограммных оценок.

Список литературы

1. Орлов Ю.Н. Оптимальное разбиение гистограммы для оценивания выборочной плотности функции распределения нестационарного временного ряда. Препринты ИПМим. М.В. Келдыша. 2013;14:26.

2. Chong Gu, Yongho Jeon and Yi Lin. Nonparametric density estimation in high-dimensions. Statistica Sinica. 2013;23:1131-1153.

3. Орлов А.И. Новая парадигма прикладной статистики. Заводская лаборатория. Диагностика материалов. 2012;78(11).

4. Devroye L. and Gyorfi L. Nonparametric Density Estimation: The L1 View. New York: John Wiley Sons; 1985.

5. Gonzalez R. Digital Image Processing, 3rd. Pearson Hall; 2008.

6. Solomon C.J., Breckon T.P. Fundamentals of Digital Image Processing: A Practical Approach with Examples in Matlab. Wiley-Blackwell; 2010. D01:10.1002/9780470689776.

7. Gonzalez R. Digital image processing. New York, NY: Pearson; 2018.

8. Овсянников А.В. Применение стохастических формирующих фильтров. Germany, KG, Saarbrücken: LAP LAMBERT Academic Publishing, OmniScriptum GmbH & Co; 2017.

9. Bernd J. Digital Image Processing (6 ed.). Springer Berlin Heidelberg New York; 2005.

10. Chakravorty Pragnan. What is a Signal? [Lecture Notes]. IEEE Signal Processing Magazine. 35 (5):175-177. DOI: 10.1109/MSP.2018.2832195.

References

1. Orlov Yu.N. [Optimal histogram partitioning for estimating the sample density of the distribution function of an unsteady time series]. Preprinty IPM im. M.V. Keldysha = Preprints of the Institute of Applied Mathematics M.V. Keldysh RAS. 2013;14:26. (in Russ.)

2. Chong Gu, Yongho Jeon and Yi Lin. Nonparametric density estimation in high-dimensions. Statistica Sinica. 2013;23:1131-1153.

3. Orlov A.I. [The new paradigm of applied statistics]. Zavodskaya laboratoriya. Diagnostika materialov = Industrial Laboratory. Diagnostics of Materials. 2012;78(11). (in Russ.)

4. Devroye L. and Gyorfi L. Nonparametric Density Estimation: The LI View. New York: John Wiley Sons; 1985.

5. Gonzalez R. Digital Image Processing, 3rd. Pearson Hall; 2008.

6. Solomon C.J., Breckon T.P. Fundamentals of Digital Image Processing: A Practical Approach with Examples in Matlab. Wiley-Blackwell; 2010. D01:10.1002/9780470689776.

7. Gonzalez R. Digital image processing. New York, NY: Pearson; 2018.

8. Ovsyannikov A.V. [The use of stochastic shaping filters]. Germany, KG, Saarbrücken: LAP LAMBERT Academic Publishing, OmniScriptum GmbH & Co; 2017. (in Russ.)

9. Bernd J. Digital Image Processing (6 ed.). Springer Berlin Heidelberg New York; 2005.

10. Chakravorty Pragnan. What is a Signal? [Lecture Notes]. IEEE Signal Processing Magazine. 35 (5): 175-177. DOI: 10.1109/MSP.2018.2832195.

Вклад авторов

Овсянников А.В. разработал общую методику построения гистограммной оценки на основе нечеткой принадлежности данных интервалу группирования, предложил алгоритм гистограммной фильтрации данных.

Козел В.М. выполнил моделирование работы гистограммного фильтра.

Authors' contribution

Ausiannikau A.V. developed a general methodology for constructing a histogram estimate based on fuzzy data belonging to the grouping interval, proposed an algorithm for histogram data filtering. Kozel V.M. performed modeling of the histogram filter.

Сведения об авторах

Овсянников А.В., к.т.н., доцент, доцент кафедры информационных технологий Белорусского государственного университета.

Козел В.М., к.т.н., доцент, доцент кафедры информационных радиотехнологий Белорусского государственного университета информатики и радиоэлектроники.

Information about the authors

Ausiannikau A.V., PhD, Associate Professor, Associate Professor at the Information Technologies Department of Belarusian State University.

Kozel V.M., PhD, Associate Professor, Associate Professor at the Information Radiotechnologies Department of the Belarusian State University of Informatics and Radioelectronics.

Адрес для корреспонденции

220030, Республика Беларусь, г. Минск, пр. Независимости, 4, Белорусский государственный университет; тел. +375-17-209-58-94; e-mail: andovs@mail.ru Овсянников Андрей Витальевич

Address for correspondence

220030, Republic of Belarus, Minsk, Nezavisimosti ave., 4, Belarusian State University; tel. +375-17-209-58-94; e-mail: andovs@mail.ru Ausiannikau Andrei Vital'evich