CC BY
19
СРАВНИТЕЛЬНЫЙ АНАЛИЗ ЛИНЕЙНОЙ ФИЛЬТРАЦИИ ДИСКРЕТНОГО СИГНАЛА В АДДИТИВНОМ ШУМЕ ДЛЯ ДВУХ КАНАЛОВ ПЕРЕДАЧИ ИНФОРМАЦИИ С МЕТОДОМ k БЛИЖАЙШИХ СОСЕДЕЙ
Троицкий И.И. \ Якубов Р.Ж.2
Работа посвящена вопросу распознавания бинарного сигнала в двух каналах передачи с использованием корреляционной связи между аддитивными шумами в них. Рассмотрен вопрос компенсации шума - решается задача выбора линейной функции для выражения связи шумов, также на основе максимума отношения сигнал/шум определен ее параметр. В анализируемой модели каналов передачи данных полезный сигнал передается по обоим каналам. Для нее аналитически выделено отношение сигнал/шум, найдена верхняя граница вероятности распознавания сигнала. С целью оценки работы метода к ближайших соседей проведен ряд численных экспериментов, позволивших продемонстрировать зависимость вероятности распознавания сигнала от различных параметров модели. Результаты представлены в графическом виде и дают наглядное представление о работе модели каналов передачи и метода к ближайших соседей.
Ключевые слова: отношение сигнал/шум, коэффициент корреляции, интеграл вероятности, компьютерное моделирование, статистика, компенсация шума.
Введение
Данная статья является логическим продолжением работы [1], посвященной распознаванию сигнала при наличии в канале аддитивного шума. В [1] рассматривался случай, когда по одному из каналов связи передавался исключительно шум. Было найдено аналитическое выражение для определения отношения сигнал/шум, что позволило найти наилучшую вероятность распознавания сигнала, кроме того, с помощью метода k ближайших соседей проведен ряд экспериментов, подтвердивших теоретические результаты.
Как уже было сказано в [1], для распознавания дискретного сигнала может быть использован ряд методов, в тои числе методы, использующие вейв-лет-преобразования, быстрые преобразования Фурье, нейронные сети, метод потенциальных функций и т.д. Кроме того, ряд методов позволяет использовать для распознавания сигнала несколько каналов (например, методы, использующие корреляционную связь и методы адаптивной фильтрации, и т.д.) [7-11].
В данной работе рассматриваются два канала связи, в каждом из которых находится смесь полезного сигнала с аддитивным шумом. Наличие второго канала передачи необходимо для выявления и учета статистической взаимосвязи шумов в каналах.
DOI: 10.21681/2311-3456-2018-2-59-69
Математическое представление исследуемой модели
Поставленную задачу классификации данных предлагается решать с помощью вышеупомянутого метода k ближайших соседей [2, 3], поскольку данный метод хорошо себя зарекомендовал (напр., в работе [1]).
Его главной идеей является определение класса нового объекта на основе наблюдений за k ближайшими членами выборки, которые уже были классифицированы. Классифицируемому элементу присваивается тот класс, который присвоен большей части рассматриваемых «ближайших соседей». При работе с данным методом следует оптимально подобрать значение коэффициента ^ т.е. найти такое его значение для представленной задачи, при котором соотношение качество распознавания вычислительная нагрузка будет максимальным. Далее опишем принцип процедуры классификации:
Генерируется множество обучающих выборок 5Л = (111.„,111). Каждой выборке 3^1 = 1,п (где = 1Г2)- двумерная величина) присваивается метка, определяющая ее принадлежность к определенному классу. Рассматривается случай с двумя метками -\b\v\Wz.
Для классификации нового объекта следует проделать следующие операции:
1 Троицкий Игорь Иванович, кандидат технических наук., доцент каф. ИУ8 МГТУ им. Н.Э. Баумана, Москва, Россия. E-mal: iitroickiy@mail.ru
2 Якубов Рустам Жафарович, аспирант каф. ИУ8 МГТУ им. Н.Э. Баумана, Москва, Россия. E-mal: yakubov_rustam@inbox.ru
1. Вычислить расстояние от 5га+1 до каждого из элементов обучающей выборки. Для этого могут быть использованы различные метрики, в рамках представленной работы будем использовать метрику Евклида;
2. Отобрать к ближайших элементов обучающей выборки, расстояние до которых минимально;
3. Объекту присваивается та метка класса ИЛ (г = 1,2), которая присвоена большинству из
ближайших элементов обучающей выборки (соответственно, для избегания коллизий, параметр должен принимать нечетные значения).
Вероятность успешного распознавания дискретного сигнала будем определять по формуле
'. - количество корректно классифицированных элементов,
Л" - объем множества тестовых выборок.
Множеством тестовых выборок является
та —1'
)• Для
го как существование чтЛГ Я: _ теоретическая
^ = 0-5+.
-7
,
V
_( 1,с вероятностью 0,5
, с вероятностью 0,5'
корреляции ггй;
Л" ; - - шум в обоих каналах передачи, И - некоторая константа. Он может присутствовать в каналах передачи при наличии некоторых факторов, носящих технический характер;
V и X не зависят от к и 5, и от друг друга;
а = тпч
"■'■__■ - амплитуда дискретного сигнала в у,
- амплитуда дискретного
сигнала вх;
N{171, а2) - нормальный закон распределения с параметрами {т, а2 ).
^ Плотности распределения вероятно™ Р (%= а), Р (%=_,)■"('/,=!>
распределены по нормальному
закону: Л^тп^а2 + ) и N {т_/,о1 - а|),
^(ш^, а| + Ь2 ■ ) и N (т_±х, + Ь2 ■ соответственно.
^ Как было сказано, в отличие от работы [1] исследуется модель с наличием дискретного сигнала во втором канале передачи. Для определения . применяется метод компенсации шума [5, 6]. Механизм компенсации шума Для простоты восприятия работы, центрируем СВ, описывающие исходные каналы передачи. Вычисления будут проводиться со случайными величинами у и х . Учитывая, что М[х]=0, М[у]=0, то
корректности проведе-
ния экспериментов объемы тестового и обучающего множеств должны быть достаточно велики (более 10000, поскольку при таком количестве выборок величина доверительного интервала с мерой значимости 0,99 не превосходит 0,01 [4])
^ Для объективной оценки качества распознавания сигнала методом к ближайших соседей необходимо наличие некоторого критерия, тако-Нш,
Я - -я„ - 0, где вероятность правильного распознавания дискретного сигнала, принимающего два значения [2, 3]. Для определения значения Р^ используется следующая формула:
(3)
(1)
а
Проведем замену для упрощения расчетов: _ Ь —
(4)
где /?5- соотношение сигнал/шум для каналов передачи данных.
Как было сказано выше, дискретный сигнал передается по двум каналам связи. Данный процесс имитируется с использованием модели (2):
(2)
где е , ч , 5Д являются случайными величинами (далее - СВ),
Учитывая, что линейная комбинация СВ, распределенных по нормальному закону, в свою очередь, имеет нормальное распределение [7], можно ввести СВ - , моделирующую результирующии канал передачи:
е ^ Л/(0,сг2) - шум в канале у, 3 ™ ЛГ(0,Од) шум в канале х, е и 5 связаны коэффициентом
(5)
где с- неизвестный параметр. Для определения наиболее высокого значения соотношения сигнал/шум данной модели необходимо найти оптимальное значение параметра с.
Для упрощения вычислений следует провести
Его поиск следует начать с выделения условного математического ожидания и дисперсии случай- замену: ной величины 1:
, (6)
М[Е■ 5] = coi?(E,£) - M [s] ■ M[S] = В таком случае г^:
(14)
Таким образом, параметр принимает следую щий вид:
r^ap-bq
с =
(7)
r^bq- ар
(15)
С использованием параметров (6) и (7), можно вывести значение коэффициента корреляции r^g:
= cov(afi) = Ai(â- р) = М(е ■ ■ М(Х2}
(8)
Соотношение сигнал/шум (12) выражается по формуле (16):
(9)
(10)
Преобразуем подмодульное выражение - — —:
Ч V
(17)
Проведя преобразования знаменателя выражения (16), выражаем л в следующем виде:
-2го.ВаЬРЧ+Ь:гЯ2
(r^bq-ap)
R, =
pq(ap -r^bq)
IС1 - - 2r^abpq - bV)
(18)
(11)
Найдя условное математическое ожидание, дисперсию и коэффициент корреляции г^р результирующего канала (5), его соотношение сигнал/шум можно выразить следующим образом:
(12)
Путем дифференцирования по параметру с нетрудно доказать, что величина соотношения сигнал/шум принимает наибольшее значение при следующем значении с:
(13)
Проведя обратные замены значений р, ц,т^р, получаем следующее значение отношения сигнал/шум:
(19)
Найдем пределы lira и liin^j, RÈ,
приблизив fft к значениям «0» и «к»:
(20)
(21)
Моделирование
Для того, чтобы убедиться в корректности проведенных вычислений, а также для исследования модели (2) и оценки работы метода k ближайших соседей, в Matlab был проведен ряд вычислительных экспериментов.
Данная среда программирования была выбрана в силу ее направленности на проведение математических исследований. При построении графиков на оси ординат откладывалась вероятность распознавания дискретного сигнала (Р), на оси абсцисс - значения коэффициента корреляции гЕ ^ от -1 до 1 с шагом 0.1. В ходе работы анализировались:
• исходная модель (2) - сигнал передавался по двум отдельным каналам;
• модель с использованием общего канала- (5) - сигнал передавался в результирующем канале;
• теоретические данные, полученные при вычислении интеграла вероятности (1).
Вероятности распознавания сигнала, полученные с использованием (1), (2) и (5), сравнивались относительно друг друга, и в зависимости от изменения коэффициента /?. Кроме того, среднеквадратичное отклонение ( значительно превышает среднеквадратичное отклонение шумов £, 6, а отношение принимало значения намного меньше 1.
Метод к ближайших соседей рассматривался для двух следующих случаев:
• a=1, b=1;
• a=1, b=2;
На (рис.1) и (рис.2) представлены результаты, позволяющие оценить зависимость вероятности распознавания сигнала от общего шума в каналах передачи для разных значений h. При проведении экспериментов использовались только положительные значения h.
Из полученных результатов можно выделить следующее. На поведения вероятности распознавания сигнала значительно влияет соотношение а и ¿.Так, в случае а = b = 1 (рис.3), значение Р в среднем незначительно превышает величину 0.5. Однако, на (рис.4) удалось найти случай, когда при h = 1 вероятность распознавания сигнала устремляется к 1. Это можно определить следующим образом.
Для модели каналов передачи данных (2) была выведена формула (19), позволяющая выразить значение сигнал/шум для заданных параметров. В случае, если а = l,b = 2,h= l,rI(î = 1, = 3, о- = 3, ^ = 10, . При передаче данных необходимо учитывать вероятность возникновения подобного сочетания факторов.
-0,6 -0,4 -0,2 0,0 0,2 0,4 0,6 Коэффициент корреляции шумов £ и 8, г£ Л-
£=0(1) -11=0(2) 11=0,5(3) '-11=1(4)
1г=1.5 (5) Ь=5 (6) -11=30 (7) -11=100 (8)
Рис. 1 Вероятность распознавания дискретного сигнала в двух каналах методом к ближайших соседей для параметров a=1, Ь=1
Рис. 2 Вероятность распознавания дискретного сигнала в двух каналах методом k ближайших соседей для параметров a=1, Ь=2
Рис. 3 Вероятность распознавания сигнала в канале Zметодом к ближайших соседей и Р^, для параметров а= 7, Ь= 7
о и о Я н ы а. а
у
Ч Я 8 = №
я
в5 а я к
Я
ГО
О С
и
Л
о.
л н и о
в
н -
о а.
V
СО
0,58
0,56
0,54
0,52 -«
0,5
0,48
-1,0 -о,:
■г, 11=0 (1) г, 11=5 (5)
-0,6 -0,4 -0,2 0,0 0,2 0,4 0,6 0,8 1,0 Коэффициент корреляции шумов £ и 5, г£ д
—г, 11=0,5 (2) г, 11=1 (3) —г, 11=1.5 (4)
Рпр, 11=0 (6) -Рпр, 11=0,5 (7) -Рпр, 11=1 (8)
•Рпр, 11=1.5 (9) -Рпр, 11=5 (10)
Рис. 4 Вероятность распознавания сигнала в канале Zметодом к
ближайших соседей и Р^, для параметров а= 7, Ь= 7
На (рис.5) и (рис.6) представлены результаты распознавания сигнала в результирующем канале 2 (5) и теоретическая вероятность распознавания сигнала (1). Как видно из графиков, при й- = 0; 0,5; 1; 1,5; 5; вероятность
распознавания сигнала приблизительно равна 0,5. Однако, для ге6 — 1, Р значительно вырастает при к — — 0,5; — 1; —1.5; При к = -0.5 значение = 1.07, к = со
, к = —1.5: = 1.7. Для сравнения, при к = 1
0,5
-1,0
-0,8
О,:
-0,6 -0,4 -0,2 0,0 0,2 0,4 0,6
Коэффициент коррелицыы шумов к и 5, гс л-г, Ь=-0,5 (2) -г, 1г=-1 (3) -г, Ь=-1.5 (4)
1,0
Рис
—г, 11=0(1)
г, 11=-5 (5) Рпр, 1г=0 (6) -Рпр, 1г=-0,5 (7) -Рпр,11=-1 (8)
-Рпр,1г=-1,5 (9) -Рпр,1г=-5 (10)
5 Вероятность распознавания в канале 2 методом к ближайших соседей и Р^ для
параметров a=1, Ь=2
Рис. 6 Вероятность распознавания в канале 1 методом к ближайших соседей и для параметров а= 1, Ь=2
сигнал/шум а при к = —5 £¿=0.5.
На (рис.7) и (рис.8) представлены результаты для коэффициентов а = 1, Ъ = 2. Случай к = 1 был прокомментирован на примере (рис.3). Как и для случая на (рис.5), (рис.6), вероятность распознавания растет для к = — 1 при 6 ->■ — 1.
Следует отметить, что вероятность распознавания сигнала в канале 2 (5), полученная с помощью
метода к ближайших соседей, всегда меньше или равна вероятности, вычисленной с использованием интеграла вероятности. Это связано с тем, что интеграл вероятности позволяет получить максимально возможное, «теоретическое», значение Р.
Далее сравним результаты распознавания, полученные с использованием метода компенсации шума и с помощью метода k ближайших соседей.
-ТХ, К -1.5 (9) -УХ. 11=-5 (10)
Рис. 7 Вероятность распознавания дискретного сигнала в каналахХ^ и в канале Zс использованием метода k ближайших соседей, a =1, Ь=1
Рис. 8 Вероятность распознавания дискретного сигнала в каналахХ,Уи в канале Z с использованием метода k ближайших соседей, о = 1, Ь=1
Ь=-0,5 (2) УХ, 11=0 (6) 'УХ, Ь=-5 (10)
Рис. 9 Вероятность распознавания дискретного сигнала в каналахХ,У и в канале Z с использованием метода k ближайших соседей, о = 1, Ь=2
Рис. 10 Вероятность распознавания дискретного сигнала в каналахХ^и в канале Z с использованием метода к ближайших соседей, a = 1, Ь=2
Представленные на (рис.7), (рис.8), (рис.9) и (рис.10) данные позволяют оценить качество распознавания сигнала методом к ближайших соседей. Описанный в данной работе метод компенсации шума позволяет достичь высоких результатов при распознавании сигнала, однако для этого необходимо обладать математической моделью каналов передачи данных, и провести ряд вычисления для нахождения коэффициента с (13), что на практике не всегда выполнимо.
Метод к ближайших соседей требует наличия значительной (более 10000 элементов) выборки тестовых элементов с уже присвоенными классами сообщения, но для его использования не нужна предварительная математическая подготовка (напр., поиск коэффициента с). При этом, как видно из (рис.5) и (рис.6), вероятность распознавания сигнала методом к ближайших соседей не уступает вероятности, достигнутой компенсацией шума.
Выводы
В рамках данной работы с использованием имитационного моделирования и инструментов математической статистики, была исследована
модель каналов передачи данных (2), а также рассмотрена возможность применения метода к ближайших соседей для распознавания дискретного сигнала.
Результаты, полученных в ходе экспериментов, позволили сделать следующие выводы. Метод к ближайших соседей, несмотря на простоту, является эффективным и гибким методом классификации, позволяющим достичь тех же результатов, что и метод компенсации шума (требующий значительных вычислительных затрат для поиска коэффициента с, а также наличия математической модели каналов передачи).
В ходе работы были найдены значения коэффициентов модели (2), позволяющие достичь вероятности распознавания сигнала Р = 1. Отношение сигнал/шум в данном случае стремится к бесконечности. При > 1 вероятность Р > 0.75.
Таким образом, в ходе данной работы установлено, что наличие статистически связанных шумов в каналах передачи данных в ряде случаев не является препятствием для распознавания сигнала.
Рецензент: Басараб Михаил Алексеевич, доктор физико-математических наук, профессор кафедры «Информационная безопасность» МГТУ им. Н.Э. Баумана, Россия. E-mail: bmic@mail.ru
Литература
1. Троицкий И.И., Якубов Р.Ж. Распознавание дискретного сигнала в аддитивном шуме для двух каналов передачи информации // Вопросы кибербезопасности. 2017. № 1 (19). С. 57-62. DOI: 10.21581/2311-3456-2017-1-57-62.
2. Якубов Р. Ж. Двумерное распознавание сигнала на основе метода k ближайших соседей // Молодежный научно-технический вестник. 2015. № 7. С. 40.
3. Дуда Р., Харт П. Распознавание образов и анализ сцен. М.: Мир, 1976. 510 с.
4. Кошелев В.И., Холопов И.С. Исследование влияния параметров многомодовой пассивной помехи на вероятность ее правильной классификации // Вестник Рязанского государственного радиотехнического университета. 2009. № 27. С. 28-31.
5. Троицкий И. И., Басараб М. А., Матвеев В. А. Использование двух каналов передачи информации для решения задачи распознавания дискретного сигнала в аддитивном шуме // Вестник Московского государственного технического университета им. Н.Э. Баумана. Серия: Приборостроение. 2015. № 4 (103). С. 106-112. DOI: 10.18698/0236-3933-20154-106-112.
6. Троицкий И. И., Матвеев В. А. К вопросу об использовании двух каналов передачи информации для решения задачи распознавания дискретного сигнала в аддитивном шуме // Теоретические и прикладные аспекты современной науки. 2014. № 2-1. С. 103-105.
7. Левин Б. Р. Теоретические основы статистической радиотехники.- 3-е изд., перераб. и доп. М.: Радио и связь, 1989. 656 с.
8. Grabusts P., Potential function method approach to pattern recognition applications. Environment. Technology. Resources, Rezekne, Latvia Proceedings of the 11th International Scientific and Practical Conference. 2017. V. 2. pp. 30-35. DOI: 10.17770/ etr2017vol2.2512.
9. K. Jaganathan, Y. C. Eldar and B. Hassibi, Recovering signals from the Short-Time Fourier Transform magnitude. 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). South Brisbane. QLD. 2015. pp. 3277-3281. DOI: 10.1109/ICASSP.2015.7178577.
10. Kanj S., Abdallah F., Denreux T. et al. Editing training data for multi-label classification with the k-nearest neighbor rule. Pattern Anal Applic. 2016. No 19. P. 145. DOI: 10.1007/s10044-015-0452-8.
11. Tang Bo, Haibo He. Extended Nearest Neighbor Method for Pattern Recognition [Research Frontier]. Computational Intelligence Magazine, IEEE. 2015. 10. pp. 52-60. DOI: 10.1109/MCI.2015.2437512.
THE COMPARATIVE ANALYSIS OF THE LINEAR FILTRATION OF A DISCRETE SIGNAL IN ADDITIVE NOISE FOR TWO CHANNELS WITH METHOD K-NEAREST NEIGHBORS
Troitskiy I.3 Yakubov R.4
This paper is devoted to the problem of recognizing of a binary signal in two channels by using of a correlation link between additive noises in the communication channels. The problem of noise compensation is considered - the problem of choosing a linear function for expressing the noise coupling is solved, and its parameter is determined on the basis of the maximum of the signal-to-noise ratio. In the analyzed model of data channels a useful signal is transmitted on both channels. Signal-to-noise ratio is analytically allocated for the model, also the upper limit of the probability of signal recognition has found. A number of numerical experiments were performed for evaluating of the operation of the k nearest neighbors method. It allowed to demonstrate the dependence of the probability of signal recognition on various parameters of the model. The results are presented in a graphical form and give a visual representation of the operation of the transmission channel model and the k nearest-neighbor method.
Keywords:, signal-to-noise ratio, correlation coefficient, integral of probability of recognition, computer modeling, statistics, noise compensation.
3 Igor Troitskiy, Ph.D, Associated Professor at Information Security department in the BMSTU, Moscow, Russia. E-mail: iitroickiy@mail.ru
4 Rustam Yakubov, post-graduate student of Information security department of BMSTU, Moscow, Russia. E-mail: yakubov_rustam@inbox.ru
References
1. Troitskiy 1.1., Yakubov R.Zh. Raspoznavanie diskretnogo signala v additivnom shume dlya dvukh kanalov peredachi informatsii, Voprosy kiberbezopasnosti. 2017. No 1 (19), pp. 57-62. DOI: 10.21581/2311-3456-2017-1-57-62.
2. Yakubov R. Zh. Dvumernoe raspoznavanie signala na osnove metoda k blizhayshikh sosedey // Molodezhnyy nauchno-tekhnicheskiy vestnik. 2015. No 7, pp. 40.
3. Duda R., Khart P. Raspoznavanie obrazov i analiz stsen. M.: Mir, 1976. 510 s.
4. Koshelev V.I., Kholopov I.S. Issledovanie vliyaniya parametrov mnogomodovoy passivnoy pomekhi na veroyatnost' ee pravil'noy klassifikatsii, Vestnik Ryazanskogo gosudarstvennogo radiotekhnicheskogo universiteta. 2009. No 27, pp. 28-31.
5. Troitskiy I. I., Basarab M. A., Matveev V. A. Ispol'zovanie dvukh kanalov peredachi informatsii dlya resheniya zadachi raspoznavaniya diskretnogo signala v additivnom shume // Vestnik Moskovskogo gosudarstvennogo tekhnicheskogo universiteta im. N.E. Baumana. Seriya: Priborostroenie. 2015. No 4 (103), pp. 106-112. DOI: 10.18698/0236-3933-2015-4106-112.
6. Troitskiy I. I., Matveev V. A. K voprosu ob ispol'zovanii dvukh kanalov peredachi informatsii dlya resheniya zadachi raspoznavaniya diskretnogo signala v additivnom shume, Teoreticheskie i prikladnye aspekty sovremennoy nauki. 2014. No 2-1, pp. 103-105.
7. Levin B. R. Teoreticheskie osnovy statisticheskoy radiotekhniki.- 3-e izd., pererab. i dop. M.: Radio i svyaz', 1989. 656 s.
8. Grabusts P., Potential function method approach to pattern recognition applications. Environment. Technology. Resources, Rezekne, Latvia Proceedings of the 11th International Scientific and Practical Conference. 2017. V. 2. pp. 3035. DOI: 10.17770/etr2017vol2.2512.
9. K. Jaganathan, Y. C. Eldar and B. Hassibi, Recovering signals from the Short-Time Fourier Transform magnitude. 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). South Brisbane. QLD. 2015. pp. 32773281. DOI: 10.1109/ICASSP.2015.7178577.
10. Kanj S., Abdallah F., Denœux T. et al. Editing training data for multi-label classification with the k-nearest neighbor rule. Pattern Anal Applic. 2016. No 19. P. 145. DOI: 10.1007/s10044-015-0452-8.
11. Tang Bo, Haibo He. Extended Nearest Neighbor Method for Pattern Recognition [Research Frontier]. Computational Intelligence Magazine, IEEE. 2015. 10. pp. 52-60. DOI: 10.1109/MCI.2015.2437512.
