Робастные методы для разделения смеси сигналов и анализа независимых компонент при зашумленных данных Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

ISSN 0868-5886

НАУЧНОЕ ПРИБОРОСТРОЕНИЕ, 2011, том 21, № 1, c. 114-127

ТЕОРЕТИЧЕСКИЕ РАЗРАБОТКИ

УДК 681.51; 621.391; 519.21

© Г. Ф. Малыхина, А. В. Меркушева

РОБАСТНЫЕ МЕТОДЫ ДЛЯ РАЗДЕЛЕНИЯ СМЕСИ СИГНАЛОВ И АНАЛИЗА НЕЗАВИСИМЫХ КОМПОНЕНТ

ПРИ ЗАШУМЛЕННЫХ ДАННЫХ

Рассмотрены робастные методы и соответствующие им алгоритмы на основе нейронных сетей для реализации разделения сигналов смеси. Восстановление формы первичных сигналов, идентификация смешивающей и разделяющей матриц выполняются без существенных ошибок при наличии значительных уровней шума в анализируемых сигналах смеси.

Кл. сл.: смесь сигналов, зашумленность, восстановление компонент, робастные методы, алгоритмы, нейронные сети, матрица смешивания, идентификация

ВВЕДЕНИЕ

Анализ методов разделения смеси сигналов (РСС) (так же как и методов менее общей задачи — анализа независимых компонент) имеет множество приложений. Идентификация первичных сигналов, регистрируемых в виде смеси, требуется в ряде специализированных информационно-измерительных систем, ИИС, (при радарном зондировании, в медико-биологических комплексах), при адаптивном выравнивании усиления и адаптивном снижении шумов в каналах связи, при усилении сигналов многоканальных датчиков, при анализе негауссовых массивов данных, при обработке цветных изображений, в отдельных задачах радиационного контроля [1-6].

Методы РСС достаточно разнообразны. Они определяются видом доступной априорной информации, мерой надежности предположений о типе распределения первичных сигналов (ПС), образующих смесь,1"1 или о наличии временной структуры ПС, о разнице их корреляционной функции. Поэтому при создании алгоритма РСС могут использоваться либо методы на основе статистик ПС второго порядка анализируемых ПС [7], либо методы на основе статистик более высокого порядка (на кумулянтах [8]). Однако все анализируемые ранее методы были ориентированы либо на отсутствие зашумленности ПС, либо на наличие пренебрежимо малого уровня шума, который не может существенно влиять на результаты РСС, и в частности не может давать смещение в оценках матрицы смешивания (или обратной ей

1) В том числе предположений о негауссовом характере

распределения первичных сигналов.

матрицы размешивания). Поэтому здесь будет рассмотрено расширение адаптивных методов и алгоритмов, позволяющее существенно снизить смещения оценок, обусловленные шумом в измерительных каналах ПС. Кроме того, анализируются динамические рекуррентные нейронные сети, позволяющие осуществлять одновременную оценку неизвестной смешивающей матрицы, совокупности ПС и снижать уровень шума в восстановленных сигналах. Оптимальный выбор нелинейной функции преобразования нейронов (ФПН) при зашумленных сигналах основан на использовании обобщенного экспоненциально-степенного распределения для сигнала шума.2)

В целом задача подавления шума достаточно трудна, а иногда и не поддается полной трактовке, поскольку здесь имеется (т + п) неизвестных сигналов (п — ПС и т — сигналов шума) и в то же время имеется только т доступных или измеряемых сигналов сенсоров. Однако в ряде практических случаев при наличии некоторой информации относительно шума оказываются возможными оценка несмещенной разделяющей матрицы и снижение или полное подавление шума. Например, в некоторых ситуациях шум окружающей среды может быть измерен или моделирован.

2) Плотность обобщенного экспоненциально-степенного распределения при соответствующем выборе ее параметров включает несколько видов распределений: нормальное, Лапласа, подгуссово и надгауссово распределения (т. е. распределения с уменьшенным и с повышенным (относительно гауссова) значением эксцесса) [9].

УДАЛЕНИЕ СМЕЩЕНИЯ В ОЦЕНКАХ НЕЗАВИСИМЫХ КОМПОНЕНТ СМЕСИ И МАТРИЦЫ СМЕШИВАНИЯ

Алгоритмы отбеливания

Алгоритм декорреляции (или отбеливающий3"1 алгоритм) для задачи анализа независимых компонент (АНК) вектора-сигнала x(i) имеет вид

W(k +1) = W(k) + r (k )[I - y(k )y T (k)] W(k), (1)

а его усредненный вариант определяется соотношением AW(k) = r(k)[I - (y(k)y T(k))] W(k), где

y(k) = W(k)x(k); ^ обозначает статистическое усреднение выражения, стоящего в скобках.

Когда сигнал x(k) зашумлен, т. е. x(k) = x(k) + v(k), где x(k) и y(k) = W(k)xX(k) являются оценками без шума для входного и выходного сигналов, то можно показать, что аддитивный шум v(k), относящийся к x(i), вводит смещение в оцененной матрице W. Корреляционная матрица выхода оценивается выражением

I yy = (y(k )y T(k)) = WIl xx WT + WIl vvWT, (2)

где

I xx = (X(k)XT(k)) = (1/n)£ N= x(k )XT(k)

и IIvv = (v(k)vT(k)).

Если допустить, что ковариационная матрица

шума известна (например, Ыvv = ¿21) или может

быть оценена, то модифицированный алгоритм, обеспечивающий удаление смещения, определяется соотношением

AW(k) = r(k) [I - Я % + W(k )I wWT(k)] W(k). (3)

Стохастический вариант этого алгоритма при условии, что Ыvv = ¿21, и оценке = yyT имеет вид

W(k) = ri(k)[I - yyT + ¿2W(k)WT (k)]W(k).

Альтернативно, чтобы снизить влияние белого аддитивного шума для окрашенных сигналов, может быть использовано модифицированное правило обучения [10]:

3) Термин "отбеливание" используется для краткого

обозначения процедуры декорреляции набора сигналов, которая переводит их совместную корреляционную матрицу в диагональную форму, элементами которой являются дисперсии этих сигналов [7], [10].

AW(k) = ф) [I - (12) • ((у ^ )у т (k - р)) + +(у^ - р)ут(^)))] W(k). (4)

где р — малое (целое) время задержки.4-1

Алгоритмы анализа независимых компонент

Логическая схема метода удаления смещения оценок в алгоритмах отбеливания (1)-(4) применима для удаления смещения оценок коэффициентов для группы алгоритмов АНК [11]. Это показано на базовом алгоритме АНК,5) форме

AW(k) = ф )[1 - )] W(k). (5)

Нелинейные функции векторов подбираются соответствующим образом, как рассмотрено в [12], [13]. Алгоритм работает при условии, что ЕЩ^)} = 0 или Е^г(уг)} = 0. Для того чтобы удовлетворить эти условия при несимметричном распределении источников для каждого индекса 1, достаточно использовать только одну нелинейную функцию, а вторая — линейная:

для любого 1 используется Щ(у) и gг■(yг■)= у ■

или Щ(у)) = у ■ и g1(y ■).

Обучающий алгоритм (5) хорошо работает при использовании для РСС без шума, но качество функционирования его значительно ухудшается при измерениях с шумом: появляется нежелательное смещение коэффициентов (элементов размешивающей матрицы W) и зашумленность восстановленных сигналов. Для оценки смещения коэффициентов используется разложение нелинейных функций Щ(у■) и gi(y■) в ряд Тейлора в точке у 1 без шума.

Обобщенная ковариационная матрица R% оценивается по соотношению

4) Приведенный алгоритм теоретически нечувствителен к аддитивному белому шуму. Фактически вместо диа-гонализации ковариационной матрицы с нулевой задержкой ] уу = (у (k )у )) здесь диагонализирована ковариационная матрица с задержкой времени ]уу (р) = (12) • ((у^)ут (k - р)) + (y(k - р)ут (k))) ,

которая нечувствительна к аддитивному белому шуму по той причине, что свободные от шума сигналы сенсоров х^) являются окрашенными сигналами и число наблюдений достаточно большое (в типовом случае более чем 104 отсчетов).

5) Более полная и детальная информация о методах и алгоритмах АНК и правиле обучения нейронной сети в условиях низкой зашумленности сигналов содержится в [12] и [13].

Неизвестная ^ВКШ часть системы

Рис. 1. Система, реализующая смешивание ПС и РСС с практически полным снижением шума ( в предположении доступности ВКШ)

R fg = E{f [y(k )]g[y T(k)]} = = E{f [y(k )]g[yT (k)]} + k f WIR vvWTk g.

(6)

где к- и к — диагональные матрицы с элементами кл = ЕЩ (.у, (к .у,}; ки = Е^, (у, (к)^ уг}.

Полученный так модифицированный адаптивный алгоритм обучения НС при сниженном смещении коэффициентов имеет вид 6)

AW(k) = ,(k)[I - Rfg) + kf W(k)Rvv]• • WT(k) k g W(k).

РАЗДЕЛЕНИЕ СМЕСИ СИГНАЛОВ С РАЗЛИЧНЫМИ ШУМАМИ

(7)

Эффективное РСС при аддитивном окрашенном шуме, которым нельзя пренебречь, зависит от

6) В случае, когда все ПС распределены одинаково, т. е. для любого ,: / (у,) = /(у,) и gi (у,) = g (у,) и Я = ст 2 I, поправка на смещение упрощается и становится равной

В = сг2ук/ ■ кв WWT.

того, как и насколько может быть подавлен этот шум. Основная трудность связана с наличием (m + + n) неизвестных сигналов (m сенсоров в ИИС и n ПС), т. к. при отсутствии дополнительной информации относительно модели смешивания и (или) шума задача РСС является значительно не-доопределенной и ее очень трудно (а иногда невозможно) решить.

Однако во многих практических случаях можно измерить или моделировать шум окружающей среды, который, передаваясь с различными передаточными функциями на выходы смешивающей матрицы, образует зашумленные сигналы x1, x2,...,xn , преобразуемые затем с помощью нейронной сети в оценки ПС. В таких случаях говорят о внешнем контролируемом шуме (ВКШ) vBKm.7) Описанная ситуация показана на рис. 1. Примером ее служит задача выделения определенного речевого сигнала при контроле обсуждения группой людей (часто одновременно говорящих) информационно высокозначимых проблем. При этом наличие микропауз позволяет получать ВКШ, используя отдельный микрофон и контроль on line. В биомедицинских приложениях типа ЭКГ и ЭЭГ таким же образом измеряется ВКШ путем разме-

7) Иногда его называют опорным, или референтным шумом, например, в работе Дугласа, Сичоки и Амари (Douglas, Cichocki , Amari) [11].

щения (специально расположенного) дополнительного электрода.

Обусловленный условиями внешней среды ВКШ может влиять (некоторым неизвестным образом) на каждый сенсор ИИС. При этом могут возникать такие эффекты, как задержка, реверберация, эхо и нелинейные искажения. Предполагается, что, прежде чем достигнуть каждого сенсора, увкш обрабатывается некоторой неизвестной линейной или нелинейной динамической системой (рис. 1). Модель шума может быть различного типа: авторегрессией скользящего среднего (АРСС), нелинейной моделью авторегрессии скользящего среднего (НАРСС) или фильтром (со сверткой) с конечной импульсной характеристикой (КИХ-фильтром) [14, 15]. В случае модели со сверткой ВКШ обрабатывается КИХ-фильтром с функцией

импульсного отклика, параметры которой необходимо оценивать. Следовательно, аддитивный шум на 1 -м сенсоре моделируется соотношением [16]

^ ^) = 1 \Р А ^) ^ -р ) =

= ХР=1 К(^вкш^ -р), (8)

-1 -¿Т «

где г = е — оператор, выражающий задержку на единицу времени.

Такая модель отражена на рис. 1 и 2, а. В ней принято, что известный ВКШ поступает на каждый сенсор (добавляясь к смеси ПС) с различной неизвестной временной задержкой и различными коэффициентами Нр ^), определяющими затухание.

Процессы неизвестного смешивания и свертки в матричной форме описывает соотношение (9):

Неизвестная часть системы

^вкш(к)

ф)

ад

А01

1

W2(zЛ)

А02

т вд

\л/

У(к)

АОВ

Рис. 2. Схема, отражающая многофазовое устранение шума и РСС.

а — линейная модель шума в форме свертки; б — более общая модель аддитивного шума, определяемого нелинейной динамической системой (НДС) и адаптивными нейронными сетями (НС1 и НС2); АО1 и АО2 — обучающие алгоритмы на основе МНК или обратного распространения ошибки (при супервизорной форме обучения); АО3 — обучающий алгоритм для РСС

х(к) = Ш(к) + h( z)vBкш(k), (9)

где М z) = [ЯД z), Н 2( z),..., Нп (z)]T и Нг (z) = = к,о (z) + Ил (z)z-1 +... + И1Ь (z)z-Ь .

Аналогично РСС и выделение ВКШ (операцией, обратной относительно свертки) определяет выражение

У(к) = Wx(k) - *( z)vBкш = WHs(k) +

+т(/)УВКш -^(z)vвкш, где

*(z) = [ВД,...,Ж(z)]T и Ж(z) = £М=0Р.

Лучшее снижение шума реализуется минимизацией функции стоимости в виде обобщенной энергии всех сигналов на выходе НС (рис. 1) при определенных ограничениях и обеспечении взаимной независимости этих сигналов.

Алгоритм обучения НС для полного снижения шума

Основу алгоритма для снижения шума составляет одновременное использование двух процедур обучения НС: сигналы выделяются из их линейной смеси посредством алгоритма РСС, а аддитивный шум оценивается и вычитается путем минимизации общей энергии выходных сигналов. Функция стоимости (критерий минимизации), за которую принимается энергия, имеет вид

J(*) = (1/2)£П=1 Е{|у, |2}.

(10)

* р (к +1) = *р (к) - 1 (к) (а/ (*)/ а * р) =

= * р (к) + »(к) у, (к V

вкш (к - р)).

(11)

щенной энергии — применяется / ) = = ЕП=1 Е{А(X ,)}, где р(хг), (, = 1, 2, ..., п) — частные функции потерь в виде р( х ,) =

= (У у)1о8со^(7х,) или А(х) = (12)1 х |2 и

х (к) = X(к) - Е М= *1 р ' "вкш (к - р) при . Минимизация такой функции стоимости /(^1), реализуемой методом градиентного спуска, приводит к алгоритму обучения НС в виде

* 1 р (к+1) = * 1 р (к) - 1(к) • (а/ (*)/а *1 р) *

* *1 р (к) + 1(к)/ВКШ [Х{ (к)]"вкш (к - (12)

где /ВКШ[ Xi (к)] — нелинейная функция /ВКШ [ XI (к)] = ( ар (х ,)/а х ,), в качестве которой

достаточно использовать /вкш( X ,) = х,

/вкш( х,) = х,).

или

Минимизация /относительно *рр приводит к процедуре алгоритма наименьших средних квадратов (известного как алгоритм МНК):

Число единиц временной задержки М в модели разделения (или операции, обратной относительно свертки) должно быть значительно больше, чем Ь в модели смешивания (М >> Ь).

Для снижения шума может использоваться многофазная модель (рис. 2, а). В этой модели подавление шума и РСС выполняются последовательно за две или более стадий. Сначала уничтожается шум, содержащийся в смесях (регистрируемых сенсорами), а затем выделяются ПС. Чтобы подавить аддитивный шум и получить адаптивный алгоритм обучения при неизвестных коэффициентах кр(к), используется минимизация обобщенной энергии выходных сигналов х(к) = [х1(к),х2(к),...,хп(к)]т . Т. е. в качестве критерия — полной функции стоимости как обоб-

В описанной выше модели, которая реализует адаптивное подавление шума и включает линейное КИХ-преобразование КВШ, шум оценивается как взвешенная сумма задержанных отсчетов контролируемого внешнего шума. Однако в отдельных случаях линейная адаптивная система подавления шума не может обеспечить его снижение до приемлемого уровня. Это бывает, когда сигналы сенсоров ИИС подвергаются искажению за счет КВШ, который преобразован сложной динамической нелинейной системой.

В таких приложениях (особенно при обработке биомедицинских сигналов) для оптимального подавления интерференции, связанной с КВШ, и собственно шума, поступающего непосредственно на сенсоры, требуется нелинейная адаптивная обработка регистрируемых и измеряемых сигналов. В таких случаях вместо линейных фильтров целесообразно применять структуры на основе нейронных сетей (рис. 2, б) и обучение их с использованием алгоритма обратного распространения [17, 18].

АДАПТИВНЫЕ АЛГОРИТМЫ АНАЛИЗА НЕЗАВИСИМЫХ КОМПОНЕНТ СМЕСИ, ОСНОВАННЫЕ НА КУМУЛЯНТАХ

Основное достоинство алгоритмов, основанных на кумулянтах, состоит в том, что они не зависят от гауссовых шумов.8) Это свойство связано с тем,

) Необходимым условием использования кумулянт в алгоритмах РСС является большое количество отсчетов анализируемых сигналов, позволяющее достаточно корректно оценивать значения кумулянт. Структура кумулянт (кроме их краткого определения, приведенного здесь) более подробно дана в [8].

что статистики, выше второго порядка (в том числе и кумулянты), для гауссова шума равны нулю. Это особенно полезно при обработке и анализе биомедицинских сигналов, которые обычно связаны с высоким уровнем гауссова шума. Однако т. к. кумулянты третьего порядка равны нулю для сигнала с любым симметричным распределением, то для алгоритмов РСС при сигналах с симметричным распределением используются кумулянты четвертого и более высокого порядков.

Функция стоимости, основанная на кумулянтах, и алгоритмы с их применением

В качестве меры независимости сигналов {Уi}i = и,...,и используется критерий Кульбака— Лейблера [19, 20], который приводит к функции стоимости

R(y, W) = (-12) det(WWT) |) -

-X р, (у))},

или что эквивалентно выражению:

R(y, G) = (-V2) log(|det(G) |) --X ;=iE{iog( p, (y,))},

Случай правильной подгонки нелинейности возникает из замены в (13) слагаемых с псевдоэнтропией - E{log( p (yi)) на функцию кумулянт выходного сигнала |С^(у)| / (1+q).

Рассмотрение этого случая приводит к функции стоимости (ФС) в виде

J(y, W) = (-12)log | det(WWT)| -

-d(i+?))x;=i{|Ci+i (y,.)|>. (14)

Минимизация этой ФС приводит к ненулевому решению для {у} = ввиду того, что матрица WWT Ф 0 и второе слагаемое заставляют сигналы быть как можно более негауссовыми, т. к. кумулянты высокого порядка являются естественной мерой негауссовости сигнала (и равны нулю для гауссовых сигналов). С учетом определения и свойств кумулянт получается соотношение

1+q

Жум.( y y)

aw,.

=(1 + ^)КУм.( y, y,)'

fyj

aw,.

(13)

где G = WH (G — общая матрица смешивания-размешивания размерности (п х п)). Тем не менее во многих приложениях плотность распределения сигналов бывает априори неизвестной, и при выводе практических алгоритмов приходится использовать нелинейные функции, которые в некоторых случаях могут не соответствовать истинному виду распределения сигналов. Поэтому целесообразно использовать другой вид функции стоимости, которая зависит от кумулянт.

Кумулянта Сд(у) порядка д сигнала у, и матрица Срд(у,у) кросс-кумулянт с элементами

[С рд (y, У)], = КУм.(У,, У,,..., У,, У, ,УJ,..., У,) выра-

У---'У-V-'

р д

жаются через статистические моменты (высокого порядка) сигналов.9-1

(15)

=(1+q) •5,к кум.( y гy,xj).

С использованием этого свойства кумулянт, аналитически выраженное в (15), Круцесом, Кас-тедо и Сичоки (Cruces, Castedo, Cichocki) [22] получено соотношение, объединяющее размешивающую матрицу W (для РСС), сигналы (x) на сенсорах ИИС, оценку ПС (y) и кумулянты этих сигналов:

¿X "JC+. (y, )|

aw

= (1 + q)Sq+1(y)Cqд(у, x), (16)

где Sq+:(y) = sign№ar.(Q,q(y, y))). Исходя из этого, поскольку

a log | det(WWT) |

aw

= 2(WWT)-1 W,

9) Оценка кумулянт через статистические моменты определяется соотношением:

Кум.(у1, У2, ..., Уп) =

= X (-1)т-1(т-1)!-Е|пУ, [• ЕЩУ, • ЕЩУ,

где сумма распространяется на все возможные разделения (на слагаемыер1,р2,. ,рт, т = 1, 2, ..., п) множества натуральных чисел (1, 2, ..., п) [21]. Эти вычисления просты для кумулянт низкого порядка, но их сложность достаточно быстро возрастает для кумулянт высокого порядка.

получается соотношение для градиента ФС, которое используется при получении ряда обучающих алгоритмов:

J Ь™ = -2(WWT )-1 W + S q+1 (y)C?J (y, x). (17)

Для улучшения сходимости итеративного процесса обучения НС вместо минимизации ФС обычным методом градиентного спуска может быть использована формула Атика—Редлиха (Atick, Redlich) (18), которая приводит к правилу

обучения (19)10) [22]:

AW = - 77 W

J (y, W)

aw

w =

11)

где

C1,3 (y. y) = (y(y0 y0 y)T)- 3( yyT) Диаг.{y0 y) J.1

Диагональный элемент матрицы S4(y) определен в

10) Для отдельных значений q алгоритм (19) переходит в (полученные ранее) частные алгоритмы. Так, например, при q =1 — это алгоритм декорреляции Альмейда и Силва (Almeida, Silva) [24]: W(k +1) = W(k) + r (k) x

x[ I - ^yyT • W(k); при q = 2 — это алгоритм Сичоки и

Унбехауна (Cichocki, Unbehauen) [25] для разделения сигналов с несимметричным распределением: W(k +1) = W(k) + r (k)[ I - (y • g(y))] • W(k), компоненты вектора g(y) определяются нелинейными функциями g(y) = sign(yi) y .

11) Символом о обозначается кронекерово произведение матриц и векторов (являющихся матрицами с одним столбцом). Матрица с = А ° B для кронеке-

с с с

mpxnq mxn pxq

рова произведения состоит из блоков [Cik ] = akB .

виде [S4(y)j = sign(E{y4} - 3(E{y2})2) =

= sign k4(y)

Алгоритм (21), представленный в реальном времени, имеет вид

= ^ [(WWT)-1 W - ^ (у)С^(у, х)]Т W, (18)

дw(^) = W(l +1) - W(l) =

= г,(1) [I - С^ (у, у)^ (у)] W(l). (19)

Умножение (19) справа на смешивающую матрицу Н позволяет получить алгоритм обновления общей матрицы G системы РСС ^ = WH):

^(1) = г (I) [I - См (у, y)Sl+í (у) ] G(l). (20)

Затем если в (20) применить так называемое неравенство треугольника [23]

II См (у, у)^ (у) -1||< 1+1| С^ (у, у)^ (у) ||= = 1+1^ (у, у) ||,

то для численной устойчивости алгоритма (20) достаточно использовать ограничение параметра

скорости обучения в виде г, (I) <-1-.

1+||С^ (у, у) ||

При значении q = 3 алгоритм (19) позволяет работать с симметрично и несимметрично распределенными сигналами. В этом случае вид алгоритма определяется соотношением

W(l +1) =

= W(l) + г (I) [I - Си(у, y)S4(y)] W(l) = = W(l) + г (I )[1 - ^(у))] • W(l)), (21)

W(k +1) = W(k) + 7(k)[I - Rk] • W(k),

(22)

где Ryg) = (1 - Го)R ^ + ,0 у (к )gT у (к) при ]]■) =

= (у]2 - 3у (2 )• ^в^^Су^ и сг2 (к) =(1 - ,0) х

хс 2 (к -1) + ,0 у2 (к).

Один из недостатков ФС (14) и связанного с ней алгоритма (19) состоит в том, что они не могут быть использованы, когда кумулянта С^ (уi) для

некоторого сигнала у, равна нулю (или очень близка к нему). Тогда нужно использовать кумулянты различных порядков и найти набор О индексов (О = ^ь...^лО}), для которого сумма

Е?епI ^ (у1 ) I (для всех сигналов) не равна нулю. При этом слагаемое С^ (уi )/(1 + q) в (14) заменяется взвешенной суммой кумулянт выходных сигналов, индексы которых входят в набор О, т. е.

J (y, W) = Z

IQ+, (j, )}| j. --

qeQ 1 + q

a4

а весовые коэффи-

циенты таковы, что Z naq = 1.

Так же, как выше, получается обучающий алгоритм [22]

AW(l) = 7 (l)

I -laqC^q (y, y)S1+q (y)

qeQ

W(l), (23)

где для параметра скорости обучения п выполняется ограничение

7 (k) =

= min

27о

7о

1 + 7о Za/ 1 + 7oIlZaqC1,q (y, y)S1+q (y) II

qeQ qeQ

7o ^1 и Za =1.

qeQ

Алгоритм РСС при количестве сенсоров более числа первичных сигналов

Для рассмотренных выше алгоритмов на основе (19), робастных относительно гауссовых шумов, показана устойчивость с использованием общей передаточной матрицы G. Полученные результаты справедливы при квадратной матрице G, но это соответствует не только равному числу ПС (п) и сенсоров ИИС (т), но и случаю, когда т > п.

Если алгоритм (20), использующий матрицу G

T

G(^ + 1) = [I +п(1 )(1 - С,д (У, У^1+д (У)] G(l ) ,

умножить справа на псевдообратную матрицу Н+ (относительно смешивающей матрицы Н): 2)

Н+ = (Нт Н)-1НТ,

то будет получено соотношение

W(l + 1)Рн =

= [I + ,) (I - С1,д (У, у)^ (у) )] W(l)Pн, (24)

где Рн — матрица проектирования на пространство, определяемое столбцами матрицы Н. Этот алгоритм определен с использованием (вместо W(l+1)) разделяющей матрицы W(l + 1)РН . Если опустить проекцию Рн ,13) то получим ту же самую форму алгоритма для неквадратной разделяющей матрицы W размера (п х т):

W(l +1) =

= [I + ,) (I - С1,д (У, y)Sl+д (у) )] W(l). (25)

Аналогичным образом получается похожий алгоритм для оценки смешивающей матрицы Н размера (т х п):

н(1+1) = нн(1 ) - ,) [нн(1) - с1,д (х, y)sl+д (у )]

+1) =

или эквивалентно

(26)

нн(1+1) = н(1 ) )нн(1 ) [I - С1,д (у, у ^ (у) ].

Приведенные алгоритмы обладают важными свойствами.

1. Сходимость алгоритма (20) не зависит от распределения сигналов (при условии, что кумулянты (д + 1) порядка от них не равны нулю).

2. Присутствие в смеси аддитивных гауссовых шумов (при достаточном количестве отсчетов)14 не изменяет свойства сходимости алгоритма, т. е. оцениваемая разделяющая матрица не имеет смещения, зависящего от шума [22]. Это свойство обусловлено использованием кумулянт высокого порядка (вместо нелинейной ФПН).

12)

Псевдообратная матрица Н+= (Нт Н) 1НТ является

эквивалентом обратной матрицы для неквадратной матрицы Н. Если Н имеет размерность (п х т), то Н+ — размерность (т х п) [26, 27].

13) Эта операция (опускание РН) не влияет на компоненты выходного сигнала НС-системы РСС, т. к. WPHH = Iп соответствует WH = Iп и поэтому РСС все равно выполняется.

4) При оценке кумулянт достаточным количеством отсчетов можно считать не менее 5000.

РОБАСТНОЕ ИЗВЛЕЧЕНИЕ ГРУППЫ СИГНАЛОВ ИЗ СМЕСИ

Рассмотренные выше алгоритмы могут быть модифицированы для случая, когда требуется извлечь из смеси только определенное количество е ПС, 1 < е < п . При этом проанализированы два варианта:

1) алгоритм извлечения малого количества сигналов (составляющих небольшую долю всех ПС и имеющих наибольшее значение эксцесса) с использованием отбеливания и ограничения на ортогональность;

2) алгоритм извлечения произвольной группы сигналов без использования процедуры отбеливания.

Алгоритм 1

Предположение, что сигналы (5,) упорядочены по убыванию абсолютной величины эксцесса кА(я]) = Е{я,4}-3Е2{5} Ф 0, т. е. ^(^^к^)^

> — >| к4(яе)|> — >| к4(яп)|, позволяет определить задачу извлечения из смеси е сигналов как оптимизацию, т. е. как минимизацию с ограничением (своеобразного критерия) функции стоимости.

Минимизировать

J(у) = -X1 к4(У,) | при ограничении WeWeт = Ie,

где W — размешивающая матрица размера (е х п), уе (к) = Weх (к), в предположении, что сигналы сенсоров х = Qx отбелены или смешивающая матрица устроена таким путем, что матрица А = QH является ортогональной.

В этом случае минимизация функции стоимости с таким ограничением приведет к извлечению е сигналов с наибольшей величиной эксцесса.

Обучающий алгоритм, построенный на основе использования м-градиента для минимизации ФС, имеет вид AWe(l) = - п[ V wJ - We( V WeJ)T We] и при выбранной форме ФС сводится к соотношению

^^е (l + 1) = ^^е (!) +

+,^(у)СзД(у, х) - С1,з(у, y)S 4 (у)^^е (l) ], (27)

где S4(y) — диагональная матрица с элементами я,, = [sign(k4(yi))]ii (знак эксцесса выходных сигналов); С13(у, у) — матрица кросс-кумулянт четвертого порядка с элементами у вида

[С1,з(у,У)], = Кум.(У,(к),У,(к),У,(к),У, (к)); матрица кросс-кумулянт С31(у, х) определена соотношением С31(у, х) = С13(х, у).

Для е = п (т. е. при извлечении всего набора ПС) алгоритм (27) принимает вид

W(l + 1) =

= W(l) + г [S4(y)Cз,l(y, у) - С1,з(у, y)S4(y)W(l)]. (27*)

Алгоритм (27) может выполняться в режиме реального времени (скользящего среднего):

We (к + 1) = We (к) + г [Кк - й£ We (к)] , (28)

Лагранжа [29] и, как показано Круцесом (Cruces et al. [30]), приводит к соотношениям:

где

RX = (1" + Го§(У (k))xT(k);

R k = (1 - ,o)R + Г o y(k )gT (y(k));

(Ryy}

intr <R } при We (l )H e (l) = Ie. (30)

y(k) = W(l) x(k) =

= [H T(i )r;vh e (I )]-1 H T(i)R ;vx(k), H. (I+1) = H. (I) -

-r,(l) [H (l) - Chq (x,y) + Si+Í (y)],

(31)

(32)

g(y) = [g(yi), g(y2), • • •, g(ye)]T при g(yi) = (y,3 - 3 y, E{y!2})sign(k4(y!)).

Алгоритм 2

Показано, что смешивающая матрица Н может быть оценена (с использованием кумулянт) на основе обучающего правила (26)

Н(1 +1) = Н(1) - г(I)НН(1) [I - См (у, y)Sl+q (у)] .

Согласно Круцесу [22], это обучающее правило может быть представлено в более общей форме, описывающей оценку смешивающей матрицы для случая выделения из смеси только е сигналов:

Н е (I + 1) = Н е (I) -

г (I )Н е (к) [I - С^ (у, у)^ (у) ], (29)

где у = Wex ; Не = [111,112,..., 11 е] — матрица, составленная из первых е векторов оцениваемой матрицы Н . Это означает, что может оцениваться

произвольное число столбцов матрицы Н без знания других ее столбцов (при условии, что вся разделяющая матрица W также может быть оценена).

Для того чтобы извлечь е сигналов, можно минимизировать среднеквадратичную ошибку между оцениваемым сигналом Г е и выходом НС у = We х . Но это эквивалентно минимизации общей мощности оцениваемых выходных сигналов при ограничении We (I)Не (I) = !е:

тт |

Метод решения задачи минимизации с ограничением основан на использовании множителей

где й- (т х п) — матрица, псевдообратная относительно оцененной ковариационной матрицы шумов, при этом т > п и 1 < е < п . Чтобы извлекать из смеси желаемое количество сигналов требуется попеременно выполнять итерации по соотношениям (31) и (32). Эти соотношения представляют суть робастного алгоритма РСС, с помощью которого можно восстановить произвольное количество е < п сигналов без предварительного выполнения операции отбеливания. Преимуществом алгоритма является нечувствительность его к гауссовым шумам (при условии, что их ковариационная матрица известна или может быть надежно оценена). Теневой стороной алгоритма является то, что для него требуется вычисление псевдообратной матрицы и ковариационной матрицы шумов.

СИСТЕМА УНИЧТОЖЕНИЯ ШУМОВ ПРИ РСС НА ОСНОВЕ НЕЙРОННЫХ СЕТЕЙ (НС)

Установленные выше алгоритмы дают несмещенную оценку разделяющей матрицы W, что позволяет получать смешивающую матрицу

Н = W+ = HPD , где W + — псевдообратная относительно W; Р — (п х п)-матрица перестановок (любая); D — диагональная масштабирующая (п х п)-матрица .

Получение системы на НС для уничтожения шума в оценках ПС включает два этапа:

а) вводится вектор ошибки е(0 = х(0 - Ну(^), где е(0 = [е^О, е2(0,..., ет^)]^ у(г) — оценка ПС s(t);

б) для получения у(^) минимизируется ФС в

виде энтропии Е{/(е(0}= -£"^{^[р,(е,(0)]},

где р,(е,) — плотность распределения вероятности шума vi(t), и предполагается независимый и одинаково распределенный шум в ПС.

Минимизация ФС осуществляется методом градиентного спуска, приводит к независимости компонент ошибки и минимизации их величины. Соответствующая система уравнений имеет вид

Неизвестная часть

s(t) ад

: -/-> \ п Н

W

Отбор и сохранение отсчетов

П

п

Обучающий алгоритм

У (t)

У (О = 8(0

Рис. 3. Блок-схема системы для оценки разделяющей матрицы и ПС при обеспечении снижения шума

8y(t)/8t = V(t) HT T[e(t)],

(33)

15) Плотность ЭСР имеет вид [9]: Р1 (е,) = [Г / (2а. Г(1/ г))]ехр[-1 е, |г /(гр,)], где г, — переменный параметр; Г(г) = |0Ш иг-1 exp(-u)du — гамма-функция; аг = Е{| е ^ } — обобщенная мера дисперсии шума. При г, = 1 ЭСР равноценно плотности распределения Лапласа, при г, = 2 — обычному распределению Гаусса, при г, > 4-5 ЭСР равноценно плотности равномерного распределения.

^ (e) = -

где T[e(t)] = ),...,¥т[em(t)]]T с нелинейно-

стями в виде ^ (e,) = - 8 log pi (ei)/8 et.

Блок-схема системы на основе НС, отражающая выполнение такого алгоритма, приведена на рис. 3, где в блоке "Обучающий алгоритм" использовано правило обучения (7), соответствующее удалению шумов.

В рассматриваемом алгоритме оптимальный выбор нелинейностей ^ (e^) зависит от распределения шума. Для шума использовано экспоненциально-степенное распределение (ЭСР).15) Выбор в ЭСР параметра r -1 определяет нелинейную ФПН в виде:

8 l0g(Р г (eг ))

8e,.

к, Г

-| et -1 sign(ei),

r -1.

(34)

Алгоритм (33) для дискретного времени имеет вид у(к +1) = у(к) +,(к)НТ(к)Т[е(к)] и показан на рис. 4. Он отражает систему РСС рекуррентной НС и нелинейную форму обработки, которая обеспечивает эффективное снижение аддитивных компонент шума в восстанавливаемых ПС.

Несколько более эффективная структура системы на основе НС показана на рис. 5. Система обеспечивает оценку смешивающей матрицы Н и одновременное снижение уровня шума у выделяемых из смеси первичных сигналов. В основе этой системы лежит рассмотренный выше алгоритм и эквивалентность Н = W+. Для условия т > п дифференцирование WH = WW+ = I ведет

dW ^ ¿Н

к соотношению -Н + ^-= 0, которое позволяет получить (как это сделано в [12] и [13]) обучающий алгоритм для получения оценки смешивающей матрицы Н :

1

Рис. 4. Блок-схема системы на основе рекуррентной НС для оценки разделяющей матрицы и ПС при обеспечении снижения шума (модель дискретного времени)

Рис. 5. Блок схема системы для РСС на рекуррентной НС с робастным алгоритмом и регуляризацией

dH(0 dt

IidWlHi

dt

= -м (ОН^) [Л(t) = f [y(t )]gT [y(t)]], (35)

где Л = Диаг.{Аь Х2,..., Хп} — диагональная матрица (в качестве которой можно использовать Л = = I или Л = Диаг.{%(0]ут[(0]}); %(0] = = /1(у0,...,/п(Уп)]Т и g[y(t)] = ЫуО,..., gn(yn)]т — векторы нелинейных функций. Замена выходного вектора у(0 улучшенной оценкой у^) приводит к обучающему алгоритму в виде

^dp = -м (t )H(t) [A(t) = f [y(t )]gT [y(t)]]

и

dy(t) dt

= !u(t )HT(t )T[e(t)].

y(k +1) = y(k) + ri(k )[HT (k) • T( x(k) --H(k )y(k)) -«• <p(y(k))],

ПС для плохообусловленных задач. Система, построенная на основе рекуррентной НС и реализующая этот алгоритм, показана на рис. 5.

Некоторое усовершенствование алгоритма, способствующее дополнительному улучшению обусловленности задачи РСС и снижению шума в восстанавливаемых оценках ПС, может быть достигнуто предварительной обработкой: робастным (без внесения дополнительного шума) отбеливанием или анализом главных компонент для измеренных (на сенсорах) сигналов. Этап предобработки отражен на рис. 5 (п х т)-матрицей Q. Отбеливание для зашумленных данных может быть выполнено с использованием обучающего алгоритма

(36)

AQ(k) = r(k)[I - x(k)iT (k) +

+ ¿2vQ(k )QT(k )]Q(k),

(38)

В дискретной форме алгоритм (36) имеет вид:

ДН(к) = Н(к +1) - НН(к) =

= г (к)Н(к)[Л(к) = f [у(к)]gт [у(к)]] и у(к +1) = у(к) + г(к )Нт(к )¥[е(к)], где е(к) = х(к)- Н(к)Г(к) и х(к) = Х(к) + у(к)].

В отдельных случаях смешивающая матрица Н может быть плохо обусловленной (с очень большим разбросом собственных значений). Тогда, чтобы получить корректную оценку, следует выполнить отбеливание или использовать метод регуляризации (МР) [31, 32]. МР состоит в расширении ФС J(e) — включении дополнительного слагаемого

J (е) = р(х-Н у) + (а/2)|^у||2,

где е = х - Ну; а > 0 — константа регуляризации, контролирующая размер решения; а L — матрица регуляризации, определяющая его норму (при этом обычно принимается L = I). Минимизация расширения ФС с L = I приводит к обучающему правилу

где х(к) = Ох(к) = О • [ Hs(к) + у(к) ]. При т = п и несингулярной ковариационной матрице йхх = Е{х(к) хт(к)} = VЛVт может использоваться алгоритм

Q

Диаг.

X

X + ^

X + <У1

V T

(37)

где T(e) = [^(еД..., ¥m (em )]T с компонентами ^ (e,) = др/de,; <p(y(k)) = «Ш,...<и (У )]T с нелинейностями < (yi) =| yi |p-1 sign(yi).

Комбинация (37) с дискретной формой (36) приводит к алгоритму, который обеспечивает одновременную оценку смешивающей матрицы и

где — оценка дисперсии шума; X, — собственные значения, а V=[v1, V2,..., vn] — ортогональная матрица соответствующих собственных векторов ковариационной матрицы йхх.

ЗАКЛЮЧЕНИЕ

Рассмотрены метод и алгоритмы разделения сигналов смеси (и восстановления формы ее компонент) для условий, когда измеренные сигналы искажены большими уровнями аддитивного шума. Существующие адаптивные алгоритмы разделения сигналов смеси (РСС) видоизменены таким образом, чтобы существенно снизить смещения оценок смешивающей Н и разделяющей W матриц, обусловленные наличием шума. Этим достигается практическая устойчивость алгоритмов РСС (их робастность) к значительным уровням шумов в анализируемых сигналах смеси.

Система реализации робастных алгоритмов построена на основе нейронных сетей (НС) с рекуррентной структурой. Система обеспечивает одновременную оценку неизвестной смешивающей матрицы, восстановление первичных сигналов (компонент смеси) и снижение шума в них. Этим алгоритмы отличаются от рассмотренных ранее,

которые были ориентированы на отсутствие шумов или их пренебрежимо низкий уровень.

— Показано, каким образом выбирается оптимальная нелинейная функция преобразования нейронов (ФПН) при различных видах вероятностного распределения шумов.

— Для плотности вероятностного распределения шумов использовано семейство экспоненциально-степенных распределений. (Это семейство помимо гауссова включает распределения Лапласа, практически однородное распределение и (над-гауссовы) распределения с большим значением эксцесса).

— Удаление смещений в оценках матриц H и W проанализировано в рамках методов отбеливания (преобразования анализируемых сигналов, ведущего к диагональной ковариационной матрице) и анализа независимых компонент (АНК).

— Показан метод РСС для случая, когда в первичных сигналах (компонентах смеси) присутствует шум в форме свертки. Дан алгоритм обучения НС (в составе системы РСС), который обеспечивает уничтожение шума. При этом предполагается, что доступен внешне контролируемый шум (ВКШ).

— Дана трактовка адаптивных алгоритмов АНК на основе статистик высокого порядка (кумулянт). Показана робастная форма алгоритма для извлечения из смеси группы сигналов.

— Приведены структуры систем РСС на основе НС для ряда вариантов: для ВКШ в форме свертки (при линейном и нелинейном преобразованиях) с идентификацией матрицы W и компонент смеси; для идентификации неизвестной смешивающей матрицы (H) и компонент смеси при подавлении шума. Рассмотрена структура на основе НС, которая обеспечивает оценку смешивающей матрицы H и одновременное снижение уровня шума у выделенных из смеси первичных сигналов.

— Для плохо обусловленной задачи РСС (при смешивающей матрице с большим разбросом собственных чисел) дан алгоритм с регуляризацией и НС, соответствующая этому алгоритму.

— В представленном анализе методов и робаст-ных алгоритмов РСС использованы работы Дугласа, Сичоки и Амари; Кульбака; Круцеса, Кастедо и Сичоки; Альмейды и Силвы, А.Н. Тихонова и В.Я. Арсенина.

СПИСОК ЛИТЕРАТУРЫ

1. Al-Kindi M.J., Dunlop J. Improved adaptive noise cancellation in presence of signal leakage on the noise reference channel // Signal Processing. 1989. V. 17. P. 241-250.

2. Nguyen Thi H.L., Jutten C., Caelen J. Speech enhancement: Analysis and comparison of methods on various real situations // Signal Processing VI: Theory

and Applications / Eds. J. Vandewalle, R. Boite, M. Moonen, A. Oosterlinck, 1992. P. 303-306.

3. Weinstein E., Oppenheim A.F., Feder M., Buck J.R. Iterative and sequential algorithms for multi-sensor signal enhancement // IEEE Transactions on Signal Procesing. 1994. V. 42, N 4. P. 846-859.

4. Shamsunder S., Giannakis G.B. Modeling of non-Gaussian array data using cumulants: DOA estimation of more sources with less sensors // Signal Processing. 1993. V. 30. P. 279-297.

5. Karhunen J., Joutsensalo J. Representation and separation of signals using nonlinear PCA type learning // Neural Networks. 1994. V. 7, N 1. P. 113-127.

6. Малыхина Г.Ф., Меркушева А.В. Сеть с симметричной функцией преобразования нейронов для подавления искажений и восстановления изображения // Научное приборостроение. 2008. Т. 18, № 2. С. 73-80.

7. Меркушева А.В., Малыхина Г.Ф. Методы и алгоритмы разделения смеси сигналов: Применение де-корреляции и статистик второго порядка // Научное приборостроение. 2009. Т. 19, № 2. C. 90-103.

8. Малыхина Г.Ф., Меркушева А.В. Сеть с симметричной функцией преобразования нейронов на основе статистик высокого порядка (СВП) для снижения шума нестационарного сигнала // Научное приборостроение. 2008. Т. 18, № 4. С. 129-136.

9. Малыхина Г.Ф., Меркушева А.В. Детектирование речевого сигнала и фильтрация с адаптивным порогом // Сб. трудов фТк СПб ГТУ: Микропроцессорные средства измерений. Вып. 2. С.-Петербург, 2001. С. 26-35.

10. Douglas S.C., Cichocki A. Neural networks for decor-relation of signals // IEEE Transactions on Signal Processing. 1997. V. 45, N 11. P. 2829-2842.

11. Douglas S.C., Cichocki A., Amari S. A bias removal technique for source separation with noisy measurements // Electronic Letters. 1998. V. 34, N 14. P.1379-1380.

12. Малыхин В.М., Меркушева А.В. Методы и алгоритмы разделения смеси сигналов: Применение м-градиента к анализу независимых компонент // Научное приборостроение. 2009. Т. 19, № 4. С. 8395.

13. Меркушева А.В., Малыхина Г.Ф. Восстановление формы линейно смешанных сигналов на основе адаптивного алгоритма рекуррентной сети // Научное приборостроение. 2005. Т. 15, № 3. С. 94-107.

14. Рабинер Л., Гоулд Б. Теория и применение цифровой обработки сигналов. Пер. с англ. М.: Мир, 1978. 848 с.

15. Бендат Дж., Пирсол А. Прикладной анализ случайных данных. Перевод с англ. М.: Мир, 1989. 540 с.

16. Уидроу Б., Стирнз С. Адаптивная обработка сигналов. Перевод с англ. М.: Радио и связь, 1989. 439 с.

17. Gallant A.R., White H. // Neural Networks. 1990. N 5. P. 128-138.

18. Cichocki A., Kasprzak W. Nonlinear learning algorithms for separation of natural images // Neural Network World. 1996. V. 6, N 4. P. 515-523.

19. Кульбак С. Теория информации и статистика. М.: Наука, 1967. 408 с.

20. Малыхина Г.Ф., Меркушева А.В. Концепции информации и энтропии в нейросетевых методах анализа сигналов ИИС // Информационные технологии. 2005. № 12. С. 26-36.

21. Proakis J.G., Nikias C.L. Blind equalization // Proceedings of SPIE. 1991. V. 1565. P. 76-87.

22. Cruces S., Castedo L., Cichocki A. // Proceedings of International Congress on Acoustic "Speech and Signal Processing 2000", Istanbul, Turkey, June, 2000. V. 5. P. 3152-3155.

23. Голуб Дж., Ван Лоун У. Матричные вычисления. М.: Мир, 1999. 549 с.

24. Almeida L.B., Silva F.M. Adaptive decorrelation // Artificial Neural Networks. Elsevier, 1992. N 2. P. 149156.

25. Cichocki A., Unbehauen R. Robust neural networks with learning for separation and identification of sources // IEEE Transactions on Circuits and Systems. I: Fudamentals Theory and Applications. 1996. V. 43, N 11. P. 894-906.

26. Воеводин В.В., Воеводин Вл.В. Энциклопедия линейной алгебры. Электронная система ЛИНЕАЛ. СПб.: БХВ-Петербург, 2006. 541 с.

27. Гантмахер Ф.Р. Теория матриц. М.: Наука, 1966. 576 с.

28. Amari S. Natural gradient learning for over- and under-complete basis in ICA // Neural Computation. 1999. N 11. P. 1875-1883.

29. Химмельблау Д. Прикладное нелинейное программирование. М.: Мир, 1975. 532 с.

30. Cruces S., Cichocki A., Castedo L. Source extraction in Gaussian noise // Proceedings of the second International Workshop on ICA and BSS "ICA 2000", Helsinki, Finland, June 19-22, 2000. P. 63-68.

31. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. М.: Наука, 1979. 284 с.

32. Тихонов А.Н., Гончарский А.В., Степанов В.В., Яго-ла А.Г. Численные методы решения некорректных задач. М.: Наука, 1990. 232 с.

СПбГТУ, Санкт-Петербург

Контакты: Малыхина Галина Фёдоровна, g_f_malychina@mail.ru

Материал поступил в редакцию 21.04.2010.

ROBUST METHODS FOR SIGNAL MIXTURES SEPARATION AND INDEPENDENT COMPONENTS ANALYSIS IN CONDITIONS OF NOISED DATA

G. F. Malychina, A. V. Merkusheva

SPbSPU, Saint-Petersburg

Robust methods and related algorithms based on neural networks for signal mixture separation are considered. Form reconstruction for original signals, identification of mixture and separation matrixes are implemented practically without of errors for conditions of noise significant levels in the mixtures of original signals.

Keywords: signal mixture, noising, components reconstruction, robust methods, algorithms, neural networks, mixture matrix reconstruction