CC BY
12ISSN 1814-1196 Научный вестник НГТУ том 74, № 1, 2019, с. 21-40
http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 74, No. 1, 2019, pp. 21-40
ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ
INFORMATICS, COMPPUTER ENGINEERING AND CONTROL
УДК 681.51:519.6 Б01: 10.17212/1814-1196-2019-1-21-40
Двухэтапный устойчивый алгоритм
непараметрической идентификации системы
*
с высоким уровнем шума входного сигнала
Ю.Е. ВОСКОБОЙНИКОВ1'2'", ДА. КРЫСОВ1'4
1 630073, РФ, г. Новосибирск, пр. Карла Маркса, 20, Новосибирский государственный технический университет
630008, РФ, г. Новосибирск, ул. Ленинградская, 113, Новосибирский государственный архитектурно-строительный университет
аvoscob@mail.ru ь Tomahawk.RUS@gmail.com
В качестве модели стационарной динамической системы часто выступает интегральное уравнение Вольтера первого рода с разностным ядром. Для такой модели задача непараметрической идентификации заключается в оценивании этого разностного ядра (называемого импульсной переходной функции) по измеренным значениям входного и выходного сигналов идентифицируемой динамической системы. Как известно, эта задача является некорректно поставленной, т. е. решения может не существовать, оно может быть не единственным и обладать неустойчивостью по отношению к погрешностям (шумам измерения) исходных данных. Для получения единственного устойчивого (но приближенного) решения используются различные методы регуляризации (в частности, метод регуляризации А.Н. Тихонова). Вычислительной основой алгоритмов, реализующих эти методы, является дискретное преобразование Фурье (ДПФ). При этом предполагается, что входной сигнал (ядро интегрального уравнения) задан точно, а выходной сигнал системы регистрируется с некоторой случайной ошибкой. Однако такое предположение редко выполняется на практике, так как входной и выходной сигналы системы измеряются и регистрируются приборами и, следовательно, задаются со случайными погрешностями - с шумами измерений. В данной работе предлагается двухэтапный устойчивый алгоритм непараметрической идентификации импульсной переходной функции стационарной динамической системы в случае, когда входной и выходной сигналы идентифицируемой системы регистрируются со случайными погрешностями. На первом этапе осуществляется вейвлет-фильтрация зашумленного входного сигнала. Для этого используются пороговые алгоритмы обработки коэффициентов вейвлет-разложения зашумленного сигнала. Для минимизации ошибки фильтрации пороговые значения вычисляются на основе статистического критерия оптимальности алгоритма фильтрации. На втором этапе к отфильтрованному входному сигналу применяется регуляризирующий алгоритм, использующий дискретное преобразование Фурье. Для минимизации ошибки идентификации на этом этапе для выбора параметра регуляризации используется алгоритм, позволяющий эффективно оценить оптимальное значение параметра регуляризации. В работе исследуется степень влияния уровней погрешно-
Статья получена 20 августа 2018 г.
стей входного и выходного сигналов на ошибку идентификации. Приводятся и обсуждаются результаты вычислительного эксперимента. Иллюстрируется эффективность предлагаемого подхода к построению устойчивого алгоритма непараметрической идентификации импульсной переходной функции стационарной динамической системы при различных уровнях шума измерения входного и выходного сигналов идентифицируемой системы.
Ключевые слова: непараметрическая идентификация, некорректно поставленные задачи, интегральное уравнение Вольтера первого рода, пороговые алгоритмы вейвлет-фильтрации, оценивание оптимальных пороговых величин, регуляризирующий алгоритм, оценивание оптимального параметра регуляризации, зависимость ошибки идентификации от шумов измерений
ВВЕДЕНИЕ И ПОСТАНОВКА ЗАДАЧИ
Наиболее часто в качестве математической модели стационарной динамической системы используется интегральной уравнение Вольтера первого рода с разностным ядром:
-т) ф(т) йх = /(Г), (1)
0
где к(т) - импульсная переходная функция (ИПФ) динамической системы (ядро интегрального уравнения (1)); ф(т), /(£) - входной и выходной сигналы системы. Как известно, задача непараметрической идентификации заключается в построении оценки для ИПФ системы по зарегистрированным значениям сигналов ф(т), /(¿) [1, 2]. Эта задача относится к классу некорректно поставленных задач, когда могут нарушаться условия корректности по Адамару. В частности, появляется неустойчивость решения интегрального уравнения к погрешностям задания выходного сигнала / (¿) [3].
Для нахождения единственного и устойчивого решения обратной измерительной задачи (т. е. решения уравнения (1) относительно функции ф(т)) используются различные методы регуляризации - как детерминированные [4, 5], так и статистические [6]. При этом, как правило, предполагается, что правая часть известна с некоторой погрешностью, а ядро к(т) уравнения (1) задано точно. Эти же методы можно использовать и для решения сформулированной задачи непараметрической идентификации, но уже в этом случае ядром уравнения будет входной сигнал системы ф(т) . В этом случае делается аналогичное предположение, что входной сигнал идентифицируемой системы задан точно. Однако такое требование редко выполняется на практике, так как входной и выходной сигналы системы измеряются со случайными погрешностями - с шумами измерений.
В работе [7] предполагалось, что измеренные значения выходного и
входного сигналов / (¿г-), ф(т j) допускают представления:
/ = / (и) = / (и) + |(?г-), ф у = ф( Т у) + <;( ту), (2)
где г|(£г-), ту) - случайные, не коррелированные друг с другом величины
2 2
(шумы измерений) с нулевыми средними и дисперсиями стл , стс .
При этих предположениях были исследованы свойства устойчивых решений, построенных с использованием регуляризирующего алгоритма (назовем его «традиционным»), который как при построении решения, так и при выборе параметра регуляризации не учитывал шум измерения входного сигнала. Но при этом на «вход» алгоритма подавались зашумленные значения /1, ф/. Показано, что если относительный уровень шума измерения
входного сигнала меньше или одинаков с уровнем шума выходного сигнала, то для оценивания оптимального параметра регуляризации можно использовать статистический критерий оптимальности, в котором шум измерения входного сигнала не учитывается. В противном случае шум измерения входного сигнала необходимо учитывать как при выборе параметра регуляризации, так и при построении регуляризированного решения, что существенно усложняет регуляризирующий алгоритм идентификации [8, 9]. Возникает вопрос: как построить процедуру идентификации, чтобы использовать более простой «традиционный» регуляризирующий алгоритм (РА), но при этом получить более точные решения? Так как ошибка регуляризированного решения напрямую зависит от уровней шумов измерения сигналов, то один из возможных вариантов ответа - использовать некоторую предобработку измеренных сигналов, отвечающую двум требованиям:
• значительное (в разы) снижение уровней шумов измерения;
• внесение минимальной систематической ошибки в результат фильтрации (неизбежной в процедурах фильтрации зашумленных сигналов).
Поэтому в данной работе решается задача построения двухэтапного устойчивого алгоритма непараметрической идентификации, где на первом этапе осуществляется вейвлет-фильтрация шумов измерения, а на втором этапе - построение регуляризированного решения «традиционным» РА по «отфильтрованным» значениям входного и выходного сигналов идентифицируемой системы. При этом исследуется степень влияния на ошибку решения уровней шумов входного и выходного сигналов, а также рассматривается несколько схем фильтрации на первом этапе.
1. ДВУХЭТАПНЫЙ АЛГОРИТМ НЕПАРАМЕТРИЧЕСКОЙ ИДЕНТИФИКАЦИИ
На первом этапе для уменьшения уровней шумов входного или выходного сигналов идентифицируемой системы (возможно, и входного, и выходного) предлагается использовать пороговые алгоритмы вейвлет-фильтрации. Эти алгоритмы позволяют с меньшей систематической ошибкой (по сравнению с алгоритмами фурье-фильтрации) фильтровать шумы различной статистической природы и имеют высокую вычислительную эффективность. Алгоритмы основаны на следующем многомасштабном представлении сигнала /(0 [10, 11]:
„ /0 + -1 /0) = Е aj0 +J л Ф/0 + Jл 0) + Е Е л V/ л 0^ k / =/0 +1 к
которое можно интерпретировать как восстановление сигнала /(¿) по его коэффициентам разложения на 3-м уровне. Функции {фук(^)} называют масштабирующими (или отцовскими), а функции {уук (^)} - вейвлет-
функциями (или материнскими). Переменная у характеризует уровень разложения, и ее часто называют коэффициентом масштаба; переменная к - временной сдвиг той или иной базисной функции; величина 3 задает количество уровней разложения; у - начальный уровень разложения (подробнее см. [12]). Коэффициенты разложения а у к называют аппроксимирующими, й ук - детализирующими, и они определяются выражениями:
Напомним (подробнее см. [12]), что пороговый алгоритм вейвлет-фильтрации можно условно представить следующими шагами.
Шаг 1. Вычисление прямого дискретного вейвлет-преобразования (нахождение коэффициентов разложения по зашумленным значениям дискретного сигнала).
Шаг 2. Обработка «зашумленных» коэффициентов разложения (устранение шумовой составляющей).
Шаг 3. Вычисление обратного дискретного вейвлет-преобразования (нахождение «сглаженных» значений дискретной функции).
Обозначим коэффициенты разложения зашумленного сигнала /(0 как а у к, й у к . Заметим, что относительные погрешности аппроксимирующих коэффициентов на порядок и более меньше погрешностей коэффициентов (Лук (см. [12], с. 58-60). Поэтому на практике обработке подвергаются
только детализирующие коэффициенты (у к .
Очевидно, что качество фильтрации зашумленного сигнала определяется алгоритмами обработки на втором шаге, где строятся оценки для неизвестных «точных» коэффициентов разложения. Большинство используемых алгоритмов носит пороговый характер: коэффициент разложения меньший по абсолютной величине некоторой пороговой величины зануляется, в противном случае коэффициент сохраняется или подвергается некоторому (в общем случае нелинейному) преобразованию. Распространение на практике получили однопараметрические пороговые функции, зависящие только от одного параметра - величины порога (подробнее см. [12]). В нашем случае будем использовать две функции, которые эффективно удаляют шумы различной статистической природы (подробнее см. [13]):
• «жесткая» пороговая функция вида
ау ,к = I/ (? )ф у ,к (?, (у ,к = |/ (?) У у ,к (?) Л .
• пороговая функция ТНур (d, X) вида
~ / ~ 2 2 I ~ I
sign(d jk Ыd jk -X , если d , и > X,
j, v j, ' (4)
0, если |dj k I <X,
где X - величина порога. Графики этих функций (вычисленные при X = 1) показаны на рис. 1 (сплошная кривая - функция (3), штриховая - функция (4)).
4 2 О
-2 -4
-4 -2 0 2 4
Рис. 1. Графики пороговых функций (3), (4) Fig. 1. Graphs of threshold functions (3), (4) В операторном виде алгоритм вейвлет-фильтрации можно представить в
виде
Л = W-1 [Tx(Wf)] , (5)
где W, W 1 - операторы прямого и обратного вейвлет-преобразования; Т'к (') - оператор, реализующий пороговый алгоритм обработки коэффициентов вейвлет-разложения при заданном пороге X и выбранной пороговой функции; f - дискретный зашумленный сигнал (вектор), сформированный из значений «зашумленной» функции f (t); fX - результат вейвлет-фильтрации (тоже вектор). Предполагается, что f = f + где f - «точный» вектор, ^ - вектор шума измерения с нулевым средним и дисперсией а2 .
Очевидно, что выбор пороговой величины существенно влияет на ошибку фильтрации, и эта пороговая величина, по сути, является управляющим параметром алгоритмов вейвлет-фильтрации. Сравнение различных алгоритмов выбора порога X выполнено в работах [12, 14]. Очевидно, что хотелось бы найти оптимальное значение X0pt, которое минимизирует среднеквадра-
THYP (jk, X)-<
тическую ошибку фильтрации. Приведем основные соотношения алгоритма выбора, позволяющего достаточно точно оценить А^ (подробнее см. [12]).
Введем статистику:
Рж(А) =-у (ех, /) , а
где (ва , /) - скалярное произведение двух векторов; в а = / - /а - вектор невязки. В качестве оценки для А^ принимается величина А^, для которой выполняется неравенство
^у/2,Ы ^ рШ (АЖ ) ^ ^1-у/2,Ы , (6)
где /2 N и ^1-у/2 N - квантили % -распределения с числом степеней свободы N уровней у / 2, 1 - у/ 2 соответственно; N - число значений фильтруемой функции; у = 0.05 - вероятность ошибки первого рода при проверке статистической гипотезы об оптимальности пороговой величины (подробнее см. [12]). Как показали проведенные исследования [12], увеличение средне-квадратической ошибки фильтрации при А = А^ по сравнению с А = А^ не
превышает 10 %, что позволяет сделать вывод о высокой точности оценивания оптимальной пороговой величины А^ .
На втором этапе строится регуляризирующий алгоритм вычисления оценки для ИПФ. Кратко изложим основные вычислительные моменты этого алгоритма.
Предположим, что заданы зашумленные значения входного и выходного сигналов, определяемые выражением (2), и шаг дискретизации по аргументам ^ и т одинаков и равен А{. Тогда, используя метод прямоугольников, интегральное уравнение (1) заменяется дискретной сверткой
Nk
-Ту )к (т у )ЛГ = /(Ц), I = 1,..., N/ , (7)
у=1
которая при соответствующем выборе шага дискретизации хорошо аппроксимирует исходное уравнение (1). Построение регуляризованного решения на основе дискретного преобразования Фурье (ДПФ) можно представить следующими «укрупненными» шагами (подробнее см. [15]).
Шаг 1. Формирование по дискретным значениям /^ = /(¿г-), I = 0,..., N/ -1, фу =ф(ту), у = 0,...,Nф-1, периодических последовательностей
/р (I), фр (I), I = 0,...,N -1, где N - величина периода, и далее выполняется вычисление коэффициентов ДПФ Рр (I), Фр (I), I = 0,...,N -1.
Шаг 2. Вычисление коэффициентов ДПФ Kpa(I), I = 0,...,N -1, регуля-
ризированного решения.
Шаг 3. Вычисление периодического регуляризированного решения кpa (I), I = 0, . ., N -1 (взятием обратного ДПФ от последовательности
{Кра (I)}) и формирование вектора непериодического регуляризованного решения кау, у = 0,...,Nk -1 как оценка для значений решения интегрального
уравнения в дискретные моменты времени: к(ту), у = 0,...,Nk -1.
Очевидно, что точность регуляризованного решения определяется способом вычисления Кра (I) на втором шаге. Если предположить, что уровень
шума измерения входного сигнала меньше уровня шума выходного сигнала, то в этом случае эти коэффициенты ДПФ можно (как показано в работе [24]) находить на основе «традиционного» регуляризирующего алгоритма вида
Ф с (I)
Кра (I) =--2Р-Рр (I), I = 0,..., N -1, (8)
|Ф р (I )| +абр (I)
где а - параметр регуляризации; Фр (I) - величина, комплексно-сопряженная с Фр (I). Элементы последовательности {<2р (I)} формируются по правилу
Ш(1 -Лю), I = 0,...., N/2;
ар (I) Н
-1) -Лю), I = N/2 + 1,..^-1,
где Лю = 2л / ) - шаг дискретизации в частотой области. Функцию 2(ю) можно трактовать как частотную характеристику стабилизирующего функционала: она должна быть неубывающей функцией частоты ю , и чаще всего 2(ю) ^го при ю^-ю (например, см. [15]). Если задан порядок регуляризации г, то при достаточно больших значениях ю справедлива асимптотика 0(ю) «ю2г .
В операторной форме изложенный регуляризирующий алгоритм можно представить в виде
ка = Р-1 {{[ Р (ф), Р (/)]}, (9)
где Р(ф), Р (/) - прямое ДПФ измеренных входного и выходного сигналов;
(•) - вычисление регуляризированных коэффициентов ДПФ ИПФ (реализация алгоритма (8)), где используются ДПФ входного и выходного сигнала; Р-1 (•) - обратное дискретное преобразование Фурье.
Проблема выбора параметра регуляризации а является основной при использовании регуляризирующих алгоритмов на практике. Дело в том, что
при заниженных значениях а в решении ka (т) будут присутствовать шумовые составляющие, обусловленные шумом правой части г|(^). При завышенных значениях а из решения ка (т) будут «удалены» информативные компоненты функции k(т). Поэтому в качестве оптимального значения а^
примем значение, доставляющее минимум функционалу среднеквадратиче-ской ошибки [4]:
2"
А (а) = M|
ка k
где к + - псевдорешение системы уравнений (3) с точной правой частью; M| [•] - оператор математического ожидания по ансамблю шума измерения правой части уравнения; ¡•Ц - евклидова норма вектора.
На практике вычисление точного значения а^ невозможно из-за незнания функции к(т). Поэтому используются разные алгоритмы выбора параметра регуляризации, позволяющие в той или иной степени оценить при различной априорной информации о числовых характеристиках шума правой части (см. [16-23]). В работе [15] для оценивания а^ в случае точного
входного сигнала был предложен критерий оптимальности линейного регу-ляризирующего алгоритма, который в дальнейшем являлся теоретической основой для построения алгоритмов оценивания а^ при решении конкретных задач. В нашем случае попытаемся также применить этот алгоритм для оценивания а^, считая при этом, что уровень шума измерения входного
сигнала меньше уровня шума выходного сигнала и этот шум не будет учитываться при вычислении параметра регуляризации. Приведем только основные соотношения, необходимые для понимания этого критерия и его использования в дальнейших исследованиях. Введем статистику
PW (а) = -у( Л еа), (10)
где ea= / - Фка - вектор невязки; <5 - матрица системы уравнений (3); ka - вектор, составленный из значений регуляризированного решения ka (т у), 7 = 0,..., Nk -1; (,) - скалярное произведение векторов. Тогда в качестве оценки для а^ можно принять величину аw, для которой выполняется неравенство
К (Р/2)^ Ы (1-Р/2),
где &т (Р /2) и (1- Р/2) - квантиль %2-распределения с т = N^1- степенями свободы уровней Р / 2 и 1 — Р / 2; Р - вероятность ошибки первого ро-
да (обычно 0.05) при проверке статистической гипотезы об оптимальности значения аф.
Для эффективного вычисления значения аф, удовлетворяющего вышеприведенному неравенству, вводится величина у = 1/ а и функция Яф (у) = Рф (1/ У). Тогда аф = 1/ уф, где уф - решение нелинейного уравнения
Яф (У) = т , (11)
удовлетворяющее условию
&т (Р/2) < Яф (уф) (1-Р/2). (12)
В работе [15] для решения нелинейного уравнения (11) применяется итерационная процедура Ньютона, в которой для вычисления Яф (у) , Яф (у) , используются коэффициенты, описываемые следующими выражениями:
Я ( ) N ^ вр(I) ,, (/),2
яф(у)=-у Е--т2-\рР(/) ;
сл /=0 у|фр(/)| + вр(/)
NN-1 в (/) |ф р (/)|2 2
Яф (у) = --т Е р 1 р 1 21Рр(/)|2.
/=0
у|ф р (/)| + вр (/)
Видно, что эти соотношения требуют только порядка N вычислительных операций, что обеспечивает высокую вычислительную эффективность вычисления значения аф .
В работе [15] было показано, что для случая точно заданного входного сигнала величина аф является наилучшей оценкой для а^ по сравнению с
другими известными алгоритмами выбора параметра регуляризации (принцип невязки [5, 21], метод перекрестной значимости [6, 18, 20], метод ¿-кривой [15, 22, 23]). Поэтому целесообразно выполнить исследования двухступенчатого алгоритма идентификации, когда в регуляризирующим алгоритме в качестве параметра регуляризации используется оценка аф .
2. ИССЛЕДОВАНИЯ СВОЙСТВ РЕГУЛЯРИЗИРОВАННЫХ РЕШЕНИЙ ЗАДАЧИ ИДЕНТИФИКАЦИИ
Для исследования свойств регуляризированных решений задачи идентификации (в том числе и решений, полученных с использованием предлагаемого двухступенчатого алгоритма идентификации) был выполнен многочисленный вычислительный эксперимент.
В качестве импульсной переходной функции идентифицируемой системы использовалась «колебательная» ИПФ, график которой приведен на рис. 2. Входной сигнал задавался двумя функциями: «узкополосной» - кри-
вая 1 на рис. 3 (обозначим ВХОД1) и «широкополосной» - кривая 2 на рис. 3 (обозначим ВХОД2). Такой выбор входных сигналов был обусловлен тем, что для широкополосного сигнала обусловленность системы (7) уменьшается и при прочих равных условиях ошибка оценивания ИПФ уменьшается. Количество отсчетов к(ту) Ык = 100, количество отсчетов входного сигнала
ф(ту) Ыф =60, Ыу = Ыф + Ык -1 = 159 и N = 256. Шаг дискретизации
А{ = 0.022 . Точные значения входного и выходного сигналов искажались нормально распределенными случайными величинами с нулевыми средними и дисперсиями, определяемыми задаваемыми уровнями шумов. Относитель-
ные уровни шума правой части 5 у и шума измерения входного сигнала 5ф
, 1у - А\ 5 ||Ф -Ф у
определялись соотношениями 5у = у^ и 5ф — " , где у, ф - векторы размерности Ыу, Ыф, составленные из точных значений /(¿г-) и ф(ту) соответственно; Ц-Ц - евклидова норма вектора. Ошибка вейвлет-фильтрации
й б й 5 И^У -ф
входного сигнала определялась относительной ошибкой 5ф = -————1,
т ф
ошибка фильтрации выходного сигнала 5у = 11 —" • Точность построенного регуляризированного решения определялась относительной ошибкой
ка к
идентификации 5^ (а) = -—^—-, где к - вектор, составленный из «точных» значений искомой ИПФ.
Рис. 2. Импульсная переходная функция к(т) Fig. 2. Pulsed transient function к(т)
Рис. 3. Входные сигнала системы
Fig. 3. System input signals
Первая серия вычислительных экспериментов была посвящена исследованию влияния уровней шумов измерений входного и выходного сигнала на точность идентификации ИПФ с применением изложенного ранее регу-ляризирующего алгоритм (8). В табл. 1 представлены средние значения S^^
(объем выборки был равен 150) минимальной относительной ошибки идентификации Sk . =S£ (a0pt), вычисленной при разных значениях Sф (первый
столбец таблицы) и S у (первая строка таблицы). На вход системы подавался сигнал ВХОД1.
Таблица 1 Table 1
х\ у 0.00 0.02 0.05 0.075 0.10 0.15
0.00 105 0.08 0.097 0.108 0.122 0.141
0.02 0.049 0.082 0.098 0.109 0.122 0.141
0.05 0.066 0.087 0.101 0.112 0.124 0.143
0.075 0.076 0.092 0.106 0.114 0.127 0.145
0.10 0.082 0.098 0.109 0.120 0.131 0.150
0.15 0.098 0.109 0.120 0.129 0.139 0.159
Анализ данных этой таблицы позволяет сделать весьма важный вывод о том, что шум измерения входного сигнала в меньшей степени влияет на ошибку идентификации, чем шум измерения выходного сигнала идентифи-
цируемой системы. Для количественной оценки такого влияния были вычислены две последовательности первых конечных разностей.
50+1) _5(0
* (0 _ кшш_кшш
у ~ &+1) -5('-)
1. Последовательность
;(0
7 _ 1,...,5, где
Лшт
У V
среднее значение относительной ошибки идентификации при уровне шума выходного сигнала 8®, равном значению 7-го элемента последовательности
{0.0, 0.02, 0.05, 0.075, 0.10, 0.15} , и при заданном уровне шума входного сигнала. Очевидно, что Ду) - это приближенное значение частной производной от относительной ошибки идентификации по относительному уровню шума выходного сигнала при значении 8®. Поэтому Д® можно трактовать как
коэффициент чувствительности относительной ошибки идентификации к уровню шума выходного сигнала.
8(7+1) -8(7)
Д£> _- " "
2. Последовательность
кшш_кшш
ф 80' +1) -80') иф иф
7 _ 1,...,5, где 8®.
Лшт
среднее значение относительной ошибки идентификации при уровне шума
8(7)
входного сигнала 8ф , равном значению 7-го элемента последовательности {0.0,0.02,0.05,0.075,0.10,0.15}, и фиксированном уровне шума выходного сигнала. По аналогии Дф» можно рассматривать как приближенное значение частной производной от относительной ошибки идентификации по относи-
я (7) лО)
тельному уровню шума входного сигнала при значении 8ф , а также Дф
можно трактовать как коэффициент чувствительности относительной ошибки идентификации к уровню шума входного сигнала.
На рис. 4 приведены графики следующих величин: кривая 1 - значения Д^р при 8ф)= 0.02; кривая 2 - значения Дф» при 8(Р _ 0.02 .
Видно, что коэффициент чувствительности к шуму выходного сигнала в несколько раз (иногда и на порядок) выше по сравнению с коэффициентом чувствительности к шуму измерения входного сигнала.
Аналогичные вычислительные эксперименты были проведены и в случае высокочастотного входного сигнала (ВХОД2). Результаты обработки результатов этих экспериментов позволяют сделать выводы, аналогичные выводам для ВХОД 1.
Таким образом, из результатов выполненных исследований следует вывод о необходимости в первую очередь осуществить фильтрацию выходного сигнала идентифицируемой системы.
Поэтому вторая серия вычислительных экспериментов была посвящена исследованию влияния вейвлет-фильтрации выходного сигнала на точность идентификации ИПФ. В этих экспериментах менялся уровень шума выходного сигнала, выполнялась его вейвлет-фильтрация с использованием пороговой функции (4) и пороговой величины . Отфильтрованный вы-
ходнои сигнал использовался для построения регуляризированного решения с коэффициентами ДПФ (8) и параметром регуляризации а.ф. В операторном форме такую схему идентификации можно представить выражением
kf = F-1 Ы,
а,Л (
FF (fV )
Г
(13)
-([)
Верхний индекс в обозначении определяет сигнал, который под-
вергся вейвлет-фильтрации.
Рис. 4. Значения элементов последовательностей
Л« A«
Fig. 4. The values of the sequence elements Л^, Af)
Общий результат этих экспериментов: уровень шума выходного сигнала уменьшался в 2-3 раза, но относительная ошибка идентификации была такой же, а в ряде экспериментов была больше относительной ошибки регуляризированного решения (9) без предварительной вейвлет-фильтрации выходного сигнала. Объяснение этому факту следующее. После вейвлет-фильтрации отфильтрованный сигнал можно представить как сумму векторов
f\w = f + ЛЛ, где ЛЛ - «остаточный шум» вейвлет-фильтрации. Если значения л исходного шума не коррелированы друг с другом (дискретный «белый» шум), то значения остаточного шума (лл )i будут представлять собой дискретный «цветной» шум с сильной корреляцией между соседними значениями. На рис. 5 приведены значения выборочных автокорреляционных функций: Rn (l) = М(л • л +i1 (квадратные маркеры1, ЯЦх (l) = М ((лл )i • (ЛЛ )i+l) (треугольные маркеры). Видно наличие существенной корреляции между значениями остаточного шума вейвлет-фильтрации.
Рис. 5. Автокорреляционные функции шумов Fig. 5. Autocorrelation noise functions
Следовательно, можно сделать важный (для методов решения уравнений с разностным ядром) вывод, что ошибка регуляризированного решения при «цветном» шуме измерения правой части уравнения (1) значительно выше (зависит от соотношения полос спектров шума и точной правой части), чем при «белом» шуме.
Таким образом, остается одна схема построения двухэтапного алгоритма идентификации.
Этап 1. Вейвлет-фильтрация входного сигнала идентифицируемой системы, т. е.
Фх = W-1 \tXw (Wp)] .
Этап 2. Построение регуляризированного решения, когда в качестве входного сигнала берется результат вейвлет-фильтрации на первом этапе. В операторной форме эта схема идентификации отображается как
= F-1 Kw [F(ФV ^ F(f)]}.
(14)
Перейдем к исследованию точности этой схемы идентификации.
3. ИССЛЕДОВАНИЯ ТОЧНОСТИ ДВУХЭТАПНОГО АЛГОРИТМА ИДЕНТИФИКАЦИИ
Для ответа на вопрос об эффективности предложенной схемы идентификации был выполнен вычислительный эксперимент, в котором строились три регуляризированных решения:
• решение ка, которое соответствует точному входному сигналу и за-шумленному выходному сигналу с относительным уровнем шума измерения 5 у ;
• решение ka , которое соответствует зашумленным входному сигналу и выходному сигналу с относительными уровнями шумов 5ф и 5 f соответственно и вычисляется по алгоритму (9);
• решение kj^ , вычисляемое по алгоритму (14).
Для всех трех решений определялась средние значения относительных ошибок идентификации (объем выборки был равен 150) при разных относительных уровнях шумов измерений 5ф, 5 f . Эти средние значения, вычисленные для ВХОД1, приведены в табл. 2.
Таблица 2 Table 2
Уровни шума Относительные ошибки идентификации Коэффициент Keff
5Ф 5Ф 5 f ~kka ka kX,a
0.02 0.013 0.02 0.078 0.083 0,077 1.072
0.05 0.097 0.099 0,095 1.041
0.10 0.115 0.119 0,115 1.032
0.05 0.025 0.02 0.078 0.093 0,080 1.161
0.05 0.097 0.104 0,100 1.042
0.10 0.115 0.122 0,118 1.032
0.075 0.034 0.02 0.078 0.103 0,084 1.204
0.05 0.097 0.111 0,103 1.074
0.10 0.115 0.128 0,123 1.044
0.10 0.042 0.02 0.078 0.106 0,086 1.236
0.05 0.097 0.119 0,109 1.096
0.10 0.115 0.133 0,127 1.049
0.15 0.067 0.02 0.078 0.131 0,101 1.302
0.05 0.097 0.134 0,116 1.158
0.10 0.115 0.148 0,138 1.071
В втором столбце таблицы приводятся средние значения относительной
ошибки 5" = ^ —-, что позволяет оценить эффективность вейвлет-
Ф 1М1
фильтрации зашумленного входного сигнала. В последнем столбце находятся средние значения коэффициента эффективности двухэтапного алгоритма
идентификации Kff =
ka k
£(ф) - k kX,a k
который показывает, во сколько раз
уменьшается относительная ошибка двухэтапного алгоритма идентификации
по сравнению с относительной ошибкой «традиционного» регуляризирован-ного решения (9).
Заметим, что для входного сигнала ВХОД2 (высокочастотный сигнал) результаты были аналогичными, но значения коэффициента эффективности были на 10...15 % ниже по сравнению с коэффициентами эффективности для сигнала ВХОД1.
Анализ результатов этой серии вычислительного эксперимента позволяет сделать следующие выводы.
Вейвлет-фильтрация входного сигнала существенно (более чем в два раза) уменьшает относительный уровень шума измерения этого сигнала, что позволяет в значительной степени устранить влияние шума измерения входного сигнала на ошибку регуляризованного решения.
Если уровень шума входного сигнала соизмерим или меньше уровня шума измерения выходного сигнала, то выигрыш от применения предложенного двухэтапного алгоритма идентификации (14) невелик (порядка несколько процентов).
Если уровень шума входного сигнала значительно больше уровня шума измерения выходного сигнала, то выигрыш от применения предложенного двухэтапного алгоритма идентификации становится существенным и может достигать 25.30 % по сравнению с регуляризированным решением, построенным без предварительной фильтрации входного сигнала.
ЗАКЛЮЧЕНИЕ
Предложенный двухэтапный алгоритм непараметрической идентификации (14) целесообразно использовать при уровне шума измерения входного сигнала идентифицируемой системы, который в несколько раз превосходит уровень шума выходного сигнала. Это требует знаний соответствующих уровней шумов измерений. Так как на практике относительный уровень шума измерения часто бывает неизвестным, то для его оценивается можно обратиться к простой оценке (основанной на дискретном преобразовании Фурье), предложенной в работе [24] и позволяющей с высокой точностью (порядка 4.6 %) определить эту числовую характеристику шума измерения.
СПИСОК ЛИТЕРАТУРЫ
1. Greblicki W., PawiakM. Nonparametric system identification. - Cambridge: Cambridge University Press, 2008. - 400 p.
2. Кондрашин А.В., Хорьков В.И. Исследование и идентификация управляемых технических систем. - М.: ИспоСервис, 2000. - 220 с.
3. ТихоновА.Н., АрсенинВ.Я. Методы решения некорректных задач. - М.: Наука, 1986. -
285 с.
4. Численные методы решения некорректных задач / А.Н. Тихонов, А.В. Гончарский, В.В. Степанов, А.Г. Ягола. - М.: Наука, 1990. - 231 с.
5. Морозов В.А., Гребенников А.И. Методы решения некорректно поставленных задач: алгоритмический аспект. - М.: Изд-во МГУ, 1992. - 319 с.
6. Воскобойников Ю.Е. Преображенский Н.Г., Седельников А.И. Математическая обработка эксперимента в молекулярной газодинамике. - Новосибирск: Наука, 1984. - 238 с.
7. Воскобойников Ю.Е., КрысовД.А. Непараметрическая идентификация динамической системы при неточном входном сигнале // Автоматика и программная инженерия. - 2017. -№ 4 (22). - С. 86-92.
8. Воскобойников Ю.Е., КрысовД.А. Локальный регуляризирующий алгоритм непараметрической идентификации объекта с неточным входным сигналом // Научный вестник НГТУ. - 2018. - № 1 (70). - С. 19-38. - DOI: 10.17212/1814-1196-2018-1-19-38.
9. Воскобойников Ю.Е., КрысовД.А. Алгоритм идентификация импульсной переходной функции при высоком уровне шума измерения входного сигнала системы // Автоматика и программная инженерия. - 2018. - № 2 (24). - С. 67-73.
10. MallatS. Multiresolution approximation and wavelet orthonormal bases of LA2(R) // Transactions of the American Mathematical Society. - 1989. - Vol. 315, N 1. - P. 69-87.
11. Mallat S. А theory of multiresolution signal decomposition: the wavelet representation // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1989. - Vol. 11, N 7. -P. 674-693.
12. ВоскобойниковЮ.Е. Вейвлет-фильтрация сигналов и изображений (с примерами в MathCAD): монография. - Новосибирск: НГАСУ (Сибстрин), 2015. - 188 с.
13. Воскобойников Ю.Е., Крысов Д. А. Выбор наилучшей однопараметрической пороговой функции в алгоритмах вейвлет-фильтрации // Сборник научных трудов НГТУ. - 2016. -№ 3 (85). - С. 71-82.
14. Vidakovic B. Statistical modeling by wavelets. - New York: John Wiley & Sons, 1999. -382 p. - (Wiley series in probability and statistics).
15. Воскобойников Ю.Е. Устойчивые алгоритмы решения обратных измерительных задач: научная монография. - Новосибирск: Изд-во НГАСУ (Сибстрин), 2007. - 184 с.
16. Information complexity-based regularizing parameter selection for solution of ill conditioned inverse problems / A.M. Urmanov, A.V. Gribok, H. Bozdogan, J.W. Hines, R.E. Uhrid // Inverse Problems. - 2002. - Vol. 18, N 2. - P. L1-L9.
17. Vogel C.R. Non-convergence of L-curve regularization parameter selection method // Inverse Problems. - 1996. - Vol. 12, N 4. - P. 535-547.
18. LukasM.A. Comparison of parameter choice methods for regularization with discrete noisy data // Inverse Problems. - 2000. - Vol. 14, N 2. - P. 161-184.
19. EnglH.W., Hanke M., Neubauer F. A regularization of inverse problems. - Dordrecht; Boston: Kluwer Academic Publisher, 2000. - 383 p.
20. Титаренко В.Н., ЯголаА.Г. Применение метода GVC для корректных и некорректных задач // Вестник МГУ. Серия 3, Физика, астрономия. - 2000. - № 4. - С. 15-18.
21. Морозов В.А. Регулярные методы решения некорректно поставленных задач. - М.: Наука, 1987. - 240 с.
22. Левин М.А., ТатаринцевА.В., АхкубековА.Э. Метод Laplace-DLTS с выбором параметра регуляризации по L-кривой // Физика и техника полупроводников. - 2009. - Т. 43, № 5. -С. 74-81.
23. ДимакиА.В., СветлаковА.А. Регуляризация решения задачи идентификации при использовании алгоритма чувствительности // Известия Томского политехнического университета. - 2009. - Т. 314, № 5. - С. 27-31.
24. Воскобойников Ю.Е., КрысовД.А. Оценивание характеристик шума измерения в модели «сигнал+шум» // Автоматика и программная инженерия. - 2018. - № 3 (25). - С. 54-61.
Воскобойников Юрий Евгеньевич, доктор физико-математических наук, профессор, заслуженный работник Высшей школы РФ, Соросовский профессор, действительный член МАИ, РАЕ, МАН ВШ, профессор кафедры автоматики НГТУ, заведующий кафедрой прикладной математики Новосибирского государственного архитектурно-строительного университета (СИБСТРИН). Автор более 290 публикаций, шести монографий, посвященных решению некорректных задач интерпретации данных и обработке сигналов и изображений, и большого числа учебных пособий. E-mail: voscob@mail.ru
Крысов Данила Алексеевич, аспирант кафедры автоматики факультета автоматики и вычислительной техники Новосибирского государственного технического университета. Автор восьми публикаций по фильтрации зашумленных сигналов и идентификации динамических систем. E-mail: Tomahawk.RUS@gmail.com
Voskoboinikov Yuri Evgenievich, D. Sc. (Phys.& Math.), professor, an Honored Worker of RF Higher School A Soros Professor; a full member of MAI, RAN, HS MAN; professor at the NSTU department of automation; head of the department of applied mathematics in Novosibirsk State University of Architecture and Civil Engineering (SIBSTRIN). He is the author of
more than 290 publications, 6 monographs dealing with solution of incorrect problems of data interpretation and signal and image processing as well as a great number of teaching manuals. E-mail: voscob@mail.ru
Krysov Danila Alexeevich, a postgraduate student at the Novosibirsk State Technical University department of automation. He has published 8 research papers on filtration of noisy signals and dynamic system identification. E-mail: Tomahawk.RUS@gmail.com
DOI: 10.17212/1814-1196-2019-1-21-40
A two-step robust algorithm of nonparametric identification for a system with a high-noise input signal*
Yu.E. VOSKOBOINIKOV12-", D.A. KRYSOV1,b
1 Novosibirsk State Technical University, 20, K. Marx Prospekt, Novosibirsk, 630073, Russian Federation
Novosibirsk State University of Architecture and Civil Engineering, 113, Leningradskaya Street, Novosibirsk, 630008, Russian Federation
a voscob@mail.ru b Tomahawk.RUS@gmail.com
Abstract
The Voltaire integral equation of the first kind with a difference kernel is often used as a model of a stationary dynamical system. For such models the problem of non-parametric identification consists in estimating a difference kernel (called the Impulse Response Function) from the measured values of the input and output signals of the identified dynamic system. This task is ill-posed, i.e. the solution may not exist, may not be unique, and may be unstable with respect to errors (measurement noise) of the original data. To obtain a unique and stable (but approximate) solution, various regularization methods in particular the A.N. Tikhonov regulariza-tion method are used. The discrete Fourier transform (DFT) forms a computational basis of such an algorithm. It is assumed that an input signal (the core of the integral equation) is specified accurately, and an output signal of the system is recorded with some random error. However, this assumption is seldom implemented in practice, since both the input and output signals of the system are measured and recorded by measuring devices and thus are set with random errors (measurement noise). In this paper, a two-step stable algorithm for nonparametric identification of the Impulse Response Function of a stationary dynamic system is proposed. The algorithm is used in the case when both the input and output signals of the identified system are recorded with random errors. At the first stage, wavelet filtering of the noisy input signal is used. For this, threshold algorithms for processing the coefficients of the wavelet decomposition of a noisy signal are used. Threshold values based on the statistical optimality criterion of the filtering algorithm are calculated to minimize the filtering error. At the second stage, a regularizing algorithm using a discrete Fourier transform is applied to the filtered input signal. To select the optimal value of a regularization parameter a special algorithm is used. The paper analyses the degree of influence of the error levels of the input and output signals on the identification error. The results of the computational experiment are published and discussed. The effectiveness of the proposed approach to the construction of a stable algorithm for non-parametric identification of the Impulse Response Function of a stationary dynamic system with different levels of measurement noise of input and output signals are illustrated.
Keywords: nonparametric identification, ill-posed problems, Voltaire Integral Equation of the First Kind, threshold wavelet filtering algorithms, estimation of optimal thresholds, a regularizing algorithm, estimation of the optimal regularization parameter, dependence of identification error on measurement noise
Received 20 August 2018.
REFERENCES
1. Greblicki W., Pawiak M. Nonparametric system identification. Cambridge, Cambridge University Press, 2008. 400 p.
2. Kondrashin A.V., Khor'kov V.I. Issledovanie i identifikatsiya upravlyaemykh tekhnicheskikh sistem [Research and identification of controllable technical systems]. Moscow, IspoServis Publ., 2000. 220 p.
3. Tikhonov A.N., Arsenin V.Ya. Metody resheniya nekorrektnykh zadach [Methods for solving ill-posed problems]. Moscow, Nauka Publ., 1979. 285 p.
4. Tikhonov A.N., Goncharskii A.V., Stepanov V.V., Yagola A.G. Chislennye metody resheniya nekorrektnykh zadach [Numerical methods for the solution of ill-posed problems]. Moscow, Nauka Publ., 1990. 231 p.
5. Morozov V.A., Grebennikov A.I. Metody resheniya nekorrektno postavlennykh zadach: al-goritmicheskii aspekt [Methods for solving ill-posed problems: an algorithmic aspect]. Moscow, Moscow State University Publ., 1992. 319 p.
6. Voskoboinikov Yu.E. Preobrazhenskii N.G., Sedel'nikov A.I. Matematicheskaya obrabotka eksperimenta v molekulyarnoi gazodinamike [Mathematical processing of the experiment in molecular gas dynamics]. Novosibirsk, Nauka Publ., 1984. 238 p.
7. Voskoboinikov Yu.E., Krysov D.A. Neparametricheskaya identifikatsiya dinamicheskoi sis-temy pri netochnom vkhodnom signale [Nonparametric identification of a dynamic system with an inaccurate input signal]. Avtomatika i programmnaya inzheneriya - Automatics & Software Enginery, 2017, no. 4 (22), pp. 86-92.
8. Voskoboinikov Yu.E., Krysov D.A. Lokal'nyi regulyariziruyushchii algoritm neparametrich-eskoi identifikatsii ob"ekta s netochnym vkhodnym signalom [Local regularizing algorithm of non-parametric identification to object with inaccurate input signal]. Nauchnyi vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta - Science bulletin of the Novosibirsk state technical university, 2018, no. 1 (70), pp. 19-38. DOI: 10.17212/1814-1196-2018-1-19-38.
9. Voskoboinikov Yu.E., Krysov D.A. Algoritm identifikatsiya impul'snoi perekhodnoi funktsii pri vysokom urovne shuma izmereniya vkhodnogo signala sistemy [The algorithm for identifying the impulse response function at a high noise level of measuring the input signal of the system]. Avtomat-ika i programmnaya inzheneriya - Automatics & Software Enginery, 2018, no. 2 (24), pp. 67-73.
10. Mallat S. Multiresolution approximation and wavelet orthonormal bases of LA2(R). Transactions of the American Mathematical Society, 1989, vol. 315, no. 1, pp. 69-87.
11. Mallat S. A theory of multiresolution signal decomposition: the wavelet representation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1989, vol. 11, no. 7, pp. 674-693.
12. Voskoboinikov Yu.E. Veivlet-fil'tratsiya signalov i izobrazhenii (s primerami v MathCAD) [Wavelet filtering of signals and images: (with examples in MathCAD]. Novosibirsk, NGASU Publ.,
2015. 188 p.
13. Voskoboinikov Yu.E., Krysov D.A. Vybor nailuchshei odnoparametricheskoi porogovoi funktsii v algoritmakh veivlet-fil'tratsii [Choose of the best one-parameter threshold function to the wavelet filtering algorithms]. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnich-eskogo universiteta - Transaction of scientific papers of the Novosibirsk state technical university,
2016, no. 3 (85), pp. 71-82.
14. Vidakovic B. Statistical modeling by wavelets. Wiley series in probability and statistics. New York, John Wiley & Sons, 1999. 365 p.
15. Voskoboinikov Yu.E. Ustoichivye algoritmy resheniya obratnykh izmeritel'nykh zadach [A stable algorithms for solving inverse measurement problems]. Novosibirsk, NGASU Publ., 2007. 184 p.
16. Urmanov A.M, Gribok A.V., Bozdogan H., Hines J.W., Uhrid R.E. Information complexity-based regularizing parameter selection for solution of ill conditioned inverse problems. Inverse Problems,, 2002, vol. 18, no. 2, pp. L1-L9.
17. Vogel C.R. Non-convergence of L-curve regularization parameter selection method. Inverse Problems, 1996, vol. 12, no. 4, pp. 535-547.
18. Lukas M.A. Comparison of parameter choice methods for regularization with discrete noisy data. Inverse Problems, 2000, vol. 14, no. 2, pp. 161-184.
19. Engl H.W., Hanke M., Neubauer F. A regularization of inverse problems. Dordrecht, Boston, Kluwer Academic Publisher, 2000. 383 p.
20. Titarenko V.N., Yagola A.G. Primenenie metoda GVC dlya korrektnykh i nekorrektnykh zadach [Applying the GVC method for correctly posed and ill-posed problems]. Vestnik Moskovskogo
Universiteta. Seriya 3, Fizika. Astronomiya - Moscow University Physics Bulletin, 2000, no. 4, pp. 15-18. (In Russian).
21. Morozov V.A. Regulyarnye metody resheniya nekorrektno postavlennykh zadach [Regular methods for solving ill-posed problems]. Moscow, Nauka Publ., 1987. 240 p.
22. Levin M.A., Tatarintsev A.V., Akhkubekov A.E. Metod Laplace-DLTS s vyborom parametra regulyarizatsii po L-krivoi [Laplace-DLTS method with the choice of the regularization parameter on the L-curve]. Fizika i tekhnika poluprovodnikov - Semiconductors, 2009, vol. 43, no. 5, pp. 74-81. (In Russian).
23. Dimaki A.V., Svetlakov A.A. Regulyarizatsiya resheniya zadachi identifikatsii pri is-pol'zovanii algoritma chuvstvitel'nosti [Regularization of the solution to the problem of identification using the sensitivity algorithm]. Izvestiya Tomskogo politekhnicheskogo universiteta - Bulletin of the Tomsk Polytechnic University, 2009, vol. 314, no. 5, pp. 27-31.
24. Voskoboinikov Yu.E., Krysov D.A. Otsenivanie kharakteristik shuma izmereniya v modeli "signal+shum" [Estimation of the Noise Measurement Characteristics in the Model "Signal + Noise"]. Avtomatika i programmnaya inzheneriya - Automatics & Software Enginery, 2018, no. 3 (25), pp. 54-61.
Для цитирования:
Воскобойников Ю.Е., Крысов Д.А. Двухэтапный устойчивый алгоритм непараметрической идентификации системы с высоким уровнем шума входного сигнала // Научный вестник НГТУ. - 2019. - № 1 (74). - С. 21-40. - DOI: 10.17212/1814-1196-2019-1-21-40.
For citation:
Voskoboinikov Yu.E., Krysov D.A. Dvukhetapnyi ustoichivyi algoritm neparametricheskoi identifikatsii sistemy s vysokim urovnem shuma vkhodnogo signala [Two-step robust algorithm of nonparametric identification for a system with a high-noise input signal]. Nauchnyi vestnik Novosibir-skogo gosudarstvennogo tekhnicheskogo universiteta - Science bulletin of the Novosibirsk state technical university, 2019, no. 1 (74), pp. 21-40. DOI: 10.17212/1814-1196-2019-1-21-40.
ISSN 1814-1196, http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 74, No 1, 2019, pp. 21-40
