CC BY
97
УДК 519.873
2014,. № 4(10)
49
В. В. Козлов
ОПРЕДЕЛЕНИЕ ПОРЯДКА АВТОРЕГРЕССИОННОЙ МОДЕЛИ С ПОМОЩЬЮ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ
V. V. Kozlov
THE ESTIMATION AUTOREGRESSIVE MODELS ORDER BY MEANS OF ARTIFICIAL NEURAL NETWORKS
Аннотация. Рассмотрены вопросы определения порядка авторегрессионной модели. Показана возможность применения для решения поставленной задачи нейронных сетей.
Abstract. The article are is devoted to issues of the estimation methods of the order of autoregressive models. The article points out to possibility of neural networks application for this problem to be solved.
Ключевые слова: АР-модель, алгоритм, аппроксимация, гармоническая составляющая, коэффициенты авторегрессии, критерий, порядок модели.
Key words: AR-model, algorithm, aproximation, harmonic component, factors to autoregression criterion, order of model.
В работе [1] был показан метод определения порядка авторегрессионной модели, основанный на использовании искусственных нейронных сетей (ИНС). Недостатком данного метода является то, что порядок модели не является выходом ИНС, а оценивается по значимости весовых коэффициентов, которые соответствуют коэффициентам АР-модели.
В общем случае задача определения порядка авторегрессионной модели является задачей классификации, которая состоит в указании принадлежности входного сигнала, представленного вектором признаков [6], одному или нескольким предварительно определенным классам. В случае, когда выходное признаковое пространство представляет собой дискретный перечень из двух или более групп данных, задачей нейронной сети является отнесение входных векторов к одной из этих групп. В этом случае говорят, что нейросетевая система выполняет классификацию данных.
Термин «класс» можно определить как совокупность предметов или понятий, выделенных и сгруппированных по определенным признакам или правилам. Под классификацией мы будем понимать отнесение некоторого сигнала к классу, т.е. определение порядка его математической модели, выполняемое по этим формальным правилам по совокупности признаков.
Границы классов определены достаточно точно - сигнал относится к данному классу, если известно, что он обладает необходимым числом признаков, характерных для этого класса. Итак, задачей систем-классификаторов является установление принадлежности сигнала к одному из формально определенных классов. В случае обучения с учителем (например, в пер-септроне) формирование классов происходит методом проб и ошибок на основе примеров с известными ответами, представляемыми экспертом. Учитель управляет обучением с помощью изменения параметров связей и, в некоторых случаях, самой топологии сети.
Данная задача, по своей сути, является нелинейной, так как дискретные отсчеты сигнала изначально не имеют никаких признаков принадлежности к тому или иному классу и ИНС не
50
Измерение. Мониторинг. Управление. Контроль
может непосредственно из входных данных выделить эти признаки в силу свойства линейной разделимости. Это свойство заключается в том, что каждый нейрон персептрона является формальным пороговым элементом, принимающим единичные значения в случае, если суммарный взвешенный вход больше некоторого порогового значения:
1, Ywt]xt >в,;
І
У, = \ V"
і 0. ZWiXiOj.
і
Таким образом, при заданных значениях весов и порогов нейрон имеет определенное значение выходной активности для каждого возможного вектора входов. Множество входных векторов, при которых нейрон активен (у = 1), отделено от множества векторов, на которых нейрон пассивен (у = 0), гиперплоскостью, уравнение которой
ZW„Xi -в,. =0.
І
Следовательно, нейрон способен отделить (иметь различный выход) только такие два множества векторов входов, для которых имеется гиперплоскость, отсекающая одно множество от другого. Такие множества называют линейно разделимыми. Линейная неразделимость множеств аргументов, отвечающих различным значениям функции, означает, что функция «исключающее ИЛИ», столь широко использующаяся в логических устройствах, не может быть представлена формальным нейроном. При возрастании числа аргументов ситуация еще более катастрофична: относительное число функций, которые обладают свойством линейной разделимости, резко уменьшается, а значит, и резко сужается класс функций, который может быть реализован персептроном (так называемый класс функций, обладающий свойством пер-септронной представляемости) [2].
Очевидно, что однослойный персептрон крайне ограничен в своих возможностях точно представить наперед заданную логическую функцию. Это ограничение можно преодолеть путем введения нескольких слоев нейронов, каждый из которых будет выполнять определенную задачу. Следовательно, необходимо сформировать многослойную нейронную сеть, которая, за несколько этапов, будет определять порядок математической модели сигнала, т.е. относить его к определенному классу. Таким образом, ИНС должна решать как минимум две задачи: преобразование входных данных к линейно разделимому виду на первом этапе и определение, собственно, порядка модели на втором.
Для того чтобы входные данные удовлетворяли условию линейной разделимости, воспользуемся алгоритмом разложения матрицы входных данных на собственные числа. Как известно, по значимости собственных значений матрицы данных либо автокорреляционной матрицы сигнала можно сказать, какой порядок имеет модель сигнала, т.е. определить, к какому классу он относится [3, 4]. Так что на первом этапе необходимо определить собственные числа матрицы, сформированной из дискретных отсчетов сигнала. Для решения данной задачи необходимо сформировать двухслойную сеть с количеством нейронов первого слоя, равным длине входной выборки, а второго слоя - количеству определяемых собственных значений и нелинейной функцией активации обоих слоев, например сигмоидальной.
На втором этапе построения архитектуры сети необходимо из полученных значений, т.е. собственных чисел матрицы входных данных, определить порядок модели АР-уравнения, или, говоря другими словами, определить принадлежность к определенному классу. Следовательно, третий слой сети будет содержать количество нейронов, равное количеству определяемых собственных значений. Число определяемых сетью собственных значений следует выбирать в зависимости от числа определяемых классов, однако большое число классов может потребовать усложнения архитектуры сети.
На выходе сети целесообразно получить двоичный код, так как в цифровых средствах обработки информации вычисления производятся в двоичной форме, а также это значительно упростит архитектуру сети. Для организации на выходе сети двоичного кода необходимо выбрать нейроны с пороговой функцией активации, каждый из которых по значимости значений предыдущего слоя будет формировать на своем выходе либо 1, либо 0.
Таким образом, получившаяся трехслойная ИНС преобразует массив входных дискретных отсчетов в двоичный код, типа {0001, 0011, ..., 1111}, соответствующий порядку АР-модели.
51
Для определения порядка авторегрессионной модели можно применить нейронные сети PNN (Probabilistic Neural Network), которые предназначены для решения вероятностных задач и, в частности, задач классификации [5].
Архитектура сети PNN базируется на архитектуре радиальной базисной сети, но в качестве второго слоя использует так называемый конкурирующий слой, который подсчитывает вероятность принадлежности входного вектора к тому или иному классу и, в конечном счете, сопоставляет вектор с тем классом, вероятность принадлежности к которому выше. Структура сети PNN представлена на рис. 1
Рис. 1. Структура сети PNN
Предполагается, что задано обучающее множество, состоящее из Q пар векторов вход/цель. Каждый вектор цели имеет K элементов, указывающих класс принадлежности, и, таким образом, каждый вектор входа ставится в соответствие одному из K классов. В результате может быть образована матрица связности Т размера K*Q, состоящая из нулей и единиц, строки которой соответствуют классам принадлежности, а столбцы - векторам входа. Таким образом, если элемент T(i, j) матрицы связности равен 1, то это означает, что j-й входной вектор принадлежит к классу i.
Весовая матрица первого слоя IW11 формируется с использованием векторов входа из обучающего множества в виде матрицы РТ. Когда подается новый вход, блок ||dist|| вычисляет близость нового вектора к векторам обучающего множества; затем вычисленные расстояния умножаются на смещения и подаются на вход функции активации radbas. Вектор обучающего множества, наиболее близкий к вектору входа, будет представлен в векторе выхода а1 числом, близким к 1.
Весовая матрица второго слоя LW21 соответствует матрице связности Т, построенной для данной обучающей последовательности. Произведение Та1 определяет элементы вектора а1, соответствующие каждому из K классов. В результате конкурирующая функция активации второго слоя compet формирует на выходе значение, равное 1, для самого большего по величине элемента вектора п2 и 0 в остальных случаях. Таким образом, сеть PNN выполняет классификацию векторов входа по K классам [2].
Итак, сети PNN могут весьма эффективно применяться для решения задач классификации. Недостатком сетей PNN является то, что работают они относительно медленно, поскольку выполняют очень большие объемы вычислений по сравнению с другими типами нейронных сетей, однако их достоинство заключается в быстром обучении.
Рассмотренные методы определения порядка авторегрессионной модели, основанные на применении искусственных нейронных сетей, показали, что решение данной задачи сетью с однородной архитектурой не возможно, необходимо формирование многослойной ИНС, отдельные слои которой решают различные задачи. Рассмотренная выше нейронная сеть, в отличие от сети PNN, обучается значительно медленнее, однако работает гораздо быстрее, что более важно в задачах обработки информации, основанных на авторегрессионном оценивании.
Список литературы
1. Козлов, В. В. Методы определения порядка авторегрессионной модели / В. В. Козлов,
М. Г. Мясникова // Современные проблемы оптимизации в инженерных приложениях : сб. тр. Первой Междунар. науч.-техн. конф. - Ярославль, 2005. - С. 48-53.
2. Козлов, В. В. Искусственные нейронные сети в задачах определения параметров гармонических сигналов / В. В. Козлов // Информационно-измерительная техника : межвуз. сб. науч. тр. - Пенза : Изд-во ПГУ, 2011. - Вып. 36. - С. 169-175.
52
Измерение. Мониторинг. Управление. Контроль
3. Козлов, В. В. Определение параметров гармонических сигналов в условиях действия шумов и помех на основе метода разложения сигнала на собственные числа / В. В. Козлов // Современные проблемы науки и образования : электронный журнал. - 2013. -№ 6. - URL: http://www.science-education.ru/113-10860.
4. Козлов, В. В. Определение параметров гармонического сигнала на основе метода разложения на собственные числа / В. В. Козлов, Е. А. Ломтев, С. Б. Шахов // Датчики и системы: методы, средства и технологии получения и обработки измерительной информации : тр. Междунар. науч.-техн. конф. - Пенза : Изд-во ПГУ, 2012. - С. 260-264.
5. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика : пер. с англ. / Ф. Уоссермен. - М. : Мир, 1992. - 184 с.
6. Tsypin, B. V. Estimating the order of autoregressive models in approximation of signals / B. V. Tsypin, A. G. Dmitrienko, M. G. Myasnikova // Measurement Techniques. - 2011. -Vol. 54, № 4. - P. 416-421.
Козлов Валерий Валерьевич
кандидат технических наук, доцент, кафедра информационно-измерительной техники, Пензенский государственный университет E-mail: iit@pnzgu.ru
Kozlov Valeriy Valer'evich
candidate of technical sciences, associate professor, sub-department of information and measuring equipment,
Penza State University
УДК 519.873 Козлов, В. В.
Определение порядка авторегрессионной модели с помощью искусственных нейронных сетей / В. В. Козлов // Измерение. Мониторинг. Управление. Контроль. - 2014. - № 4 (10). - С. 49-52.
