CC BY
72
Очевидно, что модель ОАР при l = 2, к = 1 тождественна модели при l = 1, к = 2 .
Модель ОАР четвертого ранга для Рк і = 2 описывается уравнениями вида:
1) j = 1,2 , l = к = 1:
m4 [0,0,1] = ф4,1[1]т4 + ф4,1[2]т4 [1,1,1],
т4 [2,1,1] = Ф4,1[1]т4[1,1,1] + Ф4,1[2]т4[0,1,1];
2) j = 1,2 , l = 2, к = 1.
Таким образом, найденные общие выражения для модели ОАР произвольного ранга позволяют получить уравнения, описывающие модель ОАР четвертого ранга.
5. Заключение
Предложенные принципы обобщения моделей линейного предсказания позволяют построить модели ОАР любого ранга, структура которых существенно не отличается от обычных моделей АР. Такой подход дал возможность избежать усложнения уравнений при построении обобщенных моделей, вызванного, в частности, многомерностью моментных функций. На примере моделей ОАР четвертого ранга продемонстрировано применение общих уравнений моделей ОАР произвольного ранга.
Дальнейшие исследования могут быть направлены на получение обобщенныхмоделей скользящего среднего, авторегрессии—скользящего среднего. Интерес представляет анализ реальных негауссовых процессов с помощью предложенныхмоделей.
Литература: 1. Адаптивные фильтры / Под ред. К.Ф.Н. Коуэна и П.М. Гранта. М.: Мир, 1988. 392 с. 2. Бокс Дж, Дженкинс Г. Анализ временных рядов: Пер. с. англ. М.: Мир, 1974. Вып.1. 406с. 3. Марпл - мл. С. Л. Цифровой спектральный анализ и его приложения. М.: Мир, 1990. 584 с. 4. Тихонов В.И. Статистическая радиотехника. М.: Радио и связь, 1982. 624 с. 5. Бриллинджер Д.Р. Временные ряды. Обработка данных и теория. М.: Мир, 1980. 536 с. 6. Ширяев А.Н. Некоторые вопросы спектральной теории старших моментов. Теория вероятности и ее применение. 1960. № 5, 3. С. 293-313. 7. Леонов В.П. Некоторые применения старших семиинвариантов в теории стационарных случайных процессов. М.: Наука, 1964. 124 с. 8. Шелухин О.И. Беляев И.В. Негауссовские процессы. СПб.: Политехника, 1992. 312 с. 9. Малахов А.Н. Кумулянтный анализ случайных негауссовых процессов и их преобразований. М.: Сов. радио, 1978. 376 с.
Поступила в редколлегию 07.04.2003
Рецензент: д-р. физ.-мат. наук, проф. Лучанинов АН.
Тихонов Вячеслав Анатольевич, канд. техн. наук, доцент кафедры РЭС ХНУРЭ. Научные интересы: ради-локация, распознование образов, статистические модели. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. 702-15-87.
УДК 519.7:007.52
МОДИФИЦИРОВАННЫЕ АЛГОРИТМЫ ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ ВЕКТОРНОГО КВАНТОВАНИЯ
КОРОЛЬКОВА ЕЕ, ЛАМОНОВА Н. С.,
ЛЛИСС И.П.
Рассматриваются алгоритмы обучения искусственных нейронных сетей векторного квантования (LVQ-ANN), предлагаются их модификации, позволяющие повысить быстродействие и качество обработки информации путем соответствующего выбора шага обучения и нормировки настраиваемых синаптических весов.
1. Введение
В задачах обработки информации, связанных с ее сжатием и разбиением на компактные классы, описывающие различные состояния источника этой информации, распространены нейронные сети векторного квантования [1], так же как и широко известные самоорганизующие карты, введенные Т. Кохоненом [2]. В основе этих сетей лежит техника векторного квантования [3-6], нашедшая применение в задачах сжатия аудио- и видеосигналов [7]. Основная идея, лежащая в основе этой техники, состоит в компактном представлении больших массивов информации, заданной в виде n-мерных векторов х(к) (здесь к = 1,2,...N — либо номер конкретного вектора в массиве, либо индекс текущего дискретного времени) в форме огра-
42
ничейного набора прототипов, или центроидов wj, j = 1,2,...,т, т <<N , достаточно хорошо аппроксимирующих исходное пространство X. В результате квантования пространства X формируется так называемая кодовая книга; её кодовые слова (они же векторы реконструкции) описывают прототипы классов, число которых не задается априорно. В системах передачи информации, использующихвекторное квантование, и передатчик, и приемник снабжаются этой кодовой книгой, с помощью которой на передающем конце системы входной сигнал кодируется, а на приемном-восстанавливается. Входной сигнал х(к) сравнивается со всеми кодовыми словами книги, среди которых выбирается определенное то j, в некотором смысле ближайшее к х(к). По каналу связи передается только индекс j, с помощью которого приемник реконструирует х(к) в форме оценки то j так, как это показано на рис. 1.
Передатчик
Канал
передачи
информации
j(x(k))
Приемник
Рис. 1. Векторный квантователь
Эффективность такой системы полностью определяется способом нахождения прототипов w j, особенно, если исходные данные имеют стохастический или нестационарный характер.
РИ, 2003, № 4
2. Постановка задачи
Принципиальным моментом разработки систем векторного квантования является выбор метрики, определяющей близость кодируемых сигналов к прототипам классов, наиболее общей из которых для данных систем является метрика Ф. Итакуры — С. Сайта [8]:
D(x(k), w j) = (x(k) - w j)T D(x)(x(k) - w j) =
=iix(k) - wjiiD(X), (1)
где D(x) — некоторая положительно определенная симметрическая матрица.
Частным случаем (1) является популярная в теории распознавания образов метрика П. Махаланобиса:
D(x(k),wj) = (x(k)-wj)TZ _1(x(k)-wj) =
=|1 x(k) - wj ||2 _p
z 1
здесь ^=M{(x(k) -x)(x(k) -x)T}, x = M{x(k)}, M{.} — символ математического ожидания.
В простейшем случае при
D(x(k),wj) =||x(k) - wj ||2 (2)
приходим к так называемому квантователю Вороного [9], осуществляющему разбиение входного пространства на клетки, каждой из которых соответствует свой прототип wj,
Именно на основе квантователя Вороного Т. Кохоне-ном была предложена техника обучаемого векторного квантования и соответствующая ей искусственная нейронная сеть, узлами которой являются адаптивные линейные ассоциаторы, а архитектура полностью совпадает с самоорганизующейся картой. Принципиальная разница между самоорганизующимися картами (SOM) и сетями векторного квантования (LVQ-ANN) состоит в принципах их обучения. Если в основе SOM лежит конкурентное самообучение, то для LVQ-сетей характерно контролируемое обучение с учителем, хотя элементы конкуренции при этом не исключаются. Целью настоящей работы является модификация известного алгоритма обучения LVQ1 для повышения его быстродействия и качества обработки информации при использовании различных метрик.
3. Модификация алгоритмов обучения
Процесс обучения сети векторного квантования начинается с того, что для каждого предварительно пронормированного входного вектора x(k) (||x(k)|| = 1) определяется свой нейрон-победитель, синаптические веса w* которого соответствуют прототипу определенного класса. Иначе говоря, победителем является нейрон с минимальным расстоянием до предъявленного входного вектора
D(x(k),w*(k)) = min || x(k) - wj(k)||2 j
или, что для нормированных векторов то же самое,
D(x(k),w*(k)) = maxxT(k)wj(k) = j
= max cos(x(k), w j (k)). (3)
j
Поскольку обучение является контролируемым, то принадлежность вектора x(k) к конкретной области пространства X известна, что позволяет рассмотреть две типичные ситуации, возникающие в обучаемом векторном квантовании:
*
— входной вектор x(k) и нейрон-победитель wj принадлежат одной и той же клетке Вороного;
*
— входной вектор x(k) и нейрон-победитель wj принадлежат разным клеткам Вороного.
Тогда соответствующее LVQ-правило обучения, введенное Кохоненом, может быть записано в виде
wj(k +1) =
w* (k) + p(k)(x(k) - w* (k)),
*
если x(k) и таj(k) принадлежат одному классу,
= - w*(k) - T|(k)(x(k) - w*(k)), (4)
*
если x(k) иwj(k) не принадлежат одному классу, w(k) для нейронов, не победивших в момент k,
где p(k) — скалярный параметр, определяющий характер процесса обучения.
Правило (4), основанное на стратегии “победитель получает все”, имеет достаточно ясный физический
смысл: если нейрон-победитель и предъявленный
*
образ относится к одному классу, то прототип w j (k) “подтягивается” к x(k); в противном случае прототип w j (k) “отталкивается” от x(k), увеличивая тем самым расстояние D(x(k),w* (k)).
Рассматривая конструкцию (4) с формальной точки зрения, можно заметить, что первое ее соотношение есть не что иное, как градиентная процедура минимизации квадрата нормы (2), а второе — его максимизации. Опираясь на этот факт, можно ввести LVQ-правило обучения, основанное на метрике Итакуры-Сайто (1) в виде
wj(k +1) =
w * (k) + p(k)D(x)(x(k) - w * (k)),
*
если x(k) и wj(k) принадлежат одному классу, w*j (k) -p(k)D(x)(x(k) - w*j(k)), ^
если x(k) и wj(k) не принадлежат одному классу, w(k) для нейронов, не победивших в момент k.
Что касается выбора величины шага поиска p(k), то общая рекомендация состоит в том, что он должен постоянно уменьшаться в процессе контролируемого обучения. В [10] доказана сходимость процедуры обучаемого векторного квантования в предположении, что параметр p(k) уменьшается в соответствии с условиями А. Дворецкого. Это позволяет выбирать шаг поиска согласно алгоритму стохастической аппроксимации, введенному в [11, 12], в соответствии с которым
p(k) = r-1(k), r(k) = r(k-1)+ ||x(k)2||. (6)
43
РИ, 2003, № 4
Несложно заметить, что при || x(k) ||= 1 (6) принимает
крайне простую форму p(k) = —.
k
Для нестационарных ситуаций можно использовать модификацию (6) в виде [13]:
p(k) = r_1(k), r(k) = ar(k-1)+ ||x(k)||2,
0 <a< 1, ( )
что задает интервал изменения параметра шага
— < -n(k) < 1. k
Необходимо отметить также, что нормирование входных сигналов x(k) вовсе не гарантирует того, что прототипы классов также будут отвечать условию || wj ||= 1, а его невыполнение делает невозможным в качестве метрики использовать крайне удобное и наглядное выражение (3). Обойти данное затруднение несложно, модифицировав правило обучения (4) следующим образом:
Wj(k +1) =
w*(k) +p(k)(x(k) - w*(k))
|| w*(k) + p(k)(x(k) - w*(k)) || ’
*
если x(k) и Wj (k) принадлежат одной клетке, w*(k) -p(k)(x(k) - w*(k))
|| w*(k) - p(k)(x(k) - w* (k)) ||
если x(k) и¥|(—) не принадлежат разным (8)
клеткам,
wj
-----— для нейронов, не победивших в момент k.
|| w j ||
4. Заключение
Рассмотренные алгоритмы могут быть использованы как для контролируемого, так и для самообучения адаптивных систем распознавания образов [14], одна из возможных схем которых приведена на рис.2.
Рис. 2. Адаптивная гибридная схема распознавания образов
кой размерности карта Кохонена выделяет относительно малый набор признаков y(k), т.е. фактически осуществляет понижение размерности входного пространства без существенной потери информации. На втором этапе сеть векторного квантования обучается классификации поступающих образов y(k) с помощью внешнего обучающего сигнала. При этом обе сети могут обучаться с помощью одного и того же алгоритма (4), (5) или (8), из которых самоорганизующаяся карта использует только первое и последнее соотношения. Регулированием параметра а соотношения (7) можно добиться желаемого характера процесса настройки синаптических весов. Такая организация позволяет увеличить его быстродействие и надежность.
Литература: 1. Kohonen T. Self-Organizing Maps. Berlin: Springer-Verlag, 1995. 362p. 2. Kohonen T. Improved version of learning vector quantization//Proc.Int. Joint. Conf. on Neural Networks — San Diego, CA, 1990. 1. P.545-550. 3. Linde Y., Buzo A, Gray R.M. An algorithm for vector quantizer design // IEEE Trans. on Communications, 1980. 28. P.84-95. 4. Gray R.M. Vector quantization // IEEE Acoustics, Speech and Signal Processing Magazine. 1984. 1. P. 4-29. 5. Nasrabadi
N.M., King A.A Image coding using vector quantization: a review // IEEE Trans. on Communications. 1988. 36. P.957971. 6. Luttrell S.P. Hierarchical vector quantization // IEEE Proc. 1989. 136, Part I. P.405-413. 7. Ham F.M., Kostanic I. Principles of Neurocomputing for Science&Engineering. N.Y.:Mc Graw-Hill, Inc., 2001. 642p. 8. ItakuraF. Maximum prediction residual principle applied to speech recognition // IEEE Trans. on Acoustics, Speech and Signal Processing. 1975,N23. P.67-72. 9.Gersho A. On the structure of vector quantizes // IEEE Trans. on Information Theory. 1982. 28. P.157-166. 10. Baras J.S., LaVignaA. Convergence ofKohonen’s learning vector quantization // Proc. Int. Joint. Conf. on Neural Networks - San Diego, Ca, 1990. 3. P.17-20. 11. Goodwin G.C., Ramadge P.J., Caines P.E. Districte time stochastic adaptive control // SIAM J.Control and Optimization, 1981. 19, N6. P.829-853. 12. Goodwin G C, Ramadge P.J., Caines P.E. A globally convergent adaptive predictor // Automatica. 1981. 17, N1. P.135-140. 13.БодянскийE.B., Плисе ИП, Соловьева Т.В. Многошаговые оптимальные упредители многомерных нестационарных стохастических процессов // Доклады АН УССР. 1986. Сер А, N12. С. 47-49. 14.Haykin S. Neural Networks. A Comprehensive Foundation — Upper Saddle River, N.J. Prentice Hall, Inc., 1999. 842p.
Поступила в редколлегию 07.07.2003
Рецензент: д-р техн. наук, проф Любчик Л.М.
Королькова Елена Евгеньевна, аспирантка кафедры искусственного интеллекта ХНУРЭ без отрыва от производства. Адрес: Украина, 61174, Харьков, пр. Победы, 71, кв. 34, spline@list.ru, тел. +38(0572)-38-23-74.
Ламонова Наталья Сергеевна, канд. техн. наук, науч. сотр. ПНИЛ АСУ ХНУРЭ. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, nata@kture.kharkov.ua, тел. +38(057)-702-10-10.
Данная схема состоит из двух последовательно соединенных однотипных архитектур, первая из которых (карта Кохонена) работает в режиме самообучения, а вторая (нейросеть векторного квантования)—в режиме контролируемого обучения. Из поступающего на вход системы вектора-образа x(k) достаточно высо-
Плисс Ирина Павловна, канд. техн. наук, ст. науч. сотр., вед. науч. сотр. ПНИЛ АСУ ХНУРЭ, член IeEe. Научные интересы: адаптивные системы, искусственные нейронные сети. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел.: +38(0572) 40-98-90. E-mail: Pliss@ieee.org
44
РИ, 2003, № 4
