Стохастический процессор для определения экстремума функции регрессии Текст научной статьи по специальности «Компьютерные и информационные науки»

lntellectual Technologies on Transport. 2016. ^ 1

Стохастический процессор для определения экстремума функции регрессии

Свистунов С. Г.

Петербургский государственный университет путей сообщения Императора Александра I

Санкт-Петербург, Россия, ssg47@mail.ru

Аннотация. В измерительной технике, радиолокации, гидроакустике часто требуется решить адаптивную задачу идентификации, т. е. построить модель по имеющимся данным об объекте. Примерами могут служить задачи статистической оценки параметров, регрессии, робастное оценивание, рекуррентное оценивание, анализ данных и т. д. В статье предлагается использовать для решения указанной задачи адаптивный квазиградиентный алгоритм, реализуемый на стохастическом вычислительном устройстве. Предлагаемый подход дает возможность сократить время решения и упростить используемые аппаратные средства. В статье приведен подробный алгоритм функционирования специализированного вычислительного устройства.

Ключевые слова: экстремум функции регрессии, адаптивные алгоритмы стохастической оптимизации, стохастические вычислительные устройства, преобразователь код-вероятность, ПКВ, СтВУ.

Введение

В измерительной технике, радиолокации, гидроакустике часто требуется решить адаптивную задачу идентификации [1], т. е. построить модель по имеющимся данным об объекте. Примерами могут служить задачи статистической оценки параметров, регрессии, робастное оценивание, рекуррентное оценивание, анализ данных и т. д.

Решение этих задач можно свести к алгоритму поиска

экстремума функции регрессии следующим образом [1]:

*

для задач оценки параметров х плотности распределения вероятностей х) по реализациям случайной величины г вводится функция

/ (х) = MQ( г, х) =| Q( г, х)™( г, х* )Сг,

где М - математическое ожидание, Q( г, х) = —1п[и>( г, х)].

Очевидно, что в точке х* минимум функции/(х):

/(х) = —| [1п и>(г, х )г, х )Сг — 1п{1 + [и>(г,х) — и>(г,х )]/и>(г,х )}и>(г,х )Сг > > f (х*) —™(2,х)— Чг,х*)]с2 = /(х*), поскольку - 1п(1 + а) > —а.

Пусть измерения г 1, ..., г поступают последовательно, х - найденное после обработки л измерений приближение для х*. Тогда можно считать VQ(zs+1, хл) приближением для

УДУ) = М Q(z,x*) и применять метод градиентного типа для минимизации f(х):

Л +1 Л Г7 уО/ л+1

х = х — Рл Vх^2 , х ) =

л [^ / л+1 \ / / Л +1

= х — Рл [УхЧг , х )]/ М2 , х ).

Скорость сходимости порядка О(1/л), где О(Ь) - величина одного порядка малости с Ь.

Оценка дисперсии сигнала

с нулевым средним

Для оценки дисперсии сигнала с нулевым средним можно использовать следующую рекуррентную формулу [2]:

^ +1

обычно рл=1/л [3].

Дисперсия с нулевым средним - это математическое ожидание квадрата амплитуды сигнала. Приведенная выше формула требует вычисления г шаговый множитель рл = 1/л является детерминированным. Для измерения доступна величина г, не составляет труда определить |г|= (sign(z) л/["2| )2 = = у 2, где sign(z) - знак г.

Полагая функцию плотности распределения и>(г,х) четной, получим [4]

Му = | (sign( г ')у1\2\ )™(г, х)Сг = 0, т. к. sign(z)-\J\z~I - нечетная функция.

Таким образом, измеряя дисперсию величины у, т. е. Му 2 = М|г|, мы измерим М|г|, где |г| - амплитуда сигнала. Обозначим М|г|=А, тогда Ал+1 = Ал + рл (|гл | — Ал), где Ал - оценка А на шаге л. Осталось определить величину рл. Этот пример показывает, что шаговый множитель рл = 1/л является детерминированным и не учитывает в должной мере расстояния до х*. Следовательно, для ускорения сходимости вычислительного процесса требуется адаптивная подстройка шагового множителя рл, т. е. необходимо использовать адаптивные алгоритмы стохастической оптимизации [5].

В общем случае шаговый множитель определяется по формулам:

к = — (А — | |)( А — А—1) — —1;

Рл = min [Рo, Рл—],

1Ше11ееШа1 Теекпо^1е$ оп ТгатроМ. 2016. N0 1

где р0 > 0, 5 > 0, а > 1. Вычисление требует таких «трудоемких» операций, как умножение и возведение в степень вещественных чисел. Наличие случайных сигналов на входе позволяет отказаться от традиционных вычислительных устройств, где информация представлена многоразрядными двоичными числами, и перейти к использованию стоха-

стических вычислительных устройств (СтВУ), где входная информация преобразуется в импульсы, вероятностные характеристики которых зависят от входного сигнала. В результате преобразования код-вероятность (ПКВ) значительно упрощается аппаратура и уменьшается время выполнения отдельной итерации [6].

^ начало ^

1) Е: р; у; р; г0; 5; А0; а; Ь; в; Дв; у;

ДЬ=А°-Ь; Да=а-А° 4-

2) И=егП(г5); с^г"; 5=5-1; гг=г5; ДС=ДС2"4; А5+1=А5-2|,у; ДЬ=ДЬ-2ьу;

Да=Да+2 у; а5'

8) г1; Дг=-й г5=гус1 С=6+ДС ; Дх5+1=А5+1-А5;

9)у=2рз!8п(Г1)и+(1 Г1!-«5"1)

10) г5=г5-Дх5+1у; Дг=Л ДС=|Дх5+ г-Дх5+1у; А5=А5+1;

Алгоритм адаптивной квазиградиентной оптимизации

ТМе11ес(иа1 Теекпо^1е$ оп Тгатрог(. 2016. N0 1

Пусть ^ = - и < с = 2р почти наверное (п. н.), тогда на выходе ПКВ имеем sign(^s)и + (\ ^ \ -а£), где и+ -функция Хевисайда; а - равномерно распределенная случайная величина в диапазоне [0, с].

Используя общие теоремы о сходимости рекуррентных стохастических алгоритмов [5], можно доказать, что если выполняется < с = 2р п. н., р - целое, 5 > 0, д > 0, г0 = 0, у4 = csign(^s )и+ (\ ^ \ - аБ), то последовательность Лз + 1 = = Л4 - 2 у4, 4 = 0,1, ..., где к = еп^г) - целая часть числа г, +1 = шш(д, - у4+1 (Л4 +1 - Л4) -52 ), сходится к Л.

Адаптивность параметра позволяет быстро достичь значения Л, а применение СтВУ дает возможность использовать только короткие операции: пересылки, сдвиг, алгебраическое сложение, сравнение чисел, так как

у4 е{-2р,0,2р},

В блоках 3, 4, 6, 7 определяется проекция точки на область для Л.

В блоке 5 проверяется условие окончания вычислений. В блоке 8 определяются величины:

гдер - целое.

Алгоритм

Алгоритм численного метода приведен на рисунке. В блоке 1 задаются начальные значения величин:

• р, где 2Р = с > п. н.;

• у, где 5 = 2У> 0;

• [а, Ь] - границы области для Л;

• д - ограничение на степень шагового множителя, обычно д = 2;

• г0 - начальное значение степени шагового множителя, обычно г0 = 0;

• Л 0 - начальная координата;

• ё - условие окончания счета;

• О - средняя величина модуля сдвига, начальное значение О = 10^;

• АО - приращение модуля сдвига, обычно начальное значение АО = 0;

• у - значение на выходе линейного преобразователя код-вероятность (ЛПКВ), начальное значение у 0 = 0;

• Б - общее количество итераций;

• АЬ = Л - Ь, Аа = а - Л - отклонение А от границы области.

В блоке 2 вычисляются значения:

• случайной величины а^1, равномерно распределенной в диапазоне [0, с];

• добавки к степени шага итерации

• новое значение координаты Л^

• новое значение модуля сдвига АО;

• из содержимого счетчика числа итераций Б вычитается 1;

• величина отклонения координат (Аа и АЬ) от границы области;

• запоминается текущее значение г.

=Л+1 - К+1 \;

■ приращения координат Ах5+1;

• приращение шага степени Аг и новое значение степени шага итерации г , новое значение среднего модуля сдвига О.

В блоке 9 осуществляется линейное преобразование код-вероятность (ЛПКВ) и определяется значение у.

В блоке 10 вычисляются величины:

• степень шага итерации г;

• приращение степени шага итерации Аг;

• новое значение Л ;

• новое значение приращения модуля сдвига АО.

В блоках 11 и 12 происходит ограничение степени шага итерации и переход на блок 2.

В блоках 13, 14, 15, 16 осуществляется ограничение прироста степени шага итерации с учетом того, что степень г не должна меняться за один шаг слишком быстро, введено ограничение \Аг\ < 2. На основании алгоритма строится функциональная схема СтВУ

Выводы

Использование стохастического вычислительного устройства позволяет исключить «медленные» операции: возведение в вещественную степень, умножение и деление многоразрядных чисел. Это позволило сократить время выполнения отдельных итераций, что при случайном сигнале на входе устройства уменьшает общее время определения экстремума функции регрессии.

Литература

1. Поляк Б. Т. Введение в оптимизацию / Б. Т. Поляк. - М. : Наука, 1983. - 384 с.

2. Левин Б. Р. Теоретические основы статистической радиотехники. Кн. 2 / Б. Р. Левин. - М. : Сов. радио, 1968. - 503 с.

3. Невельсон М. Б. Аппроксимация стохастическая и рекуррентное оценивание / М. Б. Невельсон, Р. З. Хасмин-ский. - М. : Наука, 1972. - 304 с.

4. Королюк И. С. Справочник по теории вероятностей и математической статистике / И. С. Королюк, А. В. Скороход. - М. : Наука, 1985. - 640 с.

5. Урясьев С. П. Адаптивные алгоритмы стохастической оптимизации и теории игр / С. П. Урясьев. - М. : Наука, 1990. - 183 с.

6. Федоров Р. Ф. Стохастические преобразователи информации / Р. Ф. Федоров, В. В. Яковлев, Г. В. Добрис. - Л. : Машиностроение, 1978. - 304 с.

Intellectual Technologies on Transport. 2016. No 1

The stochastic processor for definition of an extremum of function of regress

Svistunov S. G. The Petersburg State University means of communication of Emperor Alexander I St. Petersburg, Russia, ssg47@mail.ru

Abstract. The summary. In the measuring technique, a radar-location, hydro acoustics often it is required to solve an adaptive problem of identification, i. e. to construct model on available data about object. As examples problems of a statistical estimation of parameters can serve, to regress, the analysis of data etc. In article is offered to be used for the decision of the specified problem by the adaptive quasigradient algorithm realized on a stochastic computer. The offered approach gives the chance to reduce time of the decision and to simplify used hardware. In the article the detailed algorithm of a specialized computer is resulted.

Use of a stochastic computer allows to exclude "slow" operations: erection in material degree, multiplication and division of multidigit numbers. It has allowed to reduce time of performance of separate iterations, that at a casual signal on a device input reduces general time of definition of an extremum of function of regress.

Keywords: an extremum of function of regress, adaptive algorithms of stochastic optimization, stochastic computers, the converter a code-probability, CCP, StC.

References

1. Poliak B. T. Vvedeniye v optimizatsiyu [Introduction in optimization]. Moscow, Nauka, 1983, 384 p.

2. Levin B. R. Teoreticheskiye osnjvy statisticheskoy ra-diotekhniki [Theoretical of a basis of a statistical radio engineering], Book 2. Moscow, Sovetskoye Radio, 1968, 503 p.

3. Nevelson M. B., Hasminsky R. Z. Approksimatsiya stokhasticheskaya i rekurrentnoye otsenivaniye [Stochastic approximation and recurrent evaluation]. Moscow, Nauka, 1972, 304 p.

4. Koroljuk I. S., Skorokhod A. V. Spravochnikpo teorii ve-royatnostey i matematicheskoy statistike [Fastwalker director on probability theory and the mathematical statistics]. Moscow, Nauka, 1985, 640 p.

5. Uryas'ev S. P. Adaptivnyye algoritmy stokhasticheskoy op-timizatsii i teorii igr [Adaptive algorithms of stochastic optimization and the theory of games]. Moscow, Nauka, 1990, 183 p.

6. Fedorov R. F., Jakovlev V. V., Dobris G. V. Stokhastiches-kiyepreobrazovateli informatsii [Stochastic information converters]. Leningrad, Mashinostroyeniye, 1978, 304 p.

HHmmneKmyanbHbie mexHornzuu Ha mpaHcnopme. 2016. № 1

8