МОДЕЛЬ ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ НА ТРЕХСЛОЙНОМ ПЕРСЕПТРОНЕ В ИНФОРМАЦИОННОЙ СИСТЕМЕ МОНИТОРИНГА ЗАГРЯЗНЯЮЩИХ ВЫБРОСОВ Текст научной статьи по специальности «Компьютерные и информационные науки»

Дистанционное зондирование сред

УДК 621.391

Модель прогнозирования временных рядов на трехслойном персептроне в информационной системе мониторинга загрязняющих выбросов

Проскуряков Александр Юрьевич - старший преподаватель Муромского института (филиала) ФГБОУ ВПО «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевич Столетовых».

E-mail: kaf-eivt@yandex.ru.

Адрес: 602264, г. Муром, ул. Орловская, д. 23.

Аннотация: Влияние производства на экологическую ситуацию является актуальной проблемой. В рамках локальной минимизации негативного воздействия загрязняющих выбросов на окружающую среду в непосредственной близости от вредного производства или на территории самого предприятия, требуется система автоматизированного мониторинга загрязняющих выбросов. Система должна осуществлять оперативный контроль загрязняющих выбросов и прогнозировать возможность возникновения аварийных ситуации для своевременного предупреждения их развития и принятия мер по их предотвращению. В целях создания системы автоматизированного прогнозирования, была исследована модель прогнозирования временных рядов на многослойном персептроне прямого распространения по критерию меньших вычислительных затрат. Основными задачами исследования модели прогнозирования на многослойном персептроне является разработка рекомендаций по выбору числа слоев нейронной сети. Исследование зависимостей ошибок обучения нейронной сети показало, что трехслойная нейронная сеть имеет такие же характеристики погрешности обучения, что и четырехслойная сеть. Также исследование показывает, что при наличие в сети 50-80 нейронов, ошибки обучения достигаются в пределах 0,1^1% при достаточно высоком быстродействии времени обучения. Результаты исследования показывают, что время обучения, для получения вышеуказанных погрешностей, может составлять несколько циклов обучения.

Ключевые слова: временные ряды, прогнозирование, искусственные нейронные сети, вейвлет-преобразование.

Мониторинг загрязняющих выбросов включает в себя контроль и прогнозирование концентраций вредных веществ. Наиболее оптимальным и достоверным методом прогнозирования является предсказывание на коротких интервалах.

Целью работы является оптимизации деятельности промышленного предприятия по планированию и проведению мероприятий, направленных на минимизацию экологического, материального ущерба и общего негативного влияния на окружающую среду. Этого можно достичь при помощи получения достоверного прогноза выделения источниками выбросов загрязняющих веществ, накопления их в различных зонах локации и распространения в

атмосфере на территории промышленного предприятия и за ее пределами.

Для того, чтобы спрогнозировать концентрации загрязняющих веществ, недостаточно просто подать эти значения в нейронную сеть. Снижение влияния паразитных помех, добавляющих в полезный сигнал шумовую составляющую, требует применения низкочастотной фильтрации. Для этих целей была использована вейвлет-фильтрация ^-фильтр). После обработки данных концентраций выбросов, они подаются на нейронную сеть (НС). Последняя, в свою очередь, должна быть сформирована и обучена согласно поставленной задаче. После того, как НС будет инициализирована и готова к заполнению нужного количества (необхо-

Алгоритм обучения ч- jk+l) 1 г wji(k),eJ1, y-1

x(k) W-фильтр C, (k) Блок памяти C(k-p)z-p Нейронная сеть s(k+r)

Рис. 1. Структурная схема прогнозирования с нейронной сетью прямого распространения

димого для прогнозирования) коэффициентов вейвлет разложения, полученных при помощи W-фильтра, подключается блок памяти, необходимый для постоянной корректировки коэффициентов НС. Последнее необходимо как в случае постоянных изменений техпроцесса, так и при исследовании нового типа (вида) исследуемого загрязняющего вещества. Чтобы в качестве результата получить прогнозируемые значения концентраций выбросов, требуется восстановить аппроксимирующие коэффициенты. Таким образом, автоматизированная система мониторинга включает в себя три основных этапа функционирования: предварительная вейвлет-обработка в W-фильтре, формирование и обучение НС и восстановление временного ряда данных концентраций загрязняющих выбросов из прогнозируемых коэффициентов.

Предсказание на коротких интервалах по небольшому скользящему окну данных реализуется как с помощью сетей прямого распространения, так и с помощью рекуррентных сетей или сетей с обратными связями. Сети прямого распространения, состоящие из нейронов с безынерционными функциями активации, могут быть отнесены к классу статических сетей. Возможности таких сетей определяются числом слоев, количеством нейронов в каждом слое и в какой-то степени видом нелинейных функций активации [1-3].

В соответствии со схемой на рис. 1, на вход Ж-фильтра (вейвлет-фильтрация) подается временной ряд отсчетов х(к). Аппроксимирующие коэффициенты С^к), полученные в ходе вейвлет-разложения временного ряда х(к), поступают в блок памяти, который обеспечивает формирование обучающей выборки в виде скользящего окна из N отсчетов С (к). Полу-

ченные на выходе НС отсчеты временного ряда сравниваются с реальными значениями С(к) в блоке «Алгоритм обучения». Результат сравнения обеспечивает перерасчет коэффициентов весов м/д (к), поэтому в ходе дальнейшего прогнозирования будет происходить постоянная подстройка весовых коэффициентов.

1. Обработка и анализ временных рядов методами вейвлет-преобразования отсчетов

Рассмотрим кратномасштабное вейвлет-разложение нестационарного сигнала в виде временного ряда отсчетов загрязняющих выбросов х(к) до уровня п. В этом случае сигнал х(к) раскладывается на две проекции - проекцию на пространство Vй (аппроксимирующие коэффициенты, представляющие низкочастотную составляющую сигнала) и пространство (детализирующие коэффициенты, отвечающие за передачу высокочастотной части сигнала) [4, 5].

Выражения для вычисления аппроксимирующих и детализирующих коэффициентов вейвлет-разложения первого уровня разложения имеют вид:

Сг(к) = -{и(к) + ^(к))^1(к), р

с11(ю = -(и(ю + аю)ыю, (1)

р

где и(к)=х(к) - п(к) - реальное значение величины отсчета, п(к) - шумовая составляющая, Е,(к) - флюктуационная составляющая отсчета, (р\(к) - скейлинг функция, ул(к)- вейвлет-функция.

Аппроксимирующие и детализирующие коэффициенты более высоких уровней разложения вычисляются по следующим выражениям:

С1+1(к)=-С1(к)(р1+1{21+11-к), р

й1+1(к) = -С1(к)^1+1(21+Ч - к). (2) р

Восстановление временного ряда осуществляется по формуле [4, 5]:

я(к) = ^ + й2 + ... + dn + Сп. (3) С учетом (1), (2) и (3) математическая модель восстановленного экспериментального временного ряда при вейвлет-разложении до уровня п принимает вид [6, 4]

з(к) = -[(и(к) + +

р

п-1

+ ^ Ci(k)\pi+1 + cn{k)(pn+1 t=i

(4)

На рис. 2 представлены результаты исследования АКФ аппроксимирующих коэффициентов С (к).

Как видно из рис.2, графики АКФ аппроксимирующих коэффициентов С(к) показывают увеличение времени корреляции при увеличении уровня вейвлет-разложения [5-7].

На рис.3 показаны результаты исследований зависимости ослабления /(т) дисперсии компонент шума временного ряда и соответственно уменьшения погрешности обучения нейронной сети от уровня вейвлет-обработки сигналов входного временного ряда, где

- дисперсия шумовых

составляющих на выходе Ж-фильтра вейвлет-обработки.

На рис.3 'а' показана зависимость уменьшения результирующей ошибки обучения нейронной сети от времени корреляции т шумовых компонент; на рис.3 'б' - зависимость изменения времени корреляции шумовых компонент временного ряда на выходе Ж-фильтра

от уровня вейвлет - разложения I аппроксимирующих коэффициентов С.

По графику зависимости ослабления ошибки обучения и нейронной сети (рис. 3 "а") видно, что наибольшее ослабление / = -(4^5) дБ дисперсии компонент шума £2 и соответственно, наибольшее уменьшение результирующей ошибки обучения нейронной сети может быть получено при увеличении времени корреляции компонент шума до значения т = (5*10)Т.

ß(z),db{T = пТ)

0 1 2 3 4 5 6 г

Рис.3. Зависимость ослабления компонент шума временного ряда от уровня разложения вейвлет-обработки

По графику на рис. 3 "б", зависимости времени корреляции шумовых компонент временного ряда данных концентраций выбросов от уровня вейвлет-разложения (/) аппроксимирующих коэффициентов С, можно отметить, что наибольшее увеличение времени корреляции шумовых компонент для т = (6^8)Т можно получить при вейвлет-разложении аппроксимирующих коэффициентов от 3 до 6 уровня. При С3, т = 6Т; при С6, т = 8Т. Таким образом, предварительная обработка вейвлет-преобразованием отсчетов временных рядов концентраций загрязняющих выбросов промышленного предприятия может осуществляться при помощи вейвлет-разложения до коэффициентов С6(к).

С учетом (3), а также с учетом прогнозирования на г-отсчетов, математическая модель

экспериментального временного ряда при вейвлет-разложении до уровня 1=6, может быть представлена в виде: 1

5(к + г) =- [и(к)4>1(к) + Р

4

+ ^С;(к)^ + 1 + (С5-СП + С<

1=1

(5)

2. Исследование, формирование и обучения НС. Математическая модель автоматизированного мониторинга

При моделировании алгоритма прогнозирования по схеме с НС прямого распространения использовался многослойный персептрон, алгоритм которого следующий.

\. Определяем выходы \ слоя (результирующий вектор выходов первого слоя у{, где /=\,2,.. .,64 в соответствии с числом нейронов в \-м слое)

I

(у\

У1 =

У1

У!64 ■

м) \ 6 + w$ß2)

С6 + w0

С-"'1

Ch + W,

0,64) )

где С6 - вектор аппроксимирующих коэффициентов, С6 = [С6\ ..., С664]

2. Определяем выходы 2 слоя (результирующий вектор выходов второго слоя У2, /= 1,2, .,10, в соответствии с числом нейронов во 2-м слое, и зависит от у{).

Уг

У2 1 =

.у210'

^(w2,2 • Уг + w0i2)

\^ОГд0 • У1 + у

где у1 - вектор выходов первого слоя НС, = [У!1.....У110]т.

3. Определяем выходы 3 слоя (результирующий вектор выходов третьего слоя уз, /=1,2,.. .,10 в соответствии с числом нейронов в 3-м слое, и зависит от У2). Выходы последнего 3- го слоя соответствуют 10 предсказанным аппроксимирующим коэффициентам 6 уровня вейвлет-разложения С£г

Уз =

( Н^зд • Уг + Wo, 1) \ ^(w3T2 • Уг + w032)

,у310/ \<p(wl10 • у2 + w0310))

'Уз\ Уз2

f*2 L6

(5)

где у2 - вектор выходов второго слоя НС,

Уг = [Уг, .",У20Г, сбг - результат предсказаний на г - периодов временного ряда.

4. Определяем ошибки (обратный проход)

е]_1 = ]Л/]Ф]е],} = п,п- 1,... , 2,

еп = ф^п) -где Фу — сигмоидная функция активации нейрона ] [1]

В] = №?У]-1 + = ..■

5. Корректируем синаптические коэффициенты [3]

ыц(к + 1) = и/дЮ — аИ]1(5]1)е]1у]_1,

w

j0

(k + l) = wj0 (k )-аФ

Wj =( Wj1 Wj 2

w,.

jej j)

(Sj)

8s.

= diag

8V(Sj1) 8V(Sj2 )

8sj 1 8s hß (sji) =

j .2

8P(Sjl)

8Sjl

8V(sjmj) 8 s ,„

= Ф,.

На рис. 4 представлены графики зависимости ошибок обучения двухслойной, трехслойной и четырехслойной нейронных сетей от числа итераций обучения п при различных значениях шага настройки а.

\е\

К)"1

10

10":

10-

0,2 0,2 0,3 0,3 0,3 0,6 0,9 0,9 0,9 2 сл 3 сл 2 сл 3 сл 4 сл 2 сл 2 сл 3 сл 4сл

0 20 40 60 80 100

Рис.4. Графики зависимости ошибки обучения | е |/хк от числа итераций обучения п при различных значениях шага настройки а от 0,2 до 0,9

Из графиков зависимостей ошибок обучения на рис.4 видно, что трехслойная нейронная сеть имеет лучшие характеристики обучения по критерию погрешности прогнозирования (разница достигает 37%). На рис. 5 представлены трехмерные графики кривых зависимостей ошибок обучения от числа циклов обучения q и числа нейронов в сети т.

Графики на рис. 5 показывают, что число циклов обучения нейронной сети может находиться в пределах 1-3. Дальнейшее увеличение числа циклов существенно не увеличивает параметры обучения. Также из графиков на рис.3

а видно, что для получения удовлетворительных параметров обучения сеть должна содержать 50-80 нейронов. По графику "б" видно, что обучение сети с шагом настройки а>0,3 позволяет получить лучшие результаты. Т.о., результаты исследований показали, что модель прогнозирования с помощью нейронной сети прямого распространения должна реализовываться предпочтительно по схеме трехслойного персептрона [3]. Нейронная сеть в этом случае состоит из трех слоев, первый слой содержит 64 нейрона, второй слой десять нейронов, третий слой также десять нейронов.

100 о

Рис. 5. Графики зависимости ошибки обучения от числа циклов q и числа нейронов т в сети при значениях шага настройки: а) а =0.3; б) а =0,9

После выполнения этапа прогнозирования значений временных рядов концентраций осуществляется восстановление временного ряда в соответствии с выражением (5).

3. Восстановление значений временных рядов концентраций загрязняющих выбросов. Структура реализации модели канала обработки и прогнозирования информации

На основании математической модели обработки и прогнозирования, разработана структурная схема канала обработки и прогнозирования отсчетов временного ряда концентраций загрязняющих выбросов, полученного на вы-

ходе одного из датчиков системы контроля, представленная на рис.6.

Как видно, из структурной схемы на рис. 6, информация, снятая с выхода одного из датчиков определения наличия загрязняющего вещества в окружающей среде с соответствующим уровнем концентрации, формирует временной ряд отсчетов. Таким образом, входные сигналы в виде временного ряда х(к) подаются на ^-фильтр предварительной обработки вейвлет-преобразованием. В ^-фильтре формируются аппроксимирующие коэффициенты С и детализирующие коэффициенты ^ 1-ого уровня вейвлет-разложения. Выделенные аппроксимирующие коэффициенты 6-ого уровня (Сб(Л)) подаются на вход 64-разрядного регистра сдвига, который формирует выборку входных сигналов нейронной сети в виде движущегося окна данных из 64 отсчетов, сформированных в ^-фильтре. Детализирующие коэффициенты до 5-ого уровня (ё1, d2,...,d5) после пороговой обработки алгоритмом сглаживания, поступают на блоки восстановления выходного временного ряда прогноза.

Таким образом, получены очищенные от помех выходной временной ряд в реальном времени и выходной временной ряд прогноза с более низкой погрешностью представления информации о загрязняющих выбросах в устройствах отображения и в системах принятий решений.

В результате проведенных исследований разработана математическая модель и структурная схема модели обработки и прогнозирования системы мониторинга выбросов. Определены основные функциональные подсистемы и их взаимосвязи. На основе вейвлет-преобразования был разработан алгоритм предварительной обработки временных рядов, обеспечивающий более корректный набор обучающих выборок для подсистем прогнозирования с применением ИНС. Был разработан комбинированный алгоритм прогнозирования значений временных рядов, обеспечивающий повышенную точность прогноза даже при длительной экстраполяции. Полученные результаты восстановления временных рядов демонстрируют высокую точность прогноза. В созданной автоматизированной системе мониторинга осуществляется прогнозирование с достаточно высокой точностью (погрешность прогнозирования составляет не более 5,3%). Время предсказаний достигает до 10 периодов временного

Снятие информации с датчиков и формирование временного ряда х(к)

Выделение аппрокс. коэф.

С5

Предварительная обработка вейвлет-преобразован. и формирование

С,, di

Вьщеление аппрокс. коэф.

С6

С16

d.

Предварительная d2

обработка детализирующих d3

коэффициентов di ,d2,d3,d4,d5 сглаживанием di

d5 -►

инс

de =С5-

d'16

Восст. вых врем, ряда с прогнозом на 1Т

ТТТТТ

S(k+1)

-

d5 d, d3 d2 di S(k+2)

-

S(k+r)

Восст. вых. времен, ряда с прогнозом на ЮТ

формир.

d*1VCs-C*1c

S(k+10)

->■

TTTTTT

d5 di d3 d2 di

формир. 06=С5-С6

Восст. вых. времен, ряда

ТТТТТ

s(k)

d5 d4 d3 d2 d,

Рис.6. Структурная схема реализации модели канала прогнозирования

ряда, однако возможно увеличение времени прогнозирования при применении разработанного метода построения модели ИНС.

Литература

1. Галушкин А.И. Нейронные сети. Основы теории - М.: Горячая линия - Телеком, 2010.-480стр.

2. Проскуряков А.Ю., Ермолаев В.А. Нейроком-пьютерные системы. учебное пособие. Муром, 2012г.- ИПЦ МИ ВлГУ. - 110 с.

3. Проскуряков А.Ю., Белов А.А., Ермолаев В.А. Algorithms of data forecasting in industrial telecommunication environment control system. 23-я Международная Крымская конференция «СВЧ-техника и телекоммуникационные технологии» (КрыМи-Ко'2013). Севастополь, Украина, 9-13 сентября 2013 г.: CrSTC. IEEE Catalog Number: CFP13788 стр. 436-437

4. Проскуряков А.Ю., Белов А.А., Кропотов ЮА. Автоматизированный анализ и обработка временных рядов данных о загрязняющих выбросах в системе

Поступила 05 февраля 2014 г.

экологического контроля Информационные системы и технологии, 2010. - №6(62). - С. 28-35.

5. Проскуряков А.Ю., Белов А.А., Кропотов Ю.А. Анализ и обработка экспериментальных временных рядов в системах автоматизированного контроля. Proceedings of 20 th International Crimean Conference "Microwave & Telecommunication Technology". Sevastopol, Ukraine. 2010. - V.1. - P.308-309.IEEE Catalog Number CFP10788.

6. Проскуряков А.Ю., Белов А.А. Сглаживание временных рядов на основе вейвлет-преобразования в системах автоматизированного экологического мониторинга. Методы и устройства передачи и обработки информации, 2010. -№1(12).- С. 21-24.

7. Проскуряков А.Ю., Белов А.А. Вейвлет-преобразование при обработке временных рядов в системах автоматизированного контроля. В мире научных открытий, - 2010. - № 6.1. - C. 23-25.

English

A model for forecasting time series on the three-layer perceptron in information system of monitoring polluting emissions

Proskuryakov Aleksander Yuryevich - Lecturer Murom Institute (branch) "Vladimir State University named after Alexander and Nickolay Stoletov".

Address: Orlovskaya st., 23. Vladimir region, Murom, 602264, Russia.

Abstract: The industrial influence on an ecological situation is an acute problem. A system of computerized monitoring polluting emissions is required for the purposes of local minimization of negative action of polluting emissions on the environment in close proximity to a hazardous enterprise. The system should perform operation control of polluting emissions and forecast emergency situations for their timely blocking and taking steps to prevent them. A model for forecasting time series on the three-layer feedforward perceptron by a criteria of lesser computational time has been investigated for the purposes of development of the computerized forecasting system. The primary problem of investigation of a forecasting model is the development of references for number selection of neural net layers. The investigation of error dependences of a neural net has shown that the three-layer neural net has the same performances of instruction inaccuracy as a four-layer net has. The research also demonstrates that instruction errors are reached within 0,1^1% range at the fairly high speed performance of instruction time in case of availability of 50-80 neurons in the net. The findings demonstrate that the instruction time for obtaining the above-stated inaccuracies, can include several cycles of instruction. The model of preprocessing of time series by the W-filter has been investigated. The paper shows that application of wavelet decomposition of time series and application of approximating coefficients to 6 levels of decomposition as input signals of a simulated neural net allow to reduce errors of net instruction by 4-5 dB at the expense of correlation increase to 6-9 periods of a time series. The regenerated expression of forecast output time series demonstrates the possibility of forecasting by r cycles of a time series with fairly low inaccuracy.

Key words: time series, forecasting, simulated neural nets, wavelet decomposition.

References

1. Galushkin A.I. Neural nets. Theory Basics. M.: Gorjachaja linija - Telekom, 2010. 480 p.

2. Proskurjakov A.Ju. Ermolaev VA. Neurocomputer Systems. Textbook. Murom, 2012.- IPT MIVlGU. - 110 p.

3. Proskurjakov A.Ju., Belov A.A., Ermolaev V.A. Algorithms of data forecasting in industrial telecommunication environment control system. 23rd International Crimea Conference "Microwave Devices and Telecommunication Technologies" (KryMiKo'2013). Sevastopol, Ukraine, 9-13 September 2013.: CrSTC. IEEE Catalog Number: CFP13788 P. 436-437

4. Proskurjakov A.Ju, Belov A.A, Kropotov Ju.A. Computerized Analysis and Processing of Time Series of Data on Polluting Emissions in Environmental Monitoring System. Informacionnye sistemy i tehnologii, 2010. №6(62). P. 28 - 35.

5. Proskurjakov A.Ju, Belov A.A., Kropotov Ju.A. Analysis and Processing of Time Series in Computerized Control Systems. Proceedings of 20 th International Crimean Conference "Microwave & Telecommunication Technology". Sevastopol, Ukraine. 2010. V.1. P.308-309.IEEE Catalog Number CFP10788.

6. Proskurjakov A.Ju, Belov A.A. Smoothing Time Series on the Basis of Wavelet Decomposition in Environmental Monitoring System. Metody i ustrojstva peredachi i obrabotki informacii, 2010. №1(12). P. 21-24.

7. Proskurjakov A.Ju, Belov A.A. Wavelet Decomposition in Time Series Processing in Computerized Control Systems. V mire nauchnyh otkrytij, 2010. № 6.1. P. 23-25.